KR20070094422A - 멀티 채널 복호화 및 부호화 방법 및 장치 - Google Patents

멀티 채널 복호화 및 부호화 방법 및 장치 Download PDF

Info

Publication number
KR20070094422A
KR20070094422A KR1020060049034A KR20060049034A KR20070094422A KR 20070094422 A KR20070094422 A KR 20070094422A KR 1020060049034 A KR1020060049034 A KR 1020060049034A KR 20060049034 A KR20060049034 A KR 20060049034A KR 20070094422 A KR20070094422 A KR 20070094422A
Authority
KR
South Korea
Prior art keywords
channel
signal
surround
channels
center
Prior art date
Application number
KR1020060049034A
Other languages
English (en)
Other versions
KR101218776B1 (ko
Inventor
김중회
오은미
주기현
레이 미아오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US11/651,633 priority Critical patent/US9369164B2/en
Priority to EP07708488.7A priority patent/EP1977417B1/en
Priority to JP2008550238A priority patent/JP5437638B2/ja
Priority to EP20120164460 priority patent/EP2541546A1/en
Priority to PCT/KR2007/000203 priority patent/WO2007081166A1/en
Publication of KR20070094422A publication Critical patent/KR20070094422A/ko
Priority to JP2012253715A priority patent/JP5563647B2/ja
Application granted granted Critical
Publication of KR101218776B1 publication Critical patent/KR101218776B1/ko
Priority to US15/180,930 priority patent/US9706325B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/06—Receivers
    • H04B1/16—Circuits
    • H04B1/1646—Circuits adapted for the reception of stereophonic signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

멀티 채널(multi-channel)로 오디오 신호를 출력하는 MPEG 서라운드(surround) 오디오 코딩에 관한 것으로, 멀티 채널(multi-channel)로부터 다운믹스된(downmixed) 신호에 대하여 공간 정보(spatial cue)를 이용하여 다이렉트 신호(direct signal) 및 디코릴레이션(decorrelation)할 신호를 생성하고, 디코릴레이션하며, 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스(mix)하여 좌측 채널과 우측 채널을 우선적으로 업믹싱(up-mixing)한다.
이렇게 함으로써 스케일러블 채널 복호화(scalable channel decoding)에서도 좌측과 우측의 음질이 저하되지 않고 고음질로 출력할 수 있는 효과를 거둘 수 있다. 또한, 전력 소비를 줄이고 스테레오에 있어서 고음질을 요구하는 모바일 어플레케이션(mobile application)에서도 용이하게 이용할 수 있는 효과를 거둘 수 있다.

Description

멀티 채널 복호화 및 부호화 방법 및 장치{Method and apparatus for decoding and encoding of multi-channel}
도 1a는 MPEG 서라운드(Surround)의 5-1-5 1 트리 구조(tree structure)를 도시한 것이다.
도 1b는 MPEG 서라운드의 5-1-5 2 트리 구조를 도시한 것이다.
도 2는 본 발명에 의한 멀티 채널 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 멀티 채널 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 적용하는 5-1-5 3 트리 구조를 도시한 것이다.
도 5는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 입력되는 신호와 출력되는 신호의 수학적 관계를 개념도로 도시한 것이다.
도 6은 본 발명에 의한 멀티 채널 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
도 7은 본 발명에 의한 멀티 채널 부호화 장치에 대한 일 실시예를 블록도로 도시한 것이다.
〈도면의 주요 부호에 대한 간단한 설명〉
327: 복호화레벨 계산부 329: 복호화레벨 제어부
335: 전-매트릭스 적용부 340: 디코릴레이션부
350: 믹스-매트릭스 적용부 355: TES 적용부
365: TP 적용부 370: 믹싱부
본 발명은 오디오 코딩에 관한 것으로, 보다 상세하게는 멀티 채널(multi-channel)로 오디오 신호를 출력하는 MPEG 서라운드(surround) 오디오 코딩에 관한 것이다.
일반적으로 멀티채널 오디오 코딩에는 웨이브폼(waveform) 멀티채널 오디오 코딩과 파라메트릭(Parametric) 멀티채널 오디오 코딩이 있다. 웨이브폼 멀티채널 오디오 코딩에는 MPEG-2 MC 오디오 코딩, AAC MC 오디오 코딩 및 BSAC/AVS MC 오디오 코딩 등이 있으며, 5개의 채널 신호를 입력으로 하여 5개의 채널 신호로 출력한다. 파라메트릭 멀티채널 오디오 코딩은 MPEG 서라운드 코딩이 있으며, 1 또는 2 개의 입력 채널을 6 또는 8개의 멀티 채널로 출력한다.
여기서, MPEG 서라운드 코딩은 도 1a에 도시된 5-1-5 1 트리 구조와 도 1b에 도시된 5-1-5 2 트리 구조를 이용함으로써 멀티 채널로 신호를 생성하여 출력한다. 이러한 트리 구조들은 모노(mono) 신호를 입력받아 OTT 모듈(module)의 조합에서 처리하여 전방좌측 채널(FL), 전방우측 채널(FR), 센터 채널(C), 우퍼 채널(LFE), 후방좌측 채널(BL) 및 후방우측 채널(BR)로 멀티 채널 신호를 출력한다.
도 1a 및 1b의 OTT 0 모듈에서 출력되는 신호를 살펴보면, 5-1-5 1 트리 구조에서는 전방좌측 채널(FL), 전방우측 채널(FR), 센터 채널(C) 및 우퍼 채널(LFE)이 믹스된 신호와 후방좌측 채널(BL) 및 후방우측 채널(BR)이 믹스된 신호로 출력된다. 그리고 5-1-5 2 트리 구조에서는 전방좌측 채널(FL), 후방좌측 채널(BL), 전방우측 채널(FR) 및 후방우측 채널(BR)이 믹스된 신호와 센터 채널(C) 및 우퍼 채널(LFE)이 믹스된 신호로 출력된다. 그러나 도 1a에 도시된 5-1-5 1 트리 구조와 도 1b에 도시된 5-1-5 2 트리 구조에서 프루닝(pruning)을 수행할 경우, 전방과 후방과 관련하여 가장 먼저 업믹싱되므로 좌측과 우측에 대하여 음질이 저하되는 문제점을 갖는다.
본 발명이 이루고자 하는 기술적 과제는, MPEG 서라운드 방식에서 좌측 채널과 우측 채널을 우선적으로 업믹싱하여 복호화하고, 좌측 채널과 우측 채널을 가장 마지막으로 다운믹싱하여 부호화하는 멀티 채널 복호화 방법 및 장치를 제공하는 것이다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 방법은, 부호화기에서 멀티 채널(multi-channel)로부터 다운믹스된(downmixed) 신호에 대해 공간 정보(spatial cue)를 이용하여 다이렉트 신호(direct signal) 및 디코릴레이 션(decorrelation)할 신호를 생성하는 단계, 상기 디코릴레이션할 신호를 디코릴레이션하는 단계 및 상기 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스(mix)하여 업믹싱(up-mixing)하는 단계를 포함하고, 상기 업믹싱하는 단계는 좌측 채널과 우측 채널을 우선하여 업믹싱하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 부호화 방법은, 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 단계, 상기 멀티 채널의 공간 정보를 추출하는 단계 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
전술된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체인 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 복호화 장치는, 부호화기에서 멀티 채널로부터 다운믹스된 신호에 대해 공간 정보를 이용하여 다이렉트 신호 및 디코릴레이션할 신호를 생성하는 전-매트릭스 적용부, 상기 디코릴레이션할 신호를 디코릴레이션하는 디코릴레이션부 및 상기 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스하여 업믹싱하는 후-매트릭스 적용부를 포함하고, 상기 후-매트릭스 적용부는 좌측 채널과 우측 채널을 우선하여 업믹싱하는 것을 특징으로 한다.
상기의 과제를 이루기 위한 본 발명에 의한 멀티 채널 부호화 장치는, 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 다운믹싱부, 상기 멀티 채널의 공간 정보를 추출하는 정보 추출부 및 상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 멀티 채널 복호화 및 부호화 방법 및 장치에 대해 상세히 설명한다.
도 2는 본 발명에 의한 멀티 채널 복호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 부호화기로부터 전송받은 MPEG 서라운드 비트스트림(MPEG surround bitstream)을 분석(parsing)하여 공간 정보(spatial cue) 및 부가 정보를 추출한다(제200단계).
제200단계에서 추출된 공간 정보를 이용하여 저 비트율(low bitrate)에서 공간 정보의 급격한 변화를 방지하기 위해 선택적으로 공간 정보를 스무딩(smoothing)한다(제203단계).
제203단계 후에, 기존의 매트릭스 서라운드(matrix surround) 방식과 호환성을 유지하기 위해 추가적인 채널 별로 이득값(gain)을 계산하고, 디코릴레이션(decorrelation)하기 위한 입력을 생성하며, 복호화기에서 익스터널 다운믹스(external downmix)를 사용할 경우 채널 별로 이득값을 보상하기 위한 변수를 추출함으로써, 행렬 R1을 생성한다(제206단계). 제206단계에서는 도 4의 TTT 0의 모듈(module)의 모드에 따라 R1을 다르게 생성한다. 예를 들어, TTT 0의 모듈의 모드를 나타내는 변수로서 MPEG 서라운드 스펙에서 다음 표에 도시된 관계를 갖는 bsTttModeLow를 이용한다.
Figure 112006038611111-PAT00001
여기서, 만일 bsTttModeLow(0)가 '2'보다 작을 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 1]
Figure 112006038611111-PAT00002
만일 bsTttModeLow(0)가 '3'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 2]
Figure 112006038611111-PAT00003
만일 bsTttModeLow(0)가 '5'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 3]
Figure 112006038611111-PAT00004
제206단계에서 생성된 행렬 R1에 대해 보간(interpolation)을 수행하여 행렬 M1을 생성한다(제208단계).
디코릴레이션된 신호들과 다이렉트 신호(direct signal)를 믹스(mix)하는 데 사용되는 행렬 R2를 다음 기재된 수학식을 이용하여 생성한다(제210단계).
[수학식 4]
Figure 112006038611111-PAT00005
제210단계에서 생성된 행렬 R2에 대해 보간을 수행하여 행렬 M2를 생성한다(제213단계).
부호화기에서 다운믹스된 신호와 원 신호 간의 차이를 ACC로 부호화되어 레지듀얼 코딩(residual coding)된 신호를 복호화한다(제216단계).
제216단계에서 복호화된 MDCT 계수를 QMF 도메인(QMF domain)으로 변환한다(제218단계).
제218단계에서 출력된 신호에 대하여 프레임(frame) 간 오버랩-애드(overlap-add)를 수행한다(제220단계).
저주파 대역 신호가 QMF 필터 뱅크(QMF filterbank)로 주파수 분해능(frequency resolution)이 부족하므로 추가적인 필터링을 통해 주파수 분해능을 높인다(제223단계).
복호화단의 멀티채널의 설정을 인식한다(제230단계). 여기서, 복호화단의 멀티채널의 설정은 복호화단에 구비된 스피커(speaker)의 개수, 복호화단에 구비된 스피커 가운데 동작 가능한 스피커의 위치, 부호화된 채널들 가운데 복호화단의 멀티채널에서 이용을 할 수 있는지 여부 등을 말한다.
제230단계에서 인식된 설정을 이용하여 복호화하는 레벨(level)의 수를 계산한다(제233단계).
QMF Hybrid analysis filter bank를 이용하여 입력 신호를 주파수 밴드(band) 별로 분해한다(제236단계).
행렬 M1을 이용하여 다이렉트 신호 및 디코릴레이션할 신호를 생성한다(제238단계). 제238단계에서는 좌측 채널과 우측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00006
에 입력할 신호, 전방좌측 채널과 서라운드좌측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00007
에 입력할 신호, 전방우측 채널과 서라운드우측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00008
에 입력할 신호 및 센터 채널과 우퍼 채널에 대하여 디코릴레이션하는
Figure 112006038611111-PAT00009
에 입력할 신호를 생성한다. 또한, 제238단계에서는 제233단계에서 계산된 복호화하는 레벨의 수에 따라 복호화하는 레벨의 수를 조절함으로써 스케일러블(scalable)하게 업믹싱하여 복호화하도록 한다.
제238단계에서 생성된 디코릴레이션할 신호에 대하여 디코릴레이션을 공간감을 가질 수 있도록 재구성하는 디코릴레이션을 수행한다(제240단계).
Figure 112006038611111-PAT00010
는 좌측 채널과 우측 채널을 디코릴레이션하고,
Figure 112006038611111-PAT00011
는 센터 채널과 우퍼 채널에 대하여 디코릴레이션하며,
Figure 112006038611111-PAT00012
는 전방좌측 채널과 서라운드좌측 채널을 디코릴레이션하고,
Figure 112006038611111-PAT00013
는 전방우측 채널과 서라운드우측 채널을 디코릴레이션한다.
제240단계에서 디코릴레이션된 신호 및 제238단계에서 생성된 다이렉트 신호에 대하여 각각 제213단계에서 생성된 행렬 M2를 적용한다(제243단계). 여기서, 제243단계에서는 제233단계에서 계산된 복호화하는 레벨의 수에 따라 복호화하는 레벨의 수를 조절함으로써 스케일러블하게 업믹싱하여 복호화하도록 한다.
제243단계에서 행렬 M2가 적용된 신호에 TES(Temporal Envelope Shaping)를 적용한다(제246단계).
제246단계에서 TES가 적용된 신호에 QMF hybrid synthesis filter bank를 이용하여 시간 도메인으로 변환한다(제248단계).
제248단계에서 변환된 신호에 TP(Temporal Processing)를 적용한다(제250단계).
여기서, 제243단계 및 제250단계는 Applause와 같이 템포럴 구조(Temporal Structure)가 중요한 신호에 대하여 음질을 향상시키기 위한 것으로서 선택적으로 이용할 수 있으며, 필수적으로 적용해야 하는 것은 아니다.
다이렉트 신호와 디코릴레이션된 신호를 믹스하여 업믹싱함으로써 전방좌측 채널(LF), 서라운드좌측 채널(LS), 전방우측 채널(RF), 서라운드우측 채널(RS), 센터 채널(C) 및 우퍼 채널(LFE)로 출력한다(제253단계). 제253단계에서 업믹싱함에 있어서, 좌측 채널 및 우측 채널로 우선하여 업믹싱한다. 여기서, 제253단계는 좌측 채널 및 우측 채널을 우선적으로 좌측 채널, 우측 채널 및 센터 채널로 업믹싱한 후, 업믹싱된 세 채널을 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 업믹싱한다.
도 3은 본 발명에 의한 멀티 채널 복호화 장치의 일 실시예를 블록도로 도시한 것이다.
비트스트림 디코더(300, bitstream decoder)는 MPEG 서라운드 비트스트림을 분석(parsing)하여 공간 정보(spatial cue) 및 부가 정보를 추출한다.
스무딩부(302, smoothing unit)는 저 비트율(low bitrate)에서 공간 정보의 급격한 변화를 방지하기 위하여 선택적으로 공간 정보를 스무딩(smoothing)한다.
매트릭스 컴퍼넌트 계산부(304, matrix component calculating unit)는 기존의 매트릭스 서라운드(matrix surround) 방식과 호환성을 유지하기 위해 추가적인 채널 별로 이득값(gain)을 계산한다.
전-벡터 계산부(308, pre-vectors calculating unit)는 디코릴레이션부(340, de-correlation unit)의 입력을 생성한다.
아버트레리 다운믹스이득값 추출부(308, arbitrary downmix gain extracting unit)는 복호화기에서 익스터널 다운믹스(external downmix)를 사용할 경우 채널 별로 이득값을 보상하기 위한 변수를 추출한다.
매트릭스 생성부(312)는 매트릭스 컴퍼넌트 계산부(304), 전-벡터 계산부(308) 및 아버트레리 다운믹스이득값 추출부(308)에서 출력되는 결과를 이용하여 행렬 R1을 생성한다. 여기서, 매트릭스 생성부(312)는 도 4의 TTT 0의 모듈(module)의 모드에 따라 R1을 다르게 생성한다. 예를 들어, TTT 0의 모듈의 모드를 나타내는 변수로서 MPEG 서라운드 스펙에서 다음 표에 도시된 관계를 갖는 bsTttModeLow를 이용한다.
Figure 112006038611111-PAT00014
여기서, 만일 bsTttModeLow(0)가 '2'보다 작을 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 5]
Figure 112006038611111-PAT00015
만일 bsTttModeLow(0)가 '3'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 6]
Figure 112006038611111-PAT00016
만일 bsTttModeLow(0)가 '5'일 경우 다음 기재된 행렬 R1을 생성한다.
[수학식 7]
Figure 112006038611111-PAT00017
보간 처리부(314)는 매트릭스 생성부(312)에서 생성된 행렬 R1에 대해 보간(interpolation)을 수행하여 행렬 M1을 생성한다.
믹스벡터 계산부(310, mix-vectors calculating unit)는 디코릴레이션부(340)에서 디코릴레이션된 신호와 다이렉트 신호(direct signal)를 믹스(mix)하기 위한 행렬 R2를 생성한다. 믹스벡터 계산부(310)는 다음 기재된 행렬 R2를 생성한다.
[수학식 8]
Figure 112006038611111-PAT00018
보간 처리부(316)는 믹스벡터 계산부(310)에서 생성된 행렬 R2에 대해 보간을 수행하여 행렬 M2를 생성한다.
AAC 디코더(320, AAC decoder)는 부호화기에서 다운믹스된 신호와 원 신호 간의 차이를 ACC로 부호화되어 레지듀얼 코딩(residual coding)된 신호를 복호화한다.
MDCT 변환부(322, MDCT2QMF unit)는 AAC 디코더(320)에서 출력된 MDCT 계수를 QMF 도메인(QMF domain)으로 변환하고, 디코릴레이션부(340)를 대체하여 업믹싱한다.
오버랩-애드부(324, overlap-add unit)은 MDCT 변환부(322)에서 출력된 신호에 대하여 프레임(frame) 간 오버랩-애드(overlap-add)를 수행한다.
하이브리드 분석부(326, hybrid analysis unit)는 저주파 대역 신호가 QMF 필터 뱅크(QMF filterbank)로 주파수 분해능(frequency resolution)이 부족하므로 추가적인 필터링을 통해 주파수 분해능을 높인다.
복호화레벨 계산부(327)는 복호화단의 멀티채널의 설정을 인식하여 복호화하는 레벨(level)의 수를 계산한다. 여기서, 복호화단의 멀티채널의 설정은 복호화단에 구비된 스피커(speaker)의 개수, 복호화단에 구비된 스피커 가운데 동작 가능한 스피커의 위치, 부호화된 채널들 가운데 복호화단의 멀티채널에서 이용을 할 수 있는지 여부 등을 말한다.
복호화레벨 제어부(329)는 복호화레벨 계산부(327)에서 계산된 복호화하는 레벨의 수에 의하여 복호화하도록 제어하는 신호를 출력한다.
하이브리드 분석부(330)는 QMF Hybrid analysis filter bank로서 입력 신호를 주파수 밴드(band) 별로 분해한다.
전-매트릭스 적용부(335,pre-matrix application unit)는 행렬 M1을 이용하여 다이렉트 신호 및 디코릴레이션할 신호를 생성한다. 여기서, 전-매트릭스 적용부(335)는 좌측 채널과 우측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00019
에 입력할 신호, 전방좌측 채널과 서라운드좌측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00020
에 입력할 신호, 전방우측 채널과 서라운드우측 채널을 디코릴레이션하는
Figure 112006038611111-PAT00021
에 입력할 신호 및 센터 채널과 우퍼 채널에 대하여 디코릴레이션하는
Figure 112006038611111-PAT00022
에 입력할 신호를 생성한다. 또한, 전-매트릭스 적용부(335)는 복호화레벨 제어부(329)로부터 출력되는 제어 신호에 응답하여 복호화하는 레벨의 수를 조절함으로써 스케일러블(scalable)하게 업믹싱하여 복호화하도록 한다.
디코릴레이션부(340)는 공간감을 가질 수 있도록 재구성하는 역할하고, 전-매트릭스 적용부(335)에서 생성된 디코릴레이션할 신호에 대하여 디코릴레이션을 수행한다. 제0 디코릴레이션부(342)는 좌측 채널과 우측 채널을 디코릴레이션하고, 제1 디코릴레이션부(344)는 센터 채널과 우퍼 채널에 대하여 디코릴레이션하며, 제2 디코릴레이션부(346)는 전방좌측 채널과 서라운드좌측 채널을 디코릴레이션하고, 제3 디코릴레이션부(348)는 전방우측 채널과 서라운드우측 채널을 디코릴레이션한다.
믹스-매트릭스 적용부(350, mix-matrix application unit)는 디코릴레이션부(340)에서 출력된 신호 및 전-매트릭스 적용부(335)에서 출력된 다이렉트 신호에 대하여 각각 행렬 M2를 적용한다. 여기서, 믹스-매트릭스 적용부(350)는 복호화레벨 제어부(329)로부터 출력되는 제어 신호에 응답하여 복호화하는 레벨의 수를 조절함으로써 스케일러블하게 업믹싱하여 복호화하도록 한다.
TES 적용부(335)는 믹스-매트릭스 적용부(350)에서 출력된 신호에 TES(Temporal Envelope Shaping)를 적용한다.
QMF 하이브리드 합성부(360, QMF hybrid synthesis unit)는 QMF hybrid synthesis filter bank로서 시간 도메인으로 변환한다.
TP 적용부(365)는 QMF 하이브리드 합성부(360)에서 출력된 신호에 TP(Temporal Processing)를 적용한다.
여기서, TES 적용부(335) 및 TP 적용부(365)는 Applause와 같이 템포럴 구조(Temporal Structure)가 중요한 신호에 대하여 음질을 향상시키기 위한 것으로서 선택적으로 이용할 수 있으며, 필수적으로 적용해야 하는 것은 아니다.
믹싱부(370)는 다이렉트 신호와 디코릴레이션된 신호를 믹스하여 업믹싱함으로써 전방좌측 채널(LF), 서라운드좌측 채널(LS), 전방우측 채널(RF), 서라운드우측 채널(RS), 센터 채널(C) 및 우퍼 채널(LFE)로 출력한다. 믹싱부(370)에서 업믹싱함에 있어서, 좌측 채널 및 우측 채널로 우선하여 업믹싱한다. 여기서, 믹싱부(370)는 좌측 채널 및 우측 채널을 우선적으로 좌측 채널, 우측 채널 및 센터 채널로 업믹싱한 후, 업믹싱된 세 채널을 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 업믹싱한다.
도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 적용하는 5-1-5 3 트리 구조를 개념도로 도시한 것이다. 여기서, 도 4는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 복호화하여 업믹싱하는 순서를 OTT 모듈들과 TTT 모듈을 이용하여 개념적으로 도시된다.
OTT 0 모듈(400)은 부호화기에서 다운믹스된 모노 신호를 입력받아 좌측 신호와 우측 신호로 복호화하여 업믹싱한다.
TTT 0 모듈(410)은 OTT 0 모듈(400)에서 출력된 좌측 신호와 우측 신호를 입력받아 좌측 신호, 우측 신호 및 센터 신호로 복호화하여 업믹싱한다.
OTT 1 모듈(420)는 TTT 0 모듈(410)에서 출력된 센터 신호를 입력받아 센서 신호(S)와 우퍼 신호(LFE)로 복호화하여 업믹싱한다.
OTT 2 모듈(430)는 TTT 0 모듈(410)에서 출력된 좌측 신호를 입력받아 전방좌측 신호(LF)와 후방좌측 신호(LS)로 복호화하여 업믹싱한다.
OTT 3 모듈(440)는 TTT 0 모듈(410)에서 출력된 우측 신호를 입력받아 전방우측 신호(RF)와 후방우측 신호(RS)로 복호화하여 업믹싱한다.
도 5는 본 발명에 의한 멀티 채널 복호화 방법 및 장치에서 입력되는 신호와 출력되는 신호의 수학적 관계를 개념도로 도시한 것이다.
전-디코릴레이터 매트릭스(Pre-decorrelator matrix) M1은 CLD(Channel Level Difference) 및 ICC(Inter-Channel Correlation)를 이용함으로써 부호화기에서 다운믹스된 모노 신호(x m)를 입력으로 하여 다이렉트 신호(m)와
Figure 112006038611111-PAT00023
,
Figure 112006038611111-PAT00024
,
Figure 112006038611111-PAT00025
및
Figure 112006038611111-PAT00026
로 입력할 신호를 출력한다.
Figure 112006038611111-PAT00027
,
Figure 112006038611111-PAT00028
,
Figure 112006038611111-PAT00029
및
Figure 112006038611111-PAT00030
는 M1으로부터 계산된 신호를 디코릴레이션한다.
믹스 매트릭스(mix-matrix) M2는 CLD 및 ICC를 이용함으로써 다이렉트 신호(m)와 디코릴레이션된 d0, d1, d2 및 d3를 믹스하여 업믹싱한다. 여기서, 믹스 캐트릭스 M2는 다이렉트 신호(m)와 디코릴레이션된 d0, d1, d2 및 d3를 입력으로 하여 전방좌측 신호(LF), 서라운드좌측 신호(LS), 전방우측 신호(RF), 서라운드우측 신호(RS), 센터 신호(C) 및 우퍼 신호(LFE)를 출력한다.
도 6은 본 발명에 의한 멀티 채널 부호화 방법에 대한 일 실시예를 흐름도로 도시한 것이다.
먼저, 멀티 채널(multi-channel)로부터 다운 믹싱(down-mixing)한다(제600단계). 여기서, 멀티 채널은 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 구성된다.
제600단계에서 다운믹싱함에 있어서, 좌측 채널과 우측 채널을 가장 마지막에 다운믹싱한다. 이에 따라 제600단계에서는 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱한다.
제600단계에서 다운믹싱한 멀티 채널의 공간 정보를 추출한다(제610단계). 제610단계에서 추출하는 공간 정보는 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는데 사용되는 정보를 포함한다.
제600단계에서 다운믹싱된 신호 및 제610단계에서 추출된 공간 정보를 포함하는 비트스트림을 생성한다(제620단계).
도 7은 본 발명에 의한 멀티 채널 부호화 장치에 대한 일 실시예를 블록도로 도시한 것으로서, 멀티 채널 부호화 장치는 다운믹싱부(700), 정보 추출부(710) 및 비트스트림 생성부(720)을 포함하여 이루어진다.
다운믹싱부(700)는 입력 단자 IN 0 내지 IN M에 해당하는 멀티 채널(multi-channel)로부터 다운 믹싱(down-mixing)한다. 여기서, 멀티 채널은 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 구성된다.
여기서, 다운믹싱부(700)는 좌측 채널과 우측 채널을 가장 마지막에 다운믹싱한다. 이에 따라 다운믹싱부(700)에서는 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱한다.
정보 추출부(710)는 다운믹싱부(700)에서 다운믹싱한 멀티 채널의 공간 정보를 추출한다. 다운믹싱부(700)에서 추출하는 공간 정보는 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는데 사용되는 정보를 포함한다.
비트스트림 생성부(720)는 다운믹싱부(700)에서 다운믹싱된 신호 및 정보 추출부(710)에서 추출된 공간 정보를 포함하는 비트스트림을 생성하여 출력 단자 OUT을 통하여 복호화기로 출력한다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
이러한 본 발명에 대한 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 의한 멀티 채널 복호화 및 부호화 방법 및 장치에 의하면, MPEG 서라운드 방식에서 좌측 채널과 우측 채널을 우선적으로 업믹싱하여 복호화하고, 좌측 채널과 우측 채널을 가장 마지막으로 다운믹싱하여 부호화한다.
이렇게 함으로써 스케일러블 채널 복호화(scalable channel decoding)에서도 좌측과 우측의 음질이 저하되지 않고 고음질로 출력할 수 있는 효과를 거둘 수 있다. 또한, 전력 소비를 줄이고 스테레오에 있어서 고음질을 요구하는 모바일 어플레케이션(mobile application)에서도 용이하게 이용할 수 있는 효과를 거둘 수 있다.

Claims (22)

  1. 부호화기에서 멀티 채널(multi-channel)로부터 다운믹스된(downmixed) 신호에 대해 공간 정보(spatial cue)를 이용하여 다이렉트 신호(direct signal) 및 디코릴레이션(decorrelation)할 신호를 생성하는 단계;
    상기 디코릴레이션할 신호를 디코릴레이션하는 단계; 및
    상기 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스(mix)하여 업믹싱(up-mixing)하는 단계를 포함하고,
    상기 업믹싱하는 단계는 좌측 채널과 우측 채널을 우선하여 업믹싱하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  2. 제1항에 있어서, 상기 생성하는 단계에서 생성된 디코릴레이션할 신호는
    좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션할 신호인 것을 특징으로 하는 멀티 채널 복호화 방법.
  3. 제1항에 있어서, 상기 디코릴레이션하는 단계는
    상기 디코릴레이션할 신호를 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  4. 제3항에 있어서, 상기 업믹싱하는 단계는
    좌측 채널 및 우측 채널로 업믹싱하고, 업믹싱된 두 채널을 좌측 채널, 우측 채널 및 센터 채널로 업믹싱하며, 업믹싱된 세 채널을 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 업믹싱하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  5. 제3항에 있어서, 상기 생성하는 단계 및 상기 업믹싱하는 단계는
    좌측 채널과 우측 채널을 좌측 채널, 우측 채널 및 센터 채널로 업믹싱하는 모듈(module)의 모드(mode)에 따라 다르게 수행하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  6. 제1항에 있어서,
    복호화단의 멀티채널의 설정(configuration)에 따라 각 멀티채널 신호에 대해 복호화하는 레벨(level)의 수를 계산하는 단계; 및
    상기 계산된 복호화하는 레벨의 수에 따라 상기 생성하는 단계 및 상기 업믹싱하는 단계를 제어하는 단계를 더 포함하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  7. 제1항에 있어서,
    TP(Temporal Processing) 또는 TES(Temporal Envelope Shaping)를 적용하는 단계를 더 구비하는 것을 특징으로 하는 멀티 채널 복호화 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  9. 부호화기에서 멀티 채널로부터 다운믹스된 신호에 대해 공간 정보를 이용하여 다이렉트 신호 및 디코릴레이션할 신호를 생성하는 전-매트릭스 적용부;
    상기 디코릴레이션할 신호를 디코릴레이션하는 디코릴레이션부; 및
    상기 다이렉트 신호와 상기 디코릴레이션된 신호를 믹스하여 업믹싱하는 후-매트릭스 적용부를 포함하고,
    상기 후-매트릭스 적용부는 좌측 채널과 우측 채널을 우선하여 업믹싱하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  10. 제9항에 있어서, 상기 디코릴레이션부에서 생성된 디코릴레이션할 신호는
    좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션할 신호인 것을 특징으로 하는 멀티 채널 복호화 장치.
  11. 제9항에 있어서, 상기 디코릴레이션부는
    상기 디코릴레이션할 신호를 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  12. 제9항에 있어서, 상기 후-매트릭스 적용부는
    좌측 채널 및 우측 채널로 업믹싱하고, 업믹싱된 두 채널을 좌측 채널, 우측 채널 및 센터 채널로 업믹싱하며, 업믹싱된 세 채널을 전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널로 업믹싱하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  13. 제9항에 있어서, 상기 전-매트릭스 적용부 및 상기 후-매트릭스 적용부는
    좌측 채널과 우측 채널을 좌측 채널, 우측 채널 및 센터 채널로 업믹싱하는 모듈의 모드에 따라 다르게 수행하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  14. 제9항에 있어서,
    복호화단의 멀티채널의 설정에 따라 각 멀티채널 신호에 대해 복호화하는 레벨의 수를 계산하는 복호화레벨 계산부; 및
    상기 계산된 복호화하는 레벨의 수에 따라 상기 전-메트릭스 적용부 및 상기 후-매트릭스 적용부를 제어하는 복호화레벨 제어부를 포함하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  15. 제9항에 있어서,
    TP 또는 TES를 적용하는 TP/TES 적용부를 더 구비하는 것을 특징으로 하는 멀티 채널 복호화 장치.
  16. 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 단계;
    상기 멀티 채널의 공간 정보를 추출하는 단계; 및
    상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 멀티 채널 부호화 방법.
  17. 제16항에 있어서, 상기 멀티 채널의 공간 정보는
    복호화단에서 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는데 사용되는 정보를 포함하는 것을 특징으로 하는 멀티 채널 부호화 방법.
  18. 제16항에 있어서, 상기 다운믹싱하는 단계는
    전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱하는 것을 특징으로 하는 멀 티 채널 부호화 방법.
  19. 제16항 내지 제18항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  20. 멀티 채널로부터 좌측 채널과 우측 채널을 마지막으로 다운믹싱하는 다운믹싱부;
    상기 멀티 채널의 공간 정보를 추출하는 정보 추출부; 및
    상기 다운믹싱된 신호 및 상기 추출된 공간 정보를 포함하는 비트스트림을 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 하는 멀티 채널 부호화 장치.
  21. 제20항에 있어서, 상기 멀티 채널의 공간 정보는
    복호화단에서 좌측 채널과 우측 채널, 전방좌측 채널과 서라운드좌측 채널, 전방우측 채널과 서라운드우측 채널 및 센터 채널과 우퍼 채널에 대하여 각각 디코릴레이션하는데 사용되는 정보를 포함하는 것을 특징으로 하는 멀티 채널 부호화 장치.
  22. 제20항에 있어서, 상기 다운믹싱부는
    전방좌측 채널, 서라운드좌측 채널, 전방우측 채널, 서라운드우측 채널, 센 터 채널 및 우퍼 채널을 좌측 채널, 우측 채널 및 센터 채널로 다운믹싱하고, 다운믹싱된 세 채널을 좌측 채널 및 우측 채널로 다운믹싱하는 것을 특징으로 하는 멀티 채널 부호화 장치.
KR1020060049034A 2006-01-11 2006-05-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 KR101218776B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US11/651,633 US9369164B2 (en) 2006-01-11 2007-01-10 Method, medium, and system decoding and encoding a multi-channel signal
EP07708488.7A EP1977417B1 (en) 2006-01-11 2007-01-11 Method and system for decoding a multi-channel signal
JP2008550238A JP5437638B2 (ja) 2006-01-11 2007-01-11 マルチチャンネル復号化方法
EP20120164460 EP2541546A1 (en) 2006-01-11 2007-01-11 Method, medium, and system for decoding a multi-channel signal
PCT/KR2007/000203 WO2007081166A1 (en) 2006-01-11 2007-01-11 Method, medium, and system decoding and encoding a multi-channel signal
JP2012253715A JP5563647B2 (ja) 2006-01-11 2012-11-19 マルチチャンネル復号化方法及びマルチチャンネル復号化装置
US15/180,930 US9706325B2 (en) 2006-01-11 2016-06-13 Method, medium, and system decoding and encoding a multi-channel signal

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US75785706P 2006-01-11 2006-01-11
US60/757,857 2006-01-11
US75898506P 2006-01-17 2006-01-17
US60/758,985 2006-01-17
US75954306P 2006-01-18 2006-01-18
US60/759,543 2006-01-18
US78261606P 2006-03-16 2006-03-16
US60/782,616 2006-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020120083520A Division KR101218777B1 (ko) 2006-01-11 2012-07-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Publications (2)

Publication Number Publication Date
KR20070094422A true KR20070094422A (ko) 2007-09-20
KR101218776B1 KR101218776B1 (ko) 2013-01-18

Family

ID=38688335

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020060049034A KR101218776B1 (ko) 2006-01-11 2006-05-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR1020120083520A KR101218777B1 (ko) 2006-01-11 2012-07-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020120083520A KR101218777B1 (ko) 2006-01-11 2012-07-30 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체

Country Status (5)

Country Link
US (2) US9369164B2 (ko)
EP (2) EP1977417B1 (ko)
JP (2) JP5437638B2 (ko)
KR (2) KR101218776B1 (ko)
WO (1) WO2007081166A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100841329B1 (ko) * 2006-03-06 2008-06-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
WO2011094675A2 (en) * 2010-02-01 2011-08-04 Rensselaer Polytechnic Institute Decorrelating audio signals for stereophonic and surround sound using coded and maximum-length-class sequences
WO2016133366A1 (ko) * 2015-02-17 2016-08-25 한국전자통신연구원 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치
US10225675B2 (en) 2015-02-17 2019-03-05 Electronics And Telecommunications Research Institute Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
US10431227B2 (en) 2013-07-22 2019-10-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US11115770B2 (en) 2013-07-22 2021-09-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi channel audio encoder, methods and computer program using a premix of decorrelator input signals

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393121B (zh) * 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
US8705747B2 (en) * 2005-12-08 2014-04-22 Electronics And Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
KR100773560B1 (ko) * 2006-03-06 2007-11-05 삼성전자주식회사 스테레오 신호 생성 방법 및 장치
KR100763920B1 (ko) * 2006-08-09 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2채널의 바이노럴 신호로 복호화하는 방법 및 장치
KR101464977B1 (ko) * 2007-10-01 2014-11-25 삼성전자주식회사 메모리 관리 방법, 및 멀티 채널 데이터의 복호화 방법 및장치
KR101162275B1 (ko) * 2007-12-31 2012-07-04 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
TWI444989B (zh) 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
RU2573774C2 (ru) 2010-08-25 2016-01-27 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Устройство для декодирования сигнала, содержащего переходные процессы, используя блок объединения и микшер
US10844689B1 (en) 2019-12-19 2020-11-24 Saudi Arabian Oil Company Downhole ultrasonic actuator system for mitigating lost circulation
CN107403624B (zh) 2012-05-18 2021-02-12 杜比实验室特许公司 用于音频信号的动态范围调整及控制的方法和设备
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
MX354832B (es) 2013-10-21 2018-03-21 Dolby Int Ab Estructura de decorrelador para la reconstruccion parametrica de señales de audio.
KR102144332B1 (ko) 2014-07-01 2020-08-13 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치
WO2016003206A1 (ko) * 2014-07-01 2016-01-07 한국전자통신연구원 다채널 오디오 신호 처리 방법 및 장치
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
WO2016163329A1 (ja) * 2015-04-08 2016-10-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107787584B (zh) * 2015-06-17 2020-07-24 三星电子株式会社 处理低复杂度格式转换的内部声道的方法和装置
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10475457B2 (en) * 2017-07-03 2019-11-12 Qualcomm Incorporated Time-domain inter-channel prediction
CN109389984B (zh) 2017-08-10 2021-09-14 华为技术有限公司 时域立体声编解码方法和相关产品
GB201718341D0 (en) * 2017-11-06 2017-12-20 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB2572650A (en) 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649029A (en) 1991-03-15 1997-07-15 Galbi; David E. MPEG audio/video decoder
ES2165370T3 (es) 1993-06-22 2002-03-16 Thomson Brandt Gmbh Metodo para obtener una matriz decodificadora multicanal.
JP2851804B2 (ja) 1993-12-27 1999-01-27 松下電器産業株式会社 ２次元直交変換装置
KR0162219B1 (ko) 1995-04-28 1999-03-20 김광호 디지탈 오디오신호의 복호화장치
JP3290992B2 (ja) * 1995-05-18 2002-06-10 アクテル・コーポレイション フレキシブルなｆｐｇａ入出力アーキテクチャ
US5781882A (en) 1995-09-14 1998-07-14 Motorola, Inc. Very low bit rate voice messaging system using asymmetric voice compression processing
JP3790550B2 (ja) 1996-02-08 2006-06-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴイ ５チャネル送信及び２チャネル送信に対応可能な７チャネル送信
JPH11225390A (ja) 1998-02-04 1999-08-17 Matsushita Electric Ind Co Ltd マルチチャネルデータ再生方法
KR20010086976A (ko) 2000-03-06 2001-09-15 김규태, 이교식 채널 다운 믹싱 장치
JP4304401B2 (ja) 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
KR20020018730A (ko) 2000-09-04 2002-03-09 박종섭 멀티채널 비디오/오디오 신호의 저장 및 재생장치
US6934825B1 (en) 2000-09-21 2005-08-23 International Business Machines Corporation Bi-directional stack in a linear memory array
US7660424B2 (en) 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
JP2002318598A (ja) 2001-04-20 2002-10-31 Toshiba Corp 情報再生装置、情報再生方法、情報記録媒体、情報記録装置、情報記録方法、および情報記録プログラム
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2003102100A (ja) * 2001-09-20 2003-04-04 Pioneer Electronic Corp デジタル音響再生装置、音響装置、および音響再生システム
TW569551B (en) 2001-09-25 2004-01-01 Roger Wallace Dressler Method and apparatus for multichannel logic matrix decoding
ES2341327T3 (es) 2002-04-10 2010-06-18 Koninklijke Philips Electronics N.V. Codificacion y decodificacion de señales audio multicanal.
US8498422B2 (en) 2002-04-22 2013-07-30 Koninklijke Philips N.V. Parametric multi-channel audio representation
JP4322207B2 (ja) 2002-07-12 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化方法
US7502743B2 (en) 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP2004194100A (ja) 2002-12-12 2004-07-08 Renesas Technology Corp オーディオ復号再生装置
JP2004312484A (ja) 2003-04-09 2004-11-04 Sony Corp 音響変換装置および音響変換方法
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
KR20050038096A (ko) 2003-10-21 2005-04-27 주식회사 우주통신 다중 엠펙 영상 압축 장치와 이를 위한 프레임 버퍼 제어기
US7970144B1 (en) 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
JP4123376B2 (ja) 2004-04-27 2008-07-23 ソニー株式会社 信号処理装置およびバイノーラル再生方法
KR100644617B1 (ko) 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
KR100663729B1 (ko) 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
RU2391714C2 (ru) 2004-07-14 2010-06-10 Конинклейке Филипс Электроникс Н.В. Преобразование аудиоканалов
US7356152B2 (en) * 2004-08-23 2008-04-08 Dolby Laboratories Licensing Corporation Method for expanding an audio mix to fill all available output channels
SE0402649D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1810279B1 (en) * 2004-11-04 2013-12-11 Koninklijke Philips N.V. Encoding and decoding of multi-channel audio signals
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
KR20060109296A (ko) 2005-04-14 2006-10-19 엘지전자 주식회사 멀티채널 오디오 신호에 대한 서브밴드별 공간 정보의 변동기준채널 적용방법
WO2006108543A1 (en) * 2005-04-15 2006-10-19 Coding Technologies Ab Temporal envelope shaping of decorrelated signal
KR20070005469A (ko) 2005-07-05 2007-01-10 엘지전자 주식회사 다채널 오디오 신호의 디코딩 장치 및 디코딩 방법
WO2007007263A2 (en) 2005-07-14 2007-01-18 Koninklijke Philips Electronics N.V. Audio encoding and decoding
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
US7706905B2 (en) 2005-07-29 2010-04-27 Lg Electronics Inc. Method for processing audio signal
US7962340B2 (en) 2005-08-22 2011-06-14 Nuance Communications, Inc. Methods and apparatus for buffering data for use in accordance with a speech recognition system
KR101169280B1 (ko) 2005-08-30 2012-08-02 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7761303B2 (en) 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
KR20070035411A (ko) 2005-09-27 2007-03-30 엘지전자 주식회사 멀티 채널 오디오 신호의 공간 정보 부호화/복호화 방법 및장치
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR100803212B1 (ko) 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
KR101218776B1 (ko) 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
JP4940671B2 (ja) 2006-01-26 2012-05-30 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法及びオーディオ信号処理プログラム
FR2899423A1 (fr) 2006-03-28 2007-10-05 France Telecom Procede et dispositif de spatialisation sonore binaurale efficace dans le domaine transforme.
US7965848B2 (en) 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
KR100763919B1 (ko) 2006-08-03 2007-10-05 삼성전자주식회사 멀티채널 신호를 모노 또는 스테레오 신호로 압축한 입력신호를 2 채널의 바이노럴 신호로 복호화하는 방법 및 장치
JP4435146B2 (ja) 2006-12-28 2010-03-17 株式会社東芝 通信装置
AU2007201109B2 (en) 2007-03-14 2010-11-04 Tyco Electronics Services Gmbh Electrical Connector
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100841329B1 (ko) * 2006-03-06 2008-06-25 엘지전자 주식회사 신호 디코딩 방법 및 장치
KR100873136B1 (ko) * 2006-03-06 2008-12-09 엘지전자 주식회사 신호 디코딩 방법 및 장치
WO2011094675A2 (en) * 2010-02-01 2011-08-04 Rensselaer Polytechnic Institute Decorrelating audio signals for stereophonic and surround sound using coded and maximum-length-class sequences
WO2011094675A3 (en) * 2010-02-01 2011-12-15 Rensselaer Polytechnic Institute Decorrelating audio signals for stereophonic and surround sound using coded and maximum-length-class sequences
US9025776B2 (en) 2010-02-01 2015-05-05 Rensselaer Polytechnic Institute Decorrelating audio signals for stereophonic and surround sound using coded and maximum-length-class sequences
US11115770B2 (en) 2013-07-22 2021-09-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi channel audio encoder, methods and computer program using a premix of decorrelator input signals
US10431227B2 (en) 2013-07-22 2019-10-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US11240619B2 (en) 2013-07-22 2022-02-01 Fraunhofer-Gesellschaft zur Foerderang der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US11252523B2 (en) 2013-07-22 2022-02-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US11381925B2 (en) 2013-07-22 2022-07-05 Fraunhofer-Gesellschaft zur Foerderang der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
US10225675B2 (en) 2015-02-17 2019-03-05 Electronics And Telecommunications Research Institute Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
US10638243B2 (en) 2015-02-17 2020-04-28 Electronics And Telecommunications Research Institute Multichannel signal processing method, and multichannel signal processing apparatus for performing the method
WO2016133366A1 (ko) * 2015-02-17 2016-08-25 한국전자통신연구원 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치

Also Published As

Publication number Publication date
US9706325B2 (en) 2017-07-11
JP5563647B2 (ja) 2014-07-30
KR101218777B1 (ko) 2013-01-21
JP2013033299A (ja) 2013-02-14
US9369164B2 (en) 2016-06-14
US20160302021A1 (en) 2016-10-13
EP1977417A1 (en) 2008-10-08
WO2007081166A1 (en) 2007-07-19
JP5437638B2 (ja) 2014-03-12
EP2541546A1 (en) 2013-01-02
US20070189426A1 (en) 2007-08-16
JP2009523259A (ja) 2009-06-18
EP1977417A4 (en) 2010-02-03
KR20120099191A (ko) 2012-09-07
KR101218776B1 (ko) 2013-01-18
EP1977417B1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
KR101218777B1 (ko) 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
KR101058041B1 (ko) 스케일러블 채널 복호화 방법 및 장치
KR100888474B1 (ko) 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
KR101044948B1 (ko) 스테레오 신호 생성 방법 및 장치
EP2122612B1 (en) A method and an apparatus for processing an audio signal
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
EP2372701B1 (en) Enhanced coding and parameter representation of multichannel downmixed object coding
RU2659497C2 (ru) Управляемое модулем рендеринга пространственное повышающее микширование
RU2010152580A (ru) Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер
KR20100095541A (ko) 오디오 신호 처리 방법 및 장치
RU2696952C2 (ru) Аудиокодировщик и декодер
JP2024503186A (ja) マルチチャネル・コーデックにおける空間ノイズ充填

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 8