KR102657547B1 - 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 - Google Patents
저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR102657547B1 KR102657547B1 KR1020177033556A KR20177033556A KR102657547B1 KR 102657547 B1 KR102657547 B1 KR 102657547B1 KR 1020177033556 A KR1020177033556 A KR 1020177033556A KR 20177033556 A KR20177033556 A KR 20177033556A KR 102657547 B1 KR102657547 B1 KR 102657547B1
- Authority
- KR
- South Korea
- Prior art keywords
- internal channel
- channel
- output
- cpe
- stereo
- Prior art date
Links
- 238000006243 chemical reaction Methods 0.000 title description 27
- 238000003672 processing method Methods 0.000 title description 10
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000005236 sound signal Effects 0.000 claims abstract description 34
- 238000009877 rendering Methods 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims description 5
- 230000010076 replication Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 229920006235 chlorinated polyethylene elastomer Polymers 0.000 description 5
- 238000000136 cloud-point extraction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011965 cell line development Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/002—Dynamic bit allocation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
Abstract
본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.
Description
본 발명은 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치에 대한 것으로, 보다 상세하게는, 스테레오 출력 레이아웃 환경에서 입력 채널들에 대한 인터널 채널 처리를 수행함으로써 포맷 변환기의 입력 채널 개수를 감소시켜 포맷 변환기에서 수행되는 공분산 연산 횟수를 감소시키는 방법 및 장치에 대한 발명이다.
MPEG-H 3D 오디오는 다양한 종류의 신호를 처리할 수 있으며, 입출력 형태의 제어가 용이하여 차세대 오디오 신호 처리를 위한 해결책으로 기능한다. 또한, 기기의 소형화 경향 및 시대의 흐름에 따라 오디오 재생 환경은 스테레오 재생 환경의 모바일 기기를 통해 재생되는 비율이 높아지고 있다.
22.2 채널 등 다채널로 구현되는 실감 오디오(immersive audio) 신호가 스테레오 재생 시스템으로 전달되는 경우, 모든 입력 채널이 디코딩되어야 하며 실감 오디오 신호를 다운믹스하여 스테레오 포맷으로 변환해야 한다.
입력 채널의 개수가 증가할수록, 또한 출력 채널의 개수가 감소할수록 이와 같은 과정에서 공분산 분석 및 위상 정합을 위해 필요한 디코더의 복잡도는 증가한다. 이와 같은 복잡도의 증가는 모바일 기기에서 연산 속도뿐 아니라 배터리 소모에도 큰 영향을 미치게 된다.
상술한 바와 같이, 실감 음향을 제공하기 위하여 입력 채널의 개수는 증가하는 반면 휴대성을 위하여 출력 채널의 개수는 감소하는 환경에서, 디코딩시 포맷 변환을 위한 복잡도가 문제된다.
본 발명은 전술한 종래 기술의 문제점을 해결하며, 디코더에서 포맷 변환의 복잡도를 감소시키는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 수신된 오디오 비트스트림을, MPS212 페이로드에 포함된 CLD(Channel Level Difference)에 기초하여, 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하는 단계; 및 업믹싱된 비트스트림을, 렌더링 파라미터들에 기초하여, 스케일링하는 단계; 및 스케일링된 비트스트림을 믹싱하는 단계;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정하는 단계를 더 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성 여부는, 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고, 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect)채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력된다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호는 실감 오디오(immersive audio) 신호이다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호를 생성하는 단계는, 인터널 채널 게인을 계산하는 단계; 및 인터널 채널 게인을 적용하는 단계;를 더 포함한다.
상기 기술적 과제를 해결하기 위한 오디오 신호를 처리하는 장치는, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 수신부; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 인터널 채널 생성부; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성부는, 수신된 오디오 비트스트림을, MPS212 페이로드에포함된 CLD(Channel Level Difference)에 기초하여, 하나의 CPE에 포함된 채널 쌍에 대한 신호로 업믹싱하고, 업믹싱된 비트스트림을, 렌더링 파라미터들에 기초하여, 스케일링하고, 스케일링된 비트스트림을 믹싱한다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 생성부는, 하나의 CPE에 대한 인터널 채널 신호 생성 여부를 결정한다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고, 하나의 CPE에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력된다.
본 발명의 또 다른 실시예에 따르면, 하나의 CPE에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect)채널 그룹에 포함되는 경우, 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력된다.
본 발명의 또 다른 실시예에 따르면, 오디오 신호는 실감 오디오(immersive audio) 신호이다.
본 발명의 또 다른 실시예에 따르면, 인터널 채널 신호 생성부는, 인터널 채널 게인을 계산하고, 인터널 채널 게인을 적용한다.
한편, 본 발명의 일 실시예에 따르면, 전술한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 인터널 채널을 이용함으로써 포맷 변환기(format converter)에 입력되는 채널의 숫자를 감소시켜, 포맷 변환기의 복잡도를 감소시킬 수 있다. 보다 구체적으로, 포맷 변환기에 입력되는 채널의 숫자가 감소됨으로써 포맷 변환기에서 수행되는 공분산 분석이 간소화되어 복잡도가 감소되는 효과가 있다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13 개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 일 실시예를 나타낸다.
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
도 6 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, 모노 SBR 디코딩 후 MPS 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 7 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, MPS디코딩 후 스테레오 SBR 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 8 은 본 발명의 일 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 9 는 본 발명의 또 다른 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 10a 는 첫번째 포락선의 시작 경계들이 서로 같고, 마지막 포락선의 종료 경계들이 서로 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10b 는 첫번째 포락선의 시작 경계들은 서로 다르고, 마지막 포락선의 종료 경계들은 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10c 는 첫번째 포락선의 시작 경계들은 서로 같고, 마지막 포락선의 종료 경계들은 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10d 는 첫번째 포락선의 시작 경계들이 서로 다르고, 마지막 포락선의 종료 경계들이 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, ICGConfig의 신택스를 나타낸다.
표 8 은 본 발명의 일 실시예에 따른, mpegh3daExtElementConfig()의 신택스를 나타낸다.
표 9 는 본 발명의 일 실시예에 따른, usacExtElementType를 나타낸다.
표 10 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
표 11 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
표 12 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
표 13 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
표 14 는 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 15는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
표 16 은 본 발명의 일 실시예에 따른, 채널 구성 요소 및 재생 레이아웃에 기초하여 결정되는 MPS와 SBR의 디코딩 시나리오를 나타낸다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13 개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 일 실시예를 나타낸다.
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
도 6 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, 모노 SBR 디코딩 후 MPS 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 7 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, MPS디코딩 후 스테레오 SBR 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
도 8 은 본 발명의 일 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 9 는 본 발명의 또 다른 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 10a 는 첫번째 포락선의 시작 경계들이 서로 같고, 마지막 포락선의 종료 경계들이 서로 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10b 는 첫번째 포락선의 시작 경계들은 서로 다르고, 마지막 포락선의 종료 경계들은 같은 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10c 는 첫번째 포락선의 시작 경계들은 서로 같고, 마지막 포락선의 종료 경계들은 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
도 10d 는 첫번째 포락선의 시작 경계들이 서로 다르고, 마지막 포락선의 종료 경계들이 서로 다른 경우의 시간 포락선 그리드를 결정하는 일 실시예를 나타낸다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, ICGConfig의 신택스를 나타낸다.
표 8 은 본 발명의 일 실시예에 따른, mpegh3daExtElementConfig()의 신택스를 나타낸다.
표 9 는 본 발명의 일 실시예에 따른, usacExtElementType를 나타낸다.
표 10 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
표 11 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
표 12 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
표 13 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
표 14 는 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 15는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
표 16 은 본 발명의 일 실시예에 따른, 채널 구성 요소 및 재생 레이아웃에 기초하여 결정되는 MPS와 SBR의 디코딩 시나리오를 나타낸다.
발명의 실시를 위한 최선의 형태
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 오디오 신호를 처리하는 방법은, MPS212(MPEG Surroud 212)를 이용하여 인코딩 된 오디오 비트스트림을 수신하는 단계; 수신된 오디오 비트스트림 및 포맷 변환기에 정의된 MPS212 출력 채널들에 대한 렌더링 파라미터 중 EQ(Equalization) 값들 및 게인 값들에 기초하여, 하나의 CPE(Channel Pair Element)에 대한 인터널 채널 신호를 생성하는 단계; 및 생성된 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함한다.
발명의 실시를 위한 형태
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.
예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서 사용되는 용어의 정의는 다음과 같다.
인터널 채널(IC, Internal Channel)은, MPS212(MPEG Surround stereo) 업믹싱과 포맷 변환기(FC, Format Converter) 다운믹싱에서 발생하는 불필요한 연산을 제거하기 위해, 포맷 변환 과정에서 사용되는 가상의 중간단계(intermediate) 채널로, 스테레오 출력을 고려한다.
인터널 채널 신호(internal channel signal)는, 스테레오 신호를 제공하기 위하여 포맷 변환기에서 믹싱되는 모노신호로, 인터널 채널 게인을 이용하여 생성된다.
인터널 채널 처리(internal channel processing)는, MPS212 디코딩 블록에 기초하여 인터널 채널 신호를 생성하는 처리를 의미하며, 인터널 채널 처리 블록에서 수행된다.
인터널 채널 게인(ICG, Internal Channel Gain)은, CLD(Channel Level Difference) 값과 포맷 변환 파라미터들로부터 계산되는, 인터널 채널 신호에 적용되는 게인을 의미한다.
인터널 채널 그룹(internal channel group)은, 코어 코덱(core codec) 출력 채널 위치에 기초하여 결정되는 인터널 채널의 타입을 의미하며 코어 코덱 출력 채널 위치 및 인터널 채널 그룹은 표 4에 정의되어 있다(후술함).
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1 은 24개의 입력 채널을 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
멀티 채널 입력의 비트스트림이 디코더로 전달되면, 디코더에서는 입력 채널 레이아웃이 재생 시스템의 출력 채널 레이아웃에 맞게 다운믹싱된다. 예를 들어, 도 1 과 같이 MPEG 표준을 따르는 22.2 채널 입력 신호가 스테레오 채널 출력 시스템으로 재생될 때, 디코더에 포함되는 포맷 변환기(130)는 포맷 변환기 내부에 규정된 포맷 변환기 규칙에 따라 24 개의 입력 채널 레이아웃을 2 개의 출력 채널 레이아웃으로 다운믹싱한다.
이 때, 디코더에 입력되는 22.2 채널 입력 신호는 하나의 CPE(Channel Pair Element)에 포함되는 두개의 채널에 대한 신호들이 다운믹스된 CPE 비트스트림(110)들을 포함한다. CPE 비트스트림은 MPS212(MPEG Surround based stereo)를 이용해 인코딩되어 있으므로, 수신된 CPE 비트스트림은 MPS212(120)를 이용해 디코딩된다. 이 때, LFE채널, 즉 우퍼채널은 CPE로 구성되지 않는다. 따라서, 22.2 채널 입력이라면 디코더 입력 신호는11개의 CPE에 대한 비트스트림과 두개의 우퍼채널에 대한 비트스트림으로 구성된다.
22.2 채널 입력 신호를 구성하는 CPE 비트스트림들에 대한 MPS212 디코딩이 수행되면, 각각의 CPE에 대한 두개의 MPS212 출력 채널(121, 122)이 생성되며, MPS212를 이용해 디코딩 된 출력 채널(121, 122)들은 포맷 변환기의 입력 채널이 된다. 도 1 과 같은 경우 포맷 변환기의 입력 채널 개수 Nin은 우퍼채널을 포함하여 24가 된다. 따라서, 포맷 변환기에서는 24*2 다운믹싱이 수행되어야 한다.
포맷 변환기에서는, 멀티 채널 신호들 사이의 위상 차이에 의한 음색 왜곡(timbral distortion)을 방지하기 위해, 공분산 분석(covariance analysis)에 따른 위상 정합(phase alignment)이 수행된다. 이 때, 공분산 매트릭스는 NinⅩNin 차원을 가지므로, 공분산 매트릭스를 분석하기 위해서는 이론적으로 (NinⅩ(Nin-1)/2+Nin)Ⅹ71bandⅩ2Ⅹ16Ⅹ(48000/2048)번의 복소수 곱셈이 수행되어야 한다.
입력 채널의 개수 Nin이 24인 경우, 한번의 복소수 곱셈을 위해서는 네번의 연산이 수행되어야 하며 대략 64 MOPS(Million Operations Per Second)의 성능이 요구된다.
표 1 은 22.2 채널 실감 오디오(immersive audio) 신호를 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 1 의 믹싱 매트릭스에서 가로축(140)과 세로축(150)은 24개의 입력 채널에 대해 번호를 매긴 것으로 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다. 표 1 에 개시된 실시예에서 믹싱 매트릭스의 각 요소(element)가 1의 값을 갖는 경우(160)는 공분산 분석이 필요하지만, 0의 값을 갖는 경우(170)는 공분산 분석이 생략될 수 있다.
예를 들어, CM_M_L030 및 CH_M_R030 채널과 같이 스테레오 출력 레이아웃으로의 포맷 변환 과정에서 서로 믹싱되지 않은 입력 채널들의 경우, 믹싱 매트릭스에서 해당 요소의 값이 0이 되며 서로 믹싱되지 않는 CM_M_L030 및 CH_M_R030채널 상호간의 공분산 분석 과정이 생략될 수 있다.
따라서 24*24번의 공분산 분석 중 서로 믹싱되지 않는 입력 채널들에 대한 128번의 공분산 분석을 제외할 수 있다.
또한, 믹싱 매트릭스는 입력 채널에 따라 대칭으로 구성되므로, 표 1 에서
대각선을 기준으로 하단(190)과 상단(180)을 나누어, 하단에 해당하는 영역은 공분산 분석을 생략할 수 있다. 또한 대각선의 상단에 해당하는 영역 중 굵은 글씨로 기재된 부분에 대해서만 공분산 분석이 수행되므로, 최종적으로 236번의 공분산 분석이 수행된다.
이와 같이 믹싱 매트릭스의 값이 0인 경우(서로 믹싱되지 않는 채널들) 및 믹싱 매트릭스의 대칭성을 이용해 불필요한 공분산 분석 과정을 제거하면 공분산 분석은 236Ⅹ71bandⅩ2Ⅹ16Ⅹ (48000/2048)번의 복소수 곱셈이 수행되어야 한다.
따라서, 이와 같은 경우 50 MOPS가 요구되므로 모든 믹싱 매트릭스에 대하여 공분산 분석을 수행하는 경우에 비해 공분산 분석에 의한 시스템 부하가 개선되는 효과가 있다.
도 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 13개의 인터널 채널을 이용하여 스테레오 출력 채널로 포맷 변환하는 디코딩 구조에 대한 일 실시예를 나타낸다.
한편 MPEG-H 3D 오디오는 제한된 전송 환경에서 멀티채널 오디오 신호를 보다 효율적으로 전달하기 위해 CPE를 이용한다. 하나의 채널 쌍에 해당하는 두 개의 채널들이 스테레오 레이아웃으로 믹싱되는 경우, 채널간 상관도(ICC, Inter Channel Correlation) ICC=1로 설정되어 역상관기(decorrelator)가 적용되지 않으므로 두 개의 채널은 서로 같은 위상 정보를 갖는다.
즉, 스테레오 출력을 고려하여 각각의 CPE에 포함되는 채널쌍을 결정하면, 업믹스된 채널쌍들은 서로 같은 패닝 계수를 갖게 된다(후술함).
하나의 인터널 채널은 하나의 CPE에 포함되는 두 개의 동위상(in-phase) 채널이 믹싱되어 생성된다. 하나의 인터널 채널 신호는 인터널 채널에 포함되는 두개의 입력 채널이, 스테레오 출력 채널로 변환되는 경우의 포맷 변환기 변환 규칙에 따른 믹싱 게인과 EQ(Equalization) 값에 기초하여 다운믹싱된다. 이 때 하나의 CPE에 포함되는 채널쌍은 서로 동위상 채널이므로 다운믹싱 후 채널간 위상을 정합하는 과정이 필요하지 않다.
MPS212 업믹서의 스테레오 출력 신호들은 위상차이가 없지만, 도 1 에 개시된 실시예에서는 이를 고려하지 않으므로 복잡도가 불필요하게 증가하게 된다. 재생 레이아웃이 스테레오인 경우, 포맷 변환기의 입력으로 업믹스된 CPE 채널 쌍 대신 하나의 인터널 채널을 이용함으로써, 포맷 변환기의 입력 채널 개수를 줄일 수 있다.
도 2 에 개시된 실시예에서는, CPE 비트스트림(210)을 MPS212 업믹싱하여 두개의 채널을 생성하는 과정 대신, CPE 비트스트림를 인터널 채널 처리(220)하여 하나의 인터널 채널(221)을 생성한다. 이 때, 우퍼 채널은 CPE로 구성되지 않으므로 각각의 우퍼채널 신호가 인터널 채널 신호가 된다.
도 2에 개시된 실시예에서 22.2 채널인 경우를 가정하면 이론적으로 22개의 일반 채널에 대한 11개의 CPE에 대한 인터널 채널과 2개의 우퍼 채널에 대한 인터널 채널을 포함하여 Nin=13개의 인터널 채널이 포맷 변환기의 입력 채널이 된다. 따라서, 포맷 변환기에서는 13*2 다운믹싱이 수행된다.
이와 같이 스테레오 재생 레이아웃인 경우, 인터널 채널을 이용함으로써 MPS212를 통해 업믹싱하고, 포맷 변환을 통해 다시 다운믹싱하는 과정에서 발생하는 불필요한 과정을 추가적으로 제거함으로써 디코더의 복잡도를 보다 더 감소시킬 수 있다.
하나의 CPE에 대한 두 개의 출력 채널 i, j 에 대한 믹싱 매트릭스 
값이 1인 경우 채널간 상관도(ICC, Inter Channel Correlation) 
로 설정되며, 역상관기(decorrelation) 및 잔여(residual) 처리 단계는 생략될 수 있다.
인터널 채널은 포맷 변환기의 입력에 해당하는 가상의 중간단계 채널로 정의된다. 도 2 에 도시된 것과 같이 각각의 인터널 채널 처리 블록(220)은 CLD와 같은 MPS212 페이로드 및 EQ, 게인값과 같은 렌더링 파라미터들을 이용하여 인터널 채널 신호를 생성한다. 이 때, EQ 및 게인값들은 포맷 변환기의 변환 규칙 테이블에 정의된, MPS212 블록의 출력 채널에 대한 렌더링 파라미터를 의미한다.
표 2 는 22.2 채널 실감 오디오(immersive audio) 신호를 인터널 채널을 스테레오 신호로 렌더링하는 포맷 변환기의 믹싱 매트릭스의 일 실시예를 나타낸다.
표 1 과 마찬가지로, 표 2 의 믹싱 매트릭스에서 가로축과 세로축은 입력 채널의 인덱스를 의미하며 공분산 분석에서 그 순서는 큰 의미를 가지지 않는다.
상술한 바와 같이, 믹싱 매트릭스는 대각선을 기준으로 대칭 성질을 가지므로, 표 2 에 개시된 믹싱 매트릭스 역시 대각선을 기준으로 상단 혹은 하단의 구성을 선택함으로써 일부에 대한 공분산 분석을 생략할 수 있다. 또한, 스테레오 출력 채널 레이아웃으로 포맷 변환 과정에서 믹싱되지 않는 입력 채널들에 대해서 역시 공분산 분석을 생략할 수 있다.
그러나 표 1 에 개시된 실시예와 달리 표 2 에 개시된 실시예에서는 22개의 일반 채널로 구성되는 11개의 인터널 채널 및 2개의 우퍼 채널을 포함하는 13개의 채널이 스테레오 출력 채널로 다운믹싱되며, 포맷 변환기의 입력 채널 개수 Nin은 13이 된다.
그 결과, 표 2 와 같이 인터널 채널을 이용하는 경우의 실시예에서는, 75번의 공분산 분석이 수행되며 이론적으로 19MOPS가 요구되므로 인터널 채널을 이용하지 않는 경우와 비교해 공분산 분석에 의한 포맷 변환기의 부하를 크게 감소시킬 수 있다.
포맷 변환기는, 다운믹싱을 위한 다운믹스 매트릭스 
가 정의되어 있으며, 믹싱 매트릭스 
는 다음과 같이 
를 이용하여 계산된다.
각 OTT 디코딩 블록은 채널 번호 i 및 j에 해당하는 두 개의 채널을 출력하며, 믹싱 매트릭스 
가 1인 경우는 
로 설정되어 업믹스 매트릭스 
의 
와 
가 계산되므로 역상관기를 사용하지 않는다.
표 3 은 본 발명의 일 실시예에 따른, 22.2 채널을 인터널 채널로 구성하기 위한 CPE 구조를 나타낸다.
22.2 채널 비트스트림이 표 3 과 같은 구조를 가지면, 13개의 인터널 채널들은 ICH_A 부터 ICH_M까지 정의될 수 있으며, 13개의 인터널 채널들에 대한 믹싱 매트릭스는 표 2와 같이 결정될 수 있다.
표 3 의 첫번째 열은 입력 채널에 대한 인덱스를 나타내며, 첫번째 행은 입력 채널이 CPE를 구성하는지 여부, 스테레오 채널로의 믹싱 게인 및 인터널 채널 인덱스를 나타낸다.
예를 들어 CM_M_000과 CM_L_000이 하나의 CPE로 구성되는 ICH_A 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인과 우 출력 채널에 적용되는 믹싱 게인은 모두 0.707의 값을 갖는다. 즉, 좌 출력 채널과 우 출력 채널로 업믹싱된 신호는 서로 동일한 크기로 재생된다.
또는, CH_M_L135와 CH_U_L135가 하나의 CPE로 구성되는 ICH_F 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 1, 우 출력 채널에 적용되는 믹싱 게인은 0의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로만 재생되며 우 출력 채널로는 재생되지 않는다.
반대로, CH_M_R135와 CH_U_R135가 하나의 CPE로 구성되는 ICH_J 인터널 채널의 경우, 이 CPE를 스테레오 출력 채널로 업믹싱하기 위해 좌 출력 채널에 적용되는 믹싱 게인은 0, 우 출력 채널에 적용되는 믹싱 게인은 1의 값을 갖는다. 즉, 모든 신호는 좌 출력 채널로는 재생되지 않고 우 출력 채널로만 재생된다.
도 3 은 하나의 CPE로부터 하나의 인터널 채널을 생성하는 장치의 일 실시예를 나타낸다.
하나의 CPE에 대한 인터널 채널은 다운믹스된 모노신호에 CLD와 게인 및 EQ와 같은 QMF 도메인의 포맷 변환 파라미터들을 적용함으로써 유도될 수 있다.
도 3 에 개시된 인터널 채널을 생성하는 장치는, 업믹서(310), 스케일러(320) 및 믹서(330)를 포함한다.
CH_M_000과 CH_L_000의 채널쌍에 대한 신호가 다운믹스된 CPE(340)가 입력되는 경우를 가정하면, 업믹서(310)는 CLD 파라미터를 이용하여 CPE 신호를 업믹싱한다. 업믹서(310)를 통과한 CPE 신호는 CH_M_000에 대한 신호(351)와 CH_L_000에 대한 신호(352)로 업믹스되며, 업믹스된 신호들의 위상 역시 같게 유지되며 포맷 변환기에서 함께 믹스될 수 있다.
업믹스된 CH_M_000 채널 신호 및 CH_L_000 채널 신호 각각은 포맷 변환기에 정의되어 있는 변환 규칙에 해당하는 게인 및 EQ에 의해 각 서브밴드별로 스케일링(320, 321)된다.
CH_M_000과 CH_L_000의 채널 쌍에 대해 각각 스케일링 된 신호들(361, 362)이 생성되면, 믹서(330)는 스케일링 된 신호들(361, 362)을 믹싱하고, 믹싱된 신호를 파워 정규화함으로써 포맷 변환을 위한 중간단계 채널 신호(intermediate channel signal)인 인터널 채널 신호 ICH_A(370)를 생성한다.
이 때, CLD를 이용하여 업믹스되지 않는, SCE(Single Channel Element) 및 우퍼채널 등의 경우, 인터널 채널은 원래의 입력 채널과 동일하다.
인터널 채널을 이용하는 코어 코덱 출력은 하이브리드 QMF(Quadrature Mirror Filter) 도메인에서 수행되므로, ISO IEC23308-3 10.3.5.2의 과정은 처리되지 않는다. 코어 코더의 각 채널을 할당하기 위하여, 표 4 내지 표 6 과 같은 추가적인 채널 할당 규칙 및 다운믹스 규칙이 정의된다.
표 4 는 본 발명의 일 실시예에 따른, 디코더 입력 채널에 대응되는 인터널 채널들의 타입을 나타낸다.
인터널 채널은 코어 코더와 포맷 변환기의 입력채널 사이의 중간단계 채널에 해당하며 우퍼채널, 센터 채널, 좌측 채널 및 우측 채널의 네가지 타입이 있다.
CPE로 표현된 각 타입의 채널 쌍들이 동일한 인터널 채널 타입일 경우, 포맷 변환기에서 동일한 패닝 계수와 믹싱 매트릭스를 가지므로 인터널 채널을 이용할 수 있다. 즉, CPE에 포함된 채널 쌍이 같은 인터널 채널 타입을 갖는 경우 인터널 채널 처리가 가능하며 따라서 CPE를 구성할 때 같은 인터널 채널 타입을 갖는 채널들로 CPE를 구성하도록 할 필요가 있다.
디코더 입력 채널이 우퍼 채널, 즉 CH_LFE1, CH_LFE2 또는 CH_LFE3에 해당하면, 인터널 채널 타입은 우퍼 채널인 CH_I_LFE로 결정된다.
디코더 입력 채널이 센터 채널, 즉 CH_M_000, CH_L_000, CH_U_000, CH_T_000, CH_M_180 또는 CH_U_180에 해당하면, 인터널 채널 타입은 센터 채널인 CH_I_CNTR로 결정된다.
디코더 입력 채널이 좌측 채널, 즉 CH_M_L022, CH_M_L030, CH_M_L045, CH_M_L060, CH_M_L090, CH_M_L110, CH_M_L135, CH_M_L150, CH_L_L045, CH_U_L045, CH_U_L030, CH_U_L045, CH_U_L090, CH_U_L110, CH_U_L135, CH_M_LSCR 또는 CH_M_LSCH에 해당하면, 인터널 채널 타입은 좌측 채널인 CH_I_LEFT로 결정된다.
디코더 입력 채널이 우측 채널, 즉 CH_M_R022, CH_M_R030, CH_M_R045, CH_M_R060, CH_M_R090, CH_M_R110, CH_M_R135, CH_M_R150, CH_L_R045, CH_U_R045, CH_U_R030, CH_U_R045, CH_U_R090, CH_U_R110, CH_U_R135, CH_M_RSCR 또는 CH_M_RSCH에 해당하면, 인터널 채널 타입은 우측 채널인 CH_I_RIGHT로 결정된다.
표 5 는 본 발명의 일 실시예에 따른, 인터널 채널 타입에 따라 추가적으로 정의되는 채널의 위치를 나타낸다.
CH_I_LFE는 우퍼채널로 고도각 0도에 위치하고 CH_I_CNTR 은 고도각 및 방위각이 모두 0도에 위치하는 채널에 해당한다. CH_I_LFET 는 고도각은 0도이고 방위각은 좌측 30도~60도 사이의 섹터에 위치하는 채널에 해당하며, CH_I_RIGHT 는 고도각은 0도이고 방위각은 우측 30도~60도 사이의 섹터에 위치하는 채널에 해당한다.
이 때 새로 정의된 인터널 채널들의 위치는 채널간 상대적 위치가 아닌 기준점에 대한 절대적인 위치이다.
CPE 쌍으로 구성된 QCE(Quadruple Channel Element)의 경우에도 인터널 채널이 적용될 수 있다(후술함).
인터널 채널을 생성하는 구체적인 방법은 두가지로 구현될 수 있다.
첫번째는 MPEG-H 3D 오디오 인코더에서 전처리(pre-processing) 하는 방법이고, 두번째는 MPEG-H 3D 오디오 디코더에서 후처리(post-processing) 하는 방법이다.
인터널 채널이 MPEG에서 이용되는 경우, 표 5 는 ISO/IEC 23008-3 표 90에 새로운 행으로 추가될 수 있다.
표 6 은 본 발명의 일 실시예에 따른, 인터널 채널 타입에 대응되는 포맷 변환기 출력 채널 및 각 출력 채널에 적용될 게인과 EQ 인덱스를 나타낸다.
인터널 채널을 이용하기 위하여, 포맷 변환기에는 표 6 과 같은 추가적인 규칙이 추가되어야 한다.
인터널 채널 신호는 포맷 변환기의 게인 및 EQ 값들을 고려하여 생성된다. 따라서, 표 6에 나타난 것과 같이 게인 값은 1이고, EQ 인덱스는 0인, 추가적인 변환 규칙을 이용하여 인터널 채널 신호를 생성할 수 있다.
인터널 채널 타입이 센터 채널에 해당하는 CH_I_CNTR 채널이거나, 우퍼 채널에 해당하는 CH_I_LFE이면, 출력 채널은 CH_M_L030 및 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 두개의 스테레오 출력 채널을 모두 이용하므로 출력 신호의 파워를 유지하기 위해 각 출력 채널 신호에 1/√2를 곱해야 한다.
인터널 채널 타입이 좌측 채널에 해당하는 CH_I_LEFT이면, 출력 채널은 CH_M_L030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 좌측의 출력 채널만을 이용하므로, CH_M_L030에는 게인 1이 적용되고 CH_M_R030에는 게인 0이 적용된다.
인터널 채널 타입이 우측 채널에 해당하는 CH_I_RIGHT이면, 출력 채널은 CH_M_R030이 된다. 이 때, 게인값은 1로, EQ 인덱스는 0으로 결정되며 우측의 출력 채널만을 이용하므로 CH_M_R030에는 게인 1이 적용되고 CH_M_L030에는 게인 0이 적용된다.
이 때, 인터널 채널과 입력 채널이 동일한 SCE 채널등의 경우, 일반적인 포맷 변환 규칙이 적용된다.
인터널 채널이 MPEG에서 이용되는 경우, 표 6 은 ISO/IEC 23008-3 표 96에 새로운 행으로 추가될 수 있다.
표 7 내지 표 15 는 MPEG에서 인터널 채널을 사용하기 위해 기존 규격이 변경되어야 하는 부분을 나타낸다.
표 7 은 본 발명의 일 실시예에 따른, ICGConfig의 신택스를 나타낸다.
표 7 에 도시된 ICGconfig는, 인터널 채널 처리 블록에서 처리되어야 하는 프로세스의 타입들을 정의한다.
ICGDisabledPresent는 CPE들에 대한 적어도 하나의 인터널 채널 처리가 채널 할당을 이유로 사용되지 않는지(disable) 여부를 나타낸다. 즉, 적어도 하나의 ICGDisabledCPE가 1의 값을 갖는지 여부를 나타내는 인디케이터이다.
ICGDisabledCPE는 CPE들에 대한 각각의 인터널 채널 처리가 채널 할당을 이유로 사용되지 않는지 여부를 나타낸다. 즉, 각각의 CPE가 인터널 채널을 사용하는지 여부를 나타내는 인디케이터이다.
ICGPreAppliedPresent는 적어도 하나의 CPE가 인터널 채널 게인을 고려하여 인코딩 되었는지 여부를 나타낸다.
ICGPreAppliedCPE는 각각의 CPE가 인터널 채널 게인을 고려하여 인코딩 되었는지 여부, 즉 인터널 채널 게인이 인코더에서 전처리되었는지 여부를 나타내는 인디케이터이다.
각각의 CPE에 대하여, ICGAppliedPresent가 1로 설정되어 있으면, ICGPreAppliedCPE의 1비트 플래그인 ICGPreAppliedCPE를 읽는다. 즉, 각각의 CPE에 인터널 채널 게인(ICG, Internal Channel Gain)이 적용되어야 하는지 여부를 확인하고, 적용되어야 한다면 전처리 된 것인지 여부를 확인하여 인코더에서 전처리 되었다면 디코더에서 인터널 채널 게인을 적용하지 않고, 인코더에서 전처리되지 않았다면 디코더에서 인터널 채널 게인을 적용하는 것이다.
실감 오디오 입력 신호가 CPE 또는 QCE를 이용해 MPS212 인코딩 되고 출력 레이아웃이 스트레오이면, 포맷 변환기 입력 채널 개수를 감소시키기 위해 코어 코덱 디코더 내부에서 인터널 채널 신호가 생성된다. 이 때, ICGDisabledCPE 가 1로 설정된 CPE에 대해서는 인터널 채널 신호 생성이 생략된다. 인터널 채널 처리는 디코딩 된 모노 신호에 인터널 채널 게인을 곱하는 과정에 해당하며, 인터널 채널 게인은 CLD와 포맷 변환 파라미터로부터 계산된다.
ICGDisabledCPE[n] 은 n번째 CPE가 인터널 채널 처리가 가능한지 여부를 나타낸다. n번째 CPE 채널 쌍에 포함되는 두 개의 채널이 표 4에 정의된 같은 채널 그룹에 속하는 경우, 해당 CPE는 인터널 채널 처리가 가능하며 ICGDisabledCPE[n]은 0으로 설정된다.
예를 들어, 입력 채널 중 CH_M_L060 과 CH_T_L045가 하나의 CPE로 구성된 경우, 두 채널은 같은 채널 그룹에 속하므로 ICGDisabledCPE[n]는 0으로 설정되며 CH_I_LEFT의 인터널 채널이 생성될 수 있다. 반면, 입력 채널 중 CH_M_L060 and CH_M_000이 하나의 CPE로 구성된 경우, 두 채널은 서로 다른 채널 그룹에 속하므로 ICGDisabledCPE[n]는 1로 설정되며, 인터널 채널 처리가 수행되지 않는다.
CPE 쌍으로 구성된 QCE(Quadruple Channel Element)의 경우, (1) QCE가 하나의 그룹에 속하는 네개의 채널로 구성된 경우 또는 (2) QCE가 하나의 그룹에 속하는 두개의 채널과 또 다른 그룹에 속하는 두개의 채널로 구성된 경우 인터널 채널 처리가 가능하며 ICGDisableCPE[n] 와 ICGDisableCPE[n+1]이 모두 0으로 설정된다.
(1)의 예를 들면, QCE가 CH_M_000, CH_L_000, CH_U_000 및 CH_T_000 네개의 채널로 구성된 경우, 인터널 채널 처리가 가능하며 인터널 채널 타입은 CH_I_CNTR이 된다. (2)의 예를 들면, QCE가 CH_M_L060, CH_U_L045, CH_M_R060 및 CH_U_R045 네 개의 채널로 구성된 경우, 인터널 처리가 가능하며 인터널 채널 타입은 CH_I_LEFT 및 CH_I_RIGHT이 된다.
(1) 또는 (2) 경우를 제외하면, 해당 QCE를 구성하는 CPE 쌍에 대한 ICGDisableCPE[n] 와 ICGDisableCPE[n+1]이 모두 1로 설정되어야 한다.
인터널 채널 게인이 인코더에서 적용되면 인터널 채널 게인이 디코더에서 적용되는 경우와 비교해 디코더에 요구되는 복잡도를 감소시킬 수 있다.
ICGConfig의 ICGPreAppliedCPE[n]는 n번째 CPE가 인코더에서 인터널 채널 게인이 적용되었는지 여부를 나타낸다. 만일 ICGPreAppliedCPE[n]가 참이라면, 디코더의 인터널 채널 처리 블록은 n번째 CPE의 스테레오 재생을 위한 다운믹스 신호 을 바이패스(bypass)한다. 반면, ICGPreAppliedCPE[n]가 거짓이라면, 다운믹스 신호는 디코더의 인터널 채널 처리 블록은 다운믹스 신호에 인터널 채널 게인을 적용한다.
ICGDisableCPE[n]가 1이면 해당 QCE 또는 CPE를 위한 인터널 채널 게인의 계산이 불가능하므로 ICGPreApplied[n]은 0으로 설정된다. CPE 쌍으로 구성되는 QCE에 대해서는, QCE에 포함되는 각각의 CPE에 대한 인덱스 ICGPreApplied[n] 와 ICGPreApplied[n+1]가 같은 값을 가져야 한다.
이하에서는 표 8 내지 표 16 을 이용해 인터널 채널 처리를 위해 변경 또는 추가되어야 하는 비트스트림 구성 및 신택스를 설명한다.
표 8 은 본 발명의 일 실시예에 따른, mpegh3daExtElementConfig()의 신택스를 나타낸다.
표 8 의mpegh3daExtElementConfig()에서의 예시와 같이 Configuration 과정에서 ICGConfig()를 호출하여 각 표 7과 같은 Internal Channel 사용 여부 및 ICG 적용 여부를 획득할 수 있다.
표 9 는 본 발명의 일 실시예에 따른, usacExtElementType를 나타낸다.
표 9 에 나타난 바와같이, usacExtElementType에서는 인터널 채널 처리를 위해 ID_EXT_ELE_ICG가 추가되고, 그 값은 9가 될 수 있다.
표 10 은 본 발명의 일 실시예에 따른, speakerLayoutType을 나타낸다.
인터널 채널 처리를 위해서는 인터널 채널을 위한 스피커 레이아웃 타입 speakerLayoutType 이 정의되어야 한다. 표 10은 의 speakerLayoutType각 값에 대한 의미를 나타낸다.
speakerLayoutType==3인 경우, 라우드 스피커 레이아웃은 LCChannelConfiguration 인덱스의 의미에 의해 시그널링된다. LCChannelConfiguration는 ChannelConfiguration과 동일한 레이아웃을 가지지만, CPE를 이용하는 최적의 인터널 채널 구조를 가능하기 위한 채널 할당 순서(order)를 가진다.
표 11 은 본 발명의 일 실시예에 따른, SpeakerConfig3d()의 신택스를 나타낸다.
상술한 바와 같이 speakerLayoutType==3인 경우, CICPspeakerLayoutIdx와 동일한 레이아웃을 이용하지만 인터널 채널을 위한 최적화된 채널 할당 순서(ordering)에서 차이가 있다.
speakerLayoutType==3이고 출력 레이아웃이 스테레오인 경우, 입력 채널 번호 Nin 는 코어 코덱 이후 인터널 채널의 번호로 변경된다.
표 12 는 본 발명의 일 실시예에 따른, immersiveDownmixFlag를 나타낸다.
인터널 채널을 위한 스피커 레이아웃 타입을 새로 정의함으로써 immersiveDownmixFlag 역시 수정되어야 한다. immersiveDownmixFlag가 1인 경우, 표 12와 같이 speakerLayoutType==3인 경우의 처리를 위한 구문이 추가되어야 한다.
오브젝트 확산(object spreading)은 다음과 같은 요건이 만족되어야 한다.
- 로컬 라우드스피커 설정은 LoudspeakerRendering()에 의해 시그널링되며,
- the speakerLayoutType은 0 또는 3이어야 하며,
- CICPspeakerLayoutIdx는 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18 중 하나의 값을 가진다.
표 13 은 본 발명의 일 실시예에 따른, SAOC3DgetNumChannels()의 신택스를 나타낸다.
SAOC3DgetNumChannels 은 표 13 에 나타난 것처럼 speakerLayoutType==3인 경우를 포함하도록 수정되어야 한다.
표 14 는 본 발명의 일 실시예에 따른, 채널 할당 순서를 나타낸다.
표 14 는 인터널 채널을 위해 새로 정의되는 채널 할당 순서로, 라우드스피커 레이아웃 또는 LCChannelConfiguration에 따른 채널 개수, 순서 및 가능한 인터널 채널 타입을 나타낸다.
표 15는 본 발명의 일 실시예에 따른, mpegh3daChannelPairElementConfig()의 신텍스를 나타낸다.
인터널 채널 처리를 위해, 표 15에 개시된 것과 같이 stereoConfigIndex가 0보다 큰 경우 Mps212Config()처리를 한 후 isInternal Channel Processed()가 처리되도록 mpegh3daChannelPairElementConfig ()가 수정되어야 한다.
도 4 는 본 발명의 일 실시예에 따른, 디코더에서 인터널 채널 신호에 인터널 채널 게인 적용부의 세부 블록도이다.
speakerLayout==3이고, isInternalProcessed가 0이고, 재생 레이아웃이 스테레오인 조건이 만족되어 Internal Channel Gain을 Decoder에서 적용시키는 경우, 도 4 와 같은 인터널 채널 처리 과정이 수행된다.
도 4 에 개시된 인터널 채널 게인 적용부는 인터널 채널 게인 획득부(410) 및 곱셈기(420)를 포함한다.
입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정하면, 해당 CPE에 대한 모노 QMF 서브밴드 샘플들(430)이 입력되면 인터널 채널 게인 획득부(410)는 CLD를 이용하여 인터널 채널 게인을 획득한다. 곱셈기(420)는 획득된 인터널 채널 게인을 수신된 모노 QMF 서브밴드 샘플에 곱해줌으로써 인터널 채널 신호 ICH_A(440)를 획득한다.
인터널 채널 신호는 CPE에 대한 모노 QMF 서브밴드 샘플들에 인터널 채널 게인 
을 곱함으로써 간단히 재구성될 수 있다. 이 때, l은 시간 인덱스 m은 주파수 인덱스를 나타낸다.
인터널 채널 게인 
은 [수학식 1]과 같이 정의된다.
이 때, 
및 
는 CLD의 패닝 계수를, 
및 
는 포맷 변환 규칙에 정의된 게인을, 
및 
는 포맷 변환 규칙에 정의된 EQ의 m번째 밴드의 게인을 의미한다.
도 5 는 본 발명의 일 실시예에 따른, 인코더에서 인터널 채널 게인이 전처리(pre-processed)되는 경우의 디코딩 블록도이다.
speakerLayout==3이고, isInternalProcessed가 1이고, 재생 레이아웃이 스테레오인 조건이 만족되어 Internal Channel Gain이 Encoder에서 적용되어 전달되는 경우, 도 5 와 같은 인터널 채널 처리 과정이 수행된다.
출력 레이아웃이 스테레오인 경우라면, MPEG-H 3D 오디오 인코더에서 CPE에 해당하는 인터널 채널 게인을 미리 처리함으로써 디코더에서 MPS212가 바이패스될 수 있으므로 디코더 복잡도를 더 감소시킬 수 있다.
그러나 출력 레이아웃이 스테레오가 아닌 경우라면 인터널 채널 처리를 수행하지 않으므로, 디코더에서 도 5와 같이 인터널 채널 게인의 역수 
를 곱하고 MPS212 처리하여 원복하는 과정이 필요하다.
도 3 및 도 4와 마찬가지로 입력되는 CPE가 CH_M_000과 CH_L_000의 채널쌍으로 구성되는 경우를 가정한다. 인코더에서 인터널 채널 게인이 전처리된 모노 QMF 서브밴드 샘플들(540)이 입력되면, 디코더는 출력 레이아웃이 스테레오인지 여부를 판단(510)한다.
출력 레이아웃이 스테레오라면, 인터널 채널을 사용하는 경우이므로 인터널 채널 ICH_A(550)에 대한 인터널 채널 신호로 수신된 모노 QMF 서브밴드 샘플들(540)를 출력한다. 반면 출력 레이아웃이 스테레오가 아니라면, 인터널 채널 처리가 인터널 채널을 사용하지 않으므로, 역 인터널 채널 게인(inverse internal channel gain)처리(520)를 수행하여 인터널 채널 처리된 신호를 원복(560)하고, 원복된 신호를 MPS212 업믹싱(530)하여 CH_M_000(571) 및 CH_L_000(572) 각각에 대한 신호를 출력한다.
포맷 변환기의 공분산 분석에 의한 부하가 문제되는 경우는 입력 채널의 개수에 비해 많고 출력 채널의 개수가 적은 경우로, MPEG-H 오디오에서 출력 레이아웃이 스테레오인 경우 가장 큰 디코딩 복잡도를 갖는다.
반면 스테레오가 아닌 다른 출력 레이아웃인 경우 인터널 채널 게인의 역수를 곱하기 위해 추가되는 연산량은, 프레임당 두 세트의 CLD인 경우를 가정하면 (곱셈 5번, 덧셈 2번, 나눗셈 1번, 제곱근 1번 
55 연산)Ⅹ(71밴드)Ⅹ (2 파라미터 세트)Ⅹ(48000/2048)Ⅹ(13 인터널 채널)로, 대략 2.4 MOPS가 되며 시스템에 큰 부하로 작용하지 않는다.
인터널 채널이 생성된 후, 인터널 채널의 QMF 서브밴드 샘플들, 인터널 채널들의 개수 및 각 인터널 채널들의 타입은 포맷 변환기로 전달되며, 인터널 채널들의 개수는 포맷 변환기에서 공분산 매트릭스의 크기를 결정한다.
표 16 은 본 발명의 일 실시예에 따른, 채널 구성 요소 및 재생 레이아웃에 기초하여 결정되는 MPS와 SBR의 디코딩 시나리오를 나타낸다.
MPS는 최소의 채널(모노 또는 스테레오)로 합쳐진 다운믹스와 멀티채널 오디오 신호에 대한 인간의 지각 특성을 나타내는 공간 단서(spatial cue)파라미터들로 구성된 부가 정보(ancillary data)를 이용하여 멀티 채널 오디오 신호를 인코딩하는 기술이다.
MPS 인코더는 N개의 멀티채널 오디오 신호를 입력받아 부가정보로서 양이 효과에 바탕을 둔 두 귀 사이의 소리 크기 차이 및 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 추출한다. 추출된 공간 파라미터는 매우 작은 정보량(채널당 4kbps 이내)이므로, 모노 또는 스테레오 오디오 서비스만 제공할 수 있는 대역폭에서도 고품질의 멀티채널 오디오를 제공할 수 있다.
또한 MPS 인코더는 입력된 멀티 채널 입력 신호로부터 다운믹스 신호를 생성하며, 생성된 다운믹스 신호는 오디오 입축 기술인 MPEG USAC 등으로 부호화되어 공간 파라미터와 함께 전송된다.
이 때 부호화기에 입력된 N개의 멀티 채널 신호는 분석 필터 뱅크(analysis filter bank)에 의해 주파수 밴드로 분해된다. 주파수 영역을 서브밴드로 분할하는 대표적인 방법은 DFT(Discrete Fourier Transform)이나 QMF(Quadrature Mirror Filter)를 이용하는 것인데, MPEG 서라운드에서는 보다 낮은 복잡도로 이를 수행하기 위하여 QMF 필터를 사용한다. QMF 필터를 사용하는 경우, SBR(Spectral Band Replication)과의 호환성이 보장되어 보다 효율적인 부호화를 수행할 수 있다.
SBR은 사람이 상대적으로 감지하기 힘든 대역인 고주파 대역에 저주파 대역을 복사하여 붙여넣고 고주파 대역 신호에 대한 정보는 파라미터화 하여 전송하는 기술로, 낮은 비트레이트로 넓은 대역폭을 구현할 수 있다. 압축율이 높고 비트레이트는 낮은 코덱에서 주로 사용되며 고주파 대역의 일부 정보가 소실되므로 고조파(harmonics)를 표현하기 어렵지만, 가청 주파수 내에서는 높은 복원율을 갖는다.
인터널 채널 처리에 적용되는 SBR은 처리되는 도메인에 대한 차이를 제외하고 ISO/IEC 23003-3:2012와 동일하다. ISO/IEC 23003-3:2012의 SBR은 QMF 도메인에서 정의되지만 인터널 채널은 하이브리드 QMF 도메인에서 처리된다. 따라서, QMF 도메인의 인덱스 개수가 k라면 인터널 채널에 대한 전체 SBR 처리를 위한 주파수 인덱스 개수는 k+7이 된다.
CPE가 스테레오 재생 레이아웃으로 출력되는 경우로, 모노 SBR 디코딩 후 MPS 디코딩하는 디코딩 시나리오에 대한 실시예는 도 6 에서 개시된다.
CPE가 스테레오 재생 레이아웃으로 출력되는 경우로, MPS 디코딩 후 스테레오 SBR 디코딩하는 디코딩 시나리오에 대한 실시예는 도 7 에서 개시된다.
QCE가 스테레오 재생 레이아웃으로 출력되는 경우로, CPE 쌍에 대하여 각각 MPS 디코딩 후, 디코딩 된 신호들에 대하여 각각 스테레오 SBR 디코딩하는 시나리오에 대한 실시예는 도 8 및 도 9에서 개시된다.
CPE 또는 QCE가 출력되는 재생 레이아웃이 스테레오가 아닌 경우는 MPS 디코딩과 SBR 디코딩 순서는 상관없다.
디코더에서 처리되는, MPS212로 인코딩 된 CPE 신호들에 대한 정의는 다음과 같다.
cplx_out_dmx[] 복소수 예측(complex prediction) 스테레오 디코딩 된 CPE 다운믹스 신호
cplx_out_dmx_preICG[] 하이브리드 QMF 도메인에서 복소수 예측 스테레오 디코딩 및 하이브리드 QMF 분석 필터뱅크 디코딩을 하여, ICG가 인코더에서 이미 적용된 모노 신호
cplx_out_dmx_postICG[] 하이브리드 QMF 도메인에서 복소수 예측 스테레오 디코딩 및 인터널 채널 처리를 한, ICG가 디코더에서 적용되는 모노 신호
cplx_out_dmx_ICG[] 하이브리드 QMF 도메인의 전대역(fullband) 인터널 채널 신호
디코더에서 처리되는, MPS212로 인코딩 된 QCE 신호들에 대한 정의는 다음과 같다.
cplx_out_dmx_L[] 복소수 예측 스테레오 디코딩 된 제 1 CPE의 제 1 채널 신호
cplx_out_dmx_R[] 복소수 예측 스테레오 디코딩 된 제 1 CPE의 제 2 채널 신호
cplx_out_dmx_L_preICG[] 하이브리드 QMF 도메인의 제 1 ICG 선적용(pre-applied) 인터널 채널 신호
cplx_out_dmx_R_preICG[] 하 이브리드 QMF 도메인의 제 2 ICG 선적용 인터널 채널 신호
cplx_out_dmx_L_postICG[] 하이브리드 QMF 도메인의 제 1 ICG 후적용(post-applied) 인터널 채널 신호
cplx_out_dmx_R_postICG[] 하이브리드 QMF 도메인의 제 2 ICG 후적용 인터널 채널 신호
cplx_out_dmx_L_ICG_SBR 22.2-to-2 포맷 변환을 위한 다운믹스된 파라미터들과 SBR에 의해 생성된 고주파 요소(component)를 포함하는, 제 1 전대역 디코딩된 인터널 채널 신호
cplx_out_dmx_R_ICG_SBR 22.2-to-2 포맷 변환을 위한 다운믹스된 파라미터들과 SBR에 의해 생성된 고주파 요소(component)를 포함하는, 제 2 전대역 디코딩된 인터널 채널 신호
도 6 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, 모노 SBR 디코딩 후 MPS 디코딩하는 구조에서의 인터널 채널 처리 방법의 순서도이다.
CPE 비트스트림이 수신되면, 제일 먼저 ICGDisabledCPE[n] 플래그를 통해 CPE 사용 여부를 판단(610)한다.
ICGDisabledCPE[n]이 TRUE라면, CPE 비트스트림은 ISO/IEC 23008-3에 정의된대로 디코딩(620)되며, ICGDisabledCPE[n]이 FALSE라면, SBR이 필요한경우 CPE 비트스트림에 모노 SBR을 수행하고, 스테레오 디코딩하여 다운믹스 시그널 cplx_out_dmx를 생성(630) 한다.
인터널 채널 게인이 인코더단에서 이미 적용되었는지 여부를 판단하기 위해 ICGPreAppliedCPE를 확인(640)한다.
ICGPreAppliedCPE[n]이 FALSE이면, 다운믹스 시그널 cplx_out_dmx를 하이브리드 QMF 도메인 인터널 채널 처리(650)하여 ICG 후적용 다운믹스 신호 cplx_out_dmx_postICG가 생성된다. 인터널 채널 처리(650)에서, 인터널 채널 게인을 계산하기 위해 MPS 파라미터가 사용된다. CPE에 대한 역양자화된 선형 CLD 값은 ISO/IEC 23008-3에 의해 계산되며, 인터널 채널 게인은 수학식 2에 따라 계산된다.
다운믹스 신호 cplx_out_dmx에 수학식 2에 의한 인터널 채널 게인을 곱하여 cplx_out_dmx_postICG가 생성된다.
이 때, 
와 
는 CPE 신호 에 대한 l번째 타임슬롯과 m번째 하이브리드 QMF 밴드의 역양자화된 선형 CLD 값을, 
와 
는 ISO/IEC 23008-3 테이블 96, 즉 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 게인열의 값을 나타내며, 
와 
는 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 EQ의 m번째 밴드의 게인을 나타낸다.
ICGPreAppliedCPE[n]이 TRUE이면, 다운믹스 시그널 cplx_out_dmx를 분석(660)하여 ICG 선적용 다운믹스 신호 cplx_out_dmx_preICG를 획득한다.
ICGPreApplied CPE[n]의 설정에 따라 cplx_out_dmx_preICG 또는 cplx_out_dmx_postICG가 최종 인터널 채널 처리 출력 신호 cplx_out_dmx_ICG가 된다.
도 7 은 본 발명의 일 실시예에 따른, CPE가 스테레오 재생 레이아웃으로 출력되는 경우, MPS디코딩 후 스테레오 SBR 디코딩하는 인터널 채널 처리 방법의 순서도이다.
도 7 에 개시된 실시예에서는, 도 6 에 개시된 실시예와 달리, MPS 디코딩 된 후 SBR 디코딩을 수행하므로 인터널 채널을 이용하지 않는 경우라면 스테레오 SBR 디코딩이 수행되지만, 인터널 채널을 이용하는 경우라면 모노 SBR이 수행되며 이를 위해 스테레오 SBR을 위한 파라미터들이 다운믹스된다.
따라서, 도 6 과 비교하여 도 7 에서는, 2채널에 대한 SBR 파라미터들을 다운믹스하여 1채널에 대한 SBR 파라미터를 생성(780)하고, 생성된 SBR 파라미터를 이용하여 모노 SBR을 수행(770)하는 단계가 추가되며, 모노 SBR이 수행된 cplx_out_dmx_ICG가 최종 인터널 채널 처리 출력 신호 cplx_out_dmx_ICG가 된다.
도 7 과 같은 동작 순서 배치에서, 인터널 채널 처리 후 SBR가 수행되어 고주파 성분이 확장되므로 cplx_out_dmx_preICG 신호 또는 cplx_out_dmx_postICG 신호는 대역제한(bandlimited) 신호에 해당한다. 업믹스된 스테레오 신호를 위한 SBR 파라미터 쌍은 대역제한된 인터널 채널 신호 cplx_out_dmx_preICG 또는 cplx_out_dmx_postICG의 대역폭 확장을 위해 파라미터 도메인에서 다운믹스 되어야 한다.
SBR 파라미터 다운믹서는 SBR에 의해 확장된 고주파 밴드들을 포맷 변환기의 EQ, 게인 파라미터와 곱하는 과정을 포함해야 한다. SBR 파라미터를 다운믹싱하는 구체적인 방법은 후술한다.
도 8 은 본 발명의 일 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 8 에 개시된 실시예는, ICGPreApplied[n]과 ICGPreApplied[n+1]이 모두 0인 경우, 즉 디코더에서 인터널 채널 게인을 적용하는 방법에 대한 실시예이다.
도 8 에 도시된 블록도에서 전체적인 디코딩 구조는, 비트스트림 디코딩(810), 스테레오 디코딩(820), 하이브리드 QMF 분석(830), 인터널 채널 처리(840) 및 스테레오 SBR(850)의 순서로 진행된다.
QCE를 구성하는 CPE 쌍 각각에 대한 비트스트림이 디코딩(811, 812)되면, 디코딩 된 신호로부터 SBR 페이로드, MPS212 페이로드 및 CplxPred 페이로드가 추출된다.
디코딩된 CplxPred 페이로드를 이용하여 스테레오 디코딩(821)이 수행되며, 스테레오 디코딩 된 신호 cplx_dmx_L와 cplx_dmx_R가 각각 하이브리드 QMF 분석(831, 832)과정을 거쳐 인터널 채널 처리부(841, 842)의 입력 신호로 전달된다.
이 때, 생성되는 인터널 채널 신호 cplx_dmx_L_PostICG 및 cplx_dmx_R_PostICG는 대역제한 신호이다. 따라서, 두 인터널 채널 신호는 각 CPE의 비트스트림에서 추출한 SBR 페이로드를 다운믹스한 다운믹스 SBR 파라미터들을 이용하여 스테레오 SBR(851)된다. 대역 제한 인터널 채널 신호는 스테레오 SBR을 통해 고주파 확장되어, 전대역 인터널 채널 처리 출력 신호인 cplx_dmx_L_ICG 및 cplx_dmx_R_ICG가 생성된다.
다운믹스 SBR 파라미터들은 대역제한된 인터널 채널 신호를 대역 확장하여 전대역 인터널 채널 신호를 생성하기 위해 이용된다.
이와 같이, QCE에 대한 인터널 채널을 이용하는 경우, 스테레오 디코딩 블록 및 스테레오 SBR 블록은 두개가 아닌 하나만 이용하므로 스테레오 디코딩 블록 822 및 스테레오 SBR 블록 852는 생략될 수 있다. 즉 QCE를 이용함으로써 각각의 CPE를 각각 처리하는 경우보다 보다 간단한 디코딩 구조의 구현이 가능하다.
도 9 는 본 발명의 또 다른 실시예에 따른, QCE가 스테레오 재생 레이아웃으로 출력되는 경우, 스테레오 SBR을 이용하는 구조에서의 인터널 채널 처리 방법의 블록도이다.
도 9 에 개시된 실시예는, ICGPreApplied[n]과 ICGPreApplied[n+1]이 모두 1인 경우, 즉 인코더에서 인터널 채널 게인을 적용하는 방법에 대한 실시예이다.
도 9 에 도시된 블록도에서 전체적인 디코딩 구조는, 비트스트림 디코딩(910), 스테레오 디코딩(920), 하이브리드 QMF 분석(930) 및 스테레오 SBR(950)의 순서로 진행된다.
인코더에서 인터널 채널 게인을 적용한 경우, 디코더에서는 별도의 인터널 채널 처리를 수행하지 않으므로, 도 9 에서는 도 8과 비교해 인터널 채널 처리 블록(841, 842)이 생략되어 있다. 그 외의 과정은 도 8과 유사하므로 중복되는 설명은 생략한다.
스테레오 디코딩 된 신호 cplx_dmx_L와 cplx_dmx_R는 각각 하이브리드 QMF 분석(931, 932)과정을 거쳐 바로 스테레오 SBR 블록(951)의 입력 신호로 전달된다. 스테레오 SBR 블록을 통과하면, 전대역 인터널 채널 처리 출력 신호인 cplx_dmx_L_ICG 및 cplx_dmx_R_ICG가 생성된다.
한편, 출력 채널이 스테레오 채널이 아닌 경우 인터널 채널을 이용하는 것을 적절하지 않을 수 있다. 따라서, 인코더에서 인터널 채널 게인이 적용된 경우, 출력 채널이 스테레오 출력 채널이 아니라면 디코더는 역 인터널 채널 게인(IG, inverse ICG)을 적용하여야 한다.
이 때, 표 8에 도시된 것처럼 MPS와 SBR의 디코딩 순서는 상관이 없지만, 설명의 편의를 위해 모노 SBR 디코딩 후 MPS212 디코딩 하는 시나리오에 대해 설명한다.
역 인터널 채널 게인 IG는 MPS 파라미터들과 포맷 변환 파라미터들을 이용하여, 수학식 3과 같이 계산된다.
이 때, 
와 
는 CPE 신호 에 대한 l번째 타임슬롯과 m번째 하이브리드 QMF 밴드의 역양자화된 선형 CLD 값을, 
와 
는 ISO/IEC 23008-3 테이블 96, 즉 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 게인열의 값을 나타내며, 
와 
는 포맷 변환 규칙 테이블에 정의된 출력 채널에 대한 EQ의 m번째 밴드의 게인을 나타낸다.
만일 ICGPreAppliedCPE[n]가 참이라면, n 번째 cplx_dmx는 MPS 블록 이전에 역 인터널채널 게인이 곱해져야 하며 나머지 디코딩 과정은 ISO/IEC 23008-3를 따라야 한다.
디코더에서 인터널 채널 처리 블록이 이용되거나 인코더에서 인터널 채널 게인이 전처리되고, 출력 레이아웃이 스테레오인 경우, SBR 블록 이전단에서 CPE/QCE에 대한 MPS 업믹스된 스테레오/쿼드 채널 신호 대신 대역제한 인터널 채널 신호가 생성된다.
SBR 페이로드는 MPS 업믹스된 스테레오/쿼드 채널 신호를 위해 스테레오 SBR 인코딩 되어 있으므로, 인터널 채널 처리를 위해서 스테레오 SBR 페이로드는 파라미터 도메인에서 포맷 변환기의 게인 및 EQ를 곱함으로써 다운믹스되어야 한다.
이하에서는 스테레오 SBR을 파라미터 다운믹싱하는 구체적인 방법에 대해 설명한다.
(1) 역필터링(inverse filtering)
각 노이즈 플로어 밴드에서 스테레오 SBR 파라미터들이 최대값을 가지도록 함으로써 역필터링 모드가 선택된다.
이를 구현하기 위한 구체적인 식은 [수학식 4]와 같다.
(2) 추가 고조파(additional harmonics)
기본주파수(f) 및 기본주파수의 홀수 고조파(3f, 5f, 7f,…)로 구성된 음파는, 반파대칭이 된다. 그러나 기본 주파수의 짝수 고조파(0f, 2f, 3,…)로 구성된 음파는 대칭성을 가지지 않는다. 반대로, 단순 스케일링 또는 이동 이외의 음원 파형 변화를 야기하는 비선형 시스템은 추가 고조파를 발생시켜 조화 왜곡(harmonic distortion)이 일어난다.
추가 고조파는 추가적인 사인파들의 조합으로, 수학식 5와 같이 표현될 수 있다.
(3) 포락선 시간 경계(envelope time borders)
도 10 은 본 발명의 일 실시예에 따른, SBR 파라미터인 시간 경계를 결정하는 방법을 나타내는 도면이다.
도 10a 는 첫번째 포락선의 시작 경계들이 서로 같고, 마지막 포락선의 종료 경계들이 서로 같은 경우의 시간 포락선 그리드를 나타낸다.
도 10b 는 첫번째 포락선의 시작 경계들은 서로 다르고, 마지막 포락선의 종료 경계들은 같은 경우의 시간 포락선 그리드를 나타낸다.
도 10c 는 첫번째 포락선의 시작 경계들은 서로 같고, 마지막 포락선의 종료 경계들은 서로 다른 경우의 시간 포락선 그리드를 나타낸다.
도 10d 는 첫번째 포락선의 시작 경계들이 서로 다르고, 마지막 포락선의 종료 경계들이 서로 다른 경우의 시간 포락선 그리드를 나타낸다.
인터널 채널 SBR에 대한 시간 포락선 그리드 
는 스테레오 SBR 시간 그리드를 가장 높은 해상도를 갖는 가장 작은 조각들로 분할함으로써 생성된다.
도 10 에 도시된 것과 같이, 두 채널들의 시간 경계들의 교차점을 취함으로써 첫번째 포락선과 마지막 포락선의 시작/종료 경계들은 가장 세분화된 해상도를 갖도록 결정된다. 만일 5개 이상의 포락선이 있다면, 
의 종료점에서부터 시작하여 역으로 
의 시작점까지를 검색하여 4 보다 작은 개수의 포락선을 찾아 그 포락선의 시작 경계를 제거함으로써 포락선의 개수를 감소시켜야 한다. 이와 같은 과정은 5개의 포락선이 남을때까지 계속된다.
(4) 잡음 시간 경계(noise time borders)
다운믹스된 잡음 시간 경계 
의 개수는 두개의 채널들의 잡음 시간 경계들 사이에 큰 값을 취함으로써 결정된다. 첫번째 그리드와 병합 잡음 시간 경계 
는 포락선 시간 경계 
의 첫번째 그리드와 마지막 그리드를 취함으로써 결정된다.
만일 잡음 시간 경계 
가 1보다 크다면, 
이 잡음 시간 경계 
가 1보다 큰 채널의 
로 선택된다. 만일 두 채널 모두 1보다 큰 
를 갖는다면, 
의 최소값이 
로 선택된다.
(5) 포락선 데이터(envelope data)
도 11 은 본 발명의 일 실시예에 따른, SBR 파라미터인 주파수 해상도를 병합하는 방법을 설명하기 위한 도면이다.
병학 포락선 시간 경계의 주파수 해상도 
가 선택된다. 
의 각 섹션에 대한 주파수 해상도 
, 
사으이 최대값이 도 11과 같이 
로 선택된다.
모든 포락선에 대한 포락선 데이터 
는 포락선 데이터 
로부터 포맷 변환 파라미터들을 고려하여, 수학식 6과 같이 계산된다.
이 때,
(6) 잡음 플로어 데이터(noise floor data)
병합된 잡음 플로어 데이터 
는 두 채널 데이터의 합으로 수학식 7에 따라 결정된다.
이 때,
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (15)
- MPS212(MPEG Surround 212) 및 SBR(Spectral Band Replication)을 이용하여 인코딩 된 CPE(Channel Pair Element) 비트스트림을 수신하는 단계;
상기 수신된 CPE 비트스트림 및 인터널 채널 게인(ICG, Internal Channel Gain) 값에 기초하여, 대역 제한 인터널 채널 신호를 생성하는 단계;
포맷 변환기의 렌더링 파라미터에 기초하여, SBR 파라미터 쌍을 모노 SBR 파라미터로 다운믹싱하는 단계;
상기 생성된 대역 제한 인터널 채널 신호 및 상기 모노 SBR 파라미터에 기초하여, 전대역 인터널 채널 신호를 생성하는 단계; 및
상기 생성된 전대역 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 단계;를 포함하는,
오디오 신호를 처리하는 방법. - 제 1 항에 있어서, 상기 모노 SBR 파라미터 는 다음의 수학식;
에 따라서 결정되며,
,
,
이며,
는 ,
는 ,
는 ,
는 에 의하여 정의되는,
오디오 신호를 처리하는 방법. - 제 1 항에 있어서,
상기 대역 제한 인터널 채널 신호를 생성하는 단계는,
상기 CPE 비트스트림에 대한 인터널 채널 처리가 가능한지 여부를 결정하는 단계를 더 포함하는,
오디오 신호를 처리하는 방법. - 제 3 항에 있어서,
상기 CPE 비트스트림에 대한 인터널 채널 처리가 가능한지 여부는,
상기 CPE 비트스트림에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정되는,
오디오 신호를 처리하는 방법. - 제 1 항에 있어서,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력되는,
오디오 신호를 처리하는 방법. - 제 1 항에 있어서,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect) 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력되는,
오디오 신호를 처리하는 방법. - 제 1 항에 있어서,
상기 전대역 인터널 채널 신호를 생성하는 단계는,
상기 인터널 채널 게인을 계산하는 단계; 및
상기 인터널 채널 게인을 적용하는 단계;를 더 포함하는,
오디오 신호를 처리하는 방법. - MPS212(MPEG Surround 212) 및 SBR(Spectral Band Replication)을 이용하여 인코딩 된 CPE(Channel Pair Element) 비트스트림을 수신하는 수신부;
상기 수신된 CPE 비트스트림 및 인터널 채널 게인(ICG, Internal Channel Gain) 값에 기초하여, 대역 제한 인터널 채널 신호를 생성하고, 포맷 변환기의 렌더링 파라미터에 기초하여, SBR 파라미터 쌍을 모노 SBR 파라미터로 다운믹싱하고, 상기 생성된 대역 제한 인터널 채널 신호 및 상기 모노 SBR 파라미터에 기초하여, 전대역 인터널 채널 신호를 생성하는 인터널 채널 신호 생성부; 및
상기 생성된 전대역 인터널 채널 신호에 기초하여 스테레오 출력 신호들을 생성하는 스테레오 출력 신호 생성부;를 포함하는,
오디오 신호를 처리하는 장치. - 제 8 항에 있어서,
상기 모노 SBR 파라미터 는 다음의 수학식;
에 따라서 결정되며,
,
,
이며,
는 ,
는 ,
는 ,
는 에 의하여 정의되는,
오디오 신호를 처리하는 장치. - 제 8 항에 있어서,
상기 인터널 채널 신호 생성부는,
상기 CPE 비트스트림에 대한 인터널 채널 처리가 가능한지 여부를 결정하는,
오디오 신호를 처리하는 장치. - 제 10 항에 있어서,
상기 CPE 비트스트림에 대한 인터널 채널 처리가 가능한지 여부는,
상기 CPE 비트스트림에 포함되는 채널 쌍이 같은 인터널 채널 그룹에 해당하는지 여부에 기초하여 결정되는,
오디오 신호를 처리하는 장치. - 제 8 항에 있어서,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 좌측 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널로만 출력되고,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 우측 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 우측 출력 채널로만 출력되는,
오디오 신호를 처리하는 장치. - 제 8 항에 있어서,
상기 CPE 비트스트림에 포함되는 채널 쌍이 모두 센터 인터널 채널 그룹에 포함되거나, 모두 LFE(Low Frequency Effect) 인터널 채널 그룹에 포함되는 경우, 상기 전대역 인터널 채널 신호는 스테레오 출력 채널 중 좌측 출력 채널과 우측 출력 채널로 균등하게 출력되는,
오디오 신호를 처리하는 장치. - 제 8 항에 있어서,
상기 인터널 채널 신호 생성부는,
상기 인터널 채널 게인을 계산하고, 상기 인터널 채널 게인을 적용하는,
오디오 신호를 처리하는 장치. - 제 1 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247011942A KR20240050483A (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562181096P | 2015-06-17 | 2015-06-17 | |
| US62/181,096 | 2015-06-17 | ||
| US201562241082P | 2015-10-13 | 2015-10-13 | |
| US201562241098P | 2015-10-13 | 2015-10-13 | |
| US62/241,082 | 2015-10-13 | ||
| US62/241,098 | 2015-10-13 | ||
| US201562245191P | 2015-10-22 | 2015-10-22 | |
| US62/245,191 | 2015-10-22 | ||
| PCT/KR2016/006495 WO2016204581A1 (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247011942A Division KR20240050483A (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180009337A KR20180009337A (ko) | 2018-01-26 |
| KR102657547B1 true KR102657547B1 (ko) | 2024-04-15 |
Family
ID=57546014
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247011942A KR20240050483A (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
| KR1020177033556A KR102657547B1 (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247011942A KR20240050483A (ko) | 2015-06-17 | 2016-06-17 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US10490197B2 (ko) |
| EP (1) | EP3285257A4 (ko) |
| KR (2) | KR20240050483A (ko) |
| CN (2) | CN114005454A (ko) |
| WO (1) | WO2016204581A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108028988B (zh) * | 2015-06-17 | 2020-07-03 | 三星电子株式会社 | 处理低复杂度格式转换的内部声道的设备和方法 |
| WO2016204580A1 (ko) * | 2015-06-17 | 2016-12-22 | 삼성전자 주식회사 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
| GB2560878B (en) * | 2017-02-24 | 2021-10-27 | Google Llc | A panel loudspeaker controller and a panel loudspeaker |
| EP3776543B1 (en) | 2018-04-11 | 2022-08-31 | Dolby International AB | 6dof audio rendering |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015058991A1 (en) * | 2013-10-22 | 2015-04-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5912976A (en) | 1996-11-07 | 1999-06-15 | Srs Labs, Inc. | Multi-channel audio enhancement system for use in recording and playback and methods for providing same |
| EP1691348A1 (en) * | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| US7548853B2 (en) | 2005-06-17 | 2009-06-16 | Shmunk Dmitry V | Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding |
| CA2636494C (en) * | 2006-01-19 | 2014-02-18 | Lg Electronics Inc. | Method and apparatus for processing a media signal |
| CN101617360B (zh) | 2006-09-29 | 2012-08-22 | 韩国电子通信研究院 | 用于编码和解码具有各种声道的多对象音频信号的设备和方法 |
| EP2146341B1 (en) * | 2008-07-15 | 2013-09-11 | LG Electronics Inc. | A method and an apparatus for processing an audio signal |
| EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| KR20100138806A (ko) * | 2009-06-23 | 2010-12-31 | 삼성전자주식회사 | 자동 3차원 영상 포맷 변환 방법 및 그 장치 |
| KR101767175B1 (ko) * | 2011-03-18 | 2017-08-10 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 코딩에서의 프레임 요소 길이 전송 |
| US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
| US9761229B2 (en) | 2012-07-20 | 2017-09-12 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for audio object clustering |
| WO2014108738A1 (en) | 2013-01-08 | 2014-07-17 | Nokia Corporation | Audio signal multi-channel parameter encoder |
| TWI546799B (zh) * | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
| KR20140123015A (ko) * | 2013-04-10 | 2014-10-21 | 한국전자통신연구원 | 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법 |
| EP2830336A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Renderer controlled spatial upmix |
| EP2830051A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| EP2830332A3 (en) * | 2013-07-22 | 2015-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
| KR102160254B1 (ko) | 2014-01-10 | 2020-09-25 | 삼성전자주식회사 | 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치 |
| CN103905834B (zh) * | 2014-03-13 | 2017-08-15 | 深圳创维－Rgb电子有限公司 | 音频数据编码格式转换的方法及装置 |
-
2016
- 2016-06-17 US US15/577,639 patent/US10490197B2/en active Active
- 2016-06-17 CN CN202111026302.2A patent/CN114005454A/zh active Pending
- 2016-06-17 CN CN201680035415.XA patent/CN107771346B/zh active Active
- 2016-06-17 KR KR1020247011942A patent/KR20240050483A/ko active Search and Examination
- 2016-06-17 EP EP16811994.9A patent/EP3285257A4/en not_active Ceased
- 2016-06-17 KR KR1020177033556A patent/KR102657547B1/ko active IP Right Grant
- 2016-06-17 WO PCT/KR2016/006495 patent/WO2016204581A1/ko active Application Filing
-
2019
- 2019-10-18 US US16/657,444 patent/US11404068B2/en active Active
-
2022
- 2022-07-15 US US17/866,106 patent/US11810583B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015058991A1 (en) * | 2013-10-22 | 2015-04-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107771346A (zh) | 2018-03-06 |
| US20220358938A1 (en) | 2022-11-10 |
| WO2016204581A1 (ko) | 2016-12-22 |
| US10490197B2 (en) | 2019-11-26 |
| EP3285257A1 (en) | 2018-02-21 |
| US11404068B2 (en) | 2022-08-02 |
| KR20180009337A (ko) | 2018-01-26 |
| KR20240050483A (ko) | 2024-04-18 |
| CN107771346B (zh) | 2021-09-21 |
| CN114005454A (zh) | 2022-02-01 |
| US20200051574A1 (en) | 2020-02-13 |
| EP3285257A4 (en) | 2018-03-07 |
| US20180166082A1 (en) | 2018-06-14 |
| US11810583B2 (en) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2641481C2 (ru) | Принцип для кодирования и декодирования аудио для аудиоканалов и аудиообъектов | |
| KR101218776B1 (ko) | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 | |
| RU2665214C1 (ru) | Стереофонический кодер и декодер аудиосигналов | |
| US11056122B2 (en) | Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal | |
| US11810583B2 (en) | Method and device for processing internal channels for low complexity format conversion | |
| RU2696952C2 (ru) | Аудиокодировщик и декодер | |
| JP7383685B2 (ja) | バイノーラル・ダイアログ向上 | |
| KR102668239B1 (ko) | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 | |
| JP6686015B2 (ja) | オーディオ信号のパラメトリック混合 | |
| KR102627374B1 (ko) | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 | |
| KR102537541B1 (ko) | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 | |
| TW202347317A (zh) | 用於方向性音訊寫碼空間重建音訊處理之方法、設備及系統 | |
| JP2024503186A (ja) | マルチチャネル・コーデックにおける空間ノイズ充填 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |