KR101341536B1 - 오디오 신호 처리 방법 및 장치 - Google Patents

오디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
KR101341536B1
KR101341536B1 KR1020127020635A KR20127020635A KR101341536B1 KR 101341536 B1 KR101341536 B1 KR 101341536B1 KR 1020127020635 A KR1020127020635 A KR 1020127020635A KR 20127020635 A KR20127020635 A KR 20127020635A KR 101341536 B1 KR101341536 B1 KR 101341536B1
Authority
KR
South Korea
Prior art keywords
information
signal
control
residual
control information
Prior art date
Application number
KR1020127020635A
Other languages
English (en)
Other versions
KR20120104420A (ko
Inventor
오현오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20120104420A publication Critical patent/KR20120104420A/ko
Application granted granted Critical
Publication of KR101341536B1 publication Critical patent/KR101341536B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

본 발명의 오디오 신호 처리 방법는, 다운믹스 신호 및 부가 정보를 수신하는 단계; 확장 영역이 레지듀얼 신호를 포함하는지 여부를 나타내는 확장 타입 식별자를 상기 부가 정보로부터 추출하는 단계; 상기 확장 타입 식별자가 상기 확장 영역이 상기 레지듀얼 신호를 포함함을 나타내는 경우, 상기 부가 정보로부터 레지듀얼 이용 모드를 위한 제어 제한 정보를 추출하는 단계; 적어도 하나 이상의 오브젝트 신호의 게인 또는 패닝을 조절하기 위한 제어 정보를 수신하는 단계; 상기 제어 정보 및 상기 제어 제한 정보에 기초하여 수정된 제어 정보를 추정하는 단계; 상기 레지듀얼 신호를 이용하여 상기 다운믹스 신호로부터 적어도 하나 이상의 인핸스드 오브젝트 신호 및 하나 이상의 일반적인 오브젝트 신호들을 획득하는 단계; 및 상기 수정된 제어 정보, 상기 적어도 하나 이상의 인핸스드 오브젝트 신호, 및 하나 이상의 일반적인 오브젝트 신호를 이용하여 출력 신호를 생성하는 단계를 포함하고, 상기 레지듀얼 이용 모드를 위한 상기 제어 제한 정보는 레지듀얼 이용 모드인 경우 상기 제어 정보의 한계값을 나타내는 파라미터와 연관된 것이다.

Description

오디오 신호 처리 방법 및 장치{AN APPARATUS FOR PROCESSING AN AUDIO SIGNAL AND METHOD THEREOF}
본 발명은 오디오 신호를 인코딩하거나 디코딩할 수 있는 오디오 신호 처리 방법 및 장치에 관한 것이다.
일반적으로, 다수 개의 오브젝트를 모노 또는 스테레오 신호로 다운믹스하는 과정에 있어서, 각각의 오브젝트 신호로부터 파라미터들이 추출된다. 이러한 파라미터들은 디코더에서 사용될 수 있는 데, 각각의 오브젝들의 패닝(panning)과 게인(gain)은 유저의 선택에 의해 컨트롤 될 수 있다.
각각의 오브젝트 시그널을 제어하기 위해서는, 다운믹스에 포함되어 있는 각각의 소스들이 적절히 포지셔닝 또는 패닝되어야 한다.
또한, 채널 기반(channel-oriented) 디코딩 방식으로 하향 호환성을 갖기 위해서는, 오브젝트 파라미터는 업믹싱을 위한 멀티 채널 파라미터로 유연하게 변환되어야 한다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 오브젝트의 게인이나 패닝을 컨트롤하여, 모노 신호, 스테레오 신호, 및 멀티채널 신호로 출력할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명의 또 다른 목적은, 사용자가 오브젝트의 게인이나 패닝을 조절하는 데 있어서, 특정 오브젝트의 게인이나 패닝을 과도하게 억압(suppression)하거나 부스팅시킬 경우에 발생할 수 있는 왜곡(distortion)을 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 노래방(karaoke) 모드 또는 솔로 모드와 같이 특정 오브젝트를 과도하게 억압해야 할 경우에, 과도한 렌더링으로 인한 왜곡을 제어하는 데 있어서, 일반 오브젝트와 달리 제어할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 사용자의 제어에 대해 왜곡을 막기 위해 제어를 수정하는 데 있어서, 수정된 렌더링 결과를 사용자가 인식할 수 있도록 인터페이스를 통해 출력할 수 있는 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명의 또 다른 목적은, 이러한 왜곡을 방지하기 위한 제어를 사용자가 원할 경우 해제시킬 수 있도록 오디오 신호 처리 방법 및 장치를 제공하는 데 있다.
본 발명은 다음과 같은 효과와 이점을 제공한다.
우선, 오브젝트의 게인과 패닝을 컨트롤하는 데 있어서, 과도하게 렌더링하는 것을 제한함으로써 음질이 향상될 수 있다.
둘째, 가라오케 모드나 솔로 모드처럼, 오브젝트 신호를 오히려 과도하게 제어해야하는 경우, 별도의 컨트롤 제한 정보(control restriction information)를 이용하여 컨트롤의 제한을 효율적으로 수행할 수 있다.
셋째, 유저가 입력한 컨트롤을 제한하는 경우, 제한된 컨트롤을 인터페이스를 통해 출력함으로써, 사용자로 하여금 자신이 원하는 컨트롤에 변형/변경되었다는 사실을 알도록 함으로써, 보다 효율적으로 제어하도록 할 수 있다.
넷째, 음질이 저하되는지 여부와 상관없이 사용자가 본인이 컨트롤을 100% 적용시키고자 할 때, 왜곡 방지를 위한 제어를 오프시키고, 컨트롤 제한 정보를 스킵할 수 있기 때문에, 사용자가 스스로가 원하는 렌더링을 수행할 수 있다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더의 구성도.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성도.
도 3은 도 2의 추출부(220)의 실시예에 따른 세부 구성도.
도 4는 도2의 제어 제한부(230)의 제1 실시예(230A)에 따른 세부 구성도.
도 5는 도 2의 제어 제한부(230)의 제2 실시예(230B)에 따른 세부 구성도.
도 6은 도 2의 유저 인터페이스(250)에 표시되는 화면의 일 예.
도 7은 도 2의 유저 인터페이스(250)에 표시되는 화면 중 수정된 제어 정보의 일 예.
도 8은 본 발명의 제2 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성도.
도 9는 도 8의 제어 제한부(330)의 제1 실시예(330A)에 따른 세부 구성도.
도 10은 도 8의 제어 제한부(330)의 제2 실시예(330B)에 따른 세부 구성도.
도 11은 도 8의 제어 제한부(330)의 제3 실시예(330C)에 따른 세부 구성도
도 12의 도 8의 유저 인터페이스(340)에 표시되는 화면 중 제어 제한 모드의 오프 명령의 입력을 위한 화면의 일 예.
도 13은 도 8의 유저 인터페이스(340)에 표시되는 화면 중 유저 입력 화면 및 수정된 제어정보가 표시된 화면의 일 예.
도 14는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품의 개략적인 구성도.
도 15는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도.
이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명에서 다음 용어는 다음과 같은 기준으로 해석될 수 있고, 기재되지 않은 용어라도 하기 취지에 따라 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있고, 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 아우르는 용어로서, 경우에 따라 의미는 달리 해석될 수 있는 바, 그러나 본 발명은 이에 한정되지 아니한다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치 중 인코더의 구성을 보여주는 도면이다. 도 1을 참조하면, 인코더(100)는 오브젝트 인코더(110), 부가 정보 생성부(120)를 포함하고, 멀티플렉서(130)를 더 포함할 수 있다.
여기서 오브젝트 인코더(110)는 하나 이상의 오브젝트 신호를 다운믹스함으로써, 모노 또는 스테레오 채널의 다운믹스 신호(DMX)를 생성한다. 여기서 하나 이상의 오브젝트 신호에는, 하나 이상의 일반적인 오브젝트 신호(regular object signal) 뿐만 아니라 하나 이상의 인핸스드 오브젝트 신호(EAO: enhanced object signal)이 포함될 수 있다. 예를 들어, 인핸스드 오브젝트는 노래에서의 반주음악에 해당하고, 일반 오브젝트는 보컬에 해당할 수 있는데, 노래방 모드인 경우, 일반 오브젝트가 억압되고 인핸스드 오브젝트가 남고, 솔로 모드인 경우에는 그 반대가 된다.
한편, 부가 정보 생성부(120)는 하나 이상의 오브젝트 신호에 대한 부가 정보를 생성한다. 우선, 하나 이상의 오브젝트 신호가 다운믹스 신호(DMX)로 다운믹스되는 과정에서, 오브젝트 정보를 생성한다. 오브젝트 정보(OI)는 다운믹스 신호 내에 포함되어 있는 오브젝트들에 관한 정보이자, 다운믹스 신호(DMX)로부터 다수 개의 오브젝트 신호를 생성하기 위해 필요한 정보이다. 오브젝트 정보는 오브젝트 레벨 정보(object level information), 오브젝트 상관 정보(object correlation information) 등을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다. 나아가, 다운믹스 게인 정보(DMG: DownMix Gain), 다운믹스 채널 레벨 차이(DCLD: Downmix Channel Level Difference)이 오브젝트 정보에 더 포함될 수 있다. 다운믹스 게인 정보(DMG)란 다운믹싱되기 전에 각 오브젝트에 적용된 게인을 나타내고, 다운믹스 채널 레벨 차이(DCLD)란, 다운믹스 신호가 스테레오인 경우 각 오브젝트가 좌측 채널 및 우측 채널에 적용된 비율을 나타낸다.
한편, 부가 정보 생성부(120)는 확장 타입 식별자, 레지듀얼 신호, 일반 모드의 제어 제한 정보, 레지듀얼 사용 모드의 제어 제한 정보, 오프-인에이블 정보를 생성한다. (일반 모드 또는 레지듀얼 사용 모드의) 제어 제한 정보란, 음질 향상을 위해 사용자가 입력에 의해 결정된 제어 정보를 제한하기 위한 정보에 해당한다. 확장 타입 식별자 등의 정보에 대해서는 추후 디코딩 장치와 함께 구체적으로 설명하고자 한다.
멀티플렉서(130)는 오브젝트 정보, 확장 타입 식별자 등을 포함하는 부가 정보, 및 다운믹스(DMX)를 멀티플렉싱함으로써, 하나 이상의 비트스트림을 생성한다.
도 2는 본 발명의 제1 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성을 보여주는 도면이다. 제1 실시예에 따른 디코더(200)는 추출부(220) 및 제어 제한부(230)를 포함하고, 디멀티플렉서(210) 및 레지듀얼 처리 유닛(240), 유저 인터페이스(250), 정보 생성부(260) 및 다운믹스 프로세싱부(270)을 더 포함할 수 있다. 또한 디코더(200)는 경우에 따라서 멀티채널 생성부(미도시)를 더 포함할 수도 있다. 또한, 다운믹스 프로세싱부(270) 및 정보 생성부(260)는 오브젝트 디코더(미도시)로 통칭할 수도 있다.
우선 디멀티플렉서(210)는 수신되는 하나 이상의 비트스트림으로부터 다운믹스 신호(DMX) 및 부가 정보를 추출한다. 다운믹스 신호는 앞서 인코더와 함께 설명한 바와 같이, 하나 이상의 오브젝트 신호가 다운믹스된 신호로서 모노 또는 스테레오일 수 있다. 여기서 하나 이상의 오브젝트 신호에는 일반 오브젝트뿐만 아니라 인핸스드 오브젝트가 포함될 수 있다.
추출부(220)는 부가 정보로부터 오브젝트 정보를 추출하고, 부가 정보에 레지듀얼 신호가 존재하는 경우, 레지듀얼 신호를 추출한다. 나아가 추출부(220)는확장 타입 식별자, 레지듀얼 사용 모드를 위한 제어 제한 정보 등을 추출할 수 있는데, 이에 대한 구체적인 설명은 도 3과 함께 후술하고자 한다. 상기 레지듀얼 신호는 레지듀얼 처리 유닛(240)으로 전달되고, 오브젝트 정보는 정보 생성부(260)에 전달되고, 경우에 따라서는 제어 제한부(230)에도 전달될 수 있다.
제어 제한부(230)는 유저 인터페이스(250) 등으로부터 제어 정보를 수신하고, 이를 수정하여 수정된 제어 정보를 출력한다. 이때, 제어 정보는 다운믹스 신호에 포함된 하나 이상의 오브젝트에 대해서, 오브젝트의 게인 또는 패닝을 제어하기 위한 것이다. 한편, 제어 정보가 매트릭스 형태인 경우 다음 수학식과 같이 표현될 수 있다.
Figure 112012062684193-pct00001
여기서 N은 총 오브젝트의 개수, Lf, Rf, C, Lfe, Ls, Rs은 각각 멀티채널(왼쪽 앞 채널, 오른쪽 앞 채널, 센터 채널, 저주파 채널, 왼쪽 서라운드 채널, 오른쪽 서라운드 채널)
만약, 다운믹스 신호에 인핸스드 오브젝트가 포함되어 있고, 부가 정보가 레지듀얼 신호가 포함되어 있는 경우, 상기 제어 정보는 레지듀얼 이용 모드(예: 노래방 모드 또는 솔로 모드)에 대한 모드 선택 정보를 포함할 수 있다.
한편, 제어 제한부(230)가 제어 정보를 수정 또는 변형하기 위해서 오브젝트 신호(특히 다운믹스 게인 정보(DMG)) 및/또는 제어 제한 정보 등을 이용할 수 있는데, 이에 대한 구체적인 설명은 도 4 및 도 5와 함께 후술하고자 한다. 제어 제한부(230)는 수정된 제어 정보를 정보 생성부(260)에 전달하고, 또한 유저 인터페이스(250)에도 전달할 수 있다. 나아가, 수정된 제어 정보가 인핸스드 오브젝트에 대한 제어를 포함할 경우, 레지듀얼 처리부(240)에도 전달될 수 있다.
유저 인터페이스(250)는 사용자가 원하는 오브젝트 제어에 대한 명령을 수신한다. 만약, 다운믹스 신호에 레지듀얼이 포함되어 있고, 레지듀얼 이용 모드(예: 노래방 모드 또는 솔로 모드)가 가능한 경우, 레지듀얼 이용 모드에서의 인핸스드 오브젝트의 제어를 위한 별도의 화면이 제공될 수 있는데, 이는 추후 도 6과 함께 후술하고자 한다. 한편 제어 제한부(230)로부터 수신한 수정된 제어 정보를 출력할 수 있는데, 이는 추후 도 7과 함께 후술하고자 한다.
레지듀얼 처리부(240)는 추출부(220)로부터 레지듀얼 신호를 수신한 경우, 이 레지듀얼 신호를 이용하여 다운믹스 신호(DMX)로부터 인핸스드 오브젝트(EAO) 및/또는 하나 이상의 일반 오브젝트를 추출한다. 여기서 레지듀얼 신호는, 인코더에서 인핸스드 오브젝트 및 상기 일반 오브젝트들을 다운믹스하는 과정에서 생성된 신호일 수 있고, 상기 다운믹스 신호(DMX)로부터 인핸스드 오브젝트 또는 하나 이상의 일반 오브젝트를 추출하기 위해 필요한 신호이다. 한편, 인핸스드 오브젝트(EAO)를 추출하는 과정에 있어서, 레지듀얼 신호 이외에, 오브젝트 레벨 차이 등을 포함하는 오브젝트 정보를 더 이용할 수 있다.
그런 다음, 레지듀얼 처리부(240)는 상기 제어 정보에 인핸스드 오브젝트(EAO)에 대한 제어가 포함된 경우, 수정된 제어 정보를 근거로 인핸스드 오브젝트에 대한 제어를 수행한다. 그런 다음, 하나 이상의 일반 오브젝트 및 인핸스드 오브젝트(EAO)를 다운믹스 프로세싱부(270)에 전달한다.
정보 생성부(260)는 추출부(220)로부터 수신한 오브젝트 정보, 제어 제한부(230)로부터 수신한 수정된 제어 정보를 이용하여, 다운믹스 프로세싱 정보를 생성한다. 여기서 다운믹스 프로세싱 정보는 인핸스드 오브젝트 및/또는 일반 오브젝트에 적용되어 프로세싱된 다운믹스 신호를 생성하기 위한 정보이다. 만약, 멀티채널 출력이 필요한 경우, 정보 생성부(260)는 오브젝트 정보 및 수정된 제어 정보를 이용하여 멀티채널 정보를 더 생성할 수 있다. 여기서 멀티채널 정보는 다운믹스 신호로부터 업믹싱하여 멀티채널을 생성하기 위해 사용되는 정보로서, 채널 레벨 차이(CLD) 등과 같은 공간 파라미터를 포함할 수 있다. 구체적으로, 프레임 정보(Frameinfo()), OTT 정보(OttData() 등이 포함되어 있다. 프레임 정보(Frameinfo())는 파라미터 셋의 개수와, 파라미터 셋이 어느 타임 슬롯에 적용되는지에 대한 정보를 포함하는 프레임 정보를 포함할 수 있다. OTT 정보는 OTT(One-To-Two) 박스에 필요한 채널 레벨 차이(CLD), 채널 상관 정보(channel correlation information)(ICC) 등의 파라미터를 포함할 수 있다.
그러나, 레지듀얼 이용 모드의 조건 중에, 다운믹스 신호와 출력 신호의 채널 수가 동일해야 한다는 조건이 존재하는 경우, 정보 생성부(260)는 멀티채널 정보를 생성하지 않고, 다운믹스 프로세싱 정보만을 생성한다. 이러한 조건인 경우에, 제어 제한부(230)가 수신하는 제어 정보는 앞서 수학식 1 중 멀티채널이 아닌 스테레오 채널 또는 모노 채널로 간략하고 특수화된 형태랄 보일 것이다.
다운믹스 프로세싱부(270)는 다운믹스 프로세싱 정보를 이용하여 인핸스드 오브젝트 및/또는 일반 오브젝트 신호를 프로세싱함으로써, 프로세싱된 다운믹스 신호를 출력한다. 앞서 언급한 조건이 존재하는 경우, 프로세싱된 다운믹스 신호(프로세싱된 인핸스드 오브젝트 및/또는 프로세싱된 일반 오브젝트)를 시간 도메인의 출력 신호로서 출력한다.
도 3은 도 2의 추출부(220)의 실시예에 따른 세부 구성을 보여주는 도면이다. 도 3을 참조하면, 추출부(220)는 식별자 추출 파트(222), 제한 정보 추출 파트(224) 및 레지듀얼 추출 파트(226)를 포함할 수 있다.
식별자 추출 파트(222)는 부가 정보로부터 확장 타입 식별자를 추출한다. 여기서 확장 타입 식별자는, 부가 정보의 확장 영역이 레지듀얼 신호를 포함하는지 여부를 지시하는 식별자이다. 추출된 확장 타입 식별자는 제한 정보 추출 파트(224)로 전달된다.
제한 정보 추출 파트(224)는 상기 확장 타입 식별자가, 확장 영역이 레지듀얼 신호를 포함하는 것을 지시하는 경우, 부가 정보로부터 레지듀얼 사용 모드를 위한 제어 제한 정보를 추출한다.
여기서, 우선 제어 제한 정보란, 사용자가 유저 인터페이스(250)를 통해 입력한 제어 정보에 대해서, 음질이 왜곡되거나 저하되는 것을 방지하기 위해, 제한을 가하는 정보이다. 다운믹스 신호로 다운믹스된 하나 이상의 오브젝트들은 상호 연관성이 있기 때문에, 특정 오브젝트를 과도하게 억압한다거나 과도하게 부스팅하는 경우에, 음질이 저하될 수 있는 문제가 있다. 이러한 사용자가 극단적인 렌더링(extreme rendering)을 원하는 경우, 음질이 크게 왜곡되지 않는 정도로 제한하는 것이 바로 제어 제한 정보이다. 이러한, 제어 제한 정보는 컨트롤 정보에 대해서 제한 정도(limiting degree)를 지시하는 파라미터와 연관된다.
한편, 레지듀얼 사용 모드를 위한 제어 제한 정보란, 레지듀얼 사용 모드(예: 가라오케 모드 또는 솔로 모드)에 적합한 제어 제한 정보를 의미한다. 예를 들어, 가라오케 모드나 솔로 모드는, 배경 음악 이외의 오브젝트를 모두 억압한다거나, 보컬 이외의 오브젝트를 모두 억압하는 등의 극단적인 렌더링이 수행되는 모드이다. 따라서, 일반 모드의 제어 제한 정보를 그대로 적용할 경우, 오히려 가라오케 모드나 솔로 모드의 본래의 취지를 살리지 못할 수 있다. 예를 들어, 가라오케 모드에서 보컬 성분이 남아있을 수 있고, 솔로 모드에서 배경음악 성분이 섞여있을 수도 있는 것이다. 따라서, 극단적인 렌더링을 위해 레지듀얼 신호를 수신하는 경우, 레지듀얼 이용 모드에 적합한 제어 제한 정보를 별도로 수신하는 것이다. 이 레지듀얼 이용 모드의 제어 제한 정보는 앞서 도 2와 함께 설명한 제어 제한부(230)에 전달된다.
레지듀얼 추출 파트(226)은 부가 정보의 확장 영역이 레지듀얼 신호를 포함하고 있는 것을 상기 확장 타입 식별자가 지시하는 경우, 부가 정보로부터 레지듀얼 신호를 추출한다. 그리고 이 레지듀얼 신호를 앞서 도 2와 함께 설명한 레지듀얼 처리부(240)에 전달한다.
도 4는 도2의 제어 제한부(230)의 제1 실시예(230A)에 따른 세부 구성을 보여주는 도면이고, 도 5는 도 2의 제어 제한부(230)의 제2 실시예(230B)에 따른 세부 구성을 보여주는 도면이다. 제1 실시예에 따른 제어 제한부(230A)는 레지듀얼 이용 모드인 경우, 인핸스드 오브젝트를 위한 별도의 제어 제한 정보를 이용하여 제어 정보를 수정하는 것이고, 제2 실시예에 따른 제어 제한부(230B)는 레지듀얼 이용 모드인 경우, 인핸스드 오브젝트 이외의 일반 오브젝트에 대해서만 제어를 제한하여 제어 정보를 수정하는 것이다.
우선 도 4를 참조하면, 제어 제한부(230A)는 모드 결정 파트(232A) 및 제어 정보 수정 파트(234A)를 포함한다.
모드 결정 파트(232A)는 레지듀얼 이용 모드(예: 가라오케 모드 및/또는 솔로 모드)인지를 결정하는 파트이다. 이는, 레지듀얼 이용 모드인지 여부는, 사용자가 오브젝트의 게인 및/또는 패닝을 제어하기 위해 입력하는 데이터를 해석하여 결정할 수도 있고, 또는 가라오케 모드 또는 솔로 모드를 선택하기 위한 별도의 입력이 수신되었는지 여부를 근거로 결정할 수도 있다. 만약, 후자의 경우에는, 도 6 또는 도 7에 도시된 바와 같이 별도의 창(karaoke tap)를 통한 제어 정보가 입력되면, 이 정보를 가라오케 모드 또는 솔로 모드를 선택하기 위한 입력으로 간주할 수 있다.
또한 모드 결정 파트(232A)는 레지듀얼 이용 모드인지만을 결정하는 것이 아니라, 인핸스드 오브젝트가 다운믹스에 포함되어 있는 경우, 다운믹스에 포함된 다수의 오브젝트 중에서 어떤(몇 번째) 오브젝트가 인핸스드 오브젝트인지 여부를 판별할 수 있다.
그런 다음, 레지듀얼 이용 모드인 경우라 판단된 경우, 제어 정보 수정 파트(234A)는 레지듀얼 이용 모드를 위한 제어 제한 정보를 이용하여, 제어 정보를 수정함으로써, 수정된 제어 정보를 출력한다. 레지듀얼 이용 모드의 제어 제한 정보는, 레지듀얼 이용 모드인 경우에, 상기 제어 정보에 대해 제한하는 정도(limiting degree)를 지시하는 파라미터와 연관된다. 예를 들어, 레지듀얼 이용 모드인 경우 대체적으로 극단적인 렌더링을 허용해야 할 경우이 때문에, 제한하는 정도를 지시하는 파라미터의 값은, 일반 모드인 경우의 파라미터 값보다 작을 수 있다.
반대로, 레지듀얼 이용 모드가 아니라고 판단된 경우, 제어 정보 수정 파트(232A)일반 모드를 위한 제어 제한 정보를 이용하여 제어 정보를 수정할 수 있다.
한편, 레지듀얼 이용 모드일 때, 일반 오브젝트들은 각각 제어될 수 없고 전체가 하나로만 제어될 수 있다는 조건이 부가되는 경우, 제어 정보 수정 파트(234A)가 수신하는 제어 정보는, 인핸스드 오브젝트 이외의 일반 오브젝트들은 서로 연동된 정보일 수 있다. 예를 들어, 이 경우, 도 6의 (B)와 같은 화면을 통해서, 서로 연동된 제어 정보는 커플링된 패닝 놉 또는 커플링된 게인 컨트롤 슬라이더를 통해서 입력된 정보를 근거로 생성될 수 있다.
이와 같이 제1 실시예에 따른 제어 제한부(230A)는 레지듀얼 이용 모드를 위한 제어 제한 정보를 수신하고, 이 수신된 정보를 이용하여 레지듀얼 이용 모드일 경우, 인핸스드 오브젝트를 포함한 오브젝트들에 대한 제어 정보를 수정한다.
도 5를 참조하면, 제2 실시예에 따른 제어 제한부(230B)는 모드 결정 파트(232B) 및 제어 정보 수정 파트(234B)를 포함한다. 모드 결정 파트(232B)는 제1 실시예의 모드 결정 파트(232A)와 거의 유사한 기능을 수행하므로, 이에 대한 설명은 생략하고자 한다.
한편, 제어 정보 수정 파트(234B)는 제1 실시예에 따른 제어 제한부(230B)와는 달리, 레지듀얼 이용 모드인 경우, 인핸스드 오브젝트에 대해서는 제어 정보를 수정하지 않고, 일반 오브젝트에 대한 제어 정보를 수정하는 것이다. 여기서 사용되는 제어 제한 정보는 수신될 수도 있고, 스스로 생성될 수도 있다. 또한, 일반 오브젝트는 한꺼번에 제어된다는 조건을 구속되지 않을 수 있다.
인핸스드 오브젝트에 대한 제어 정보는 수정되지 않고, 일반 오브젝트에 대한 제어 정보만이 수정된, 수정된 제어 정보(
Figure 112012062684193-pct00002
)의 일 예가 수학식 2 및 수학식 3에 표시되어 있다.
Figure 112012062684193-pct00003
여기서 N은 총 오브젝트의 개수, Lf, Rf, C, Lfe, Ls, Rs은 각각 멀티채널(왼쪽 앞 채널, 오른쪽 앞 채널, 센터 채널, 저주파 채널, 왼쪽 서라운드 채널, 오른쪽 서라운드 채널),
Figure 112012062684193-pct00004
는 수정된 제어 정보
여기서 인핸스드 오브젝트는 첫 번째 오브젝트 및 두 번째 오브젝트인 경우(j=0,1)
Figure 112012062684193-pct00005
여기서,
Figure 112012062684193-pct00006
은 수신된 제어 정보(수학식 1 참조),
Figure 112012062684193-pct00007
는 총 오브젝트 개수가 N이고, 인핸스드 오브젝트의 인덱스 j일 때, NxN 대각선 행렬(diagonal matrix)인 데, j 번째 대각 성분만 1이고 나머지 성분은 0인 매트릭스, 즉 인핸스드 오브젝트에 해당하는 컬럼(column)을 패스하는 엘리먼트,
Figure 112012062684193-pct00008
은 일반 오브젝트에 대해서 일반 모드의 제어 제한 정보를 이용하여 수정되 제어 정보
한편, 상기 일반 오브젝트에 대한 제어 정보를 수정하기 위해 이용되는, 일반 모드의 제어 제한 정보는, 비트스트림을 통해서 수신될 수도 있지만, 오브젝트 정보 중 다운믹스 게인 정보(DMG)를 통해 생성된 것일 수 있다. 다운믹스 게인 정보란 앞서 설명한 바와 같이, 각 오브젝트가 다운믹스(DMX)에 어느 정도 포함되어있는지를 지시하는 게인이다. 따라서 다운믹스 게인 정보를 기반으로 사용자가 오브젝트의 게인 또는 패닝을 제어할 때, 어느 정도의 제한을 가해야 할지 즉, 제한 정도를 결정할 수 있다.
도 2을 참조하면서 제1 실시예에 따른 디코더를 설명했고, 도 3을 참조하면서 추출부(220)의 세부 구성을 살펴보았고, 도 4 및 도 5를 참조하면서, 제어 제한부(230)의 두 가지 실시예에 대해서 설명하였다.
도 6은 도 2의 유저 인터페이스(250)에 표시되는 화면의 일 예이고, 도 7은 도 2의 유저 인터페이스(250)에 표시되는 화면 중 수정된 제어 정보의 일 예이다.
도 6을 우선 참조하면, 도 6의 (A) 및 (B) 모두 레지듀얼 이용 모드일 때(예: 가라오케 모드 또는 솔로 모드) 별도의 입력 창(karaoke tap)을 둘 수 있다. 앞서 언급한 바와 같이 이 레지듀얼 이용 모드의 입력 창을 통해 입력된 제어 정보는, 레지듀얼 이용 모드(가라오케 모드 또는 솔로 모드)를 선택하기 위한 입력으로 간주될 수 있다.
도 6의 (A)를 살펴보면, 레지듀얼 이용 모드를 위한 별도의 입력창 내에 총 4개의 오브젝트들(obj1~obj4)이 존재하는 데 이 오브젝트들 중에는 일반 오브젝트(obj2~obj4)뿐만 아니라 인핸스드 오브젝트(obj1:EAO)가 포함된다. 그리고 각 오브젝트의 게인을 조절할 수 있는 게인 컨트롤 슬라이더와, 각 오브젝트의 패닝을 조절할 수 있는 패닝 놉이 존재한다.
한편, 제1 실시예의 제어 제한부(230A)에 대해서 설명한 바와 같이, 인핸스드 오브젝트가 존재하는 경우에도 제어 제한을 수행하는 경우, 일반 오브젝트들에 대해서는 각각에 대한 제어가 불가능하고 그 전체를 한꺼번에 제어해야 한다는 조건이 있을 수 있다. 도 6의 (B)는 이러한 조건이 존재할 경우의 화면의 예이다. 인핸스드 오브젝트에 대해서는 개별적으로 게인 및/또는 패닝의 조정이 가능하나, 일반 오브젝트들에 대해서는 한꺼번에 조정해야하기 때문에, 동시에 조정되는 커플링된 게인 컨트롤 슬라이더 및 커플링된 패닝 놉이 존재한다. 커플링된 게인 컨트롤 슬라이더(또는 패닝 놉)에 속하는 슬라이더(또는 패닝 놉) 중 하나만 사용자가 조작하더라도 그 전체가 한꺼번에 조정되는 데, 이 경우 한꺼번에 움직이는 모습을 표시해주는 것이 바람직하다.
도 7은 도 2의 유저 인터페이스(250)에 표시되는 화면 중 수정된 제어 정보의 일 예이다. 제어 정보가 수정된 경우 이를 표시해주지 않을 경우, 사용자는 제어 정도를 더 높이려고 할 수 있다. 예를 들어, 사용자가 특정 오브젝트의 게인을 증가시키는 제어를 수행했을 때, 그 제어가 제한되어 사용자가 원하는 정도보다 낮은 게인으로 오디오 출력된 경우, 사용자는 제어가 불충분하다고 오해하고, 게인을 보다 높여야 한다고 생각할 수 있다. 따라서, 사용자가 입력한 제어 정보가 수정된 경우, 수정된 제어 정보를 유저 인터페이스를 통해 출력시키는 것이 바람직하다. 레지듀얼 이용 모드인 경우에도 마찬가지로, 제어 제한을 수행하였을 경우, 수정된 제어 정보를 화면에 표시해주는 것이 바람직하다.
도 7을 참조하면, 제어 제한 정보를 근거로 수정된 제어 정보가 불가능한 영역(impossible area)으로 표시되어 있음을 알 수 있다. 사용자가 게인 컨트롤 슬라이더를 불가능한 영역까지 올릴 수는 있지만 그 밑으로 다시 되돌아오는 모습으로 수정된 제어 정보를 표시할 수 있다. 아니면, 사용자가 아예 게인 컨트롤 슬라이더를 불가능한 영역 바로 아래까지만 올릴 수 있도록 할 수도 있는데, 수정된 제어 정보를 표시하는 방법은 특정 방식과 화면에 한정되지 아니한다.
도 8은 본 발명의 제2 실시예에 따른 오디오 신호 처리 장치 중 디코더의 구성을 보여주는 도면이고, 도 9, 도 10및 도 11은 도 8의 제어 제한부(330)의 제1 실시예(330A), 제2 실시예(330B) 및 제3 실시예(330C)의 세부 구성을 보여주는 도면이다. 제2 실시예에 따른 디코더(300)는 제1 실시예(200)와 달리, 레지듀얼 이용 모드보다는 일반 모드에 해당하는 실시예이고, 경우에 따라서(프레임 별로) 제어 정보를 수정하지 않을 수 있는 실시예이다.
도 8을 참조하면, 제2 실시예에 따른 디코더(300)은 추출부(320) 및 제어 제한부(330)를 포함하고, 디멀티플렉서(310), 유저 인터페이스(340), 정보 생성부(350), 다운믹스 프로세싱부(360) 및 멀티채널 생성부(370)을 더 포함할 수 있다. 한편, 다운믹싱 처리부(360) 및 멀티채널 생성부(370)는 출력채널 생성부로 통칭할 수 있다.
디멀티플렉서(310)는 제1 실시예의 디멀티플렉서(210)와 마찬가지로, 하나 이상의 비트스트림으로부터 다운믹스 신호 및 부가 정보를 수신한다.
추출부(320)는 부가 정보로부터 오브젝트 정보를 추출하고, (일반 모드를 위한) 제어 제한 정보를 추출한다. 오브젝트 정보 및 제어 제한 정보에 대해서는 앞서 도 2와 함께 설명하였으므로, 생략하고자 한다.
그리고 추출부(320)는 부가 정보에서 인에이블-오프 정보를 더 추출할 수 있다. 여기서 인에이블-오프 정보는, 제어 제한 정보가 존재하는 경우, 현재 프레임에 대해서 상기 제어 제한 정보가 반드시 사용되어야 하는지 아니면, 선택적으로 사용될 수 있는지 여부를 지시하는 정보이다.
제어 제한부(330)는 추출부(320)로부터 제어 제한 정보를 수신하고, 인에이블-오프 정보 및/또는 사용자 오프 명령을 근거로, 제어 제한 정보를 현재 프레임에 적용시킬지 적용시키지 않을지 결정한다. 음질의 저하 여부와 상관없이, 사용자가 원하는 제어가 제한되는 것을 원하지 않는 경우에는, 비록 제어 제한 정보가 비트스트림에 포함되어 있더라도, 이 정보의 이용을 스킵할 수 있도록 하기 위한 것이다.
제어 제한 정보를 적용시킬 것을 결정하는 경우, 제어 제한 정보를 이용하여 제어 정보를 수정함으로써, 수정된 제어 정보를 출력한다. 반대로, 제어 제한 정보를 적용시키지 않을 것을 결정하는 경우, 제어 제한 정보를 이용하지 않고, 수신된 제어 정보를 그대로 정보 생성부(350)에 전달한다. 제어 정보 및 수정된 제어 정보에 대해서는 앞서 제1 실시예의 디코더(200)와 함께 설명하였으므로 구체적인 설명은 생략하고자 한다. 다만, 여기서의 제어 정보(및 제어 제한 정보)는, 레지듀얼 이용 모드(예: 가라오케 모드 등)의 제어 정보(및 제어 제한 정보)라기 보다는 일반 모드에 해당하는 제어 정보(및 제어 제한 정보)에 해당한다.
한편, 제어 제한부(330)의 제3 실시예는, 제어 제한 정보의 적용여부를 매 프레임마다 결정하기 보다는, 제어 제한 정보를 적용하는 데 있어서의 수식을 구체적으로 제시하기 위한 실시예이다.
유저 인터페이스(340)는 제어 정보가 수정된 경우, 수정된 제어 정보를 출력할 수 있다. 도 12의 도 8의 유저 인터페이스(340)에 표시되는 화면 중 제어 제한 모드의 오프 명령의 입력을 위한 화면의 일 예이고, 도 13은 도 8의 유저 인터페이스(340)에 표시되는 화면 중 유저 입력 화면 및 수정된 제어정보가 표시된 화면의 일 예이다. 도 12은 추후 도 9와 함께 설명하고자 한다.
도 13을 참조하면, 도 7의 경우와 유사하게, 수정된 제어 정보가 불가능한 영역으로 표시되어 있음을 알 수 있다. 도 13의 (A)와 표시된 바와 같이 유저가 원하는 게인이 불가능한 영역에 존재하더라도, 게인 컨트롤 슬라이더를 불가능한 영역까지 조정하도록 할 수 있다. 이 경우, 수정된 제어 정보에 따른 수정된 게인은 도 13의 (B)에 나타난 바와 같이, 표시될 수 있다. 구체적으로, 수정된 게인은 불가능한 영역 이외의 최대치 또는 최소치일 수 있으므로, 게인 컨트롤 슬라이더를 그 최대치 또는 최소치 영역으로 움직이는 모습을 표시하는 것이다.
아니면 사용자가 원하는 게인이 불가능한 영역에 존재할 경우, 게인 컨트롤 슬라이더를 아예 불가능한 영역까지 조정할 수 없도록 함으로써, 수정된 제어 정보를 표시할 수도 있다.
다시 도 8을 참조하면, 정보 생성부(350)는 추출부(220)로부터 수신한 오브젝트 정보를 수신한다. 여기서 오브젝트 정보는 상기 제1 실시예(200)와 함께 설명된 바와 같다. 그런 다음, 현재 프레임에 대해서 제어 제한부(230)로부터 제어 정보를 수신한 경우, 제1 다운믹스 프로세싱 정보 (및 제1 멀티채널 정보)를 생성하고, 현재 프레임에 대해서 제어 제한부(230)로부터 제어 정보가 아닌 수정된 제어 정보를 수신한 경우, 제2 다운믹스 프로세싱 정보(및 제2 멀티채널 정보)를 생성한다. 여기서, 제1 다운믹스 프로세싱 정보 및 제2 다운믹스 프로세싱 정보는 앞서 제1 실시예(100)에서 설명한 바와 같이 채널 수 증가 없이 다운믹스 신호를 프로세싱하기 위한 정보이다. 그리고 제1 멀티채널 정보 및 제2 멀티채널 정보는 앞서 제1 실시예(100)에서 설명한 바와 같이 다운믹스 신호 또는 프로세싱된 다운믹스 신호를 업믹스하여 멀티채널을 생성하기 위한 공간 정보이다.
정보 생성부(350)는 최종 출력 신호가 모노 신호 또는 스테레오 신호인 디코딩 모드에서는 제1 다운믹스 프로세싱 정보 및 제2 다운믹스 프로세싱 정보만을 생성하고, 최종 출력 신호가 멀티채널 신호인 트랜스코딩 모드에서는 제1 멀티채널 신호 및 제2 멀티채널 신호를 더 생성한다. 만약, 입력은 모노 다운믹스 신호이고, 출력은 멀티채널인 경우, 다운믹스 프로세싱 정보는 생성되지 않고, 멀티채널 정보만 생성될 수 있다.
다운믹스 프로세싱부(360)는 다운믹스 신호(DMX)를 수신하고, 다운믹스 프로세싱 정보를 근거로 하여 다운믹스 신호(DMX)를 프로세싱함으로써, 프로세싱된 다운믹스를 출력한다. 이때, 다운믹스 신호와 프로세싱된 다운믹스 신호의 채널 수는 동일하다. 다운믹스 처리 정보가 이용되었기 때문에, 다운믹스 프로세싱부(360)는 오브젝트의 게인 및/또는 패닝이 조정된 출력이다. 특히 스테레오 다운믹스이고, 멀티채널 출력인 경우, 크로스텀에 의한 오브젝트 패닝의 제어가 다운믹스 프로세싱부(360)에서 수행될 수 있다. 한편, 모노 다운믹스이고, 멀티채널 출력인 경우, 다운믹스 프로세싱부(360)는 다운믹스(DMX)에 대한 처리를 바이패스하고 변화없이 멀티채널 생성부(370)에 전달할 수 있다. 한편, 모노 또는 스테레오 출력인 경우, 다운믹스 프로세싱부(360)는 프로세싱된 다운믹스 신호를 시간 도메인의 모노 채널 또는 스테레오 채널로서 출력할 수 있다.
멀티채널 생성부(370)는 멀티채널 출력이 필요한 경우, 다운믹스 신호(DMX) 또는 프로세싱된 다운믹스 신호에 대해 멀티채널 정보(제1 멀티채널 정보 또는 제2 멀티채널 정보)를 적용함으로써, 멀티채널 출력을 생성한다.
이하 도 9 내지 도 11를 참조하면서, 제어 제한부(330)의 제1 실시예(330A) 내지 제3 실시예(330C)에 대해서 설명하고자 한다. 제1 실시예(330A)는 사용자가 입력한 오프 명령 또는 장치 설정 정보를 근거로 제어 제한 정보의 적용여부를 결정하는 것이고, 제2 실시예(330B)는 오프 명령(또는 장치 설정 정보)에 더하여 비트스트림으로부터 추출된 인에이블-오프 정보를 더 참조하여, 제어 제한 정보의 적용여부를 결정하는 실시예이다. 제3 실시예는, 제어 제한 정보의 적용여부를 매 프레임마다 결정하기 보다는, 제어 제한 정보를 적용하는 데 있어서의 수식을 구체적으로 제시하기 위한 실시예이다.
도 9를 참조하면, 제3 실시예에 따른 제어 제한부(330A)는 오프 결정 파트(332A) 및 제어 정보 수정 파트(334A)를 포함한다.
제어 제한부(330A)는 사용자의 오프 명령 또는 장치 설정 정보를 근거로 하여 제어 제한 모드를 오프시킬지 여부를 결정한다. 여기서 제어 제한 모드란, 제어 제한 정보를 이용하여 제어 정보를 제한하기 위해서, 수정된 제어 정보를 생성하는 것을 의미한다. 만약, 비트스트림에 제어 제한 정보가 존재하는 경우, 또는 디코더 스스로 제어 제한 정보를 생성할 수 있는 경우라 하더라도, 사용자가 스스로 입력하는 제어 정보에 대해 그 어떠한 수정이 수행되지 않길 원할 수 있다. 따라서, 이러한 경우를 위해 제어 제한부(330A)는 제어 제한 모드를 오프시킬 것을 결정할 수 있다. 구체적으로, 사용자에 의해 제어 제한 모드를 오프시키기 위한 오프 명령이 입력되는 경우, 또는 제어 제한 모드를 오프시키는 명령이 장치 설정 정보에 의해 저장되어 있는 경우, 제어 제한 모드를 오프시키는 것으로 결정할 수 있다. 여기서 오프 명령을 위한 화면의 일 예가 도 12에 도시되어 있다.
도 12를 참조하면, 도 12의 (A) 및 (B)를 참조하면, 화면 하단에, 제어 제한 모드에 대한 온(ON) 명령을 위한 입력부(라디오 버튼)과, 오프(OFF) 명령을 위한 입력부(라디오 버튼)(off command)이 표시되어 있다. 사용자는 이러한 화면을 통해 특정 오디오 신호에 대해서 제어 제한 모드를 오프시키기 위한 오프 명령을 입력할 수 있다. 나아가, 불특정 오디오 신호에 대해서 제어 제한 모드를 오프시키기 위해 장치 설정 정보를 변경할 수도 있다.
다시 도 9를 참조하면, 오프 결정 파트(332A)가 상기 제어 제한 모드를 오프시킬 것을 결정하면, 제어 정보를 그대로 출력한다. 이 제어 정보는 앞서 설명한 바와 같이 도 8에서의 정보 생성부(350)로 전달된다. 반대로 제어 제한 모드를 온시킬 것으로 결정하면, 제어 정보를 제어 정보 수정 파트(334A)로 전달한다. 제어 정보 수정 파트(334A)는 제어 정보에 대해서 제어 제한 정보를 이용하여 제한함으로써, 수정된 제어 정보를 생성한다. 이 수정된 제어 정보 또한 정보 생성부(350)로 전달된다. 제어 정보 수정 파트(334A)의 구성과 역할은 도 4 및 도 5와 함께 앞서 설명한 제어 정보 수정 파트(234A 또는 234B)와 유사할 수 있으므로, 구체적인 설명은 생략하고자 한다.
도 10을 참조하면, 제2 실시예에 따른 제어 제한부(330B)는 제1 실시예에서와 마찬가지로 오프 결정 파트(332B) 및 제어 정보 수정 파트(334B)를 포함한다. 다만 오프 결정 파트(332B)가 제어 제한 모드를 오프시킬지 여부를 결정하는데 있어서 인에이블-오프 정보를 더 참조한다는 점에서 차이가 있다.
인에이블-오프 정보란, 앞서 추출부(320)에 의해 부가 정보로부터 추출된 정보로서, 현재 프레임에 대해 제어 제한 정보가 반드시 사용되어야 하는지, 아니면 선택적으로 이용될 수 있는지 여부를 지시한다. 다시 말해서, 제어 제한 정보를 반드시 사용해야 한다는 것은, 사용자가 임의로 제어 제한 정보를 스킵할 수 있는지 여부와 관련된 것이므로, 인에이블-오프 정보는, 제어 제한 모드를 오프시킬 수 없는지, 선택적으로 오프시킬 수 있는지 여부와 동일한 것일 수 있다.
인에이블-오프 정보는, 제어 제한 정보가 비트스트림을 통해 수신되는 경우에만 추출될 수 있는데, 이 경우에는 비트스트림에 포함된 제어 제한 정보가 반드시 사용되어야하는지 여부를 지시하게 된다.
따라서, 오프 결정 파트(332B)는 (현재 프레임에 대해) 제어 제한 정보가 반드시 사용되어야 하는 것을 인에이블-오프 정보가 지시하는 경우, 사용자의 오프 입력과 상관없이, 제어 제한 모드를 오프시키지 않는다. 즉, 제어 정보를 제어 정보 수정 파트(334B)에 전달한다.
반대로, 반드시 사용될 필요 없이 선택적으로 이용될 수 있는 것을 인에이블-오프 정보가 제어 제한 정보가 지시하는 경우, 오프 결정 파트(332B)는 사용자의 오프 명령 또는 장치 설정 정보에 따라서, 제어 제한 모드의 오프 여부를 결정한다. 즉, 오프 명령 또는 장치 설정 정보가 제어 제한 모드를 오프시킬 것을 의도하는 경우, 제어 정보를 그대로 출력하고, 제어 제한 모드를 온시킬 것을 의도하는 경우, 제어 정보를 제어 정보 수정 파트(334B)로 전달한다.
제어 정보 수정 파트(334B)는 앞서 도 9와 함께 설명한 제어 정보 수정 파트(334B)와 동일한 기능과 동일하게, 수정된 제어 정보를 출력하므로, 구체적인 설명은 생략하고자 한다.
도 11을 참조하면, 제3 실시예에 따른 제어 제한부(330C)가 도시되어 있다. 앞서 언급한 바와 같이, 제3 실시예는, 제어 제한 정보의 적용여부를 매 프레임마다 결정하기 보다는, 제어 제한 정보를 적용하는 데 있어서의 수식을 구체적으로 제시하기 위한 실시예이다.
제어 정보 수정 파트(334C)는 다운믹스 게인 정보(DMG) 및 제어 제한 정보를 수신하고, 이를 바탕으로 하여 제어 정보를 제한함으로써, 수정된 제어 정보를 생성한다. 이때 다음 수학식이 이용될 수 있다.
Figure 112012062684193-pct00009
여기서,
Figure 112012062684193-pct00010
는 수정된 제어 정보,
Figure 112012062684193-pct00011
는 제어 정보,
Figure 112012062684193-pct00012
는 제어 제한 정보에 대응하는 파라미터(또는 제한하는 정도(limiting degree)를 지시하는 파라미터),
Figure 112012062684193-pct00013
는 다운믹스 게인 정보(DMG)에 의해 정의되는 다운믹스 매트릭스.
상기 수학식 4를 살펴보면, 제한하는 정도를 지시하는 파라미터
Figure 112012062684193-pct00014
가 낮은 값을 가질수록, 수정된 제어 정보는 원래의 제어 정보에 가까워지고, 반대로, 높은 값을 가질수록, 원래의 다운믹스 매트릭스에 가까워지는 것이다.
상기 수식에 따라 수정된 제어 정보
Figure 112012062684193-pct00015
는 유저의 의도와 맞지 않게 생성되는 문제점이 없어진다. 만약에 유저가 두 번째 오브젝트를 부스팅시키기 위해서, [1, 3]이라는 제어 정보를 입력하였을 때, 파라미터
Figure 112012062684193-pct00016
가 1인 경우, 오히려 수정된 제어 정보가 [2.8, 1.4]가 나오면, 오히려 두 번째 오브젝트를 억압시키는 문제점이 발생할 수 있다. 그러나 상기 수학식 4와 같이 정의하는 경우에는, 상기와 같은 문제점이 발생하지 않으며, 연산량이 매우 낮은 장점을 갖는다.
한편,
Figure 112012062684193-pct00017
는 모든 오브젝트에 공통되지 않고, 오브젝트 별로 독립적인 값이 주어질 수도 있다. 그런 경우 상기 수학식 4는 각 오브젝트에 해당하는 컬럼 별로 다른
Figure 112012062684193-pct00018
를 적용하는 형태로 변형된다.
한편, 상기 수학식 4와 같이 구현되는 경우, 제어 제한 모드가 온(ON)일 경우 상기 수학식 4을 적용하는 경우, 제1 모드 또는 제2 모드로 나뉘지 않으므로, 모드를 구분하기 위한 별도의 비트가 전송될 필요가 없다.
본 발명에 따른 오디오 신호 처리 장치는 다양한 제품에 포함되어 이용될 수 있다. 이러한 제품은 크게 스탠드 얼론(stand alone) 군과 포터블(portable) 군으로 나뉠 수 있는데, 스탠드 얼론군은 티비, 모니터, 셋탑 박스 등을 포함할 수 있고, 포터블군은 PMP, 휴대폰, 네비게이션 등을 포함할 수 있다.
도 14는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계를 보여주는 도면이다. 우선 도 14를 참조하면, 유무선 통신부(410)는 유무선 통신 방식을 통해서 비트스트림을 수신한다. 구체적으로 유무선 통신부(410)는 유선통신부(410A), 적외선통신부(410B), 블루투스부(410C), 무선랜통신부(410D) 중 하나 이상을 포함할 수 있다.
사용자 인증부는(420)는 사용자 정보를 입력 받아서 사용자 인증을 수행하는 것으로서 지문인식부(420A), 홍채인식부(420B), 얼굴인식부(420C), 및 음성인식부(420D) 중 하나 이상을 포함할 수 있는데, 각각 지문, 홍채정보, 얼굴 윤곽 정보, 음성 정보를 입력받아서, 사용자 정보로 변환하고, 사용자 정보 및 기존 등록되어 있는 사용자 데이터와의 일치여부를 판단하여 사용자 인증을 수행할 수 있다.
입력부(430)는 사용자가 여러 종류의 명령을 입력하기 위한 입력장치로서, 키패드부(430A), 터치패드부(430B), 리모컨부(430C) 중 하나 이상을 포함할 수 있지만, 본 발명은 이에 한정되지 아니한다.
신호 코딩 유닛(440)는 유무선 통신부(410)를 통해 수신된 오디오 신호 및/또는 비디오 신호에 대해서 인코딩 또는 디코딩을 수행하고, 시간 도메인의 오디오 신호를 출력한다. 오디오 신호 처리 장치(445)를 포함하는데, 이는 앞서 설명한 본 발명의 실시예(즉, 인코더(100) 및/또는 디코더(200))에 해당하는 것으로서, 이와 같이 오디오 처리 장치(445) 및 이를 포함한 신호 코딩 유닛은 하나 이상의 프로세서에 의해 구현될 수 있다.
제어부(450)는 입력장치들로부터 입력 신호를 수신하고, 신호 디코딩부(440)와 출력부(460)의 모든 프로세스를 제어한다. 출력부(460)는 신호 디코딩부(440)에 의해 생성된 출력 신호 등이 출력되는 구성요소로서, 스피커부(460A) 및 디스플레이부(460B)를 포함할 수 있다. 출력 신호가 오디오 신호일 때 출력 신호는 스피커로 출력되고, 비디오 신호일 때 출력 신호는 디스플레이를 통해 출력된다.
도 15는 본 발명의 일 실시예에 따른 오디오 신호 처리 장치가 구현된 제품들의 관계도이다. 도 15는 도 14에서 도시된 제품에 해당하는 단말 및 서버와의 관계를 도시한 것으로서, 도 15의 (A)를 참조하면, 제1 단말(400.1) 및 제2 단말(400.2)이 각 단말들은 유무선 통신부를 통해서 데이터 내지 비트스트림을 양방향으로 통신할 수 있음을 알 수 있다. 도 15의 (B)를 참조하면, 서버(500) 및 제1 단말(400.1) 또한 서로 유무선 통신을 수행할 수 있음을 알 수 있다.
본 발명에 따른 오디오 신호 처리 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 인코딩 방법에 의해 생성된 비트스트림은 컴퓨터가 읽을 수 있는 기록 매체에 저장되거나, 유/무선 통신망을 이용해 전송될 수 있다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (12)

  1. 다운믹스 신호 및 부가 정보를 수신하는 단계;
    확장 영역이 레지듀얼 신호를 포함하는지 여부를 나타내는 확장 타입 식별자를 상기 부가 정보로부터 추출하는 단계;
    상기 확장 타입 식별자가 상기 확장 영역이 상기 레지듀얼 신호를 포함함을 나타내는 경우, 상기 부가 정보로부터 레지듀얼 이용 모드를 위한 제어 제한 정보를 추출하는 단계;
    적어도 하나 이상의 오브젝트 신호의 게인 또는 패닝을 조절하기 위한 제어 정보를 수신하는 단계;
    상기 제어 정보 및 상기 제어 제한 정보에 기초하여 수정된 제어 정보를 추정하는 단계;
    상기 레지듀얼 신호를 이용하여 상기 다운믹스 신호로부터 적어도 하나 이상의 인핸스드 오브젝트 신호 및 하나 이상의 일반적인 오브젝트 신호들을 획득하는 단계; 및
    상기 수정된 제어 정보, 상기 적어도 하나 이상의 인핸스드 오브젝트 신호, 및 하나 이상의 일반적인 오브젝트 신호를 이용하여 출력 신호를 생성하는 단계를 포함하고,
    상기 레지듀얼 이용 모드를 위한 상기 제어 제한 정보는 레지듀얼 이용 모드인 경우 상기 제어 정보의 한계값을 나타내는 파라미터와 연관된 것을 특징으로 하는 오디오 신호의 처리 방법.
  2. 제 1 항에 있어서, 상기 출력 신호를 생성하는 단계는,
    상기 수정된 제어 정보 및 오브젝트 정보에 기초하여 다운믹스 처리 정보를 생성하는 단계; 및
    상기 수정된 제어 정보를 상기 적어도 하나 이상의 인핸스드 오브젝트 신호 및 상기 하나 이상의 일반적인 오브젝트 신호에 적용함으로써 상기 출력 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호의 처리 방법.
  3. 제 2 항에 있어서,
    상기 출력 신호의 채널 수는 상기 다운믹스 신호의 채널 수와 동일한 것을 특징으로 하는 오디오 신호의 처리 방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 오브젝트 신호는 상기 인핸스드 오브젝트 신호 및 하나 이상의 일반적인 오브젝트 신호들을 포함하는 것을 특징으로 하는 오디오 신호의 처리 방법.
  5. 제 1 항에 있어서,
    상기 제어 정보는 상기 하나 이상의 일반적인 오브젝트 신호들 전체의 게인을 조절하기 위한 하나의 파라미터를 포함하는 것을 특징으로 하는 오디오 신호의 처리 방법.
  6. 제 1 항에 있어서,
    상기 확장 타입 식별자가 상기 확장 영역이 상기 레지듀얼 신호를 포함하는 것을 나타내는 경우, 상기 제어 정보는 가라오케 모드 및 솔로 모드 중 하나를 나타내는 모드 선택 정보를 포함하는 것을 특징으로 하는 오디오 신호의 처리 방법.
  7. 다운믹스 신호 및 부가 정보를 수신하는 디멀티플렉서;
    확장 영역이 레지듀얼 신호를 포함하는지 여부를 나타내는 확장 타입 식별자를 상기 부가 정보로부터 추출하고, 상기 확장 타입 식별자가 상기 확장 영역이 상기 레지듀얼 신호를 포함함을 나타내는 경우, 상기 부가 정보로부터 레지듀얼 이용 모드를 위한 제어 제한 정보를 추출하는 추출부;
    적어도 하나 이상의 오브젝트 신호의 게인 또는 패닝을 조절하기 위한 제어 정보를 수신하고, 상기 제어 정보 및 상기 제어 제한 정보에 기초하여 수정된 제어 정보를 추정하는 제어 제한부;
    상기 레지듀얼 신호를 이용하여 상기 다운믹스 신호로부터 적어도 하나 이상의 인핸스드 오브젝트 신호 및 하나 이상의 일반적인 오브젝트 신호들을 획득하는 레지듀얼 처리부; 및
    상기 수정된 제어 정보, 상기 적어도 하나 이상의 인핸스드 오브젝트 신호, 및 하나 이상의 일반적인 오브젝트 신호를 이용하여 출력 신호를 생성하는 오브젝트 디코더를 포함하고,
    상기 레지듀얼 이용 모드를 위한 상기 제어 제한 정보는 레지듀얼 이용 모드인 경우 상기 제어 정보의 한계값을 나타내는 파라미터와 연관된 것을 특징으로 하는 오디오 신호의 처리 장치.
  8. 제 7 항에 있어서, 상기 오브젝트 디코더는,
    상기 수정된 제어 정보 및 오브젝트 정보에 기초하여 다운믹스 처리 정보를 생성하는 정보 생성부; 및
    상기 수정된 제어 정보를 상기 적어도 하나 이상의 인핸스드 오브젝트 신호 및 상기 하나 이상의 일반적인 오브젝트 신호에 적용함으로써 상기 출력 신호를 생성하는 다운믹스 처리부를 포함하는 것을 특징으로 하는 오디오 신호의 처리 장치.
  9. 제 8 항에 있어서,
    상기 출력 신호의 채널 수는 상기 다운믹스 신호의 채널 수와 동일한 것을 특징으로 하는 오디오 신호의 처리 장치.
  10. 제 7 항에 있어서,
    상기 하나 이상의 오브젝트 신호는 상기 인핸스드 오브젝트 신호 및 하나 이상의 일반적인 오브젝트 신호들을 포함하는 것을 특징으로 하는 오디오 신호의 처리 장치.
  11. 제 7 항에 있어서,
    상기 제어 정보는 상기 하나 이상의 일반적인 오브젝트 신호들 전체의 게인을 조절하기 위한 하나의 파라미터를 포함하는 것을 특징으로 하는 오디오 신호의 처리 장치.
  12. 제 7 항에 있어서,
    상기 확장 타입 식별자가 상기 확장 영역이 상기 레지듀얼 신호를 포함하는 것을 나타내는 경우, 상기 제어 정보는 가라오케 모드 및 솔로 모드 중 하나를 나타내는 모드 선택 정보를 포함하는 것을 특징으로 하는 오디오 신호의 처리 장치.
KR1020127020635A 2010-01-06 2011-01-06 오디오 신호 처리 방법 및 장치 KR101341536B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US29281110P 2010-01-06 2010-01-06
US61/292,811 2010-01-06
US29687310P 2010-01-20 2010-01-20
US61/296,873 2010-01-20
US29727510P 2010-01-21 2010-01-21
US61/297,275 2010-01-21
PCT/KR2011/000073 WO2011083979A2 (en) 2010-01-06 2011-01-06 An apparatus for processing an audio signal and method thereof

Publications (2)

Publication Number Publication Date
KR20120104420A KR20120104420A (ko) 2012-09-20
KR101341536B1 true KR101341536B1 (ko) 2013-12-16

Family

ID=44305945

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127020635A KR101341536B1 (ko) 2010-01-06 2011-01-06 오디오 신호 처리 방법 및 장치
KR1020127020636A KR101405976B1 (ko) 2010-01-06 2011-01-06 오디오 신호 처리 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127020636A KR101405976B1 (ko) 2010-01-06 2011-01-06 오디오 신호 처리 방법 및 장치

Country Status (5)

Country Link
US (3) US9536529B2 (ko)
EP (2) EP2522015B1 (ko)
KR (2) KR101341536B1 (ko)
CN (3) CN102696070B (ko)
WO (2) WO2011083979A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463485B (zh) * 2009-09-29 2014-12-01 Fraunhofer Ges Forschung 音訊信號解碼器或編碼器、用以提供上混信號表示型態或位元串流表示型態之方法、電腦程式及機器可存取媒體
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
US9479887B2 (en) 2012-09-19 2016-10-25 Nokia Technologies Oy Method and apparatus for pruning audio based on multi-sensor analysis
EP2717261A1 (en) 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
US11139862B2 (en) * 2012-11-02 2021-10-05 Samsung Electronics Co., Ltd. Configuration of rate matching and interference measurement resources for coordinated multi-point transmission
AU2014244722C1 (en) 2013-03-29 2017-03-02 Samsung Electronics Co., Ltd. Audio apparatus and audio providing method thereof
US9779739B2 (en) * 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
DE102015114667B4 (de) 2015-09-02 2024-07-04 Ask Industries Gmbh Vorrichtung zur Ausgabe akustischer Signale
KR102614577B1 (ko) 2016-09-23 2023-12-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
CN109859766B (zh) * 2017-11-30 2021-08-20 华为技术有限公司 音频编解码方法和相关产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080097766A1 (en) 2006-10-18 2008-04-24 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
US20090265164A1 (en) 2006-11-24 2009-10-22 Lg Electronics Inc. Method for Encoding and Decoding Object-Based Audio Signal and Apparatus Thereof

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
BRPI0304540B1 (pt) * 2002-04-22 2017-12-12 Koninklijke Philips N. V Methods for coding an audio signal, and to decode an coded audio sign, encoder to codify an audio signal, codified audio sign, storage media, and, decoder to decode a coded audio sign
KR20050090283A (ko) 2004-03-08 2005-09-13 엘지전자 주식회사 다운로드 받은 음악파일의 이득조정방법
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
KR101251426B1 (ko) * 2005-06-03 2013-04-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법
JP5108768B2 (ja) * 2005-08-30 2012-12-26 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
WO2007032648A1 (en) * 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4944902B2 (ja) * 2006-01-09 2012-06-06 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
KR20080093024A (ko) * 2006-02-07 2008-10-17 엘지전자 주식회사 부호화/복호화 장치 및 방법
ES2407820T3 (es) * 2006-02-23 2013-06-14 Lg Electronics Inc. Método y aparato para procesar una señal de audio
MX2008012324A (es) * 2006-03-28 2008-10-10 Fraunhofer Ges Zur Foeerderung Metodo mejorado para la modulacion de señales en la reconstruccion de audio multicanal.
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
MY151651A (en) * 2006-07-04 2014-06-30 Dolby Int Ab Filter compressor and method for manufacturing compressed subband filter impulse responses
KR20090027765A (ko) 2006-07-14 2009-03-17 알프스 덴키 가부시키가이샤 압전 액추에이터의 구동 규제 구조 및 이것을 구비한 렌즈 구동 장치
CN101479785B (zh) 2006-09-29 2013-08-07 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
MX2008012250A (es) * 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
JP5232791B2 (ja) * 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
BRPI0715312B1 (pt) * 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais
MY145497A (en) * 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
KR101434834B1 (ko) 2006-10-18 2014-09-02 삼성전자주식회사 다채널 오디오 신호의 부호화/복호화 방법 및 장치
WO2008060111A1 (en) * 2006-11-15 2008-05-22 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US8483410B2 (en) * 2006-12-01 2013-07-09 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
KR101111520B1 (ko) * 2006-12-07 2012-05-24 엘지전자 주식회사 오디오 처리 방법 및 장치
JP2010516077A (ja) * 2007-01-05 2010-05-13 エルジー エレクトロニクス インコーポレイティド オーディオ信号処理方法及び装置
WO2008100068A1 (en) * 2007-02-13 2008-08-21 Lg Electronics Inc. A method and an apparatus for processing an audio signal
WO2008100100A1 (en) * 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
JP5161893B2 (ja) * 2007-03-16 2013-03-13 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR101422745B1 (ko) * 2007-03-30 2014-07-24 한국전자통신연구원 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법
ES2452348T3 (es) * 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US20090051637A1 (en) * 2007-08-20 2009-02-26 Himax Technologies Limited Display devices
WO2009049895A1 (en) * 2007-10-17 2009-04-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding using downmix
EP2063671B1 (en) 2007-11-22 2012-06-06 Yamaha Corporation Amplifier system
US9275648B2 (en) * 2007-12-18 2016-03-01 Lg Electronics Inc. Method and apparatus for processing audio signal using spectral data of audio signal
US8175295B2 (en) 2008-04-16 2012-05-08 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
US8023660B2 (en) * 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
US8588947B2 (en) * 2008-10-13 2013-11-19 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
MX2011011399A (es) 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
WO2010070016A1 (en) * 2008-12-19 2010-06-24 Dolby Sweden Ab Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters
US8255821B2 (en) 2009-01-28 2012-08-28 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2011048067A1 (en) * 2009-10-20 2011-04-28 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Apparatus for providing an upmix signal representation on the basis of a downmix signal representation, apparatus for providing a bitstream representing a multichannel audio signal, methods, computer program and bitstream using a distortion control signaling
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
WO2012020982A2 (ko) * 2010-08-10 2012-02-16 엘지전자 주식회사 화이트 스페이스 대역 내 가용 채널 정보 송수신 방법 및 장치
US8800585B2 (en) 2011-12-08 2014-08-12 Kidde Technologies, Inc. High rate discharge (HRD) valve incorporating a rotating lever release mechanism

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080097766A1 (en) 2006-10-18 2008-04-24 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
US20090265164A1 (en) 2006-11-24 2009-10-22 Lg Electronics Inc. Method for Encoding and Decoding Object-Based Audio Signal and Apparatus Thereof

Also Published As

Publication number Publication date
US20150332684A1 (en) 2015-11-19
WO2011083979A2 (en) 2011-07-14
EP2522016A4 (en) 2015-04-22
WO2011083979A3 (en) 2011-11-10
EP2522015A2 (en) 2012-11-14
EP2522015A4 (en) 2015-04-29
US9502042B2 (en) 2016-11-22
US20130132097A1 (en) 2013-05-23
US9536529B2 (en) 2017-01-03
CN105047206B (zh) 2018-04-27
CN102792378A (zh) 2012-11-21
CN102792378B (zh) 2015-04-29
KR20120104420A (ko) 2012-09-20
EP2522016A2 (en) 2012-11-14
KR101405976B1 (ko) 2014-06-12
US20130058502A1 (en) 2013-03-07
CN105047206A (zh) 2015-11-11
US9042559B2 (en) 2015-05-26
WO2011083981A2 (en) 2011-07-14
CN102696070A (zh) 2012-09-26
KR20120101178A (ko) 2012-09-12
EP2522015B1 (en) 2017-03-08
CN102696070B (zh) 2015-05-20
WO2011083981A3 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
KR101341536B1 (ko) 오디오 신호 처리 방법 및 장치
RU2419168C1 (ru) Способ обработки аудиосигнала и устройство для его осуществления
US8594817B2 (en) Method and an apparatus for processing an audio signal
KR101761041B1 (ko) 음량 및 동적 범위 제어에 대한 메타데이터
US8639368B2 (en) Method and an apparatus for processing an audio signal
KR101171314B1 (ko) 오디오 신호의 처리 방법 및 이의 장치
KR101538623B1 (ko) 두 개의 입력 오디오 신호 믹싱 방법, 및 이를 실행하기 위한 디코더 및 컴퓨터 판독가능한 매체, 및 입력 오디오 신호 믹싱 디바이스
KR100998913B1 (ko) 오디오 신호의 처리 방법 및 이의 장치
JP2011519223A (ja) オーディオ信号の処理方法及び装置
Falch et al. Spatial audio object coding with enhanced audio object separation
KR101062351B1 (ko) 오디오 신호 처리 방법 및 이의 장치
JP5406276B2 (ja) オーディオ信号の処理方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 7