KR101435016B1 - 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치 - Google Patents

오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치 Download PDF

Info

Publication number
KR101435016B1
KR101435016B1 KR1020137021384A KR20137021384A KR101435016B1 KR 101435016 B1 KR101435016 B1 KR 101435016B1 KR 1020137021384 A KR1020137021384 A KR 1020137021384A KR 20137021384 A KR20137021384 A KR 20137021384A KR 101435016 B1 KR101435016 B1 KR 101435016B1
Authority
KR
South Korea
Prior art keywords
audio
audio signal
metadata
signal
audio object
Prior art date
Application number
KR1020137021384A
Other languages
English (en)
Other versions
KR20130101584A (ko
Inventor
프랑크 멜키오르
로베르트 슈테펜스
안드레아스 파취
우베 미카엘리스
Original Assignee
아이오소노 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이오소노 게엠베하 filed Critical 아이오소노 게엠베하
Publication of KR20130101584A publication Critical patent/KR20130101584A/ko
Application granted granted Critical
Publication of KR101435016B1 publication Critical patent/KR101435016B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 신을 변환하는 장치는 오디오 신 처리 장치 및 방향 결정기를 포함한다. 상기 오디오 신은 연동된 메타 데이터 및 오디오 신호를 포함하는 적어도 하나의 오디오 오브젝트를 포함한다. 방향 결정기는 오디오 오브젝트의 메타 데이터에 기반하여 레퍼런스 포인트에 관한 오디오 오브젝트의 위치의 방향을 결정한다. 더하여, 오디오 신 처리 장치는 오디오 신호, 오디오 오브젝트의 위치의 결정된 방향 및 결정된 방향 함수에 기반하여 오디오 오브젝트의 메타 데이터 또는 오디오 신호로부터 파생되는 처리된 오디오 신호를 처리한다.

Description

오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치{APPARATUS FOR CHANGING AN AUDIO SCENE AND AN APPARATUS FOR GENERATING A DIRECTIONAL FUNCTION}
본 발명에 따른 실시예들은 오디오 신(scenes)들을 프로세싱(처리, processiog)하는 것 그리고 특히 오디오 신을 변환하는 방법 및 장치 그리고 방향 함수(기능, function)를 발생시키는 방법에 관련되어 있다.
오디오 컨텐츠의 제작 프로세스는 세가지 중요한 단계들로 구성된다 : 레코딩, 믹싱 그리고 마스터링(recording, mixing and mastering). 레코딩 프로세스 동안, 뮤지션들은 녹음되고 상당수의 개별 오디오 파일들이 발생된다. 배포될 수 있는, 포맷을 발생시키기 위해, 이러한 오디오 데이터는 스테레오 또는 5.1 서라운드 같은, 기본 포맷에 결합된다. 상기 믹싱 프로세스 동안, 상당수의 프로세싱 장치들이 요구되는 신호들을 발생시키기 위해 참여되며, 이는 주어진 스피커 시스템에서 반복하여 재생된다. 뮤지션들의 신호들을 믹싱한 후에, 이것들은 더 이상 분리되거나 개별적으로 처리될 없다. 마지막 단계는 최종 오디오 데이터 포맷의 마스터링이다. 이 단계에서, 전체적 인상(overall impression)이 조절되며 또는, 몇몇 소스들이 단일 매체(예를 들어, CD)에 컴파일되며, 상기 소스의 특성들의 이 단계 동안 매치되게 된다.
채널-기반 오디오 표현의 컨텍스트에서, 마스터링은 다른 스피커들에 대한 최종 오디오 신호들을 처리하는 프로세스이다. 믹싱의 이전 제작 단계에서와 비교하여, 상당수의 오디오 신호들이 처리되며, 예를 들어 왼쪽 그리고 오른쪽처럼, 스피커-기반 재생 또는 표현을 달성하기 위해 처리된다. 마스터링 단계에서, 오직 두개의 신호들 왼쪽 그리고 오른쪽이 처리된다. 이 프로세스는 컨텐츠의 주파수 분포 또는 전체적인 밸런스를 조정하기 위해 중요하다.
오브젝트-기반 신 표현의 컨텍스트에서, 상기 스피커 신호들은 재생 측면에서 발생된다. 이는 스피커 오디오 신호들의 측면에서 마스터는 존재하지 않는다는 것을 의미한다. 그럼에도 불구하고, 마스터링의 제작 단계는 컨텐츠를 최적화하고 조정하기 위해 필요하다.
다른 오디오 이펙트 처리 설계(processiog schemes) 가 존재하믐 이는 이 특징을 이용하여 처리 단계를 변형 및 오디오 신호의 특징을 추출한다. "Dynamic Panner: An Adaptive Digital Audio Effect for Spatial Audio, Morrell, Martin; Reis, Joshua presented at the 127th AES Convention, 2009"에서, 추출된 특징을 이용하는 오디오 데이터의 자동 패닝(automatic panning)을 위한 방법(음향학상 오디오 신에 소리를 위치시키는 것)이 설명되어 있다. 그래서, 상기 특징은 오디오 스트림으로부터 추출된다. 이 타입의 다른 특정 효과는 "Concept, Design, and Implementation of a General Dynamic Parametric Equalizer, Wise, Duane K., JAES Volume 57 Issue 1/2 pp. 16 - 28; January 2009"에서 공개되었다. 이 케이스에서, 이퀄라이저는 오디오 스트림으로부터 추출되는 특징에 의해 제어된다. 오브젝트-기반 신 디스크립션(object-based scene description)에 대해, 시스템 그리고 방법은 "System and method for transmitting/receiving object-based audio, Patent application US 2007/0101249"에 공개되어 있다. 이 문헌에서, 오브젝트-기반 신 디스크립션을 위한 완전한 컨텐츠 체인(complete content chain)이 개시되었다. 전용 마스터링 처리가, 예를 들어, "Multichannel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions, Patent application US2005/0141728"에서 공개되었다. 이 특허 출원은 상기 신호들의 매트릭스 그리고 확성기의 증폭을 설정하는 것에 의해 주어진 확성기 레이아웃에 많은 오디오 스트림들의 적용을 설명한다.
일반적으로, 유연한 프로세싱, 특히 오브젝트-기반 오디오 컨텐츠는, 오디오 이펙트를 발생, 처리 또는 증폭하기 위해 또는 오디오 신들의 변환을 위해 바람직하다.
오디오 신들을 변환하기 위해 향상된 개념을 제공하기 위한 것이 본 발명의 목적이며, 이는 유연성(탄력성, flexibility) 및/또는 오디오 신들의 처리 속도를 향상하고 그리고/또는 오디오 신들의 처리를 위한 노력을 감소시키는 것을 가능케한다.
이 목적은 제1항에 따른 장치 또는 제8항에 따른 방법에 의해 해결된다.
본 발명에 따른 실시예는 오디오 신 처리 장치 그리고 방향 결정기(direction determiner)를 포함하는 오디오 신을 변환하는 장치를 제공한다. 상기 오디오 신은 연동된 메타 데이터 그리고 오디오 신호를 포함하는 오디오 오브젝트를 적어도 하나 포함한다. 상기 방향 결정기는 오디오 오브젝트의 메타 데이터에 기반한 레퍼런스 포인트에 대한 오디오 오브젝트의 위치의 방향을 결정하도록 수행된다. 더하여, 오디오 신 처리 장치는 오디오 신호, 오디오 오브젝트의 위치의 결정된 방향 및 결정된 방향 함수에 기반하여 오디오 오브젝트의 메타 데이터 또는 오디오 신호로부터 파생된 처리된 오디오 신호를 처리하도록 수행된다.
본 발명에 따른 실시예는 그러한 오디오 신들의 빠르고, 불완전하고 유연한 처리를 가능케 하는 방향 함수에 기반하여 레퍼런스 포인트에 대한 방향에 의존하여 오디오 신을 변환하는 기본 아이디어에 기반한다. 그래서, 먼저, 레퍼런스 포인트에 대한 오디오 오브젝트의 위치의 방향이 메타 데이터로부터 결정된다. 결정된 방향에 기반하여, 방향 함수(예를 들어, 방향-의존 증폭 또는 억제)는 변화될 메타 데이터의 파라미터에, 오디오 신호에 또는 오디오 신호로부터 파생된 처리된 오디오 신호에 적용될 수 있다. 방향 함수를 이용하는 것은 유연한 오디오 신 처리를 가능케한다. 알려진 방법들과 비교하여, 방향 함수의 응용은 더 적은 노력과 함께 및/또는 실현될 수 있다.
도1은 오디오 신을 변환하는 장치의 블록도.
도2a,2b,2c는 오디오 신을 변환하기 위한 장치들의 추가 블록도.
도3은 오디오 신을 변환하기 위한 추가 장치의 블록도.
도4는 오디오 신을 변환하기 위한 장치의 블록도.
도5는 방향 함수를 발생시키기 위한 장치의 개략도.
도6은 그래픽 유저 인터페이스의 개략도.
도7은 방위각-의존 파라미터 값 보간(interpolation)의 예시도.
도8은 오디오 신을 변환하는 방법의 흐름도.
도9는 방향 함수를 변환하기 위한 장치의 흐름도.
본 발명에 따른 실시예들은 오디오 신(scenes)들을 프로세싱(처리, processiog)하는 것 그리고 특히 오디오 신을 변환하는 방법 및 장치 그리고 방향 함수(기능, function)를 발생시키는 방법에 관련되어 있다.
일반적으로, 유연한 프로세싱, 특히 오브젝트-기반 오디오 컨텐츠는, 오디오 이펙트를 발생, 처리 또는 증폭하기 위해 또는 오디오 신들의 변환을 위해 바람직하다.
오디오 신들을 변환하기 위해 향상된 개념을 제공하기 위한 것이 본 발명의 목적이며, 이는 유연성(탄력성, flexibility) 및/또는 오디오 신들의 처리 속도를 향상하고 그리고/또는 오디오 신들의 처리를 위한 노력을 감소시키는 것을 가능케한다.
이 목적은 제1항에 따른 장치 또는 제15항에 따른 방법에 의해 해결된다.
본 발명에 따른 실시예는 오디오 신 처리 장치 그리고 방향 결정기(direction determiner)를 포함하는 오디오 신을 변환하는 장치를 제공한다. 상기 오디오 신은 연동된 메타 데이터 그리고 오디오 신호를 포함하는 오디오 오브젝트를 적어도 하나 포함한다. 상기 방향 결정기는 오디오 오브젝트의 메타 데이터에 기반한 레퍼런스 포인트에 대한 오디오 오브젝트의 위치의 방향을 결정하도록 수행된다. 더하여, 오디오 신 처리 장치는 오디오 신호, 오디오 오브젝트의 위치의 결정된 방향 및 결정된 방향 함수에 기반하여 오디오 오브젝트의 메타 데이터 또는 오디오 신호로부터 파생된 처리된 오디오 신호를 처리하도록 수행된다.
본 발명에 따른 실시예는 그러한 오디오 신들의 빠르고, 불완전하고 유연한 처리를 가능케 하는 방향 함수에 기반하여 레퍼런스 포인트에 대한 방향에 의존하여 오디오 신을 변환하는 기본 아이디어에 기반한다. 그래서, 먼저, 레퍼런스 포인트에 대한 오디오 오브젝트의 위치의 방향이 메타 데이터로부터 결정된다. 결정된 방향에 기반하여, 방향 함수(예를 들어, 방향-의존 증폭 또는 억제)는 변화될 메타 데이터의 파라미터에, 오디오 신호에 또는 오디오 신호로부터 파생된 처리된 오디오 신호에 적용될 수 있다. 방향 함수를 이용하는 것은 유연한 오디오 신 처리를 가능케한다. 알려진 방법들과 비교하여, 방향 함수의 응용은 더 적은 노력과 함께 및/또는 실현될 수 있다.
본 발명에 따른 몇몇 실시예들은 그래픽 유저 인터페이스 그리고 방향 함수 결정기를 포함하는 방향 함수를 발생시키는 장치에 관련되어 있다. 그래픽 유저 인터페이스는 레퍼런스 포인트에 대한 다른 방향으로 배열된 복수의 입력 노브들을 포함한다. 레퍼런스 포인트로부터 복수의 입력 노브들의 각 입력 노브의 디스턴스(distance)는 개별적으로 조절될 수 있다. 더하여, 레퍼런스 포인트로부터 입력 노브의 디스턴스는 입력 노브의 방향에서 방향 함수의 값을 결정한다. 더하여, 방향 함수 결정기는, 물리적 수량이 방향 함수에 의해 영향받을 수 있도록, 레퍼런스 포인트로부터 복수의 입력 노브들의 디스턴스에 기반한 방향 함수를 발생시키도록 수행된다.
선택적으로, 방향 함수를 발생시키는 장치는 방향 함수에 기반하여 물리적 수량을 조정하는 변경자(modifier) 또한 포함한다.
본 발명에 따른 추가 실시예들은 방향 함수를 발생시키기 위한 장치를 갖는 오디오 신을 변환하는 장치에 관련되어 있다. 방향 함수를 발생시키는 장치는 오디오 신을 변환하는 오디오 신 처리 장치에 대한 방향 함수를 결정한다.
본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 아래에 설명될 것이다.
다음에서, 부분적으로, 동일 또는 유사한 기능적 특성을 갖는 오브젝트들 및 기능적 단위들에 대해 동일한 도면 부호가 이용된다. 더하여, 다른 실시예들의 선택적 특징들은 서로 교환되거나 결합될 수 있다.
도1은 본 발명의 실시예에 대응하는, 오디오 신을 변환하는 장치(100)에 대한 블록도를 보여준다. 오디오 신은 적어도 오디오 신호(104) 그리고 연동된 메타 데이터(102)를 포함하는 적어도 하나의 오디오 오브젝트를 포함한다. 오디오 신을 변환하는 장치(100)은 오디오 신 처리 장치(120)과 연결되는 방향 결정기(110)을 포함한다. 방향 결정기(110)은 상기 오디오 오브젝트늬 메타 데이터(102)에 기반하여 레퍼런스 포인트에 대해 오디오 오브젝트의 위치의 방향(112)을 결정한다. 더하여, 오디오 신 처리 장치(120)은 오디오 신호(104), 오디오 오브젝트의 위치의 결정된 방향(112) 그리고 결정된 방향 함수(108)에 기반하여 오디오 오브젝트의 메타 데이터 또는 오디오 신호(104)로부터 파생되는 처리된 오디오 신호(106)를 처리한다.
오디오 신호(104), 결정된 방향 함수(108)에 기반하여 오디오 오브젝트의 메타 데이터(102) 또는 오디오 신호(104)로부터 파생되는 처리된 오디오 신호(106)를 처리하는 것에 의해, 오디오 신을 변환하는데 아주 유연한 옵션(option)들이 실현될 수 있다. 예를 들어, 중간 포인트들의 선택적 보간(optional interpolation) 그리고 극히 소수의 방향 함수의 포인트들에 의해 이미 결정되는 것에 의해, 오디오 오브젝트의 어떤 파라미터들의 상당한 방향 의존도가 얻어질 수 있다. 상응하여, 적은 노력으로 빠른 처리와 높은 유연성이 얻어질 수 있다.
상기 오디오 오브젝트의 메타 데이터(102)는, 예를 들어, 2차원 또는 3차원 위치 결정(예를 들어, 2차원 또는 3차원 좌표 시스템의 데카르트 좌표드 또는 극좌표)에 대한 파라미터들을 포함할 수 있다. 이러한 위치 파라미터들에 기반하여, 방향 결정기(110)는 오디오 오브젝트가 확성기에 의해 재생되는 동안 레퍼런스 포인트와 관련하여 위치하는 방향을 결정할 수 있다. 레퍼런스 포인트는, 예를 들어, 레퍼런스 리스너 위치(reference listener position) 또는 일반적으로 위치 파라미터들에 기초하는 좌표 시스템의 제로 포인트(zero point)가 될 수 있다. 대안적으로, 메타 데이터(102)는, 방향 결정기(110)가 오직 메타 데이터(102)로부터 동일한 것을 추출해야 하는 그리고 또다른 레퍼런스 포인트에 대해 선택적으로 그것들을 사상(맵핑, map)할 수 있는, 그런 레퍼런스 포인트에 대한 오디오 오브젝트의 방향을 이미 포함할 수 있다. 보편성을 제한하지 않고, 다음에서, 오디오 오브젝트의 메타 데이터에 의한 2차원 위치 디스크립션(description)이 가정된다.
오디오 신 처리 장치(120)은 오디오 오브젝트의 위치의 결정된 방향(112) 그리고 결정된 방향 함수(108)에 기반하여 오디오 신을 변환한다. 그렇게 함으로써, 방향 함수(108)는 예를 들어, 오디오 오브젝트의 위치의 다른 방향에 대한, 가중 인자를 정의하고, 이는 오디오 신호(104), 레퍼런스 포인트에 대해 결정된 방향에 있는, 오디오 오브젝트의 메타 데이터(102)의 파라미터 또는 오디오 신호(104)로부터 파생된 처리된 오디오 신호(106), 가 얼마나 많이 변환되었는지를 표시한다. 예를 들어, 오디오 오브젝트들의 볼륨은 방향에 기반하여 변환될 수 있다. 이를 위하여, 오디오 오브젝트의 오디오 신호(104) 및/또는 오디오 오브젝트의 메타 데이터(102)의 볼륨 파라미터 각각은 변환될 수 있다. 대안적으로, 오디오 신호(104)로부터 파생되는 처리된 오디오 신호(106)에 대응하는 오디오 오브젝트의 오디오 신호로부터 발생되는 확성기 신호들은 변환될 수 있다. 다른 말로, 오디오 신호(104)로부터 파생되는 처리된 오디오 신호(106)는 원래 오디오 신호(104)를 처리하는 것에 의해 얻어지는 어떠한 오디오 신호든지 될 수 있다. 예를 들어, 이것들은 오디오 신호(104) 그리고 연동된 메타 데이터(102)에 기반하여 발생된 확성기 신호(loudspeaker signals)들이 될 수 있고, 또는 확성기 신호들을 발생시키기 위해 중간 단계들에서 발생되는 신호들이 될 수 있다. 이와 같이, 오디오 신 처리 장치(120)에 의한 처리(프로세싱, processing)는 오디오 렌더링(오디오 신의 확성기 신호를 발생시키는 것) 이전(before), 중에(during) 또는 그 후에(after) 수행될 수 있다.
결정된 방향 함수(108)은 메모리 매체(예를 들어, 룩업 테이블(lookup table)의 형태에서)에 의해 또는 유저 인터페이스로부터 제공될 수 있다.
오디오 신 처리의 언급된 옵션들과 일관되게, 도2a, 2b, 그리고 2c는 실시예들에 따라 오디오 신을 변환하는 장치(200, 202, 204)의 블록도를 보여준다. 그래서, 오디오 신을 변환하는 모든 장치(200, 202, 204)는, 방향 결정기(110) 외에 오디오 신 처리 장치(120), 제어 신호 결정기(2100을 포함한다. 제어 신호 결정기(210)은 오디오 신 처리 장치(120)을 제어하기 위한 제어 신호(212)를 결정하며, 이는 결정된 위치(112) 그리고 결정된 방향 함수(108)에 기반한다. 방향 결정기(110)은 제어 신호 결정기(210)에 연결되고 제어 신호 결정기(210)은 오디오 신 처리 장치(120)에 연결된다.
도2a는 오디오 신을 변환하기 위한 장치(200)의 블록 장치를 보여주고, 오디오 신 처리 장치(120)은 제어 신호(212)에 기반하여 오디오 오브젝트의 메타 데이터(102)의 파라미터를 변환하는 메타 데이터 변경자(220)를 포함한다. 그래서, 변경된 신 디스크립션(modified scene description)은 변환된 메타 데이터(222)의 형태에서 발생되고, 확성기 신호들을 발생시키기 위해, 이는 전통적인 오디오 렌더러(오디오 렌더링 장치)에 의해 처리될 수 있다. 그래서, 오디오 신은 나중 오디오 처리에 대해 독립적으로 변환될 수 있다. 그래서, 제어 신호(212)는, 에를 들어 메타 데이터(102)의 이전 파라미터(old parameter)에 대해 변경된 새로운 파라미터 값에 대응할 수 있고, 또는 제어 신호(212)는 원래 파라미터에 더해지거나(또는 감산되거나) 또는 원래 파라미터에 의해 곱해지는 가중 인자에 대응할 수 있다.
메타 데이터(102)의 위치 파라미터들에 기반하여, 방향 결정기(110)은 오디오 오브젝트의 위치의 방향을 계산할 수 있다. 대안적으로, 메타 데이터(102)는 방향 파라미터(110)가 오직 메타 데이터(102)로부터 동일한 것을 추출해야 하는 그런 방향 파라미터를 이미 포함할 수 있다. 선택적으로, 방향 결정기(110)은 메타 데이터(102)가 오디오 신을 변환하는 장치(100)보다 또 다른 레퍼런스 포인트에 관련될 가능성이 있다는 것 또한 고려할 수 있다.
대안적으로, 오디오 신을 변환하는 장치(202)는 도2b에 보여진 것처럼 오디오 신호 변경자(230)을 갖는 오디오 신 처리 장치를 포함할 수 있다. 이 경우, 오디오 오브젝트의 메타 데이터(102)가 아니라 오디오 오브젝트의 오디오 신호(104)가 변환된다. 이렇게 하기 위해, 오디오 신호 변경자(230)은 제어 신호(212)에 기반하여 오디오 신호(104)를 변환한다. 처리된 오디오 신호(224)는 그 후 확성기 신호들을 발생시키기 위한 전통적인 오디오 렌더러(audio renderer)에 의해 오디오 오브젝트의 연동된 메타 데이터(102)와 함께 다시 처리될 수 있다. 예를 들어, 오디오 신호(104)의 볼륨은 제어 신호(212)에 의해 스케일(scaled)될 수 있고, 또는 오디오 신호(104)는 주파수-의존 방식에 의해 처리될 수 있다.
일반적으로, 주파수-의존 처리에 의해, 결정된 방향 함수(108)에 의해 결정된 방향들에서, 높거나 낮은 주파수들 또는 미리 정의된 주파수 대역은 증폭되거나 감쇠(attenuated)될 수 있다. 이렇게 하기 위해, 오디오 신 처리 장치(120)은, 예를 들어, 오디오 오브젝트의 방향(112) 그리고 결정된 방향 함수(108)에 기반하여 그것의 필터 특성을 변환하는 필터를 포함할 수 있다.
대안적으로, 예를 들어, 오디오 오브젝트의 오디오 신호(104) 그리고 오디오 오브젝트의 메타 데이터(102) 모두가 처리될 수 있다. 다른 말로, 오디오 신 처리 장치(120)은 메타 데이터 변경자(220) 그리고 오디오 신호 변경자(230)을 포함할 수 있다.
도2c에 추가적 옵션이 나타나 있다. 오디오 신을 변환하는 장치(204)는 오디오 오브젝트의 오디오 신호(104), 오디오 오브젝트의 메타 데이터9102) 그리고 제어 신호(212)에 기반하여 확성기 배열에 의해 변환된 오디오 신을 재생하기 위한 복수의 확성기 신호들(226)을 발생시키는 오디오 신 처리 장치(240)을 포함한다. 이 컨텍스트에서, 오디오 신 처리 장치(240)은 오디오 렌더러(오디오 렌더링 장치)로 언급될 수도 있다. 오디오 신을 변환하는 것은 확성기 신호들을 발생시킨 후 또는 그 동안에 수행된다. 다른 말로, 오디오 신호(104)로부터 파생되는 처리된 오디오 신호는 확성기 신호들의 형태에서 또는 확성기 신호들을 발생시키기 위해 이용되는 중간 신호 또는 보조 신호의 형태에서 처리된다는 것이다.
이 예에서, 오디오 신 처리 장치(120)은, 예를 들어, 멀티-채널 렌더러(multi-channel renderer), 웨이브-필드 합성 렌더러(wave-field synthesis rendere) 또는 입체 렌더러(binaural renderer)가 될 수 있다.
이와 같이, 설명된 개념은 오디오 신을 변환하기 위해 확성기 배열에 의해 재생하기 위한 확성기 신호들 발생 전에, 중에, 후에 적용될 수 있다. 더하여, 제안된 개념에 의해 방향-의존 방식으로 개별적으로 오디오 신의 모든 오디오 오브젝트가 처리될 수 있는 것 뿐만 아니라, 오디오 신의 오디오 오브젝트 그룹의 모든 오디오 오브젝트들 또는 오디오 신의 모든 오디오 오브젝트들의 크로스-신 처리(크로스-신 프로세싱, cross-scene processing) 또한 일어날 수 있다. 오디오 오브젝트를 오디오 오브젝트 그룹들로 분할하는 것이, 예를 들어, 메타 데이터의 특별히 제공된 파라미터에 의해 수행될 수 있고, 또는 분할이, 예를 들어 오디오 오브젝트 타입들(예를 들어 포인트 소스(point source) 또는 플레인 웨이브(plane wave))에 기반하여 수행될 수 있다.
추가적으로, 오디오 신 처리 장치(120)은 제어 신호(212)에 의해 변환될 수 있는 필터 특성을 갖는 적응 필터(adaptive filter)를 가질 수 있다.
도3은 본 발명의 실시예에 대응하는 오디오 신을 변환하는 장치(300)의 추가 블록도를 보여준다. 오디오 신을 변환하는 장치(300)은 방향 결정기(110, 미도시), 오디오 신 처리 장치(120), 메타 데이터-의존 파라미터 가중 장치로도 불리는, 제어 신호 결정기(310), 방향 제어기로도 불리는 가중 제어기(weighting controller, 320)를 포함한다. 도3에 보여지는 것처럼 오디오 신을 변환하는 장치(300)는 (이 예에서 공간적 오디오 신으로도 불리는) 오디오 신의 모든 오디오 오브젝트에 대한 오디오 신 처리 장치(120)을 포함할 수 있고, 부분적 평행 또는 연속적으로, 평행하게 오디오 신의 모든 오디오 오브젝트들을 처리하는 오직 하나의 오디오 신 처리 장치(120)을 포함할 수 있다. 방향 제어기(320)은 제어 신호 결정기(310)에 연결되고, 그리고 제어 신호 결정기(310)은 오디오 신 처리 장치(120)에 연결된다. 도시되지는 않았지만, 방향 결정기(110)는 제어 신호 결정기(310)과 동일한 것을 제공하고 레퍼런스 포인트에 대한 오디오 오브젝트들의 메타 데이터(102)의 위치 파라미터들(1 to N) 로부터 오디오 오브젝트의 방향을 결정한다. 더하여, 방향 제어기(320, 가중 제어기, 방향 함수를 발생시키는 장치)는 방향 함수(108, 또는 가중 함수)를 발생시키고 제어 신호 결정기(310)에 동일한 것을 제공한다. 제어 신호 결정기(310)은, 각 오디오 오브젝트에 대해 결정된 방향 함수(108) 그리고 결정된 위치들에 기반하여, 제어 신호(312, 예를 들어 제어 파라미터들에 기반한)를 결정하고 오디오 신 처리 장치(120)에 동일한 것을 제공한다. 선택적으로, 제어 신호 결정기(310)은 메타 데이터(102)와 대응적으로 동일한 것을 변환하고 오디오 오브젝트의 새로운 위치를 결정할 수도 있다. 오디오 신 처리 장치(120)에 의해, 오디오 오브젝트들의 오디오 데이터(104, 오디오 신호들)는 제어 신호(312)에 기반하여 처리될 수 있고 변경된 오디오 데이터(224)가 제공될 수 있다.
대응적으로, 도4는 메타 데이터-의존 파라미터 가중에 대한 제어 신호 결정기(400)의 예를 보여준다. 제어 신호 결정기(400)는, 선택적으로, 메타 데이터 변경자(meta data modifier, 304) 뿐만 아니라 방향 함수 어댑터(directional function adapter, 303) 그리고 파라미터 가중 장치(parameter weighting apparatus, 302), 파라미터 셀렉터(parameter selector, 301)를 포함한다. 파라미터 셀렉터(301) 그리고 방향 함수 어댑터(303)은 파라미터 가중 장치(302)에 연결되고, 파라미터 가중 장치9302)는 메타 데이터 변경자(304)에 연결된다.
파라미터 셀렉터(301)은 변환될, 오디오 신의 신 디스크립션(scene description, 311) 또는 오디오 오브젝트의 메타 데이터로부터 파라미터를 선택한다. 변환될 파라미터는, 예를 들어, 오디오 오브젝트의 볼륨, 홀 이펙트(Hall effect)의 파라미터, 또는 지연 파라미터(delay paprameter)가 될 수 있다. 파라미터 셀렉터(301)은 파라미터 가중 장치(302)에 이 개별 파라미터(312) 또는 몇몇 파라미터들 또한 제공한다. 도4에 보여지는 대로, 파라미터 셀렉터(301)은 제어 신호 결정기(400)의 부분일 수 있다.
파라미터 가중 장치(302)의 도움으로, 제어 신호 결정기(400)는 제어 신호(314)를 결정하기 위해 변환될 파라미터(312) (또는 변환될 복수의 파라미터들)에 대해 방향 결정기(도4에는 미도시)에 의해 결정된 오디오 오브젝트의 방향에 기반하여 결정된 방향 함수를 적용할 수 있다.
제어 신호(314)는 위에서 설명된대로 오디오 신 처리 장치를 제어하기 위한 제어 값(314) 또는 제어 파라미터 또는 신 디스크립션(311) 또는 메타 데이터에서 파라미터 변경을 위한 변환된 파라미터들을 포함한다. 신 디스크립션(311) 또는 메타 데이터에서 파라미터 변경은 오디오 데이터 처리 장치의 메타 데이터 변경자에 의해, 도2a에 설명된대로, 또는 제어 신호 결정기(400)의 선택적 메타데이터 변경자(304)에 의해 수행될 수 있다. 그래서, 메타 데이터 변경자(304)는 변경된 신 디스크립션(315)를 발생시킬 수 있다.
방향 함수 어댑터(303)은 변환될 파라미터의 값의 범위에 결정된 방향 함수의 값의 범위를 적응시킬 수 있다. 파라미터 가중 장치(302)의 도움으로, 제어 신호 결정기(400)은 적응된 방향 함수(316)에 기반하여 제어 신호(314)를 결정할 수 있다. 예를 들어, 결정된 방향 함수(313)는 0과 1 사이(또는 또다른 최소 및 최대 값)의 다양한 값의 범위처럼 정의될 수 있다. 만약 예를 들어, 이 값의 범위가 오디오 오브젝트의 볼륨 파라미터에 적용된다면, 동일한 것이 0과 최대 볼륨 사이에서 달라질 수 있다. 그러나, 변경될 파라미터가 오직 특정 범위에서 변경될 수 있는 것이 또한 바람직할 수 있다. 예를 들어, 볼륨은 최대 +/- 20%에 의해 변화될 것이다. 그러면, 0과 1사이의 예시적으로 언급된 값들의 범위는 0.8 그리고 1.2 사이의 값들의 범위에 맵핑될 수 있고, 이 적응된 방향 함수는 변화될 파라미터(312)에 적용될 수 있다.
도4에 보여지는 대로 현실화되는 것에 의해, 제어 신호 결정기(400)은 메타 데이터-의존 파라미터 가중을 현실화할 수 있다. 그래서, 오브젝트-기반 신 디스크립션(object-based scene description)에서, 오디오 오브젝트들의 특정 파라미터들이 저장될 수 있다. 그러한 파라미터들은, 예를 들어, 오디오 소스(오디오 오브젝트)의 방향 또는 위치를 구성한다. 이러한 데이터는 신(scene) 동안 다이내믹(dynamic) 또는 스태틱(static)이 모두 될 수 있다. 이러한 데이터는 오디오 처리 유닛의 제어 값 뿐만 아니라 메타 데이터의 특정 집합(set)을 추출하고 변경된 집합(set)을 발생시키는 것에 의해 메타 데이터-의존 파라미터 가중(MDDPW)에 의해 처리될 수 있다. 도4는 메타 데이터-의존 파라미터 가중의 상세한 블록도를 나타낸다.
메타 데이터-의존 파라미터 가중은 신 디스크립션(311)을 수신하고 파라미터 셀렉터(301)을 이용하여 단일(또는 몇몇) 파라미터(들)을 추출한다. 이 선택은 메타 데이터-의존 파라미터 가중(meta data-dependent parameter weighting)의 특정 고정 구성(specific fixed configuration)에 의해 주어질 수 있거나 유저에 의해 만들어질 수 있다. 바람직한 실시예에서, 이는 방위각 각도 α가 될 수 있다. 방향 함수(313)은 파라미터 가중(302)에 의해 제어 값(314)를 발생시키기 위해 이용될 수 있고 적응 인자(303)에 의해 적응되거나 스케일될 수 있는 방향 제어기에 의해 주어진다. 제어 값은 파라미터 변경(304)을 이용하여 신 디스크립션에서 파라미터를 변환하기 위한 그리고 특정 오디오 처리를 제어하기 위해 이용될 수 있다. 이는 변경된 신 디스크립션을 도출할 수 있다.
신 디스크립션의 변경에 대한 예는 오디오 소스의 파라미터 값을 고려하는 것에 의해 주어질 수 있다. 이러한 경우, 소스의 방위각 각도는 방향 함수에 의존하여 신 디스크립션의 저장된 볼륨 값을 스케일(scale)하기 위해 이용된다. 이 시나리오에서, 오디오 처리는 렌더링 측면에서 수행된다. 대안적인 실시는 요구되는 볼륨에 의존하여 오디오 데이터를 직접 변경하기 위해 오디오 처리 유닛(오디오 신 처리 장치)를 이용할 수 있다. 이와 같이, 신 디스크립션의 볼륨 값은 변화될 필요가 없다.
방향 결정기(110), 오디오 신 처리 장치(120), 제어 신호 결정기(210), 메타 데이터 변경자(220), 오디오 신호 변경자(230), 파라미터 셀렉터(301) 및/또는 방향 함수 어댑터(303)은, 예를 들어, 컴퓨터 또는 디지탈 신호 프로세서, 마이크로 컨트롤러 상에서 수행되기 위한 소프트웨어 제품들 또는 컴퓨터 프로그램들 뿐만 아니라, 독립적인 하드웨어 유닛 또는 컴퓨터의 부분, 마이크로 컨트롤러 또는 컴퓨터 프로그램들이 될 수 있다.
본 발명의 몇몇 실시예들은 방향 함수를 발생시키는 장치에 관련되어 있다. 이를 위해, 도5는 본 발명의 실시예에 대응하는 방향 함수(522)를 발생시키는 장치(500)의 개략도를 보여준다. 방향 함수(522)를 발생시키는 장치(500)은 방향 함수 결정기(520) 그리고 그래픽 유저 인터페이스(510)을 포함한다. 그래픽 유저 인터페이스(510)은 레퍼런스 포인트(514)에 대한 다른 방향들로 배열된 복수의 입력 노브들(512)을 포함한다. 레퍼런스 포인트(514)로부터 복수의 입력 노브들(512)의 각 입력 노브(512)의 디스턴스(distance, 516)는 개별적으로 조정가능하다. 게다가, 방향 함수 결정기(520)은 물리적 수량이 방향 함수(522)에 의해 영향받을 수 있도록, 레퍼런스 포인트(514)로부터 복수의 입력 노브들(512)의 디스턴스(516)에 기반하여 방향 함수(522)를 발생시킨다. 설명된 장치(500)은 입력될 정보의 몇몇 조각들(디스턴스들의 설정 및, 선택적으로 입력 노브들의 방향들)에 기반하여 방향 함수를 발생시킨다. 이는 단순하고, 유연하며, 빠른 그리고/또는 유저-친화적인 방향 함수의 입력 및 발생을 가능케한다.
그래픽 유저 인터페이스(510)는, 예를 들어, 프로젝터에 의한 또는 스크린상의 레퍼런스 포인트(514) 그리고 복수의 입력 노브들(512)의 재생(reproduction)이다. 레퍼런스 포인트(514)에 대한 방향 및/또는 입력 노브들(512)의 디스턴스(516)은, 예를 들어, 입력 장치(예를 들어 컴퓨터 마우스)와 함께 변환될 수 있다. 대안적으로, 입력 값들(inputting values)은 또한 입력 노브(512)의 방향 및/또는 디스턴스(516)을 변환할 수 있다. 입력 노브들(512)는, 예를 들어, 어떠한 다른 방향들로 배치될 수 있고 또는 레퍼런스 포인트(514) 주위에 대칭적으로 배열될 수 있다.(예를 들어 4개의 노브들과 함께 그들은 90°로 각각 분리될 수 있거나 6개의 노브들과 함께 60°로 각각 분리될 수 있다.)
방향 함수 결정기(520)은 예를 들어, 복수의 입력 노브들(512)의 디스턴스들(516)에 기반하여 얻어지는 함수 값들의 보간(interpolation)에 의해, 방향 함수의 추가 함수 값들을 계산할 수 있다. 예를 들어, 방향 함수 결정기는 1°, 5°, 10°의 디스턴스들에서 또는 0.1°와 20°의 디스턴스들 사이의 범위에서 방향 함수 값들을 계산할 수 있다. 방향 함수(522)는 그래서, 예를 들어, 계산된 방향 함수 값들에 의해, 도시된다. 예를 들어, 방향 함수 결정기는 선형으로 복수의 입력 노브들(512)의 디스턴스들(516)에 의해 얻어지는 방향 함수 값들 사이의 선형(lenearly) 보간을 할 수 있다. 그러나, 입력 노브들(512)가 배열되는 방향에서, 이는 값들의 불연속적인 변화를 도출한다. 그래서, 대안적으로, 고차 다항식은 방향 함수(522)의 파생(derivation)의 연속적인 커브(curve)를 얻기 위해 적응될 수 있다. 대안적으로, 방향 함수 값들에 의해 방향 함수(522)를 표현하기 위해, 방향 함수(522)는 입력 값에 따라 각도에 대한 개별 방향 함수 값을 출력하는 수학 계산 규칙에 따라 제공될 수도 있다.
방향 함수는, 오디오 신호의 볼륨같은, 물리적 수량들에, 동일한 영향을 미치기 위해 신호 지연이나 오디오 효과에 적용될 수 있다. 대안적으로, 방향 함수(522)는 이미지 처리 또는 통신 엔지니어링처럼, 다른 응용들에도 이용될 수 있다. 이를 위해, 방향 함수(522)를 발생시키는 장치(500)은, 예를 들어, 방향 함수(522)에 기반하여 물리적 수량을 변경하는 변경자(modifier)를 포함할 수 있다. 이를 위해, 방향 함수 결정기(520)은 변경자가 처리할 수 있는 포맷으로 방향 함수(522)를 제공할 수 있다. 예를 들어, 방향 함수 값들은 등거리(equidistant) 각도들에 대해 제공된다. 그 후, 변경자는, 예를 들어, 가장 가까운 미리 계산된 각도(오디오 오브젝트의 방향에 대해 가장 작은 디스턴스를 갖는 각도)에 대해 결정된 그 방향 함수 값에 대해 오디오 오브젝트의 방향을 할당한다.
예를 들어, 결정된 방향 함수는 룩업 테이블(lookup table) 의 형태에서 저장 단위로 저장될 수 있고, 예를 들어 방향 함수에 의해 결정된 오디오 효과를 야기하는 오브젝트-기반 오디오 신의 확성기 신호들 또는 메타 데이터, 오디오 신호들에 대해, 적용될 수 있다. 도5에 보여지고 설명된것처럼 방향 함수(522)를 발생시키는 장치(500)가, 예를 들어, 오디오 신을 변환하는 위에서-설명된 결정된 방향 함수를 제공하기 위해 이용될 수 있다. 이 컨텍스트에서, 방향 함수를 발생시키는 장치는 방향 제어기 또는 가중 제어기로도 언급될 수 있다. 더하여, 이 예에서, 변경자는 제어 신호 결정기에 대응한다.
다른 말로, 위에서 설명된대로 오디오 신을 변환하는 장치는 방향 함수를 발생시키는 장치를 포함한다. 그것에 의해, 방향 함수를 발생시키는 장치는 오디오 신을 변환하는 장치에 대해 결정된 방향 함수를 제공한다.
추가적으로, 그래픽 유저 인터페이스(510)은 동일한 것이 회전될 때 복수의 입력 노브들의 모든 입력 노브들(512)에 대한 방향의 동일한 변화에 영향을 주는 회전 노브를 포함한다. 그것에 의해, 레퍼런스 포인트(514)에 대한 모든 입력 노브들(512)의 방향은 모든 입력 노브들(512)에 대해 동시에 변환될 수 잇고 이는 모든 입력 노브(512)에 대해 분리되어 수행될 필요가 없다.
선택적으로, 그래픽 유저 인터페이스(510)는 시프트 벡터(shift vector)의 입력 또한 허용할 수 있다. 그것 때문에, 복수의 입력 노브들(512)의 적어도 하나의 입력 노브(512)의 레퍼런스 포인트(514)에 대한 디스턴스는 입력 노브(512)의 방향 그리고 시프트 벡터의 길이 및 방향에 기반하여 변환될 수 있다. 예를 들어, 그것 때문에, 레퍼런스 포인트(514)에 대한 그것의 방향이 최적의 시프트 벡터의 방향과 맞는 입력 노브(512)의 디스턴스(516)은 가장 많이 변환될 수 있고, 반면 다른 입력 노브(512)의 디스턴스들(516)은 시프트 벡터의 방향으로부터 그것들의 편차에 대해 더 적게 변한다. 디스턴스들(516)의 변화량은, 예를 들어 시프트 벡터의 길이에 의해, 제어될 수 있다.
방향 함수 결정기(520) 및/또는 변경자(modifier)는, 예를 들어, 디지털 신호 프로세서 또는 컴퓨터, 마이크로컨트롤러에서 실행되는 소프트웨어 제품들 또는 컴퓨터 프로그램들 뿐만 아니라 디지털 신호 프로세서 또는 마이크로 컨트롤러, 컴퓨터의 부분 또는 독립적인 하드웨어 유닛들이 될 수 있다. 도6은 가중 컨트롤러(또는 방향-의존 가중에 대한 방향 제어기(2차원))의 버젼에 따라 그래픽 유저 인터페이스(510)의 예를 보여준다.
방향 제어기는 유저가 신호 처리 단계에서 이용되는 방향 의존 제어 값들을 특정하는 것을 가능케한다.(오디오 신 처리 장치) 2차원 신 디스크립션의 경우, 이는 원(circle, 616)을 이용하여 시각화될 수 있다. 3차원 시스템엇, 구(sphere)가 더 적합할 수 있다. 자세한 설명은 보편성의 손실 없이 2차원 버젼에 제한된다. 도6은 방향 제어기를 보여준다. 노브들(512)(입력 노브들)은 주어진 방향에 대한 특정 값들을 정의하는데 이용된다. 회전 노브(612)는 모든 노브들(512)를 동시에 회전시키는데 이용된다. 중앙 노브(614)는 특정 방향을 강조하는데 이용된다.
보여진 예에서, 입력 노브들은 초기 위치에서 레퍼런스 서클(616)상에서 레퍼런스 포인트에 대한 동일 디스턴스들을 갖고 배열된다. 선택적으로, 레퍼런스 서클(616)은 그것의 반지름에서 변환될 수 있고 그리고 그것 때문에, 입력 노브들(512)의 디스턴스는 할당된 공통 디스턴스 변환이 될 수 있다.
노브들(512)이 유저에 의해 정의되는 특정 값들을 전달하는 반면, 그 사이에 있는 모든 값들이 보간(interpolation)에 의해 계산될 수 있다. 만약 예를 들어, 이 값들이 노브 r1 에서 t4 까지 그리고 그것들의 방위각 a1 에서 a4 에 대한 네개의 입력 노브들을 갖는 방향 제어기에 대해 주어지면, 선형 보간에 대한 예가 도7에 주어진다. 회전 노브(612)는 오프셋 αrot (offset αrot)를 특정(지정)하기 위해 이용된다. 이 오프셋은 방정식(equation)에 의해 방위각 각도 a1 부터 a4 까지에 대해 적용된다:
Figure 112013073425346-pat00001
(Eq. 1)
여기서 i는 방위각 각도 지수를 나타낸다.
중앙 노브는 노브들의 r1 에서 r4 까지의 값들을 제어할 수 있다. 변위 벡터
Figure 112013073425346-pat00002
에 의존하여,스케일링 값(scaling value) rscal은 방정식을 이용하여 계산될 수 있다:
Figure 112013073425346-pat00003
(Eq. 2)
그리고 특정 포인트(specific point)에 대한 값들에 대해
Figure 112013073425346-pat00004
(Eq. 3)
에 의해 적용될 수 있다.
특정 방향을 강조하기 위해 추가로 가능성 있는 것들은 시프트 벡터의 이용이다. 이를 위해, 2단계 방법에서(in a two-stage method), 시프트 벡터는 노브들(512)로 변환된다. 제1스텝에서, 노브들(512)의 위치 벡터는 시프트 벡터와 더해진다.
Figure 112013073425346-pat00005
(Eq. 4)
두번째 스텝에서, 노브
Figure 112013073425346-pat00006
의 새로운 위치는 고정된 위치에 투영된다.(projected) 이는 고려될 노브의 방향에서 통합 벡터
Figure 112013073425346-pat00007
와 시프트 벡터 사이의 스칼라 곱(scalar product)을 계산하는 것에 의해 해결될 수 있다.
Figure 112013073425346-pat00008
(Eq. 5)
스칼라 곱 s i 의 값은 고려된 노브 i의 새로운 양을 나타낸다.
방향 제어기의 출력은, 예를 들어,
Figure 112013073425346-pat00009
(Eq. 6)
에 의해 정의된 노브들(512)의 값들에 기반하여 특정 보간 함수에 의해 발생되는 연속적인 파라미터 함수 r(α)이다. 여기서 N 은 제어기에서 이용된 노브들(512)의 수를 표시한다.
위에서 언급되었듯이, 도7은 레퍼런스 포인트 주위에서 서로 90°로 떨어져 각각 배치된 네개의 입력 노브들을 갖는 그래픽 유저 인터페이스를 이용하는 발생된 방향 함수에 대한 예로서 방위각-의존 파라미터 값 보간(710)을 보여준다. 예를 들어, 방향 함수는 선형 보간을 이용하는 네개의 노브들을 갖는 방향 제어기에 대한 제어 값들을 계산하기 위해 이용될 수 있다.
본 발명에 따른 몇몇 실시예들은 오브젝트-기반 오디오 신 그리고 신호들을 처리하기 위한 장치 및/또는 장비에 관련되어 있다.
다른 것들 중에서, 본 발명의 개념은 전용 확성기 레이아웃들(dedicated louspeaker layouts)에 대한 재생 신호들을 발생시킴 없이 오브젝트-기반 오디오 컨텐츠를 마스터링하기 위한 방법을 설명한다. 마스터링 프로세스가 오브젝트-기반 오디오 컨텐츠에 적응되는 동안, 그것은 또한 새로운 공간적 효과들을 발생시키기 위해 이용될 수 있다.
그것 때문에, 오브젝트-기반 오디오 재생의 컨텍스트에서 마스터링의 재생 단계를 시뮬레이팅(simulating)하는 시스템이 설명된다. 본 발명의 바람직한 실시예에서, 오브젝트 기반 오디오 신들의 방향-의존 오디오 처리가 실현된다. 이는 믹스쳐의 오브젝트들(objects of a mixture) 또는 분리된 신호들의 추상(앱스트랙션, abstraction)을 가능케하지만, 지각되는 인상(perceived impression)의 방향 의존 변경을 고려한다. 다른 실시예들에서, 본 발명은 오디오 신 표현들에 대한 새로운 툴로서 뿐만 아니라 공간적 오디오 효과의 분야에서 이용될 수도 있다.
본 발명의 개념은, 예를 들어, 메타 데이터의 동일한 또는 다른 집합에 대응하는 오디오 신호들의 새로운 집합들로 개별 메타 데이터 그리고 오디오 신호들을 구성하는 주어진 오디오 신 디스크립션을 변환할 수 있다. 이 프로세스에서, 임의적 오디오 처리가 신호들을 변환하기 위해 이용된다. 처리 장치들은 파라미터 제어에 의해 제어될 수 있다.
설명된 개념에 의해, 예를 들어, 상호작용하는 변경(modification) 그리고 신 디스크립션은 파라미터들을 추출하기 위해 이용될 수 있다. 모든 이용가능한 또는 장래의 오디오 처리 알고리즘들(멀티-채널 렌더러, 웨이브-필드 합성 렌더러 또는 입체 렌더러 같은, 오디오 신 처리 장치들)은 본 발명의 컨텍스트 에서 이용될 수 있다. 이를 위해, 실시간으로 변화될 수 있는 파라미터의 이용가능성이 필요할 수 있다.
도8은 본 발명의 실시예에 대응하는 오디오 신을 변환하는 장치(800)의 흐름도이다. 오디오 신은 연동된 메타 데이터 및 오디오 신호를 갖는 적어도 하나의 오디오 오브젝트들을 포함한다. 방법(800)은 오디오 오브젝트의 메타 데이터에 기반하여 레퍼런스 포인트에 대한 오디오 오브젝트의 위치의 방향을 결정하는 단계(810)를 포함한다. 더하여, 방법(800)은 오디오 오브젝트의 위치의 결정된 방향 그리고 결정된 방향 함수에 기반하여 오디오 오브젝트의 메타 데이터 또는 오디오 신호로부터 파생되는 처리된 오디오 신호, 오디오 신호를 처리하는 단계(820)를 포함한다.
도9는 본 발명의 실시예에 대응하는 방향 함수를 발생시키는 방법(900)의 흐름도를 나타낸다. 방법(900)은 레퍼런스 포인트에 대한 다른 방향들로 배열된 복수의 입력 노브들을 갖는 그래픽 유저 인터페이스를 제공하는 단계(910)을 포함한다. 그것에 의해, 레퍼런스 포인트로부터의 복수의 입력 노브들의 모든 입력 노브의 디스턴스는 개별적으로 조정될 수 있다. 레퍼런스 포인트로부터 입력 노브의 디스턴스는 입력 노브의 방향에서 방향 함수의 값을 결정한다. 더하여, 방법(900)은 물리적 수량이 방향 함수에 의해 영향받을 수 있도록 , 레퍼런스 포인트로부터 복수의 입력 노브들의 디스턴스들에 기반하여 방향 함수를 발생시키는 단계(920)을 포함한다.
비록 몇몇 관점들이 장치들의 컨텍스트에서 설명되었지만, 이러한 관점들이 장치의 블록 또는 장비들이 방법 단계의 특징 또는 개별 방법 단계로 고려되는 것처럼 개별 방법의 설명을 표현할 수도 있다는 것은 명백하다. 유사하게, 방법 단계로 또는 컨텍스트에서 설명된 관점들은 또한 개별 장치의 특징 또는 세부내용 또는 개별 블록의 설명을 표현한다.
특정 실행 요구들에 기반하여, 본 발명의 실시예들은 하드웨어 또는 소프트웨어에서 실행될 수 있다. 실행은 디지털 저장 매체, 예를 들어 개별 방법들이 수행되는 동일한 것들과 연동하는 또는 프로그램 가능한 컴퓨터와 연동할 수 있는 그에 전기적으로 판독가능한 제어 신호들이 저장된 다른 마그네틱 또는 광 메모리 또는 하드 드라이브, 플로피 디스크(floppy disc), DVD, 블루레이 디스크(Blu-ray disc), CD, ROM, PROM, EPROM, EEPROM 또는 플래쉬 메모리(FLASH memory), 를 이용하는 것에 의해 수행될 수 있다. 이와 같이, 디지털 저장 매체는 컴퓨터-판독 가능하다. 이와 같이, 본 발명의 몇몇 실시예들은 여기서 설명되는 방법들 중 하나가 수행되는 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.
일반적으로, 본 발명의 실시예는 컴퓨터 코드와 컴퓨터 프로그램 제품으로 실행될 수 있고, 여기서 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터상에서 구동될 때 상기 방법들 중 하나를 수행하기 위해 효과적이다. 프로그램 코드는, 예를 들어, 기계-판독가능한 캐리어에 저장될 수도 있다. 또 다른 실시예들은 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하고, 여기서 상기 컴퓨터 프로그램은 기계-판독가능한 캐리어에 저장된다.
다른 말로, 본 방법 발명의 실시예는 컴퓨터 프로그램이 컴퓨터상에서 구동될 때 여기서 설명되는 방법들 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다. 본 방법 발명의 또 다른 실시예는 상기 방법들 중 하나를 수행할 컴퓨터 프로그램이 저장된 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독가능한 매체)이다.
본 방법 발명의 추가 실시예는 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 신호들의 시퀀스 또는 데이터 스트림이다. 신호들의 시퀀스의 데이터 스트림은 데이터 통신 연결, 예를 들어 인터넷을 통해 전송되기 위해 구성될 수 있다.
추가 실시예는 처리 수단들, 예를 들어, 여기에 설명된 방법들 중 하나를 수행하기 위해 적응되는 또는 구성되는 컴퓨터 또는 프로그램 가능한 논리 장치를 포함한다. 추가 실시예는 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치되는 컴퓨터를 포함한다.
몇몇 실시예들에서, 프로그램 가능한 논리 회로(예를 들어 필드-프로그램 가능한 게이트 어레이, FPGA)는 여기서 설명된 방법들 중 모든 또는 몇몇을 기능들을 수행하기 위해 이용될 수 있다. 몇몇 실시예들에서, 필드-프로그램가능한 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 협력한다. 일반적으로, 몇몇 실시예들에서, 상기 방법들은 어떠한 하드웨어 장치에 의해 수행된다. 동일한 것들이 컴퓨터 프로세서(CPU) 또는 ASIC 같은 방법-특정 하드웨어 같은 범용적으로 이용가능한 하드웨어가 될 수 있다.
위에서 설명된 실시예들은 단지 본 발명의 원리들의 설명을 나타내는 것 뿐이다. 여기서 설명된 배치들 및 세부사항들의 변형 및 다양화는 다른 해당 기술분야의 당업자들에게 명확할 것이라는 것이 명백하다. 그래서, 본 발명은 다음 청구항들의 발명의 범위에만 제한될 뿐 실시예들의 논의 및 설명에 기반하여 여기서 나타내어진 특정 세부사항들에 의해서는 제한되지 않는 것으로 의도된다.

Claims (9)

  1. 오디오 신을 변환하는 장치(100, 200, 202, 204, 300)에 있어서, 상기 오디오 신은 오디오 신호(104) 그리고 연동된 메타 데이터(associated meta data, 102)를 포함하는 적어도 하나의 오디오 오브젝트(audio object)를 포함하며,

    상기 오디오 오브젝트의 메타 데이터(102)에 기반하여 레퍼런스 포인트(reference point)에 관한 상기 오디오 오브젝트의 위치의 방향을 결정하도록 수행되는 방향 결정기(110);

    상기 오디오 신호(104), 변화될 상기 메타 데이터(102)의 파라미터의 방향-의존 증폭 또는 억제를 얻기 위해 상기 오디오 오브젝트의 결정된 방향(112) 그리고 결정된 방향 함수(108)에 기반하여 상기 오디오 오브젝트의 상기 메타 데이터(102) 또는 오디오 신호로부터 파생되는 처리된 오디오 신호(106), 상기 오디오 신호(104) 또는 상기 오디오 신호(104)로부터 파생되는 처리된 오디오 신호(106)를 처리하도록 수행되는 오디오 신 처리 장치(120);

    상기 결정된 방향 함수(108) 그리고 상기 결정된 위치에 기반하여 상기 오디오 신 처리 장치(120)를 제어하기 위한 제어 신호(212)를 결정하도록 수행되는 제어 신호 결정기(210);

    상기 오디오 신의 신 디스크립션(scene description, 311) 또는 상기 오디오 오브젝트의 메타 데이터(102)로부터 변환될 파라미터를 선택하도록 수행되는 파라미터 셀렉터(parameter selector, 301);를 포함하며, 상기 제어 신호 결정기(210)는 상기 제어 신호(212, 314)를 결정하기 위해 변환될 상기 파라미터에 대한 오디오 오브젝트의 상기 결정된 방향에 기반하여 상기 결정된 방향 함수(108, 313)를 적용하도록 수행되며,

    상기 방향 함수(108)는 오디오 오브젝트의 위치의 다른(different) 방향들에 대한 가중 인자를 정의하고, 이는 오디오 신호(104), 레퍼런스 포인트에 대해 결정된 방향에 있는, 오디오 오브젝트의 메타 데이터(102)의 파라미터 또는 오디오 신호(104)로부터 파생된 처리된 오디오 신호(106),가 얼마나 많이 변환되었는지를 표시하는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  2. 제1항에 따른 장치에 있어서,
    상기 오디오 신 처리 장치는 상기 제어 신호(212)에 기반하여 상기 오디오 오브젝트의 상기 메타 데이터(102)의 파라미터를 변화시키도록 수행되는 메타 데이터 변경자(220)를 포함하는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  3. 제1항 또는 제2항에 따른 장치에 있어서,
    상기 오디오 신 처리 장치(120)는 상기 제어 신호(212)에 기반하여 상기 오디오 오브젝트의 상기 오디오 신호(104)를 변환하도록 수행되는 오디오 신호 변경자(230)을 포함하는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  4. 제1항에 따른 장치에 있어서,
    상기 오디오 신 처리 장치(120)는 상기 제어 신호(212) 그리고 상기 오디오 오브젝트의 메타 데이터(102), 상기 오디오 오브젝트의 오디오 신호(104)에 기반하여 확성기(loudspeaker) 배열에 의해 상기 변화된 오디오 신을 재생하기 위해 복수의 확성기 신호들(226)을 발생시키도록 실행되는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  5. 제1항에 따른 장치에 있어서,
    변환될 파라미터의 값들의 범위(312)에 대해 상기 결정된 방향 함수(108, 313)의 값의 범위를 조정하도록 수행되는 방향 함수 어댑터(303)를 포함하며, 상기 제어 신호 결정기(210)은 상기 조정된 방향 함수(316)에 기반하여 상기 제어 신호(212, 314)를 결정하도록 수행되는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  6. 오디오 신의 오디오 오브젝트 그룹의 모든 오디오 오브젝트들 또는 상기 오디오 신의 모든 오디오 오브젝트들을 변환하도록 수행되는 제1항에 따른 오디오 신을 변환하는 장치.
  7. 제1항에 따른 장치에 있어서,
    상기 오디오 신 처리 장치(120)는 주파수-의존 방식으로 상기 오디오 오브젝트의 위치의 상기 결정된 방향 및 상기 결정된 방향 함수(108)에 기반하여 상기 오디오 신호로부터 파생되는 상기 처리된 오디오 신호(106) 또는 상기 오디오 신호를 처리하도록 수행되는 것을 특징으로 하는 오디오 신을 변환하는 장치.
  8. 오디오 신을 변환하는 방법(800)에 있어서,
    상기 오디오 신은 연동된 메타 데이터 그리고 오디오 신호를 포함하는 적어도 하나의 오디오 오브젝트를 포함하며,
    상기 오디오 오브젝트의 메타 데이터에 기반하여 레퍼런스 포인트에 대한 상기 오디오 오브젝트의 위치의 방향을 결정하는 단계(810);
    상기 오디오 신호, 변화될 상기 메타 데이터의 파라미터의 방향-의존 증폭 또는 억제를 얻기 위해 상기 오디오 오브젝트의 결정된 방향 그리고 결정된 방향 함수에 기반하여 상기 오디오 오브젝트의 상기 메타 데이터 또는 오디오 신호로부터 파생되는 처리된 오디오 신호, 상기 오디오 신호 또는 상기 오디오 신호로부터 파생되는 처리된 오디오 신호를 처리하는 단계(820);
    결정된 방향 함수 및 결정된 위치에 기반하여 오디오 신 처리 장치를 제어하기 위한 제어 신호를 결정하는 단계; 및
    상기 오디오 신의 신 디스크립션 또는 상기 오디오 오브젝트의 메타 데이터(102)로부터 변환될 파라미터를 선택하는 단계;를 포함하며,
    상기 제어 신호 결정기는 상기 제어 신호를 결정하기 위해 변환될 상기 파라미터에 대해 상기 오디오 오브젝트의 결정된 방향에 기반하여 결정된 방향 함수를 적용하도록 수행되며,
    상기 방향 함수(108)는 오디오 오브젝트의 위치의 다른(different) 방향들에 대한 가중 인자를 정의하고, 이는 오디오 신호(104), 레퍼런스 포인트에 대해 결정된 방향에 있는, 오디오 오브젝트의 메타 데이터(102)의 파라미터 또는 오디오 신호(104)로부터 파생된 처리된 오디오 신호(106),가 얼마나 많이 변환되었는지를 표시하는 것을 특징으로 하는 오디오 신을 변환하는 방법.
  9. 컴퓨터 프로그램이 컴퓨터 또는 마이크로컨트롤러에서 구동될 때, 제8항에 따른 방법을 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 기록매체.
KR1020137021384A 2010-06-25 2011-06-24 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치 KR101435016B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010030534A DE102010030534A1 (de) 2010-06-25 2010-06-25 Vorrichtung zum Veränderung einer Audio-Szene und Vorrichtung zum Erzeugen einer Richtungsfunktion
DE102010030534.0 2010-06-25
PCT/EP2011/003122 WO2011160850A1 (en) 2010-06-25 2011-06-24 Apparatus for changing an audio scene and an apparatus for generating a directional function

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137001875A Division KR101507901B1 (ko) 2010-06-25 2011-06-24 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치

Publications (2)

Publication Number Publication Date
KR20130101584A KR20130101584A (ko) 2013-09-13
KR101435016B1 true KR101435016B1 (ko) 2014-08-28

Family

ID=44545617

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137001875A KR101507901B1 (ko) 2010-06-25 2011-06-24 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치
KR1020137021384A KR101435016B1 (ko) 2010-06-25 2011-06-24 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020137001875A KR101507901B1 (ko) 2010-06-25 2011-06-24 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치

Country Status (6)

Country Link
US (1) US9402144B2 (ko)
EP (2) EP2648426B1 (ko)
KR (2) KR101507901B1 (ko)
CN (2) CN103442325B (ko)
DE (1) DE102010030534A1 (ko)
WO (1) WO2011160850A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101935020B1 (ko) * 2012-05-14 2019-01-03 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
US9190065B2 (en) 2012-07-15 2015-11-17 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients
US9479886B2 (en) 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US10158962B2 (en) 2012-09-24 2018-12-18 Barco Nv Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
US9674631B2 (en) 2012-09-24 2017-06-06 Barco Nv Method for controlling a three-dimensional multi-layer speaker arrangement and apparatus for playing back three-dimensional sound in an audience area
EP2733964A1 (en) 2012-11-15 2014-05-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup
US10038957B2 (en) * 2013-03-19 2018-07-31 Nokia Technologies Oy Audio mixing based upon playing device location
IL290275B2 (en) 2013-05-24 2023-02-01 Dolby Int Ab Encoding audio scenes
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
GB2515089A (en) * 2013-06-14 2014-12-17 Nokia Corp Audio Processing
GB2516056B (en) 2013-07-09 2021-06-30 Nokia Technologies Oy Audio processing apparatus
US9712939B2 (en) 2013-07-30 2017-07-18 Dolby Laboratories Licensing Corporation Panning of audio objects to arbitrary speaker layouts
CN104882145B (zh) 2014-02-28 2019-10-29 杜比实验室特许公司 使用音频对象的时间变化的音频对象聚类
CN104185116B (zh) * 2014-08-15 2018-01-09 南京琅声声学科技有限公司 一种自动确定声辐射模式的方法
WO2016165776A1 (en) 2015-04-17 2016-10-20 Huawei Technologies Co., Ltd. Apparatus and method for driving an array of loudspeakers with drive signals
US9877137B2 (en) * 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
GB2546504B (en) * 2016-01-19 2020-03-25 Facebook Inc Audio system and method
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
CA3134343A1 (en) * 2017-10-04 2019-04-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding
GB2567172A (en) 2017-10-04 2019-04-10 Nokia Technologies Oy Grouping and transport of audio objects
DE102018206025A1 (de) * 2018-02-19 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren für objektbasiertes, räumliches Audio-Mastering
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
SG11202007629UA (en) * 2018-07-02 2020-09-29 Dolby Laboratories Licensing Corp Methods and devices for encoding and/or decoding immersive audio signals
EP3881565A1 (de) * 2018-11-17 2021-09-22 ASK Industries GmbH Verfahren zum betreiben einer audioeinrichtung
CN109840093A (zh) * 2018-12-24 2019-06-04 苏州蜗牛数字科技股份有限公司 一种任意函数适配器实现方法
KR20210072388A (ko) 2019-12-09 2021-06-17 삼성전자주식회사 오디오 출력 장치 및 오디오 출력 장치의 제어 방법
GB2594265A (en) * 2020-04-20 2021-10-27 Nokia Technologies Oy Apparatus, methods and computer programs for enabling rendering of spatial audio signals
KR20240049682A (ko) * 2021-09-03 2024-04-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 공간 메타데이터 출력을 이용하는 음악 신디사이저

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6572475B1 (en) * 1997-01-28 2003-06-03 Kabushiki Kaisha Sega Enterprises Device for synchronizing audio and video outputs in computerized games
US20060133628A1 (en) * 2004-12-01 2006-06-22 Creative Technology Ltd. System and method for forming and rendering 3D MIDI messages

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
GB9726338D0 (en) * 1997-12-13 1998-02-11 Central Research Lab Ltd A method of processing an audio signal
JP2003284196A (ja) 2002-03-20 2003-10-03 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US20060206221A1 (en) * 2005-02-22 2006-09-14 Metcalf Randall B System and method for formatting multimode sound content and metadata
US8698844B1 (en) * 2005-04-16 2014-04-15 Apple Inc. Processing cursor movements in a graphical user interface of a multimedia application
DE102005033239A1 (de) * 2005-07-15 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Steuern einer Mehrzahl von Lautsprechern mittels einer graphischen Benutzerschnittstelle
KR100733965B1 (ko) 2005-11-01 2007-06-29 한국전자통신연구원 객체기반 오디오 전송/수신 시스템 및 그 방법
US8139780B2 (en) * 2007-03-20 2012-03-20 International Business Machines Corporation Using ray tracing for real time audio synthesis
US8406439B1 (en) * 2007-04-04 2013-03-26 At&T Intellectual Property I, L.P. Methods and systems for synthetic audio placement
US20100223552A1 (en) * 2009-03-02 2010-09-02 Metcalf Randall B Playback Device For Generating Sound Events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6572475B1 (en) * 1997-01-28 2003-06-03 Kabushiki Kaisha Sega Enterprises Device for synchronizing audio and video outputs in computerized games
US20060133628A1 (en) * 2004-12-01 2006-06-22 Creative Technology Ltd. System and method for forming and rendering 3D MIDI messages

Also Published As

Publication number Publication date
US9402144B2 (en) 2016-07-26
KR101507901B1 (ko) 2015-04-07
CN103442325A (zh) 2013-12-11
WO2011160850A1 (en) 2011-12-29
DE102010030534A1 (de) 2011-12-29
EP2648426B1 (en) 2021-08-04
EP2596648B1 (en) 2020-09-09
EP2596648A1 (en) 2013-05-29
CN103109549B (zh) 2016-12-28
CN103442325B (zh) 2016-08-31
CN103109549A (zh) 2013-05-15
KR20130045338A (ko) 2013-05-03
US20130114819A1 (en) 2013-05-09
KR20130101584A (ko) 2013-09-13
EP2648426A1 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
KR101435016B1 (ko) 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치
KR102622714B1 (ko) 앰비소닉 깊이 추출
US10820134B2 (en) Near-field binaural rendering
JP6047240B2 (ja) 空間オーディオ信号の異なる再生スピーカ設定に対するセグメント毎の調整
EP3028476B1 (en) Panning of audio objects to arbitrary speaker layouts
US8488796B2 (en) 3D audio renderer
EP3145220A1 (en) Rendering virtual audio sources using loudspeaker map deformation
US10848890B2 (en) Binaural audio signal processing method and apparatus for determining rendering method according to position of listener and object
KR102119240B1 (ko) 스테레오 오디오를 바이노럴 오디오로 업 믹스하는 방법 및 이를 위한 장치
KR20200120734A (ko) 객체-기반 공간 오디오 마스터링 디바이스 및 방법
EP4089673A1 (en) Encoding device and method, decoding device and method, and program
CN113632501A (zh) 信息处理装置和方法、再现装置和方法、以及程序
KR20190091824A (ko) 바이노럴 스테레오 오디오 생성 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170731

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180801

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6