KR101304797B1 - 오디오 처리 시스템 및 방법 - Google Patents

오디오 처리 시스템 및 방법 Download PDF

Info

Publication number
KR101304797B1
KR101304797B1 KR1020087006288A KR20087006288A KR101304797B1 KR 101304797 B1 KR101304797 B1 KR 101304797B1 KR 1020087006288 A KR1020087006288 A KR 1020087006288A KR 20087006288 A KR20087006288 A KR 20087006288A KR 101304797 B1 KR101304797 B1 KR 101304797B1
Authority
KR
South Korea
Prior art keywords
sound source
signals
listener
delete delete
itd
Prior art date
Application number
KR1020087006288A
Other languages
English (en)
Other versions
KR20080049741A (ko
Inventor
웬 왕
Original Assignee
디티에스 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스 엘엘씨 filed Critical 디티에스 엘엘씨
Publication of KR20080049741A publication Critical patent/KR20080049741A/ko
Application granted granted Critical
Publication of KR101304797B1 publication Critical patent/KR101304797B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

이산적인 수의 단순한 디지털 필터가 오디오 주파수 범위의 특정 부분을 위해 생성될 수 있는 오디오 신호 처리 시스템 및 방법이 개시된다. 특정 주파수 범위가 인간의 귀의 위치 구분 능력에 특히 중요하며, 다른 범위는 일반적으로 무시되는 것을 연구는 보여준다. 머리 전달 함수(Head-Related Transfer Function)(HRTF)(170)는 상이한 위치에 위치된 사운드를 귀가 어떻게 인지하는지를 특정하는 응답 함수(response function)의 예이다. 그러한 응답 함수의 1 이상의 "위치-결정적" 부분(172, 174)을 선택함으로써, 위치-구분 능력이 실질적으로 유지되는 청취를 시뮬레이션하기 위해 사용될 수 있는 단순한 필터(180)를 구축할 수 있다. 그 필터가 단순해질 수 있기 때문에, 제한된 연산 능력 및 리소스를 갖는 장치(550, 562)에서 실시될 수 있어서 여러 가지 원하는 오디오 효과에 대한 기초를 이루는 위치-구분 응답을 제공한다.
디지털 오디오 신호, 음원, 디지털 필터, 청취 응답 함수, 시뮬레이션, ITD, IID

Description

오디오 처리 시스템 및 방법{SYSTEMS AND METHODS FOR AUDIO PROCESSING}
본 출원은 2005년 9월 13일에 출원된 미국 가출원 제60/716,588호의 35 U.S.C §119(e)하의 우선권을 주장하고, 발명의 명칭은 "오디오 처리 시스템 및 방법(SYSTEMS AND METHODS FOR AUDIO PROCESSING)"이며, 그 전체가 본 명세서에서 참조로서 인용된다.
본 발명은 일반적으로 오디오 신호(audio signal) 처리에 관한 것이며, 더 상세하게는, 3차원 청취 효과를 시뮬레이션하기 위하여 가청 주파수 범위의 위치-결정적 부분(location-critical portion)을 필터링하는 시스템 및 방법에 관한 것이다.
사운드 신호(sound signal)를 처리하여 향상된 청취 효과를 제공할 수 있다. 예컨대, 각종 처리 기술은 음원(sound source)이 청취자에 대해 위치하고 있거나 이동할 때 인지되도록 할 수 있다. 그러한 기술은 제한된 구성 및 성능을 갖는 스피커를 사용하는 경우에도 청취자에게 시뮬레이션된 3차원 청취 경험을 허용한다.
하지만, 여러 사운드 인지 향상 기술은 복잡하고, 종종 실질적인 연산 능력 및 리소스(resource)를 필요로 한다. 그리하여, 제한된 연산 능력 및 리소스를 갖는 여러 전자 장치에 적용하는 경우에는, 이러한 기술의 사용은 실행될 수 없거나 불가능하다. 셀룰러폰, PDA, MP3 플레이어 등과 같은 여러 휴대 장치는 일반적으로 이러한 범주에 속한다.
전술한 문제점 중 적어도 일부는 본 명세서에서 개시되는 오디오 신호 처리 시스템 및 방법의 다양한 실시예에 의해 처리될 수 있다. 일 실시예에서, 이산적인 수의 단순한 디지털 필터가 오디오 주파수 범위의 특정 부분을 위해 생성될 수 있다. 특정 주파수 범위가 인간의 귀의 위치 구분 능력에 특히 중요하며, 다른 범위는 일반적으로 무시된다는 연구결과가 있다. 머리 전달 함수(Head-Related Transfer Function)(HRTF)는 상이한 위치에 위치된 사운드를 귀가 어떻게 인지하는지를 특정하는 응답 함수(response function)의 예이다. 그러한 응답 함수의 1 이상의 "위치-결정적" 부분을 선택함으로서, 위치-구분 능력이 실질적으로 유지되는 청취를 시뮬레이션하기 위해 사용될 수 있는 단순한 필터를 구축할 수 있다. 그 필터는 단순하기 때문에, 제한된 연산 능력 및 리소스를 갖는 장치에서 실시될 수 있어, 여러 가지 원하는 오디오 효과에 대한 기초를 이루는 위치-구분 응답을 제공할 수 있다.
본 개시의 일 실시예는 디지털 오디오 신호 처리 방법에 관한 것이다. 그 방법은 1 이상의 디지털 신호를 수신하는 단계를 포함하며, 1 이상의 디지털 신호의 각각은 청취자에 상대적인 음원의 공간적 위치에 관한 정보를 갖는다. 그 방법은 1 이상의 디지털 필터를 선택하는 단계를 더 포함하며, 1 이상의 디지털 필터는 청취 응답 함수의 특정 범위로부터 형성된다. 그 방법은 1 이상의 필터를 1 이상의 디지털 신호에 인가하여, 대응하는 1 이상의 필터링된 신호를 산출하는 단계를 더 포함하며, 1 이상의 필터링된 신호의 각각은 음원에 인가된 청취 응답 함수의 시뮬레이션된 효과를 갖는다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 능력을 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크(peak) 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 스피커에 출력되는 좌측 및 우측 디지털 신호를 포함한다. 일 실시예에서, 좌측 및 우측 신호는 청취자에 상대적인 음원의 공간적 위치에 기초하여 두 귀간 시간차(Interaural Time Tifference)에 대해 조정된다. 일 실시예에서, ITD 조정은 음원의 공간적 위치에 관한 정보를 갖는 모도 입력 신호를 수신하는 단계를 포함한다. ITD 조정은 공간적 정보에 기초하여 시간차 값을 결정하는 단계를 더 포함한다. ITD 조정은 그 시간차 값은 모도 입력 신호에 도입하여 좌측 및 우측 신호를 생성하는 단계를 더 포함한다.
일 실시예에서, 시간차 값은 sinθcosφ의 절대 값에 비례하는 양을 포함하며, 여기서 θ는 청취자 전방에 대한 음원의 방위각을 나타내고, φ는 청취자 귀 및 전방 방향에 의해 규정된 수평면에 대한 음원의 고도각(elevation angle)을 나타낸다. 일 실시예에서, 그 양은 │(Maximum_ITD_Samples_per_Sampling_Rate-1)sinθcosφ│로 표현된다.
일 실시예에서, 시간차 값의 결정은 음원의 공간적 위치가 변하는 경우에 수행된다. 일 실시예에서, 그 방법은 이전의 값과 현재의 값 사이의 시간차 값의 교차 페이드 천이(crossfade transition)을 수행하는 단계를 더 포함한다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 이전의 값으로부터 현재의 값으로의 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 변경하는 단계를 포함한다.
일 실시예에서, 1 이상의 필터링된 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 필터링된 신호를 포함한다. 일 실시예에서, 그 방법은 1 이상의 필터의 인가에 의해서는 고려되지 않고 존재할 수 있는 임의의 강도 차이를 고려하기 위해서, 두 귀간 강도차(Interaural Intensity Difference)에 대하여 좌측 및 우측 필터링된 신호의 각각을 조정하는 단계를 더 포함한다. 일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은 음원이 청취자에 대하여 좌측 또는 우측에 위치되는지를 결정하는 단계를 포함한다. 조정은 음원으로서 반대측에 있는 좌측 또는 우측 필터링된 신호를 약한 신호로서 지정하는 단계를 더 포함한다. 조정은 좌측 또는 우측 필터링된 신호의 나머지를 강한 신호로서 지정하는 단계를 더 포함한다. 조정은 제 1 보상에 의해 약한 신호를 조정하는 단계를 더 포함한다. 조정은 제 2 보상에 의해 강한 신호를 조정하는 단계를 더 포함한다.
일 실시예에서, 제 1 보상은 cosθ에 비례하는 보상 값을 포함하며, 여기서, θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 보상 값은, 음원이 실질적으로 바로 전방에 있는 경우에 보상 값이 원래의 필터 레벨 차이가 될 수 있도록, 그리고 음원이 실질적으로 바로 강한 측에 있는 경우에 약한 신호에 대하여 이득 조정이 이루어지지 않도록 보상 값이 대략 1이 되도록, 표준화된다.
일 실시예에서, 제 2 보상은 sinθ에 비례하는 보상 값을 포함하고, 여기서 θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 보상 값은, 음원이 실질적으로 바로 전방에 있는 경우에 이득 조정이 강한 신호에 이루어지지 않도록 보상 값이 대략 1이 되도록, 그리고 음원이 실질적으로 바로 약한 측에 있는 경우 보상 값이 약 2가 되도록, 표준화되고, 이에 의해 대략 6dB의 이득 보상을 제공함으로서, 방위각의 상이한 값에서 전체 음량을 대략 매치시킨다.
일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은, 음원의 선택된 이동에 기인하여 새로운 1 이상의 디지털 필터가 좌측 및 우측 필터링된 신호에 인가되는 경우에 수행된다. 일 실시예에서, 그 방법은 이전 값과 현재 값 사이의 제 1 및 제 2 보상 값의 교차 페이드 천이를 수행하는 단계를 더 포함한다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 제 1 및 제 2 보상 값을 변경하는 단계를 더 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프(roll off)하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터(butterworth filter)를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에 대한 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 1 이상의 디지털 필터의 선택은 청취자에 대한 유한 수의 기하학적 위치에 기초한다. 일 실시예에서, 기하학적 위치는 복수의 반(hemi)-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 상기 방법은 1 이상의 디지털 신호를 수신하기 전 또는 1 이상의 필터를 인가한 이후에 이하의 처리 단계의 적어도 하나를 수행하는 단계를 더 포함한다: 샘플 속도(sample rate) 변환, 음원 속도에 대한 도플러 조정, 청취자에 대한 음원의 거리를 고려하기 위한 거리 조정, 음원에 대한 청취자 머리의 배향(orientation)을 고려하기 위한 배향 조정, 또는 잔향(reverberation) 조정.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대한 음원의 움직임의 효과를 시뮬레이션한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 음원을 청취자에 대한 선택된 위치에 배치하는 효과를 시뮬레이션 한다. 일 실시예에서, 그 방법은 청취자에 대한 선택된 위치에서의 복수의 음원의 효과를 시뮬레이션하기 위하여 1 이상의 부가적인 음원의 효과를 시뮬레이션하는 단계를 더 포함한다. 일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 스피커에 입력될 좌측 및 우측 디지털 신호를 포함하고, 복수의 음원은 2 이상의 음원의 효과가 좌측 및 우측 스피커로 시뮬레이션 되도록 2 이상의 음원을 포함한다. 일 실시예에서, 복수의 음원은 서라운드(surround) 사운드 배치의 하나와 유사한 방식으로 배치되는 5개의 음원을 포함하고, 서라운드 사운드 효과가 헤드폰에 제공된 좌측 및 우측 필터링된 신호에 의해 시뮬레이션 되도록 좌측 및 우측 스피커는 헤드폰 내에 배치된다.
본 개시의 다른 실시예는 음원으로부터의 사운드를 나타내는 디지털 신호를 처리하기 위한 위치 오디오 엔진(positional audio engine)에 관한 것이다. 오디오 엔진은 1 이상의 디지털 필터를 선택하도록 구성된 필터 선택 컴포넌트를 포함하며, 1 이상의 디지털 필터의 각각은 특정 범위의 청취 응답 함수로 형성되며, 선택은 청취자에 대한 음원의 공간적 위치에 기초한다. 오디오 엔진은 1 이상의 디지털 신호에 1 이상의 디지털 필터를 인가하여 대응하는 1 이상의 필터링된 신호를 산출하도록 구성된 필터 인가 컴포넌트를 더 포함하며, 1 이상의 필터링된 신호의 각각은 음원으로부터의 사운드에 인가된 청취 응답 함수의 시뮬레이션된 효과를 갖는다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 감지도를 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 디지털 신호를 포함하여서, 1 이상의 필터링된 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 필터링된 신호를 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 1 이상의 디지털 필터의 선택은 청취자에 대한 유한 수의 기하학적 위치에 기초한다. 일 실시예에서, 기하학적 위치는 복수의 반-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대한 음원의 움직의 효과를 시뮬레이션한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대하여 선택된 위치에 음원을 배치하는 효과를 시뮬레이션한다.
본 개시의 다른 실시예는 디지털 오디오 신호를 처리하는 시스템에 관한 것이다. 그 시스템은 모노 입력 신호를 수신하고 좌측 및 우측 ITD-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트를 포함한다. 모노 입력 신호는 청취자에 대한 음원의 공간적 위치에 대한 정보를 포함한다. 시스템은 좌측 및 우측 ITD-조정된 신호를 수신하고, 좌측 및 우측 ITD-조정된 신호의 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트를 더 포함하며, 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록, 1 이상의 디지털 필터의 각각은 청취 응답 함수의 특정 범위에 기초한다. 상기 시스템은 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID-조정된 신호를 생성하여 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트를 더 포함한다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 능력을 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, ITD는 sinθcosφ의 절대 값에 비례하는 양을 포함하는데, 여기서 θ는 청취자 전방에 대한 음원의 방위각을 나타내고, φ는 청취자 귀 및 전방 방향에 의해 규정된 수평면에 대한 음원의 고도각을 나타낸다.
일 실시예에서, ITD 결정은 음원의 공간적 위치가 변하는 경우에 수행된다. 일 실시예에서, ITD 컴포넌트는 이전의 값과 현재의 값 사이의 ITD의 교차 페이드 천이를 수행하도록 추가로 구성된다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 이전의 값으로부터 현재의 값으로의 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 변경하는 단계를 포함한다.
일 실시예에서, IID 컴포넌트는 음원이 청취자에 대하여 좌측 또는 우측에 위치되는지를 결정하도록 구성된다. ITD 컴포넌트는 음원으로서 반대측에 있는 좌측 또는 우측 필터링된 신호를 약한 신호로서 지정하도록 더 구성된다. ITD 컴포넌트는 좌측 또는 우측 필터링된 신호의 나머지를 강한 신호로서 지정하도록 더 구성된다. ITD 컴포넌트는 제 1 보상에 의해 약한 신호를 조정하도록 더 구성된다. ITD 컴포넌트는 제 2 보상에 의해 강한 신호를 조정하도록 더 구성된다.
일 실시예에서, 제 1 보상은 cosθ에 비례하는 보상 값을 포함하며, 여기서, θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 제 2 보상은 sinθ에 비례하는 보상 값을 포함하고, 여기서 θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다.
일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은, 음원의 선택된 이동에 기인하여 새로운 1 이상의 디지털 필터가 좌측 및 우측 필터링된 신호에 인가되는 경우에 수행된다. 일 실시예에서, ITD 컴포넌트는 이전 값과 현재 값 사이의 제 1 및 제 2 보상 값의 교차 페이드 천이를 수행하도록 더 구성된다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 제 1 및 제 2 보상 값을 변경하는 단계를 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에 대한 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 위치 필터 컴포넌트는 청취자에 대한 유한 수의 기하학적 위치에 기초하여 1 이상의 디지털 필터를 선택하도록 더 구성된다. 일 실시예에서, 기하학적 위치는 복수의 반-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 상기 시스템은 샘플 속도 변환 컴포넌트, 음원 속도를 시뮬레이션 하도록 구성된 도플러 조정 컴포넌트, 청취자에 대한 음원의 거리를 고려하도록 구성된 거리 조정 컴포넌트, 음원에 대한 청취자 머리의 배향을 고려하도록 구성된 배향 조정 컴포넌트, 또는 잔향 효과를 시뮬레이션하기 위한 잔향 조정 컴포넌트를 더 포함한다.
본 개시의 또 다른 실시예는 디지털 오디오 신호를 처리하기 위한 시스템에 관한 것이다. 그 시스템은 복수의 신호 처리 체인(chain)을 포함하며, 각각의 체인은 모노 입력 신호를 수신하고 좌측 및 우측 ITD-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트를 포함한다. 모노 입력 신호는 청취자에 대한 음원의 공간적 위치에 대한 정보를 포함한다. 각 체인은 좌측 및 우측 ITD-조정된 신호를 수신하고, 좌측 및 우측 ITD-조정된 신호의 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트를 더 포함하며, 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록, 1 이상의 디지털 필터의 각각은 청취 응답 함수의 특정 범위에 기초한다. 각각의 체인은 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID-조정된 신호를 생성하여, 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트를 더 포함한다.
본 개시의 또 다른 실시예는 1 이상의 디지털 신호를 수신하는 수단을 갖는 장치에 관한 것이다. 그 장치는 음원의 공간적 위치에 대한 정보에 기초하여 1 이상의 디지털 필터를 선택하는 수단을 더 포함한다. 그 장치는 1 이상의 디지털 신호에 1 이상의 디지털 필터를 인가하여, 청취 응답 함수의 효과를 시뮬레이션하는 대응하는 1 이상의 필터링된 신호를 산출하는 수단을 더 포함한다.
본 개시의 또 다른 실시예는 1 이상의 전자 필터를 형성하는 수단과, 3차원 사운드 효과를 시뮬레이션하기 위하여, 1 이상의 전자 필터를 사운드 신호에 인가하는 수단을 갖는 장치에 관한 것이다.
도 1은 위치 오디오 엔진이 이동하는 음원의 사운드 효과를 청취자에 제공할 수 있는 예시적 청취 상황을 도시하는 도면.
도 2는 위치 오디오 엔진이 헤드폰을 사용하는 청취자에게 서라운드 사운드 효과를 제공할 수 있는 다른 예시적인 청취 상황을 도시하는 도면.
도 3은 위치 오디오 엔진의 전체적인 기능성의 블록도.
도 4는 도 3의 위치 오디오 엔진에 의해 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 5는 도 4의 프로세스의 더욱 구체적인 예일 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 6은 도 5의 프로세스의 더욱 구체적인 예일 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 7a는 응답 곡선으로부터의 1 이상의 위치-결정적 정보가 비교적 단순한 필터 응답으로 어떻게 변환되는지를 예시적으로 도시하는 도면.
도 7b는 도 7a의 예시적인 변환을 제공할 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 8은 설명을 위한 예시적인 공간적 구조 규정을 도시하는 도면.
도 9는 청취자에 대한 공간이 4분원으로 분할될 수 있는 예시적인 공간적 구성을 도시하는 도면.
도 10은 도 9의 공간적 구성 내의 음원이 X-축에 대하여 복수의 이산적인 반-평면상에 위치되는 바와 같이 근사화될 수 있고, 이에 의해 위치 필터링 프로세스를 단순화할 수 있는 예시적인 공간적 구성을 도시하는 도면.
도 11a 내지 11c는 위치-결정적 시뮬레이션된 필터 응답이 각종 반-평면에 대하여 얻어질 수 있도록, 도 10의 반-평면의 일부에서의 각종 예시적인 위치에서 얻어질 수 있는 HRTF와 같은 예시적인 응답 곡선을 도시하는 도면.
도 12는 일 실시예에서 위치 필터가 위치-결정적 시뮬레이션된 필터 응답을 제공할 수 있고, 두 귀간 시간차(ITD) 및 두 귀간 강도차(IID) 기능성을 갖고 구동할 수 있는 것을 도시하는 도면.
도 13은 도 12의 ITD 컴포넌트의 일 실시예를 도시하는 도면.
도 14는 도 12의 위치 필터의 일 실시예를 도시하는 도면.
도 15는 도 12의 IID 컴포넌트의 일 실시예를 도시하는 도면.
도 16은 도 12의 ITD 컴포넌트에 의해서 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 17은 도 12의 위치 필터 및 IID 컴포넌트에 의해서 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 18은 도 12의 ITD, 위치 필터 및 IID 컴포넌트의 기능성을 제공하기 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면이며, 여기서, 교차 페이딩(crossfading) 기능성은 이동하는 음원의 효과의 매끄러운 천이를 제공할 수 있다.
도 19는 위치 필터 컴포넌트가 다른 사운드 처리 컴포넌트를 갖는 체인의 일부일 수 있는 예시적인 신호 처리 구성을 도시하는 도면.
도 20은 복수의 신호 처리 체인이 복수의 음원을 시뮬레이션하기 위해 실시될 수 있는 일 실시예를 도시하는 도면.
도 21은 도 20의 실시예에 대한 다른 변형예를 도시하는 도면.
도 22a 및 22b는 위치 필터를 갖는 위치 오디오 엔진이 구현될 수 있는 오디오 시스템의 비-한정적인 예를 도시하는 도면.
도 23a 및 23b는 위치 필터의 기능성이 청취자에게 향상된 청취 경험을 제공하도록 구현될 수 있는 장치의 비-한정적인 예를 도시하는 도면.
본 발명의 이러한 측면 및 다른 측면, 장점, 및 새로운 특징은 첨부 도면을 참조하는 이하의 상세한 설명으로부터 명백해질 것이다. 도면에서, 유사한 요소는 유사한 참조 부호를 갖는다.
일반적으로, 본 개시는 오디오 신호 처리 기술에 관한 것이다. 일부 실시예에서, 본 개시의 각종 특징 및 교시는 오디오 또는 오디오/시청 장치상에서 구현될 수 있다. 여기에 기술한 바와 같이, 본 개시의 각종 특징은 사운드 신호의 효율적인 처리를 허용하고, 그리하여 일부 적용에서, 제한된 신호 처리 리소스를 갖는 경우에도, 사실적인 위치적 사운드 이미지화(sound imaging)가 달성될 수 있다. 그와 같이, 일부 실시예에서, 청취자에게 사실적 임팩트(impact)를 갖는 사운드는 연산 능력이 제한될 수 있는 소형(handheld) 장치와 같은 휴대 장치에 의해서 출력될 수 있다. 여기에 개시된 각종 특징 및 개념은 휴대 장치에서의 구현에 한정되지 않으며, 사운드 신호를 처리하는 임의의 전자 장치 내에서 구현될 수 있다는 것을 이해해야 한다.
도 1은 청취자(102)가 스피커(108)로부터의 사운드(110)를 청취하는 예시적 상황(100)을 도시한다. 청취자(102)는 그 청취자(102)에 대하여 특정 위치에 있는 바와 같은 1 이상의 음원(112)을 감지하는 것으로 도시된다. 예시적 음원(112a)은 청취자(102)의 전방 우측에 있는 것이며, 예시적 음원(112b)은 청취자의 후방 좌측에 있다. 음원(112a)은 청취자(102)에 대하여 이동(화살표 114로 도시된 바와 같이)하는 것으로 도시된다.
도 1에 도시된 바와 같이, 임부 사운드는 청취자(102)가 일부 음원에 대하여 이동하고 있다는 것을 분명히 할 수 있다. 음원, 청취자 배향 및 이동의 여러 가지 다른 조합이 실시될 수 있다. 일부 실시예에서, 대응하는 시각적 인지(예컨대, 스크린으로부터의)와 결합된 그러한 오디오 인지는 청취자에게 효과적이고 강력한 감지 효과를 제공할 수 있다.
일 실시예에서, 위치 오디오 엔진(104)은 그와 같은 청취 효과를 달성하기 위해 신호(106)를 생성하여 스피커(108)에 제공할 수 있다. 위치 오디오 엔진(104)의 각종 실시예 및 특징은 이하에 상세히 기술한다.
도 2는 청취자(102)가 헤드폰(124)과 같은 두-스피커 장치로부터의 사운드를 청취하고 있는 다른 예시적 상황(120)을 도시한다. 또한, 위치 오디오 엔진(104)은 예시적인 헤드폰에 신호(122)를 생성하여 제공하는 것으로 도시된다. 이러한 예시 적인 구현에서, 청취자(102)에 의해서 인지된 사운드는 청취자(102)에 대하여 실질적으로 고정된 위치에 복수의 음원이 존재한다는 것을 분명히 한다. 예컨대, 서라운드 사운드 효과는 음원(126)(본 예에서는 다섯 개이지만, 다른 개수 및 구성이 또한 가능함)이 특정 위치에 나타나게 함으로써 생성될 수 있다.
일부 실시예에서, 대응하는 시각적 인지(예컨대, 스크린으로부터)와 결합된 그러한 오디오 인지는 청취자에게 효과적이고 강력한 감지 효과를 제공할 수 있다. 그리하여, 예컨대, 서라운드-사운드 효과는 헤드폰을 통하여 휴대 장치를 청취하고 있는 청취자에게 생성될 수 있다. 위치 오디오 엔진(104)의 각종 실시예 및 특징은 이하에 더욱 상세히 기술한다.
도 3은 입력 신호(132)를 수신하고 출력 신호(134)를 생성하는 위치 오디오 엔진(130)의 블록도를 도시한다. 여기에 기술한 특징을 갖는 그러한 신호 처리는 여러 방식으로 구현될 수 있다. 비-한정적인 예에서, 위치 오디오 엔진(130)의 기능성의 일부 또는 전체는 전자 장치 내의 멀티미디어 애플리케이션과 구동 시스템 사이의 애플리케이션 프로그래밍 인터페이스(API)로서 구현될 수 있다. 다른 비-한정적인 예에서, 엔진(130)의 기능성의 일부 또는 전체는 소스(source) 데이터(예컨대, 데이터 피일 또는 스트리밍 데이터 내의) 내에 합체될 수 있다.
다른 구성이 가능하다. 예컨대, 본 개시의 각종 개념 및 특징은 아날로그 시스템 내에서의 신호 처리를 위해 구현될 수 있다. 그러한 시스템 내에서, 위치 필터의 아날로그 등가물은 여기에 기술한 각종 기술과 유사한 방식으로 위치-결정적 정보에 기초하여 구성될 수 있다. 그리하여, 본 개시의 각종 개념 및 특징은 디지 털 시스템에 한정되는 것이 아니다.
도 4는 위치 오디오 엔진(130)에 의해 수행될 수 있는 프로세스(140)의 일 실시예를 도시한다. 프로세스 블록(142) 내에서, 선택된 위치 응답 정보는 주어진 주파수 범위 중에서 선택된다. 일 실시예에서, 주어진 범위는 청취가능한 주파수 범위일 수 있다(예컨대, 약 20Hz 내지 약 20KHz). 프로세스 블록(144)에서, 오디오 신호는 선택된 위치 응답 정보에 기초하여 처리된다.
도 5는 프로세스(140)(도 4)의 선택된 위치 응답 정보가 위치-결정적 또는 위치-상응적 정보일 수 있는 프로세스(150)의 일 실시예를 도시한다. 프로세스 블록(152)에서, 위치-결정적 정보는 주파수 응답 데이터로부터 얻어진다. 프로세스 블록(154)에서, 위치 또는 1 이상의 음원이 위치-결정적 정보에 기초하여 결정된다.
도 6은 프로세스(150)(도 5)의 더욱 구체적인 구현이 수행될 수 있는 프로세스(160)의 일 실시예를 도시한다. 프로세스 블록(162)에서, 이산적인 세트의 필터 파라미터가 얻어지고, 필터 파라미터는 1 이상의 머리 전달 함수(HRTF)의 1 이상의 위치-결정적 부분을 시뮬레이션할 수 있다. 일 실시예에서, 필터 파라미터는 디지털 신호 필터링을 위한 필터 계수일 수 있다. 프로세스 블록(164)에서, 1 이상의 음원의 위치는 필터 파라미터를 사용하는 필터링에 기초하여 결정된다.
설명을 위해, "위치-결정적"은 음원 위치 구분 특별히 예민한 것으로 알려진, 응답 스펙트럼(예컨대, 주파수 응답 스펙트럼)을 듣는 사람의 부분을 의미한다. HRTF는 사람의 청취 응답 스펙트럼의 일 예이다. 연구(예컨대, E. A. Macperson에 의한 "A comparation of spectral correlation and local feature-matching models of pinna cue processing", , Journal of the Acoustical Society of America, 101, 3105, 1997)는 일반적으로 사람 청취자는 사운드가 어디에서 오는지를 구분하기 위해서 전체의 HRTF 정보를 처리하지는 않는다는 것을 보여준다. 대신에, HRTF 내의 특정 특징에 중점을 둔다. 예컨대, 국부적 특징 매치와, 4KHz 이상의 주파수 내에서의 구배 상호 연관성(gradient correlation)이 사운드 방향 구분에 특별히 중요하는 것으로 보이며, HRTF의 다른 부분은 일반적으로 무시된다.
도 7a는 전방에서 우측으로 약 45°(귀의 높이에 대해)에 위치된 예시적인 음원에 대한 좌측 및 우측 귀의 청취 응답에 대응하는 예시적인 HRTF(170)를 도시한다. 일 실시예에서, 화살표(172 및 174)로 지시된 두 피크 구조, 및 관련 구조(피크(172 및 174) 사이의 골(valley)과 같은)는 예시적인 음원 배향의 좌측 귀 청취에 대하여 위치-결정적인 것으로 간주될 수 있다. 유사하게, 화살표(176 및 178)로 지시된 두 피크 구조, 및 관련 구조(피크(176 및 178) 사이의 골과 같은)는 예시적인 음원 배향의 우측 귀 청취에 대하여 위치-결정적인 것으로 간주될 수 있다.
도 7b는, 프로세스 블록(192) 내에서, 도 7a의 예시적인 HRTF(170)와 같은 응답 데이터로부터의 1 이상의 위치-결정적 주파수(또는 주파수 범위)를 식별할 수 있는 프로세스(190)의 일 실시예를 도시한다. 예시적인 HRTF(170) 내에서, 두 예시적인 주파수는 화살표(172, 174, 176 및 178)에 의해 지시된다. 프로세스 블록(194)에서, 1 이상의 위치-결정적 주파수 응답을 시뮬레이션하는 필터 계수가 얻어질 수 있다. 여기에 기술한 바와 같이, 그리고 프로세스 블록(196)에 도시된 바 와 같이, 그러한 필터 계수는 HRTF(170)를 생성한 예시적인 음원 배향의 응답을 시물레이션하기 위해 후속적으로 사용될 수 있다.
HRTF(170)에 대응하는 시뮬레이션된 필터 응답(180)은 프로세스 블록(194) 내에서 결정된 필터 계수로부터의 결과일 수 있다. 도시된 바와 같이, 피크(186, 188, 182 및 184) (및 대응하는 골)은 음원의 위치 구별을 위한 위치-결정적 응답을 제공하도록 복제된다. HRTF(170)의 다른 부분은 일반적으로 무시되는 것으로 도시되며, 이에 의해 저 주파수에서의 실질적으로 평탄한 응답과 같이 도시된다.
특정 부분 및/또는 구조만이 선택되므로(본 예에서는, 두 피크 및 관련된 골), 필터 응답의 형성(예컨대, 예시적인 시뮬레이션된 응답(180)을 산출하는 필터 계수의 결정)이 매우 단순해질 수 있다. 또한, 그러한 필터 계수는 저장되고, 매우 단순한 방식으로 후속적으로 사용될 수 있어서, 청취자에게 출력된 사운드의 사실적 위치-구변을 유효화하는데 필요한 연산 능력을 실질적으로 저감한다. 필터 계수 결정 및 후속 사용의 구체적인 예는 이하에 상세히 기술한다.
여기의 기술에서, 필터 계수 결정 및 후속 사용은 예시적인 두-피크 선택의 문맥으로 기술한다. 하지만, 일부 실시예에서, HRTF의 다른 부분 및/또는 특징이 식별되고 시뮬레이션될 수 있다는 것을 이해해야 한다. 예컨대, 주어진 HRTF가 위치-결정적일 수 있는 세 개의 피크를 갖는 경우, 이들 세 개의 피크가 식별되고 시뮬레이션될 수 있다. 따라서, 세 개의 필터는 두 개의 피크 경우에서의 두 개의 필터 대신에 세 개의 피크를 나타낼 수 있다.
일 실시예에서, HRTF의 선택된 특징 및/또는 범위(또는 다른 주파수 응답 곡 선)은 원하는 특징 및/또는 범위의 근사화된 응답을 생성하는 필터 계수를 얻음으로써 시뮬레이션될 수 있다. 그러한 필터 계수는 임의 수의 공지된 기술을 사용하여 얻어질 수 있다.
일 실시예에서, 선택된 특징(예컨대, 피크)에 의해서 제공될 수 있는 단순화는 단순화된 필터링 기술의 사용을 허용한다. 일 실시예에서, 유한 임펄스 응답(IIR)과 같은 신속하고 단순한 필터링은 한정된 수의 선택된 위치-결정적 특징의 응답을 시뮬레이션하는데 사용될 수 있다.
일 예로서, 예시적인 HRTF(170)의 두 개의 예시적 피크(좌측 청취의 경우 172 및 174, 우측 청취의 경우 176 및 178)가 공진된 버터워스 필터링 기술을 사용하여 시뮬레이션될 수 있다. 그러한 공지된 필터에 대한 계수는, 예컨대, MATLAB과 같은 신호 처리 애플리케이션을 포함하는 임의의 공지된 기술을 사용하여 얻어질 수 있다. 표 1은 예시적인 HRTF(170)의 시뮬레이션된 응답을 리턴할 수 있는 MATLAB 함수 호출(call)의 예를 보여준다.
피크 이득 MATLAB 필터 함수 호출
버터(차수, 표준화된 범위, 필터 유형)
피크 172(좌측) 2dB 차수 = 1
범위 = [2700/(샘플링 속도/2), 6000/(샘플링 속도/2)]
필터 유형 = '대역 통과'
피크 174(좌측) 2dB 차수 = 1
범위 = [11000/(샘플링 속도/2), 14000/(샘플링 속도/2)]
필터 유형 = '대역 통과'
피크 176(우측) 3dB 차수 = 1
범위 = [2600/(샘플링 속도/2), 6000/(샘플링 속도/2)]
필터 유형 = '대역 통과'
피크 178(우측) 11dB 차수 = 1
범위 = [12000/(샘플링 속도/2), 16000/(샘플링 속도/2)]
필터 유형 = '대역 통과'
일 실시예에서, 예시적 HRTF(170)의 선택된 피크에 대한 전술한 예시적 IIR 필터 응답은 시뮬레이션된 응답(180)을 산출할 수 있다. 프로세스(190)의 프로세스 블록(196)에 지시된 바와 같이, 대응하는 필터 계수는 후속 사용을 위해 저장될 수 있다.
전술한 바와 같이, 예시적인 HRTF(170) 및 시뮬레이션된 응답(180)은 전방에서 우측으로 약 45°(약 귀 높이에서)에 위치된 음원에 대응한다. 다른 음원에 대한 응답은 청취자에 대한 2 또는 3차원 응답 커버리지(coverage)를 제공하도록 유사한 방식으로 얻어질 수 있다. 다른 음원 위치에 대한 구체적인 필터링 예는 이하에 상세히 기술한다.
도 8은 여기에서의 설명을 위한 예시적인 공간적 좌표 규정(200)을 도시한다. 청취자(102)는 원점에 위치되는 것으로 상정한다. Y-축은 청취자(102)가 마주하는 전방에 위치하는 것으로 간주한다. 그리하여, X-Y 평면은 청취자(102)에 대한 수평면을 나타낸다. 음원(202)은 원점으로부터 거리 "R"에 위치되는 것으로 도시된다. 각도 φ는 수평면으로부터의 고도각을 나타내며, 각도 θ는 Y-축으로부터의 방위각을 나타낸다. 그리하여, 예컨대, 청취자의 머리 바로 뒤에 위치한 음원은 θ=180°, φ=0°를 가질 것이다.
일 실시예에서, 도 9에 도시된 바와 같이, 청치자에 대한 공간(원점에서)은 전방 및 후방뿐만 아니라, 좌측 및 우측으로 분할될 수 있다. 일 실시예에서, 전방 반-평면(210) 및 후방 반-평면(212)은, 방위각 φ를 갖고, X-축에서 X-Y평면과 교차하도록 규정될 수 있다. 그리하여, 예컨대, θ=45, φ=0에서, 그리고 도 7a의 예시적인 HRTF(170)에 대응하는 예시적인 음원은 전방-우측(FR) 부위, 및 φ=0에서의 전방 반-평면에 존재한다.
일 실시예에서, 이하에 상세히 기술하는 바와 같이, 각종 반-평면이 귀 높이의 위 및/아래의 음원을 고려하기 위하여 수평면 위 및/또는 아래에 존재할 수 있다. 주어진 반-평면에서, 한쪽(예컨대, 우측)에 대하여 얻어진 응답은 청취자 머리의 대칭에 의해 다른 쪽(예컨대, 좌측)에서의 미러 이미지 위치(Y-Z 평면에 대한)에서의 응답을 추정하는데 사용될 수 있다. 일 실시예에서, 그러한 대칭이 전방 및 후방에 대해서는 존재하지 않기 때문에, 전방 및 후방(및 그리하여 전방 및 후방 반-평면)에 대하여는 별도의 응답이 얻어질 수 있다.
도 10은 일 실시예에서, 청취자(원점) 주위의 공간이 다수의 전방 및 후방 반-평면으로 분할될 수 있다. 일 실시예에서, 전방 반-평면(362)은 수평 배향(φ =0)에 존재할 수 있고, 대응하는 후방 반-평면(364) 또한 실질적으로 수평으로 존재할 수 있다. 전방 반-평면(366)은 약 45°(φ=45°)의 전방-상승된 배향으로 존재할 수 있고, 대응하는 후방 반-평면(368)은 후방 반-평면(364) 아래에 약 45°의 배향으로 존재할 수 있다. 전방 반-평면(370)은 약 -45°(φ=-45°)의 배향으로 존재할 수 있고, 대응하는 후방 반-평면(372)은 후방 반-평면(364) 위에 약 45°의 각도로 존재할 것이다.
일 실시예에서, 청취자에 대한 음원은 전술한 반-평면의 하나에 존재하는 것으로 근사화될 수 있다. 각각의 반-평면은 반-평면상의 음원의 응답을 시뮬레이션하는 필터 계수의 세트를 가질 수 있다. 그리하여, 도 7a를 참조하여 전술한 예시적인 시뮬레이션된 응답은 전방 수평 반-평면(362)에 대한 필터 계수 세트를 제공할 수 있다. 전방 수평 반-평면(362)상의 임의의 개소에 위치한 음원에 대한 시뮬레이션된 응답은 전방 방향(Y-축)으로부터의 좌측 및 우측 변위를 고려하기 위해 좌측 및 우측 응답의 상대적인 이득을 조정함으로써 근사화될 수 있다. 또한, 음원 거리 및/또는 속도와 같은 다른 파라미터가 후술하는 방식으로 근사화될 수 있다.
도 11a 내지 11c는 전술한 것과 유사한 방식으로 얻어질 수 있는 각종의 대응하는 HRTF(도시 생략)에 대한 시뮬레이션된 응답의 일부 예를 도시한다. 도 11a는 θ=270°및 φ=+45°(전방의 상승된 반-평면(366)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(380)을 도시한다. 도 11b는 θ=270°및 φ=0°(수평 반-평면(362)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(382)을 도시한다. 도 11c는 θ=270°및 φ=-45°(전방 하부의 반-평면(370)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(384)을 도시한다. 유사한 시뮬레이션된 응답이 후방 반-평면(372, 364 및 368)에 대하여 얻어질 수 있다. 또한, 그러한 시뮬레이션된 응답은 각종 θ값에서 얻어질 수 있다.
예시적인 시뮬레이션된 응답(384)에서, 대역 정지 버터워스 필터링은 식별된 특정의 원하는 근사화를 얻기 위해 사용될 수 있다는 것을 유념해야 한다. 그리하여, 각종 유형의 필터링 기술이 원하는 결과를 얻기 위해 사용될 수 있다. 또한, 버터워스 필터 이외의 필터가 유사한 결과를 달성하기 위해 사용될 수 있다. 또한, 신속하고 간단한 필터링을 제공하기 위해 IIR이 사용될지라도, 본 개시의 적어도 일부의 교시는 다른 필터(유한 임펄스 응답(FIR) 필터와 같은)를 사용하여 구현될 수 있다.
전술한 예시적인 반-평면 구성(φ=+45°, 0°, -45°)에 대하여, 표 2는 개의 반-평면(366, 362, 370, 372, 364 및 368)에 대한 필터 계수를 얻기 위해 입력될 수 있는 필터링 파라미터를 나열한다. 표 2에서의 예시적인 파라미터(표 1에서와 같이)를 위해서, 예시적인 버터워스 필터 함수 호출은 MATLAB 내에서 만들어질 수 있다:
"butter(Order, [ f Low /( SamplingRate /2), f High /( SamplingRate /2), Type)"
여기서, Order는 필터 항의 가장 높은 차수를 나타내고, f Low 및 f High 는 선택된 주파수 범위의 경계 값을 나타내며, SamplingRate는 샘플링 속도를 나타내며, Type은 각각의 주어진 필터에 대한 필터 유형을 나타낸다. 필터 파라미터에 대한 다른 값 및/또는 유형이 또한 가능하다.
반-평면 필터 이득(dB) 차수 주파수범위
(fLow,fHigh)
(KHz)		 유형
전방, φ=+0° 좌측#1 2 1 2.7, 6.0 대역 통과
전방, φ=+0° 좌측#2 2 1 11, 14 대역 통과
전방, φ=+0° 우측#1 3 1 2.6, 6.0 대역 통과
전방, φ=+0° 우측#2 11 1 12, 16 대역 통과
전방, φ=+45° 좌측#1 -4 1 2.5, 6.0 대역 통과
전방, φ=+45° 좌측#2 -1 1 13, 18 대역 통과
전방, φ=+45° 우측#1 9 1 2.5, 7.5 대역 통과
전방, φ=+45° 우측#2 6 1 11, 16 대역 통과
전방, φ=-45° 좌측#1 -15 1 5.0, 7.0 대역 정지
전방, φ=-45° 좌측#2 -11 1 10, 13 대역 정지
전방, φ=-45° 우측#1 -3 1 5.0, 7.0 대역 정지
전방, φ=-45° 우측#2 3 1 10, 13 대역 정지
후방, φ=+0° 좌측#1 6 1 3.5, 5.2 대역 통과
후방, φ=+0° 좌측#2 1 1 9.5, 12 대역 통과
후방, φ=+0° 우측#1 13 1 3.3, 5.1 대역 통과
후방, φ=+0° 우측#2 6 1 10, 14 대역 통과
후방, φ=+45° 좌측#1 6 1 2.5, 7.0 대역 통과
후방, φ=+45° 좌측#2 1 1 11, 16 대역 통과
후방, φ=+45° 우측#1 13 1 2.5, 7.0 대역 통과
후방, φ=+45° 우측#2 6 1 12, 15 대역 통과
후방, φ=-45° 좌측#1 6 1 5.0, 7.0 대역 정지
후방, φ=-45° 좌측#2 1 1 10, 12 대역 정지
후방, φ=-45° 우측#1 13 1 5.0, 7.0 대역 정지
후방, φ=-45° 우측#2 6 1 8.5, 11 대역 정지
일 실시예에서, 표 2에서 알 수 있는 바와 같이, 각각의 반-평면은 4세트의 필터 계수를 가질 수 있다: 두 개의 예시적 위치-결정적 피크에 대하여, 각각의 좌측 및 우측에 대하여 두 개의 필터. 그리하여, 6개의 반-평면에, 24개의 필터가 존재할 수 있다.
일 실시예에서, 주어진 반-평면의 임의의 개소에서의 소스로부터의 사운드에 대한 응답을 시뮬레이션하기 위해 동일한 필터 계수가 사용될 수 있다. 이하에 상세히 기술하는 바와 같이, 좌측-우측 변위, 거리, 및/또는 소스의 속도에 기인한 영향이 고려되고 조정될 수 있다. 소스가 하나의 반-평면으로부터 다른 반-평면으로 이동하는 경우, 인지된 사운드 내의 매끄러운 천이를 제공하기 위해 이하에 기술하는 방식으로 필터 계수의 천이가 실시될 수 있다.
일 실시예에서, 주어진 사운드 소스가 두 반-평면 사이의 어딘가의 위치하는 경우(예컨대, 소스는 전방, φ=+30°), 소스는 "가장 근접한" 평면에 있는 것으로 간주될 수 있다(예컨대, 최근접 반-평면은 전방, φ=+45°). 알 수 있는 바와 같이, 이는 반-평면의 분포에 어느 정도의 "입도(granularity)"를 제공하기 위해서, 청취자에 대한 공간 내에 어느 정도의 반-평면을 제공하기 위한 특정 상황에서 원할 수 있다.
또한, 3차원 공간은 X-축에 대한 반-평면으로 분할될 필요는 없다. 그 공간은 청취자에 대하여 임의의 1, 2 또는 3차원 구조로 분할될 수 있다. 일 실시예에서, X-축에 대한 반-평면에서 행해진 바와 같이, 좌측 및 우측 청취와 같은 대칭은 필터 계수의 세트 수를 저감하기 위해 활용될 수 있다.
전술한 바와 같은 6개의 반-평면 구성(φ=+45°, 0°, -45°)은 선택된 위치-결정적 응답 정보가 청취자에 대한 제한된 수의 배향을 위해 어떻게 제공될 수 있는지의 일 예임을 이해할 것이다. 그와 같이 함으로써, 실질적으로 현실적인 3차원 사운드 효과가 비교적 작은 연산 능력 및/또는 리소스를 사용하여 재생될 수 있다. 반-평면의 수가 미세한 입도를 위해 증가될지라도 - 즉, 10까지(φ=+60°, +30°, +0°,-30°, -60°에서의 전방 및 후방) - 필터 계수 세트의 수는 관리 가능한 수까지 유지될 수 있다.
도 12는 위치 필터링(226)이 전술한 바와 같은 위치-결정적 정보의 시뮬레이션에 의해 위치 오디오 엔진의 기능성을 제공할 수 있는 기능 블록도(220)의 일 실시예를 도시한다. 일 실시예에서, 음원의 위치에 관한 정보를 갖는 모노 입력 신호(222)는 두 귀간 시간 지연(또는 시간차)("ITD")을 결정하는 컴포넌트(224)에 입력될 수 있다. ITD는 소스의 위치 정보에 기초하여 두 귀에의 도달 시간차에 대한 정보를 제공할 수 있다. ITD 기능성의 일 예는 이하에 상세히 기술한다.
일 실시예에서, ITD 컴포넌트(224)는 도달 차를 고려하는 좌측 및 우측 신호를 출력할 수 있고, 그러한 출력 신호는 위치-필터 컴포넌트(226)에 제공될 수 있다. 위치-필터 컴포넌트(226)의 예시적 구동은 이하에 상세히 기술한다.
일 실시예에서, 위치-필터 컴포넌트(226)는 위치-결정적 응답에 대하여 조정된 좌측 및 우측 신호를 출력할 수 있다. 그러한 출력 신호는 두 귀간 강도차("IID")를 결정하는 컴포넌트(228)에 제공될 수 있다. IID는 좌측 및 우측 신호의 강도에서의 위치-의존성에 대하여 조정하기 위해서, 위치-필터 출력의 조정을 제공할 수 있다. IID 보상의 일 예는 이하에 상세히 기술한다. 좌측 및 우측 신호(230)는 음원의 위치적 효과를 제공하기 위해서 IID 컴포넌트(228)에 의해 출력될 수 있다.
도 13은 도 12의 ITD 컴포넌트(224)로서 구현될 수 있는 ITD(240)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 입력 신호(242)는 주어진 샘플링 시간에서 음원의 위치에 대한 정보를 포함할 수 있다. 그러한 위치는 음원의 θ 및 φ의 값을 포함할 수 있다.
입력 신호(242)는 좌측 및 우측 귀에서의 상이한 도달 시간을 시뮬레이션하기 위해 필요한 두 귀간 시간 지연을 계산하는 ITD 계산 컴포넌트(244)에 제공되는 것으로 도시된다(소스가 한쪽에 위치하는 경우). 일 실시예에서, ITD는 다음과 같이 계산될 수 있다:
ITD = │(Maximum_ITD_Samples_per_Sampling_Rate - 1)sinθcosφ│ (1)
그리하여, 기대되는 바와 같이, 소스가 바로 전방(θ=0°) 또는 바로 후방(θ=180°)에 있는 경우, ITD = 0이며; 소스가 바로 좌측(θ=270°) 또는 바로 우측(θ=90°)에 있는 경우, ITD는 최대 값(주어진 φ값에 대해)을 갖는다. 유사하게, 소스가 수평면(φ=0°)에 있는 경우 최대 값(주어진 θ값에 대해)을 갖고, 소스가 정점부(φ=90°) 또는 바닥(φ=-90°)에 있는 경우는 제로이다.
전술한 방식으로 결정된 ITD는 ITD조정된 좌측 및 우측 신호를 산출하도록 입력 신호(242)에 도입될 수 있다. 예컨대, 소스 위치가 우측에 있는 경우, 우측 신호는 입력 신호 내의 사운드의 타이밍으로부터 감산된 ITD를 가질 수 있다. 유사하게, 좌측 신호는 입력 신호에 사운드의 타이밍에 부가된 ITD를 가질 수 있다. 좌측 및 우측 신호를 산출하기 위한 그러한 타이밍 조정은 공지된 방식으로 달성될 수 있고, 좌측 및 우측 지연 라인(246a 및 246b)으로 도시된다.
음원이 청취자에 대하여 실질적으로 고정적이면, 동일한 ITD는 도달-시간 기반 3차원 사운드 효과를 제공할 수 있다. 하지만, 음원이 이동하면, ITD 또한 변할 수 있다. ITD의 새로운 값이 지연 라인에 포함되면, 이전의 ITD 기반 지연으로부터 갑작스런 변화가 존재할 수 있고, 가능하게는 ITD의 인지에서의 검출가능한 이동의 결과를 낳는다.
일 실시예에서, 도 13에 도시된 바와 같이, ITD 컴포넌트(240)는 좌측 및 우측 지연 라인(246a 및 246b)에서의 새로운 지연 시간에 대한 매끄러운 천이를 제공하는 교차 페이드 컴포넌트(250a 및 250b)를 더 포함할 수 있다. ITD 교차 페이드 구동의 일 예는 이하게 상세히 기술한다.
도 13에 도시된 바와 같이, 좌측 및 우측 지연 조정된 신호(248)는 ITD 컴포넌트(240)에 의해서 출력되는 것으로 도시된다. 전술한 바와 같이, 지연 조정된 신호(248)는 교차 페이드 되거나 그렇지 않을 수 있다. 예컨대, 음원이 고정적이면, ITD가 실질적으로 동일하게 유지하기 때문에, 교차 페이드할 필요가 없을 수 있다. 음원이 이동하면, 소스 위치에서의 변화에 기인한 ITD 내의 갑작스런 이동을 저감하거나 실질적으로 제거하기 위해서 교차 페이딩이 소망될 수 있다.
도 14는 도 12의 컴포넌트(226)로서 구현될 수 있는 위치-필터 컴포넌트(260)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 좌측 및 우측 신호(262)는 위치-필터 컴포넌트(260)에 입력되는 것으로 도시된다. 일 실시예에서, 입력 신호(262)는 도 13의 ITD 컴포넌트(240)에 의해 제공될 수 있다. 하지만, 필터 준비에 관련된 각종 특징 및 개념(예컨대, 위치-결정적 응답에 기초한 필터 계수 결정)은 및/또는 필터 이용은 ITD 컴포넌트(240)에 의해 제공된 입력 신호를 갖는 것에 의존할 필요는 없다는 것을 이해할 것이다. 예컨대, 소스 데이터로부터의 입력 신호는 좌측/우측 구별 정보 및/또는 ITD-구별 정보를 이미 가질 수 있다. 그러한 상황에서, 위치-필터 컴포넌트(260)는 실질적으로 독립적 컴포넌트로서 구동하여 선택된 위치-결정적 정보에 기초한 사운드의 주파수 응답을 제공하는 기능성을 제공할 수 있다.
도 14에 도시된 바와 같이, 좌측 및 우측 입력 신호(262)는 필터 선택 컴포넌트(264)에 제공될 수 있다. 일 실시예에서, 필터 선택은 음원과 관련된 θ 및 φ의 값에 기초할 수 있다. 여기에 기술한 6개의 반-평면 예에서, θ 및 φ는 반-평면들의 하나에 음원 위치를 특유하게 연관시킬 수 있다. 전술한 바와 같이, 음원이 반-평면들의 하나에 있지 않으면, 그 소스는 "가장 근접한" 반-평면과 연관될 수 있다.
예컨대, 음원이 θ=10°및 φ=+10°에 위치한다고 상정한다. 그러한 상황에서, 위치가 전방이고, 수평 배향이 10°고도에 최근접 하기 때문에, 전방 수평 반-평면(도 10에서 362)이 선택될 수 있다. 전방 수평 반-평면(362)은 표 2에서 도시한 예시적 방식으로 결정되는 바와 같은 필터 계수 세트를 가질 수 있다. 그리하여, "전방, φ=+0°"반-평면에 대응하는 4개의 예시적 필터(좌측 2개, 우측 2개)가 이러한 예시적 소스 위치에 선택될 수 있다.
도 14에 도시된 바와 같이, 좌측 필터(266a 및 268a)(선택 컴포넌트(264)에 의해 식별된)가 좌측 신호에 인가될 수 있고, 우측 필터(266b 및 268b)(또한 선택 구성요소(264)에 의해서 식별된)가 우측 신호에 인가될 수 있다. 일 실시예에서, 각각의 필터(266a, 268a, 268b, 266b, 268b)는 그것들의 각각의 필터 계수에 기초하여 공지된 방식으로 디지털 신호에 대하여 구동한다.
여기에 기술하는 바와 같이, 두 개의 좌측 필터 및 두 개의 우측 필터는 두 개의 예시적 위치-결정적 피크의 문맥 내에 있다. 다른 수의 필터가 가능하다는 것을 이해할 것이다. 예컨대, 주파수 응답 내에서 3개의 위치-결정적 특징 및/또는 범위가 존재하는 경우, 좌측 및 우측 각각에 대하여 3개의 필터가 존재할 수 있다.
도 14에 도시된 바와 같이, 좌측 이득 컴포넌트(270a)는 좌측 신호의 이득을 조정할 수 있고, 우측 이득 컴포넌트(270b)는 우측 신호의 이득을 조정할 수 있다. 일 실시예에서, 표 2의 파라미터에 대응하는 다음의 이득이 좌측 및 우측 신호에 인가될 수 있다.
0°고도 45°고도 -45°고도
좌측 이득 -4dB -4dB -20dB
우측 이득 2dB -1dB -5dB
일 실시예에서, 표 3에 나열한 예시적 이득 값은 3가지의 예시적 고도에서 좌측 및 우측 신호 사이의 정확한 높이 차이를 실질적으로 유지하기 위해 할당될 수 있다. 그리하여, 이들 예시적 이득은 좌측 및 우측 프로세스 내의 정확한 높이를 제공하기 위해 사용될 수 있고, 이러한 예에서 그것의 각각은 필터 출력(제 1 및 제 2 필터(266 및 268)로부터의)과 스케일드(scaled) 입력(이득 컴포넌트(270)으로부터)의 3-웨이(way) 합산을 포함한다.
일 실시예에서, 도 14에 도시된 바와 같이, 필터 및 이득 조정된 좌측 및 우측 신호는 각각의 합산기(272a 및 272b)에 의해서 합산되어 좌측 및 우측 출력 신호(274)를 산출할 수 있다.
도 15는 도 12의 컴포넌트(228)로서 구현될 수 있는 IID(두 귀간 강도차) 조정 컴포넌트(280)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 좌측 및 우측 신호(282)는 IID 컴포넌트(280)에 입력되도록 도시된다. 일 실시예에서, 입력 신호(282)는 도 14의 위치 필터 컴포넌트(260)에 의해서 제공될 수 있다.
일 실시예에서, IID 컴포넌트(280)는 제 1 보상 컴포넌트(284) 내에서 약한 채널 신호의 강도를 조정할 수 있고, 제 2 보상 컴포넌트(286) 내에서 강한 채널 신호의 강도를 조정할 수 있다. 예컨대, 음원이 θ=10°(즉, 10°만큼 우측)에 위치하는 것을 상정한다. 그러한 상황에서, 우측 채널은 강한 채널로 그리고 좌측 채널은 약한 채널로 간주될 수 있다. 그리하여, 제 1 보상(284)은 좌측 신호에, 제 2 보상(286)은 우측 신호에 인가될 수 있다.
일 실시예에서, 약한 채널 신호의 레벨은 이하에 주어진 양으로 조정될 수 있다:
Gain=│cosθ(Fixed_Filter_Level_Difference_per_Elevation-1.0│+1.0 (2)
그리하여, θ = 0°(바로 전방)인 경우, 약한 채널의 이득은 원래의 필터 레벨 차이로 조정된다. θ = 90°(바로 우측)인 경우, 이득 = 1이고, 이득 조정은 약한 채널에는 이루어지지 않는다.
일 실시예에서, 강한 채널 신호의 레벨은 이하에 주어진 양으로 조정될 수 있다:
Gain = sinθ + 1.0 (3)
그리하여, θ = 0°(바로 전방)인 경우, 이득 = 1이고, 이득 조정은 강한 채널에는 이루어지지 않는다. θ = 90°(바로 우측)인 경우, 이득 = 2이고, 이에 의해 θ의 차이 값에서의 전체적인 음량을 대략적으로 매치시키기 위해 6dB 이득 보상을 제공한다.
음원이 실질적으로 고정적이거나, 실질적으로 주어진 반-평면 내에서 이동하는 경우, 동일한 필터가 필터 응답을 생성하기 위해 사용될 수 있다. 약한 청취 측과 강한 정취 측에 대한 강도 보상은 전술한 바와 같은 IID 보상에 의해 제공될 수 있다. 음원이 하나의 반-평면으로부터 다른 반-평면으로 이동하지만, 필터 또한 변할 수 있다. 그리하여, 필터 레벨에 기초하는 IID가 매끄러운 반-평면 천이를 만들기 위한 방식에서는 보상을 제공하지 않을 수 있다. 그러한 천이는 음원이 반-평면 사이에서 이동함에 따라 강도에서의 검출가능한 갑작스런 이동의 결과를 낳을 수 있다.
그리하여, 도 15에 도시된 바와 같은 일 실시예에서, IID 컴포넌트(280)는 소스가 구(old) 반-평면으로부터 신(new) 반-평면으로 이동함에 따라 새로운 반-평면으로의 매끄러운 천이를 제공하는 교차 페이드 컴포넌트(290)를 더 포함할 수 있다. IID 교차 페이드 구동의 일 예는 이하에 상세히 기술한다.
도 15에 도시된 바와 같이, 좌측 및 우측 강도 조정된 신호(288)는 IID 컴포넌트(280)에 의해 출력되는 것으로 도시된다. 전술한 바와 같이, 강도 조정된 신호(288)는 교차 페이드되거나 그렇지 않을 수 있다. 예컨대, 소스가 고정적이거나, 주어진 반-평면 내에서 이동하는 경우, 필터가 실질적으로 동일하게 유지하기 때문에, 교차 페이드할 필요성이 존재하지 않을 수 있다. 반-평면 사이에서 음원이 이동하면, 교차 페이딩은 IID에서의 갑작스런 이동을 저감하거나 실질적으로 제거하기 위해서 소망될 수 있다.
도 16은 도 12 및 13을 참조하여 전술한 ITD 컴포넌트에 의해서 수행될 수 있는 프로세스(300)의 일 실시예를 도시한다. 프로세스 블록(302)에서, 음원 위치 각도 θ 및 φ가 입력 데이터로부터 결정된다. 프로세스 블록(304)에서, 최대 ITD 샘플이 각각의 샘플링 속도에 대하여 결정된다. 프로세스 블록(306)에서, 좌측 및 우측 데이터에 대한 ITD 오프셋 값이 결정된다. 프로세스 블록(308)에서, ITD 오프셋 값에 대응하는 지연이 좌측 및 우측 데이터에 도입된다.
일 실시예에서, 프로세스(300)은 음원의 이동을 고려하기 위하여 좌측 및 우측 ITD조정된 신호에 대하여 교차 페이딩이 수행되는 프로세스 블록을 더 포함할 수 있다.
도 17은 도 12, 14 및 15를 참조하여 전술한 위치 필터 컴포넌트 및/또는 IID 컴포넌트에 의해서 수행될 수 있는 프로세스(310)의 일 실시예를 도시한다. 프로세스 블록(312)에서, IID 보상 이득이 결정될 수 있다. 등식 2 및 3은 그러한 보상 이득 계산의 예이다.
결정 블록(314)에서, 프로세스(310)는 음원이 전방 및 우측("F. R.")에 있는지를 결정한다. 대답이 "예"이면, 전방 필터(적절한 고도에서의)가 프로세스 블록(316)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 우측에 있기 때문에, 우측 데이터는 강한 채널이고, 좌측 데이터는 약한 채널이다. 그리하여, 프로세스 블록(318)에서, 제 1 보상 이득(등식 2)이 좌측 데이터에 인가된다. 프로세스 블록(320)에서, 제 2 보상 이득(등식 3)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(322)에 출력된다.
결정 블록(314)에서의 대답이 "아니오"이면, 음원은 전방 및 우측에 있지 않는다. 그리하여, 프로세스(310)는 다른 나머지의 4분원으로 진행한다.
결정 블록(324)에서, 프로세스(310)는 음원이 후방 및 우측("R.R.")에 있는지를 결정한다. 대답이 "예"이면, 후방 필터(적절한 고도에서의)가 프로세스 블록(326)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 우측에 있기 때문에, 우측 데이터는 강한 채널이고, 좌측 데이터는 약한 채널이다. 그리하여, 프로세스 블록(328)에서, 제 1 보상 이득(등식 2)이 좌측 데이터에 인가된다. 프로세스 블록(330)에서, 제 2 보상 이득(등식 3)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(332)에 출력된다.
결정 블록(324)에서의 대답이 "아니오"이면, 음원은 F.R. 또는 R.R에 있지 않는다. 그리하여, 프로세스(310)는 다른 나머지의 4분원으로 진행한다.
결정 블록(334)에서, 프로세스(310)는 음원이 후방 및 좌측("R.L.")에 있는지를 결정한다. 대답이 "예"이면, 후방 필터(적절한 고도에서의)가 프로세스 블록(336)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 좌측에 있기 때문에,좌우측 데이터는 강한 채널이고, 우측 데이터는 약한 채널이다. 그리하여, 프세스 블록(338)에서, 제 2 보상 이득(등식 3)이 좌측 데이터에 인가된다. 프로세스 블록(340)에서, 제 1 보상 이득(등식 2)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(342)에 출력된다.
결정 블록(334)에서의 대답이 "아니오"이면, 음원은 F.R. R.R 또는 R.L.에 있지 않는다. 그리하여, 프로세스(310)는 전방 및 좌측("F.L.")에 있는 것으로 간주된다.
프로세스 블록(346)에서, 전방 필터(적절한 고도에서의)가 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 소스가 좌측에 있기 때문에, 좌측 데이터가 강한 채널이며, 우측 데이터가 약한 채널이다. 그리하여, 프로세스 블록(348)에서, 제 2 보상 이득(등식 3)이 좌측 데이터에 인가된다. 프로세스 블록(350)에서, 제 1 보상 이득(등식 2)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(352)에서 출력된다.
도 18은 도 12-15를 참조하여 전술한 오디오 신호 처리 구성(220)에 의해 수행될 수 있는 프로세스(390)의 일 실시예를 도시한다. 특히, 프로세스(390)는 반-평면 내 또는 반-평면 사이의 음원의 이동을 수용할 수 있다.
프로세스 블록(392)에서, 모노 입력 신호가 얻어진다. 프로세스 블록(394)에서, 위치-기반 ITD가 결정되고 입력 신호에 인가된다. 결정 블록(396)에서, 프로세스(390)는 음원이 변경된 위치를 갖는지를 결정한다. 대답이 "아니오"이면, 데이터는 좌측 및 우측 지연 라인으로부터 판독되고, 인가된 ITD 지연을 갖고, 다시 지연 라인에 기록될 수 있다. 대답이 "예"이면, 프로세스 블록(400) 내의 프로세스(390)는 새로운 위치에 기초하여 새로운 ITD 지연을 결정한다. 프로세스 블록(402)에서, 교차 페이드가 수행되어 이전과 새로운 ITD 지연 사이의 매끄러운 천이를 제공할 수 있다.
일 실시예에서, 교차 페이딩은 이전 및 현재의 지연 라인으로부터의 데이터를 판독하여 수행될 수 있다. 그리하여, 예컨대, 각 시간에서 프로세스(390)가 호출되고, θ 및 φ값은 히스토리 내의 값과 비교되어 소스 위치가 변경되었는지를 결정한다. 변경이 없으면, 새로운 ITD 지연은 계산되지 않고, 존재하는 ITD 지연이 사용된다(프로세스 블록 398). 변경이 있으면, 새로운 ITD 지연이 계산되고(프로세스 블록 400), 교차 페이딩이 수행된다(프로세스 블록 402). 일 실시예에서, ITD 교차 페이딩은 이전의 값으로부터 새로운 값으로 ITD 지연 값을 점진적으로 증가시키거나 저감시켜서 달성될 수 있다.
일 실시예에서, ITD 지연 값의 교차 페이딩은 소스의 위치 변경이 검출된 경우 트리거(trigger)될 수 있고, 복수의 처리 주기 동안에 점진적 변경이 발생할 수 있다. 예컨대, ITD 지연이 오래된 값(ITD old ) 및 새로운 값(ITD new )을 갖는 경우, 교차 페이딩 천이는 N회의 처리 주기 동안에 일어날 수 있다: ITD (1) = ITD old , ITD(2) = ITD new + △ ITD /N, …, ITD (N-1) = ITD old + △ ITD (N-1)/N, ITD (N) = ITD new ; 여기서, △ ITD = ITD new - ITD old ( ITD new ＞ ITD old 라 상정).
도 18에 도시된 바와 같이, ITD 조정된 데이터는 ITD 교차 페이딩과 함께 또는 ITD 교차 페이딩 없이 더 처리될 수 있어서, 프로세스 블록(404)에서, 위치 필터링은 현재의 θ 및 φ의 값에 기초하여 수행될 수 있다. 도 18의 설명 목적으로, 프로세스 블록(404)은 IID 보상을 또한 포함하는 것이 상정될 것이다.
결정 블록(406)에서, 프로세스(390)는 반-평면에서의 변경이 있었는지를 결정한다. 대답이 "아니오"이면, IID 보상의 교차 페이딩이 수행되지 않는다. 대답이 "예"이면, 프로세스 블록(408) 내의 프로세스(390)는 θ 및 φ의 이전의 값에 기초하여 다른 위치 필터링을 수행한다. 도 18의 설명 목적으로, 프로세스 블록(408) 또한 IID 보상을 포함하는 것을 상정될 것이다. 프로세스 블록(410)에서, IID 보상 값 사이에서 및/또는 필터가 변경될 때(예컨대, 이전 및 현재의 반-평면에 대응하여 필터 전환), 교차 페이딩이 수행될 수 있다. 그러한 교차 페이딩은 상이한 IID 이득의 인가시, 위치 필터 전환시, 또는 그 양자에서의 순간적 이상 또는 갑작스런 이동을 매끄럽게 하기 위해 구성될 수 있다.
일 실시예에서, IID 교차 페이딩은 이전의 값으로부터 새로운 값으로의 IID 보상 이득 값, 및/또는 이전의 세트로부터 새로운 세트로의 필터 계수를 점진적으로 증가시키거나 저감하여 달성될 수 있다. 일 실시예에서, IID 이득의 교차 페이딩은 반-평면에서의 변경이 검출될 때 트리거될 수 있고, IID 이득 값의 점진적 변경은 복수의 처리 주기 동안에 일어날 수 있다. 예컨대, ITD 이득이 오래된 값(IID old ) 및 새로운 값(IID new )을 갖는 경우, 교차 페이딩 천이는 N회의 처리 주기 동안에 일어날 수 있다: IID (1) = IID old , IID (2) = IID new + △ IID /N, …, IID (N-1) = IID old + △ IID (N-1)/N, IID (N) = IID new ; 여기서, △ IID = IID new - IID old ( IID new ＞ IID old 라 상정). 유사한 점진적 변경이 위치 필터를 교차 페이딩하기 위하여 위치 필터 계수에 대하여 도입될 수 있다.
도 18에 더 도시되는 바와 같이, 위치 필터링되고 IID 보상된 신호는, IID 교차페이딩되거나 그렇지 않든, 처리된 스테레오 출력(414)을 산출하기 위해 프로세스 블록(412) 내에서 증폭될 수 있는 출력 신호를 산출한다.
일부 실시예에서, ITD, ITD 교차 페이딩, 위치 필터링, IID, IID의 교차 페이딩, 또는 그 조합은 다른 사운드 효과 강화 특징과 조합될 수 있다. 도 19는 사운드 신호가 ITD/위치 필터링/IID 처리 이전 및/또는 이후에 처리될 수 있는 신호 처리 구성(420)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 소스(422)로부터의 사운드 신호는 이동하는 음원을 시뮬레이션하기 위해, 샘플 속도 변환(SRC)(424)에 대해 처리되고 도플러 효과(426)에 대해 조정될 수 있다. 거리(428) 및 청취자-소스 배향(430)을 고려하는 효과가 구현될 수 있다. 일 실시예에서, 전술한 방식으로 처리된 사운드 신호는 입력 신호(432)로서 ITD 컴포넌트(434)에 제공될 수 있다. ITD 처리뿐만 아니라, 위치-필터(436) 및 IID(438)에 의한 처리는 여기에 기술한 바와 같은 방식으로 수행될 수 있다.
도 19에 추가로 도시된 바와 같이, IID 컴포넌트(438)로부터의 출력은 출력 신호(442) 내에 잔향 효과를 제공하기 위해서 잔향 컴포넌트(440)에 의해 더 처리될 수 있다.
일 실시예에서, SRC(424), 도플러(426), 거리(428), 배향(430) 및 잔향(440) 컴포넌트는 공지된 기술에 기초할 수 있고, 그리하여 추가로 기술할 필요는 없다.
도 20은 복수의 오디오 신호 처리 체인(1 내지 N으로 도시된 바와 같은, 여기서 N>1)이 복수의 소스(452)로부터의 신호를 처리할 수 있는 일 실시예를 도시한다. 일 실시예에서, SRC(454), 도플러(456), 거리(458), 배향(460), ITD(462), 위치 필터(464), 및 IID(466)는 도 19의 단일 체인 예와 유사하게 구성될 수 있다. 복수의 IID(466)로부터의 좌측 및 우측 출력은 각각의 다운믹스(downmix) 컴포넌트(470 및 474)에서 조합되고, 두 개의 다운믹스된 신호는 출력 신호(478)를 생성하도록 잔향 처리될 수 있다(472 및 476).
일 실시예에서, SRC(454), 도플러(456), 거리(458), 배향(460), 다운믹스(470 및 474), 및 잔향(472 및 476) 컴포넌트는 공지된 기술에 기초할 수 있고, 그리하여 추가로 기술할 필요는 없다.
도 21은 일 실시예에서 다른 구성이 가능함을 도시한다. 예컨대, 복수의 사운드 데이터 스트림(예시적인 스트림 1 내지 8로 도시된)의 각각은 잔향(484), 도플러(4860, 거리(488) 및 배향(490) 컴포넌트를 통하여 처리될 수 있다. 배향 컴포넌트(490)로부터의 출력은 좌측 및 우측 신호를 출력하는 ITD 컴포넌트(492)에 입력될 수 있다.
도 21에 도시된 바와 같이, 8개의 ITD(492)의 출력은 다운믹스 컴포넌트(494)를 통하여 대응하는 위치 필터에 전송될 수 있다. 위치 필터(496)의 그러한 6개 세트는 6개의 예시적인 반-평면에 대응하도록 도시된다. 위치 필터(496)는 그것의 각각의 필터를 그것에 제공된 입력에 인가하고, 대응하는 좌측 및 우측 신호를 제공한다. 도 21의 기술을 목적으로, 위치 필터는 IID 보상 기능성을 또한 제공할 수 있는 것이 상정될 것이다.
도 21에 도시된 바와 같이, 위치 필터(496)의 출력은 2D 스트림(예컨대, 통상적인 스테레오 컨텐츠)와 여기에 기술된 바와 같이 처리되는 3D 스트림을 혼합하는 다운믹스 컴포넌트(498)에 의해서 추가로 다운믹스될 수 있다. 일 실시예에서, 그러한 다운믹싱은 오디오 신호 내의 클리핑(clipping)을 피할 수 있다. 다운믹스된 출력 신호는 출력 신호(502)를 생성하기 위해 SRS "WOW XT" 애플리케이션과 같은 사운드 강화 컴포넌트(500)에 의해서 더 처리될 수 있다.
예에 의해 보여지는 바와 같이, ITD, 위치 필터 및/또는 IID의 특징을 각종의 다른 사운드 효과 강화 기술과 합체시키기 위해서 각종 구성이 가능하다. 그리하여, 도시한 것과 다른 구성이 가능하다는 것을 이해할 것이다.
도 22a 및 22b는 위치 필터링의 각종 기능성이 어떻게 구현되는지의 비-한정적인 예시적 구성을 도시한다. 도 22a에 도시된 하나의 예시적 시스템(510)에서, 위치 필터링은 3D 사운드 애플리케이션 프로그래밍 인터페이스(API)(520)로서 지시한 컴포넌트에 의해서 수행될 수 있다. 그러한 API는 위치 필터링 기능성을 제공하면서, 구동 시스템(518)과 멀티미디어 애플리케이션(522) 사이의 인터페이스를 제공한다. 오디오 출력 컴포넌트(524)는 스피커 또는 헤드폰과 같은 출력 장치에 출력 신호(526)를 제공할 수 있다.
일 실시예에서, 3D 사운드 API(520)의 적어도 일부는 시스템(510)의 프로그램 메모리(516)에 상주하고, 프로세서(514)의 제어하에 있을 수 있다. 일 실시예에서, 시스템(510)은 청취자에게 시각적 입력을 제공할 수 있는 디스플레이(512) 컴포넌트를 또한 포함할 수 있다. 디스플레이(512)에 의해 제공된 시각적 큐(cue) 및 API(520)에 의해 제공되는 사운드 처리는 청취자/시청자에 대한 오디오-시각적 효과를 향상할 수 있다.
도 22b는 디스플레이 컴포넌트(532) 및 위치 필터링된 신호(540)를 스피커 또는 헤드폰과 같은 장치에 출력하는 오디오 출력 컴포넌트(538)를 또한 포함할 수 있는 다른 예시적인 시스템(530)을 도시한다. 일 실시예에서, 시스템(530)은 위치 필터링을 위해 필요한 적어도 일부의 정보를 갖는 내부의 데이터(534)를 포함할 수 있거나, 그러한 데이터에 접속할 수 있다. 예컨대, 각종 필터 계수 및 다른 정보는 데이터(534)로부터, 프로세서(536)의 제어하에 실행되는 일부 애플리케이션(도시 생략)에 제공될 수 있다. 다른 구성이 가능하다.
여기에 기술하는 바와 같이, 위치 필터링 및 관련 처리 기술의 각종 특징은 가혹한 연산 요건 없이 현실적인 3차원 사운드 효과의 생성을 허용한다. 그와 같이, 본 개시의 각종 특징은 연산 능력 및 리소스가 제한된 휴대 장치에서 구현하는데 특히 유용할 수 있다.
도 23a 및 23b는 위치-필터링의 각종 기능성이 구현될 수 있는 이동 장치의 비-한정적인 예를 도시한다. 도 23a는 일 실시예에서, 3D 오디오 기능성(556)이 이동 전화(550)와 같은 이동 기기에서 구현될 수 있는 것을 보여준다. 여러 이동 전화는 비디오 디스플레이(552) 및 오디오 출력(554)을 포함할 수 있는 멀티미디어 기능성을 제공한다. 하지만, 그러한 장치는 통상적으로 제한된 연상 능력 및 리소스를 갖는다. 그리하여, 3D 오디오 기능성(556)은 이동 전화(550)의 유저에게 강화된 청취 경험을 제공할 수 있다.
도 23b는 다른 예시적인 구현(560)에서, 서라운드 사운드 효과가 위치-필터링에 의해서 시뮬레이션될 수 있는 것을 보여준다(시뮬레이션된 음원(126)으로 도시함). 헤드폰(124)에 제공된 출력 신호(564)는 단지 헤드폰(124)의 좌측 및 우측 스피커에의 청취 동안에, 청취자(102)가 서라운드-사운드 효과를 경험하게 하는 결과를 낳는다.
예시적인 서라운드-사운드 구성(560)에 대하여, 위치-필터링은 5개의 음원(예컨대, 도 20 또는 21에서의 5가지 처리 체인)을 처리하도록 구성될 수 있다. 일 실시예에서, 음원(예컨대, 5개의 시뮬레이션된 스프커의)의 위치에 대한 정보는 입력 데이터 내에 인코딩된다. 5개의 스피커(126)가 청취자(102)에 대하여 이동하지 않기 때문에, 5개의 음원은 처리에서 고정될 수 있다. 그리하여, ITD 결정이 단순해질 수 있고, ITD 교차 페이딩이 제거될 수 있으며, 필터 선택이 고정될 수 있으며(예컨대, 소스가 수평면에 위치하며, 전방 및 후방 수평 반-평면만이 사용될 필요가 있는 경우), IID 보상이 단순해지며, IID 교차 페이딩이 제거될 수 있다.
이동 장치뿐만 아니라 비-이동 장치상에서의 다른 구현이 가능하다.
여기의 기술에서, 컴포넌트 또는 모듈의 관점에서 각종 기능성을 기술하고 묘사하였다. 그러한 묘사는 기술을 위한 것이며, 물리적 경계 또는 패키징 구성을 의미하는 것을 필요로 하지 않는다. 예컨대, 도 12(및 다른 도면)은 ITD, 위치 필터, IID를 컴포넌트로서 묘사한다. 이들 컴포넌트의 기능성은 단일 장치/소프트웨어, 별도의 장치/소프트웨어, 또는 그것의 임의의 조합에 의해 구현될 수 있다. 또한, 위치 필터와 같은 주어진 컴포넌트의 경우, 그것의 기능성은 단일 장치/소프트웨어, 복수의 장치/소프트웨어, 또는 그것의 임의의 조합에 의해 구현될 수 있다.
일반적으로, 프로세서는 예시적으로 컴퓨터, 프로그램 논리, 또는 여기에 기술하는 바와 같이 구동하는 데이터 및 지령을 나타내는 다른 기판 구성을 포함할 수 있다. 다른 실시예에서, 프로세서는 컨트롤러 회로, 프로세서 회로, 프로세서, 범용 단일 칩 또는 다중 칩 마이크로프로세서, 디지털 신호 프로세서, 내장 마이크로프로세서, 마이크로컨트롤러 등을 포함할 수 있다.
또한, 일 실시예에서, 프로그램 논리는 1 이상의 컴포넌트로서 유리하게 구현될 수 있다. 컴포넌트는 1 이상의 프로세서를 실행하도록 유리하게 구성될 수 있다. 그 컴포넌트는 소프트웨어 또는 하드웨어 컴포넌트, 소프트웨어 모듈과 같은 모듈, 객체-지향 소프트웨어 컴포넌트, 클래스(class) 컴포넌트 및 태스크(task) 컴포넌트, 프로세스 방법, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함하지만, 그것에 한정되는 것은 아니다.
위에 기술한 실시예를 그 실시예에 적용된 바와 같은 본 발명의 기본적인 신규한 특징을 나타내기 위해 도시하고 기술하였지만, 도시한 장치, 시스템 및/또는 방법의 상세사항의 형태에서의 각종 생략, 치환, 및 변경이 본 발명의 범주 내에서 당업자에 의해 이루어질 수 있다는 것을 이해해야 한다. 따라서, 본 발명의 범주는 전술한 기술에 한정되지 않으며, 첨부한 청구의 범위에 의해서 한정되어야만 한다.

Claims (46)

  1. 디지털 오디오 신호를 처리하는 방법에 있어서,
    하나 이상의 디지털 신호들을 수신하는 단계로서, 상기 하나 이상의 디지털 신호들 각각은 청취자에 대한 음원의 공간적 위치에 대한 정보를 가지는, 상기 수신하는 단계;
    하나 이상의 디지털 필터들을 선택하는 단계로서, 상기 하나 이상의 디지털 필터들 각각은 청각 반응 기능(hearing response function)의 특정 범위로부터 형성되는, 상기 선택하는 단계;
    대응하는 하나 이상의 필터링된 신호들 - 상기 하나 이상의 필터링된 신호들은 좌측 및 우측 스피커들로 출력되는 좌측 및 우측 필터링된 신호들을 포함함 - 을 산출하기 위해서, 상기 하나 이상의 디지털 필터들을 상기 하나 이상의 디지털 신호들에 인가(apply)하는 단계;
    상기 좌측 및 우측 필터링된 신호들 각각을 IID(Interaural intensity difference, 두 귀간 강도 차이)에 대해 조절하는(adjust) 단계; 및
    제1 보상값 및 제2 보상값 사이의 교차페이드 천이(crossfade transition)를 수행하는 단계를 포함하며,
    상기 IID에 대해 상기 좌측 및 우측 필터링된 신호들을 조정하는 단계는,
    상기 음원이 상기 청취자의 왼쪽 또는 오른쪽에 위치해 있는지 여부를 결정하는 단계;
    상기 음원의 반대편에 있는 좌측 또는 우측 필터링된 신호를 약한 신호(weaker signal)로서 할당(assign)하는 단계;
    상기 좌측 또는 우측 필터링된 신호 중 다른 하나의 신호를 강한 신호(stronger signal)로서 할당하는 단계;
    상기 약한 신호를 상기 제1 보상값에 의해 조절(adjust)하는 단계; 및
    상기 강한 신호를 상기 제2 보상값에 의해 조절하는 단계를 포함하며,
    상기 IID에 대해 상기 좌측 및 우측 필터링된 신호들을 조정하는 단계는 새로운 하나 이상의 디지털 필터들이 상기 음원의 선택된 움직임에 기인하는 상기 좌측 및 우측 필터링된 신호들에 인가되는 것에 응답하여 수행되는, 디지털 오디오 신호 처리 방법.
  2. 제 1 항에 있어서,
    상기 하나 이상의 디지털 신호들은 좌측 및 우측 스피커로 출력될 좌측 및 우측 디지털 신호들을 포함하는 것인, 디지털 오디오 신호 처리 방법.
  3. 제 2 항에 있어서,
    상기 좌측 및 우측 디지털 신호들은, 상기 청취자에 대한 상기 음원의 상기 공간적 위치에 기초하여 ITD(Interaural Time Difference, 두 귀간 시간차)에 대해 조정되는 것인, 디지털 오디오 신호 처리 방법.
  4. 제 3 항에 있어서,
    상기 ITD 조정은,
    상기 음원의 공간적 위치에 대한 정보를 갖는 모노(mono) 입력 신호를 수신하는 단계와,
    상기 공간적 정보에 기초하여 시간차 값을 결정하는 단계와,
    상기 시간차 값을 상기 모노 입력 신호에 도입하여 좌측 및 우측 신호들을 생성하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
  5. 제 4 항에 있어서,
    상기 시간차 값은 sinθcosφ의 절대 값에 비례하는 양을 포함하며,
    θ는 청취자 전방에 대한 상기 음원의 방위각을 나타내고, φ는 상기 청취자 귀 및 전방향(front direction)에 의해 규정된 수평면에 대한 상기 음원의 고도각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
  6. 제 4 항에 있어서,
    상기 시간차 값의 결정은 상기 음원의 상기 공간적 위치가 변할 때 수행되는 것인, 디지털 오디오 신호 처리 방법.
  7. 제 6 항에 있어서,
    이전의 값과 현재의 값 사이에서 상기 시간차 값의 교차 페이드 천이(crossfade transition)를 수행하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
  8. 제 7 항에 있어서,
    상기 교차 페이드 천이는, 복수의 처리 주기 동안에 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 이전의 값으로부터 현재의 값으로 변경하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서,
    상기 제 1 보상값은 cosθ에 비례하고, θ는 상기 청취자의 전방에 대한 상기 음원의 방위각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
  13. 제 1 항에 있어서,
    상기 제 2 보상값은 sinθ에 비례하고, θ는 상기 청취자의 전방에 대한 상기 음원의 방위각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
  14. 삭제
  15. 삭제
  16. 제 1 항에 있어서,
    상기 교차 페이드 천이는 복수의 처리 주기 동안에 상기 제 1 및 제 2 보상 값을 변경하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
  17. 제 1 항에 있어서,
    상기 하나 이상의 디지털 신호들을 수신하는 단계 이전 또는 상기 하나 이상의 필터들을 인가하는 단계 이후에,
    샘플 속도(sample rate) 변환, 음원 속도에 대한 도플러 조정, 상기 청취자에 대한 상기 음원의 거리를 고려하기 위한 거리 조정, 상기 음원에 대한 청취자 머리의 배향을 고려하기 위한 배향 조정, 또는 잔향(reverberation) 조정의 처리 단계들 중 적어도 하나를 수행하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
  18. 제 1 항에 있어서,
    상기 하나 이상의 디지털 신호들에의 상기 하나 이상의 디지털 필터들의 인가는, 상기 청취자에 대한 상기 음원의 이동 효과를 시뮬레이션하는 것인, 디지털 오디오 신호 처리 방법.
  19. 제 1 항에 있어서,
    상기 하나 이상의 디지털 신호들에의 상기 하나 이상의 디지털 필터들의 인가는, 상기 청취자에 대한 선택된 위치의 상기 음원을 배치하는 효과를 시뮬레이션하는 것인, 디지털 오디오 신호 처리 방법.
  20. 제 19 항에 있어서,
    상기 청취자에 대한 선택된 위치의 복수의 음원의 효과를 시뮬레이션하기 위하여, 하나 이상의 추가 음원의 효과를 시뮬레이션하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
  21. 제 20 항에 있어서,
    상기 하나 이상의 디지털 신호들은 좌측 및 우측 스피커로 출력될 좌측 및 우측 디지털 신호를 포함하고,
    상기 복수의 음원은, 둘 이상의 음원의 효과가 상기 좌측 및 우측 스피커로 시뮬레이션되도록 둘 이상의 음원을 포함하는 것인, 디지털 오디오 신호 처리 방법.
  22. 제 21 항에 있어서,
    상기 복수의 음원은 서라운드(surround) 사운드 배치의 하나와 유사한 방식으로 배치된 5개의 음원을 포함하고, 서라운드 사운드 효과가 헤드폰에 제공된 상기 좌측 및 우측 필터링된 신호에 의해 시뮬레이션 되도록, 상기 좌측 및 우측 스피커가 상기 헤드폰 내에 배치되는 것인, 디지털 오디오 신호 처리 방법.
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 디지털 오디오 신호들을 처리하기 위한 시스템에 있어서,
    모노(mono) 입력 신호를 수신하고 좌측 및 우측 ITD(Interaural Time Difference)-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 ITD 컴포넌트로서, 상기 모노 입력 신호는 상기 청취자에 대한 상기 음원의 공간적 위치에 대한 정보를 포함하는 것인, ITD 컴포넌트;
    상기 좌측 및 우측 ITD-조정된 신호를 수신하고, 상기 좌측 및 우측 ITD-조정된 신호 각각에 하나 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트로서, 상기 하나 이상의 디지털 필터 각각은, 상기 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록 상기 청취 응답 함수의 특정 범위에 기초하는 것인, 위치 필터 컴포넌트;
    상기 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID(Interaural Intensity Difference)-조정된 신호를 생성하여, 상기 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 IID(Interaugural Intensity Difference, 두 귀간 강도차) 컴포넌트; 및
    제1 보상값 및 제2 보상값 사이의 교차페이드 천이(crossfade transition)를 수행하도록 구성되는 교차 페이드 컴포넌트를 포함하며,
    상기 IID 컴포넌트는 적어도,
    상기 음원이 상기 청취자의 왼쪽 또는 오른쪽에 위치해 있는지 여부를 결정하고,
    상기 음원의 반대편에 있는 좌측 또는 우측 필터링된 신호를 약한 신호(weaker signal)로서 할당(assign)하며,
    상기 좌측 또는 우측 필터링된 신호 중 다른 하나의 신호를 강한 신호(stronger signal)로서 할당하고,
    상기 약한 신호를 상기 제1 보상값에 의해 조절(adjust)하며,
    상기 강한 신호를 상기 제2 보상값에 의해 조절하는 것에 의해 상기 좌측 및 우측 IID-조정된 신호들을 생성하도록 구성되며,
    상기 좌측 및 우측 IID-조정된 신호들의 생성은 새로운 하나 이상의 디지털 필터들이 상기 음원의 선택된 움직임에 기인하는 상기 좌측 및 우측 필터링된 신호들에 인가되는 것에 대응하여 수행되는, 디지털 오디오 신호 처리 시스템.
  44. 제 43 항에 있어서,
    샘플 속도 변환 컴포넌트, 음원 속도를 시뮬레이션하도록 구성된 도플러 조정 컴포넌트, 상기 청취자에 대한 상기 음원의 거리를 고려하도록 구성된 거리 조정 컴포넌트, 상기 음원에 대한 상기 청취자 머리의 배향을 고려하도록 구성된 배향 조정 컴포넌트, 또는 잔향(reverberation) 효과를 시뮬레이션하기 위한 잔향 조정 컴포넌트 중 적어도 하나를 더 포함하는 디지털 오디오 신호 처리 시스템.
  45. 삭제
  46. 삭제
KR1020087006288A 2005-09-13 2006-09-13 오디오 처리 시스템 및 방법 KR101304797B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US71658805P 2005-09-13 2005-09-13
US60/716,588 2005-09-13
PCT/US2006/035446 WO2007033150A1 (en) 2005-09-13 2006-09-13 Systems and methods for audio processing

Publications (2)

Publication Number Publication Date
KR20080049741A KR20080049741A (ko) 2008-06-04
KR101304797B1 true KR101304797B1 (ko) 2013-09-05

Family

ID=37496972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087006288A KR101304797B1 (ko) 2005-09-13 2006-09-13 오디오 처리 시스템 및 방법

Country Status (8)

Country Link
US (2) US8027477B2 (ko)
EP (1) EP1938661B1 (ko)
JP (1) JP4927848B2 (ko)
KR (1) KR101304797B1 (ko)
CN (1) CN101263739B (ko)
CA (1) CA2621175C (ko)
PL (1) PL1938661T3 (ko)
WO (1) WO2007033150A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015099430A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL1938661T3 (pl) 2005-09-13 2014-10-31 Dts Llc System i sposób przetwarzania dźwięku
WO2007123788A2 (en) 2006-04-03 2007-11-01 Srs Labs, Inc. Audio signal processing
US8565440B2 (en) * 2006-04-19 2013-10-22 Sontia Logic Limited Processing audio input signals
RU2454825C2 (ru) * 2006-09-14 2012-06-27 Конинклейке Филипс Электроникс Н.В. Манипулирование зоной наилучшего восприятия для многоканального сигнала
US8050434B1 (en) 2006-12-21 2011-11-01 Srs Labs, Inc. Multi-channel audio enhancement system
EP1947471B1 (en) * 2007-01-16 2010-10-13 Harman Becker Automotive Systems GmbH System and method for tracking surround headphones using audio signals below the masked threshold of hearing
KR20080079502A (ko) * 2007-02-27 2008-09-01 삼성전자주식회사 입체음향 출력장치 및 그의 초기반사음 생성방법
US8520873B2 (en) * 2008-10-20 2013-08-27 Jerry Mahabub Audio spatialization and environment simulation
WO2009046909A1 (en) * 2007-10-09 2009-04-16 Koninklijke Philips Electronics N.V. Method and apparatus for generating a binaural audio signal
TWI475896B (zh) * 2008-09-25 2015-03-01 Dolby Lab Licensing Corp 單音相容性及揚聲器相容性之立體聲濾波器
JP5499513B2 (ja) * 2009-04-21 2014-05-21 ソニー株式会社 音響処理装置、音像定位処理方法および音像定位処理プログラム
KR101040086B1 (ko) * 2009-05-20 2011-06-09 전자부품연구원 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치
EP2262285B1 (en) 2009-06-02 2016-11-30 Oticon A/S A listening device providing enhanced localization cues, its use and a method
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR20120040290A (ko) * 2010-10-19 2012-04-27 삼성전자주식회사 영상처리장치, 영상처리장치에 사용되는 음성처리방법, 및 음성처리장치
JP5964311B2 (ja) 2010-10-20 2016-08-03 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ ステレオイメージ拡張システム
WO2013032822A2 (en) 2011-08-26 2013-03-07 Dts Llc Audio adjustment system
EP2802161A4 (en) * 2012-01-05 2015-12-23 Samsung Electronics Co Ltd METHOD AND DEVICE FOR LOCATING MULTICANALTONE SIGNALS
US20130202132A1 (en) * 2012-02-03 2013-08-08 Motorola Mobilitity, Inc. Motion Based Compensation of Downlinked Audio
US8704070B2 (en) 2012-03-04 2014-04-22 John Beaty System and method for mapping and displaying audio source locations
CN103796150B (zh) * 2012-10-30 2017-02-15 华为技术有限公司 音频信号的处理方法、装置及***
US9084050B2 (en) * 2013-07-12 2015-07-14 Elwha Llc Systems and methods for remapping an audio range to a human perceivable range
CN105723459B (zh) * 2013-11-15 2019-11-26 华为技术有限公司 用于改进声频信号的感知的设备和方法
EP4329331A3 (en) * 2014-04-02 2024-05-08 Wilus Institute of Standards and Technology Inc. Audio signal processing method and device
US9042563B1 (en) 2014-04-11 2015-05-26 John Beaty System and method to localize sound and provide real-time world coordinates with communication
CN104125522A (zh) * 2014-07-18 2014-10-29 北京智谷睿拓技术服务有限公司 声道配置方法、装置及用户设备
CN107073277B (zh) * 2014-10-08 2020-05-15 Med-El电气医疗器械有限公司 脉冲间间隔短的神经编码
DE202015009711U1 (de) 2014-11-30 2019-06-21 Dolby Laboratories Licensing Corporation Mit sozialen Medien verknüpftes großformatiges Kinosaaldesign
US9551161B2 (en) 2014-11-30 2017-01-24 Dolby Laboratories Licensing Corporation Theater entrance
CN104735588B (zh) * 2015-01-21 2018-10-30 华为技术有限公司 处理声音信号的方法和终端设备
GB2535990A (en) * 2015-02-26 2016-09-07 Univ Antwerpen Computer program and method of determining a personalized head-related transfer function and interaural time difference function
KR20160122029A (ko) * 2015-04-13 2016-10-21 삼성전자주식회사 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
WO2017192972A1 (en) 2016-05-06 2017-11-09 Dts, Inc. Immersive audio reproduction systems
CN106507266B (zh) * 2016-10-31 2019-06-11 深圳市米尔声学科技发展有限公司 音频处理设备和方法
CN108076415B (zh) * 2016-11-16 2020-06-30 南京大学 一种多普勒音效的实时实现方法
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
CN110111804B (zh) * 2018-02-01 2021-03-19 南京大学 基于rls算法的自适应去混响方法
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US11906642B2 (en) * 2018-09-28 2024-02-20 Silicon Laboratories Inc. Systems and methods for modifying information of audio data based on one or more radio frequency (RF) signal reception and/or transmission characteristics
US11019450B2 (en) 2018-10-24 2021-05-25 Otto Engineering, Inc. Directional awareness audio communications system
CN109637550B (zh) * 2018-12-27 2020-11-24 中国科学院声学研究所 一种声源高度角控制方法和***
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5033092A (en) 1988-12-07 1991-07-16 Onkyo Kabushiki Kaisha Stereophonic reproduction system
US20040175005A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Binaural hearing device and method for controlling a hearing device system
US20050117762A1 (en) 2003-11-04 2005-06-02 Atsuhiro Sakurai Binaural sound localization using a formant-type cascade of resonators and anti-resonators

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412731A (en) * 1982-11-08 1995-05-02 Desper Products, Inc. Automatic stereophonic manipulation system and apparatus for image enhancement
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US4836329A (en) * 1987-07-21 1989-06-06 Hughes Aircraft Company Loudspeaker system with wide dispersion baffle
US4819269A (en) * 1987-07-21 1989-04-04 Hughes Aircraft Company Extended imaging split mode loudspeaker system
US4841572A (en) * 1988-03-14 1989-06-20 Hughes Aircraft Company Stereo synthesizer
US4866774A (en) * 1988-11-02 1989-09-12 Hughes Aircraft Company Stero enhancement and directivity servo
FR2650294B1 (fr) 1989-07-28 1991-10-25 Rhone Poulenc Chimie Procede de traitement de peaux, et peaux obtenues
US5173944A (en) * 1992-01-29 1992-12-22 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Head related transfer function pseudo-stereophony
EP0563929B1 (en) * 1992-04-03 1998-12-30 Yamaha Corporation Sound-image position control apparatus
US5319713A (en) * 1992-11-12 1994-06-07 Rocktron Corporation Multi dimensional sound circuit
US5333201A (en) * 1992-11-12 1994-07-26 Rocktron Corporation Multi dimensional sound circuit
US5438623A (en) * 1993-10-04 1995-08-01 The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration Multi-channel spatialization system for audio signals
EP0912077B1 (en) * 1994-02-25 2001-10-31 Henrik Moller Binaural synthesis, head-related transfer functions, and uses therof
US5592588A (en) * 1994-05-10 1997-01-07 Apple Computer, Inc. Method and apparatus for object-oriented digital audio signal processing using a chain of sound objects
US5491685A (en) * 1994-05-19 1996-02-13 Digital Pictures, Inc. System and method of digital compression and decompression using scaled quantization of variable-sized packets
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US5638452A (en) * 1995-04-21 1997-06-10 Rocktron Corporation Expandable multi-dimensional sound circuit
US5943427A (en) * 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
US5661808A (en) * 1995-04-27 1997-08-26 Srs Labs, Inc. Stereo enhancement system
US5850453A (en) * 1995-07-28 1998-12-15 Srs Labs, Inc. Acoustic correction apparatus
EP0762804B1 (en) * 1995-09-08 2008-11-05 Fujitsu Limited Three-dimensional acoustic processor which uses linear predictive coefficients
IT1281001B1 (it) * 1995-10-27 1998-02-11 Cselt Centro Studi Lab Telecom Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio.
US5771295A (en) * 1995-12-26 1998-06-23 Rocktron Corporation 5-2-5 matrix system
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US5970152A (en) * 1996-04-30 1999-10-19 Srs Labs, Inc. Audio enhancement system for use in a surround sound environment
JPH09322299A (ja) * 1996-05-24 1997-12-12 Victor Co Of Japan Ltd 音像定位制御装置
US5995631A (en) * 1996-07-23 1999-11-30 Kabushiki Kaisha Kawai Gakki Seisakusho Sound image localization apparatus, stereophonic sound image enhancement apparatus, and sound image control system
JP3976360B2 (ja) * 1996-08-29 2007-09-19 富士通株式会社 立体音響処理装置
US5809149A (en) * 1996-09-25 1998-09-15 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis
US6421446B1 (en) * 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
US5784468A (en) * 1996-10-07 1998-07-21 Srs Labs, Inc. Spatial enhancement speaker systems and methods for spatially enhanced sound reproduction
JP3255348B2 (ja) 1996-11-27 2002-02-12 株式会社河合楽器製作所 遅延量制御装置及び音像制御装置
US6035045A (en) 1996-10-22 2000-03-07 Kabushiki Kaisha Kawai Gakki Seisakusho Sound image localization method and apparatus, delay amount control apparatus, and sound image control apparatus with using delay amount control apparatus
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
JP3266020B2 (ja) * 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
JP3208529B2 (ja) 1997-02-10 2001-09-17 収一 佐藤 オーディオシステムにおけるスピーカドライブ回路の逆起電圧検出方法及びその回路
US6281749B1 (en) * 1997-06-17 2001-08-28 Srs Labs, Inc. Sound enhancement system
US6078669A (en) * 1997-07-14 2000-06-20 Euphonics, Incorporated Audio spatial localization apparatus and methods
US6307941B1 (en) * 1997-07-15 2001-10-23 Desper Products, Inc. System and method for localization of virtual sound
US5835895A (en) * 1997-08-13 1998-11-10 Microsoft Corporation Infinite impulse response filter for 3D sound with tap delay line initialization
DK1025743T3 (da) 1997-09-16 2013-08-05 Dolby Lab Licensing Corp Anvendelse af filtereffekter i stereohovedtelefoner for at forbedre den rumlige opfattelse af en kilde rundt om en lytter
US6091824A (en) * 1997-09-26 2000-07-18 Crystal Semiconductor Corporation Reduced-memory early reflection and reverberation simulator and method
TW417082B (en) * 1997-10-31 2001-01-01 Yamaha Corp Digital filtering processing method, device and Audio/Video positioning device
KR19990041134A (ko) * 1997-11-21 1999-06-15 윤종용 머리 관련 전달 함수를 이용한 3차원 사운드 시스템 및 3차원 사운드 구현 방법
DE69823228T2 (de) * 1997-12-19 2005-04-14 Daewoo Electronics Corp. Raumklangsignalverarbeitungsvorriehtung und -verfahren
EP1072089B1 (en) 1998-03-25 2011-03-09 Dolby Laboratories Licensing Corp. Audio signal processing method and apparatus
JP3686989B2 (ja) 1998-06-10 2005-08-24 収一 佐藤 多チャンネル変換シンセサイザー回路システム
JP3657120B2 (ja) * 1998-07-30 2005-06-08 株式会社アーニス・サウンド・テクノロジーズ 左，右両耳用のオーディオ信号を音像定位させるための処理方法
US6285767B1 (en) * 1998-09-04 2001-09-04 Srs Labs, Inc. Low-frequency audio enhancement system
US6590983B1 (en) * 1998-10-13 2003-07-08 Srs Labs, Inc. Apparatus and method for synthesizing pseudo-stereophonic outputs from a monophonic input
GB2342830B (en) 1998-10-15 2002-10-30 Central Research Lab Ltd A method of synthesising a three dimensional sound-field
US6993480B1 (en) * 1998-11-03 2006-01-31 Srs Labs, Inc. Voice intelligibility enhancement system
US6839438B1 (en) * 1999-08-31 2005-01-04 Creative Technology, Ltd Positional audio rendering
US7031474B1 (en) * 1999-10-04 2006-04-18 Srs Labs, Inc. Acoustic correction apparatus
US7277767B2 (en) * 1999-12-10 2007-10-02 Srs Labs, Inc. System and method for enhanced streaming audio
JP4304401B2 (ja) 2000-06-07 2009-07-29 ソニー株式会社 マルチチャンネルオーディオ再生装置
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
JP2002191099A (ja) 2000-09-26 2002-07-05 Matsushita Electric Ind Co Ltd 信号処理装置
US6928168B2 (en) * 2001-01-19 2005-08-09 Nokia Corporation Transparent stereo widening algorithm for loudspeakers
JP2002262385A (ja) 2001-02-27 2002-09-13 Victor Co Of Japan Ltd 音像定位信号の生成方法、及び音像定位信号生成装置
US7079658B2 (en) * 2001-06-14 2006-07-18 Ati Technologies, Inc. System and method for localization of sounds in three-dimensional space
JP3435156B2 (ja) * 2001-07-19 2003-08-11 松下電器産業株式会社 音像定位装置
US6557736B1 (en) * 2002-01-18 2003-05-06 Heiner Ophardt Pivoting piston head for pump
AUPS278402A0 (en) * 2002-06-06 2002-06-27 Interactive Communications Closest point algorithm for off-axis near-field radiation calculation
TW200408813A (en) 2002-10-21 2004-06-01 Neuro Solution Corp Digital filter design method and device, digital filter design program, and digital filter
US7529788B2 (en) 2002-10-21 2009-05-05 Neuro Solution Corp. Digital filter design method and device, digital filter design program, and digital filter
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
DK1320281T3 (da) * 2003-03-07 2013-11-04 Phonak Ag Binauralt høreapparat og fremgangsmåde til styring af et sådant høreapparat
DE10344638A1 (de) * 2003-08-04 2005-03-10 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene
US7949141B2 (en) 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
US7451093B2 (en) * 2004-04-29 2008-11-11 Srs Labs, Inc. Systems and methods of remotely enabling sound enhancement techniques
US20050273324A1 (en) * 2004-06-08 2005-12-08 Expamedia, Inc. System for providing audio data and providing method thereof
KR100725818B1 (ko) 2004-07-14 2007-06-11 삼성전자주식회사 최적 가상음원을 제공하는 음향재생장치 및 음향재생방법
PL1938661T3 (pl) 2005-09-13 2014-10-31 Dts Llc System i sposób przetwarzania dźwięku
WO2007123788A2 (en) 2006-04-03 2007-11-01 Srs Labs, Inc. Audio signal processing
DE602007012730D1 (de) 2006-09-18 2011-04-07 Koninkl Philips Electronics Nv Kodierung und dekodierung von audio-objekten
BRPI0717037A2 (pt) 2006-09-21 2013-11-26 Koninkl Philips Electronics Nv Dispositivo de jato de tinta para produzir um substrato de ensaio biológico, método para produzir um substrato de ensaio biológico, uso de um dispositivo de jato de tinta, e, substrato de ensaio.
WO2008084436A1 (en) 2007-01-10 2008-07-17 Koninklijke Philips Electronics N.V. An object-oriented audio decoder
US20090237492A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Enhanced stereoscopic immersive video recording and viewing
EP2194527A3 (en) * 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5033092A (en) 1988-12-07 1991-07-16 Onkyo Kabushiki Kaisha Stereophonic reproduction system
US20040175005A1 (en) 2003-03-07 2004-09-09 Hans-Ueli Roeck Binaural hearing device and method for controlling a hearing device system
US20050117762A1 (en) 2003-11-04 2005-06-02 Atsuhiro Sakurai Binaural sound localization using a formant-type cascade of resonators and anti-resonators

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622218B2 (en) 2013-09-17 2023-04-04 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10469969B2 (en) 2013-09-17 2019-11-05 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US10455346B2 (en) 2013-09-17 2019-10-22 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US9578437B2 (en) 2013-09-17 2017-02-21 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US9584943B2 (en) 2013-09-17 2017-02-28 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing audio signals
US11096000B2 (en) 2013-09-17 2021-08-17 Wilus Institute Of Standards And Technology Inc. Method and apparatus for processing multimedia signals
US9961469B2 (en) 2013-09-17 2018-05-01 Wilus Institute Of Standards And Technology Inc. Method and device for audio signal processing
US11195537B2 (en) 2013-10-22 2021-12-07 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US12014744B2 (en) 2013-10-22 2024-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10580417B2 (en) 2013-10-22 2020-03-03 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain
US10692508B2 (en) 2013-10-22 2020-06-23 Electronics And Telecommunications Research Institute Method for generating filter for audio signal and parameterizing device therefor
US10204630B2 (en) 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
US11109180B2 (en) 2013-12-23 2021-08-31 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10158965B2 (en) 2013-12-23 2018-12-18 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US11689879B2 (en) 2013-12-23 2023-06-27 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
WO2015099430A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
US10433099B2 (en) 2013-12-23 2019-10-01 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
WO2015099424A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
WO2015099429A1 (ko) * 2013-12-23 2015-07-02 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법, 이를 위한 파라메터화 장치 및 오디오 신호 처리 장치
US10701511B2 (en) 2013-12-23 2020-06-30 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US9832589B2 (en) 2013-12-23 2017-11-28 Wilus Institute Of Standards And Technology Inc. Method for generating filter for audio signal, and parameterization device for same
US10999689B2 (en) 2014-03-19 2021-05-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10771910B2 (en) 2014-03-19 2020-09-08 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10321254B2 (en) 2014-03-19 2019-06-11 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10070241B2 (en) 2014-03-19 2018-09-04 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US11343630B2 (en) 2014-03-19 2022-05-24 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US9832585B2 (en) 2014-03-19 2017-11-28 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and apparatus
US10469978B2 (en) 2014-04-02 2019-11-05 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US10129685B2 (en) 2014-04-02 2018-11-13 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9986365B2 (en) 2014-04-02 2018-05-29 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9860668B2 (en) 2014-04-02 2018-01-02 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device
US9848275B2 (en) 2014-04-02 2017-12-19 Wilus Institute Of Standards And Technology Inc. Audio signal processing method and device

Also Published As

Publication number Publication date
CN101263739B (zh) 2012-06-20
JP4927848B2 (ja) 2012-05-09
PL1938661T3 (pl) 2014-10-31
US9232319B2 (en) 2016-01-05
EP1938661B1 (en) 2014-04-02
WO2007033150A1 (en) 2007-03-22
CA2621175A1 (en) 2007-03-22
US20070061026A1 (en) 2007-03-15
JP2009508442A (ja) 2009-02-26
US20120014528A1 (en) 2012-01-19
KR20080049741A (ko) 2008-06-04
EP1938661A1 (en) 2008-07-02
US8027477B2 (en) 2011-09-27
CN101263739A (zh) 2008-09-10
CA2621175C (en) 2015-12-22

Similar Documents

Publication Publication Date Title
KR101304797B1 (ko) 오디오 처리 시스템 및 방법
EP3311593B1 (en) Binaural audio reproduction
US10034113B2 (en) Immersive audio rendering system
CN113170271B (zh) 用于处理立体声信号的方法和装置
EP2550813A1 (en) Multichannel sound reproduction method and device
US20110038485A1 (en) Nonlinear filter for separation of center sounds in stereophonic audio
US11337020B2 (en) Controlling rendering of a spatial audio scene
US20170289724A1 (en) Rendering audio objects in a reproduction environment that includes surround and/or height speakers
US10440495B2 (en) Virtual localization of sound
US20200059750A1 (en) Sound spatialization method
US8929557B2 (en) Sound image control device and sound image control method
WO2017211448A1 (en) Method for generating a two-channel signal from a single-channel signal of a sound source
US20230396950A1 (en) Apparatus and method for rendering audio objects
Jeon et al. Acoustic depth rendering for 3D multimedia applications

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160811

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190821

Year of fee payment: 7