KR20080049741A - 오디오 처리 시스템 및 방법 - Google Patents
오디오 처리 시스템 및 방법 Download PDFInfo
- Publication number
- KR20080049741A KR20080049741A KR1020087006288A KR20087006288A KR20080049741A KR 20080049741 A KR20080049741 A KR 20080049741A KR 1020087006288 A KR1020087006288 A KR 1020087006288A KR 20087006288 A KR20087006288 A KR 20087006288A KR 20080049741 A KR20080049741 A KR 20080049741A
- Authority
- KR
- South Korea
- Prior art keywords
- digital
- sound source
- signals
- listener
- filter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
- H04R25/40—Arrangements for obtaining a desired directivity characteristic
- H04R25/407—Circuits for combining signals of a plurality of transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S1/005—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Otolaryngology (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
이산적인 수의 단순한 디지털 필터가 오디오 주파수 범위의 특정 부분을 위해 생성될 수 있는 오디오 신호 처리 시스템 및 방법이 개시된다. 특정 주파수 범위가 인간의 귀의 위치 구분 능력에 특히 중요하며, 다른 범위는 일반적으로 무시되는 것을 연구는 보여준다. 머리 전달 함수(Head-Related Transfer Function)(HRTF)(170)는 상이한 위치에 위치된 사운드를 귀가 어떻게 인지하는지를 특정하는 응답 함수(response function)의 예이다. 그러한 응답 함수의 1 이상의 "위치-결정적" 부분(172, 174)을 선택함으로써, 위치-구분 능력이 실질적으로 유지되는 청취를 시뮬레이션하기 위해 사용될 수 있는 단순한 필터(180)를 구축할 수 있다. 그 필터가 단순해질 수 있기 때문에, 제한된 연산 능력 및 리소스를 갖는 장치(550, 562)에서 실시될 수 있어서 여러 가지 원하는 오디오 효과에 대한 기초를 이루는 위치-구분 응답을 제공한다.
디지털 오디오 신호, 음원, 디지털 필터, 청취 응답 함수, 시뮬레이션, ITD, IID
Description
본 출원은 2005년 9월 13일에 출원된 미국 가출원 제60/716,588호의 35 U.S.C §119(e)하의 우선권을 주장하고, 발명의 명칭은 "오디오 처리 시스템 및 방법(SYSTEMS AND METHODS FOR AUDIO PROCESSING)"이며, 그 전체가 본 명세서에서 참조로서 인용된다.
본 발명은 일반적으로 오디오 신호(audio signal) 처리에 관한 것이며, 더 상세하게는, 3차원 청취 효과를 시뮬레이션하기 위하여 가청 주파수 범위의 위치-결정적 부분(location-critical portion)을 필터링하는 시스템 및 방법에 관한 것이다.
사운드 신호(sound signal)를 처리하여 향상된 청취 효과를 제공할 수 있다. 예컨대, 각종 처리 기술은 음원(sound source)이 청취자에 대해 위치하고 있거나 이동할 때 인지되도록 할 수 있다. 그러한 기술은 제한된 구성 및 성능을 갖는 스피커를 사용하는 경우에도 청취자에게 시뮬레이션된 3차원 청취 경험을 허용한다.
하지만, 여러 사운드 인지 향상 기술은 복잡하고, 종종 실질적인 연산 능력 및 리소스(resource)를 필요로 한다. 그리하여, 제한된 연산 능력 및 리소스를 갖는 여러 전자 장치에 적용하는 경우에는, 이러한 기술의 사용은 실행될 수 없거나 불가능하다. 셀룰러폰, PDA, MP3 플레이어 등과 같은 여러 휴대 장치는 일반적으로 이러한 범주에 속한다.
전술한 문제점 중 적어도 일부는 본 명세서에서 개시되는 오디오 신호 처리 시스템 및 방법의 다양한 실시예에 의해 처리될 수 있다. 일 실시예에서, 이산적인 수의 단순한 디지털 필터가 오디오 주파수 범위의 특정 부분을 위해 생성될 수 있다. 특정 주파수 범위가 인간의 귀의 위치 구분 능력에 특히 중요하며, 다른 범위는 일반적으로 무시된다는 연구결과가 있다. 머리 전달 함수(Head-Related Transfer Function)(HRTF)는 상이한 위치에 위치된 사운드를 귀가 어떻게 인지하는지를 특정하는 응답 함수(response function)의 예이다. 그러한 응답 함수의 1 이상의 "위치-결정적" 부분을 선택함으로서, 위치-구분 능력이 실질적으로 유지되는 청취를 시뮬레이션하기 위해 사용될 수 있는 단순한 필터를 구축할 수 있다. 그 필터는 단순하기 때문에, 제한된 연산 능력 및 리소스를 갖는 장치에서 실시될 수 있어, 여러 가지 원하는 오디오 효과에 대한 기초를 이루는 위치-구분 응답을 제공할 수 있다.
본 개시의 일 실시예는 디지털 오디오 신호 처리 방법에 관한 것이다. 그 방법은 1 이상의 디지털 신호를 수신하는 단계를 포함하며, 1 이상의 디지털 신호의 각각은 청취자에 상대적인 음원의 공간적 위치에 관한 정보를 갖는다. 그 방법은 1 이상의 디지털 필터를 선택하는 단계를 더 포함하며, 1 이상의 디지털 필터는 청취 응답 함수의 특정 범위로부터 형성된다. 그 방법은 1 이상의 필터를 1 이상의 디지털 신호에 인가하여, 대응하는 1 이상의 필터링된 신호를 산출하는 단계를 더 포함하며, 1 이상의 필터링된 신호의 각각은 음원에 인가된 청취 응답 함수의 시뮬레이션된 효과를 갖는다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 능력을 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크(peak) 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 스피커에 출력되는 좌측 및 우측 디지털 신호를 포함한다. 일 실시예에서, 좌측 및 우측 신호는 청취자에 상대적인 음원의 공간적 위치에 기초하여 두 귀간 시간차(Interaural Time Tifference)에 대해 조정된다. 일 실시예에서, ITD 조정은 음원의 공간적 위치에 관한 정보를 갖는 모도 입력 신호를 수신하는 단계를 포함한다. ITD 조정은 공간적 정보에 기초하여 시간차 값을 결정하는 단계를 더 포함한다. ITD 조정은 그 시간차 값은 모도 입력 신호에 도입하여 좌측 및 우측 신호를 생성하는 단계를 더 포함한다.
일 실시예에서, 시간차 값은 sinθcosφ의 절대 값에 비례하는 양을 포함하며, 여기서 θ는 청취자 전방에 대한 음원의 방위각을 나타내고, φ는 청취자 귀 및 전방 방향에 의해 규정된 수평면에 대한 음원의 고도각(elevation angle)을 나타낸다. 일 실시예에서, 그 양은 │(Maximum_ITD_Samples_per_Sampling_Rate-1)sinθcosφ│로 표현된다.
일 실시예에서, 시간차 값의 결정은 음원의 공간적 위치가 변하는 경우에 수행된다. 일 실시예에서, 그 방법은 이전의 값과 현재의 값 사이의 시간차 값의 교차 페이드 천이(crossfade transition)을 수행하는 단계를 더 포함한다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 이전의 값으로부터 현재의 값으로의 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 변경하는 단계를 포함한다.
일 실시예에서, 1 이상의 필터링된 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 필터링된 신호를 포함한다. 일 실시예에서, 그 방법은 1 이상의 필터의 인가에 의해서는 고려되지 않고 존재할 수 있는 임의의 강도 차이를 고려하기 위해서, 두 귀간 강도차(Interaural Intensity Difference)에 대하여 좌측 및 우측 필터링된 신호의 각각을 조정하는 단계를 더 포함한다. 일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은 음원이 청취자에 대하여 좌측 또는 우측에 위치되는지를 결정하는 단계를 포함한다. 조정은 음원으로서 반대측에 있는 좌측 또는 우측 필터링된 신호를 약한 신호로서 지정하는 단계를 더 포함한다. 조정은 좌측 또는 우측 필터링된 신호의 나머지를 강한 신호로서 지정하는 단계를 더 포함한다. 조정은 제 1 보상에 의해 약한 신호를 조정하는 단계를 더 포함한다. 조정은 제 2 보상에 의해 강한 신호를 조정하는 단계를 더 포함한다.
일 실시예에서, 제 1 보상은 cosθ에 비례하는 보상 값을 포함하며, 여기서, θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 보상 값은, 음원이 실질적으로 바로 전방에 있는 경우에 보상 값이 원래의 필터 레벨 차이가 될 수 있도록, 그리고 음원이 실질적으로 바로 강한 측에 있는 경우에 약한 신호에 대하여 이득 조정이 이루어지지 않도록 보상 값이 대략 1이 되도록, 표준화된다.
일 실시예에서, 제 2 보상은 sinθ에 비례하는 보상 값을 포함하고, 여기서 θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 보상 값은, 음원이 실질적으로 바로 전방에 있는 경우에 이득 조정이 강한 신호에 이루어지지 않도록 보상 값이 대략 1이 되도록, 그리고 음원이 실질적으로 바로 약한 측에 있는 경우 보상 값이 약 2가 되도록, 표준화되고, 이에 의해 대략 6dB의 이득 보상을 제공함으로서, 방위각의 상이한 값에서 전체 음량을 대략 매치시킨다.
일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은, 음원의 선택된 이동에 기인하여 새로운 1 이상의 디지털 필터가 좌측 및 우측 필터링된 신호에 인가되는 경우에 수행된다. 일 실시예에서, 그 방법은 이전 값과 현재 값 사이의 제 1 및 제 2 보상 값의 교차 페이드 천이를 수행하는 단계를 더 포함한다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 제 1 및 제 2 보상 값을 변경하는 단계를 더 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프(roll off)하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터(butterworth filter)를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에 대한 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 1 이상의 디지털 필터의 선택은 청취자에 대한 유한 수의 기하학적 위치에 기초한다. 일 실시예에서, 기하학적 위치는 복수의 반(hemi)-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 상기 방법은 1 이상의 디지털 신호를 수신하기 전 또는 1 이상의 필터를 인가한 이후에 이하의 처리 단계의 적어도 하나를 수행하는 단계를 더 포함한다: 샘플 속도(sample rate) 변환, 음원 속도에 대한 도플러 조정, 청취자에 대한 음원의 거리를 고려하기 위한 거리 조정, 음원에 대한 청취자 머리의 배향(orientation)을 고려하기 위한 배향 조정, 또는 잔향(reverberation) 조정.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대한 음원의 움직임의 효과를 시뮬레이션한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 음원을 청취자에 대한 선택된 위치에 배치하는 효과를 시뮬레이션 한다. 일 실시예에서, 그 방법은 청취자에 대한 선택된 위치에서의 복수의 음원의 효과를 시뮬레이션하기 위하여 1 이상의 부가적인 음원의 효과를 시뮬레이션하는 단계를 더 포함한다. 일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 스피커에 입력될 좌측 및 우측 디지털 신호를 포함하고, 복수의 음원은 2 이상의 음원의 효과가 좌측 및 우측 스피커로 시뮬레이션 되도록 2 이상의 음원을 포함한다. 일 실시예에서, 복수의 음원은 서라운드(surround) 사운드 배치의 하나와 유사한 방식으로 배치되는 5개의 음원을 포함하고, 서라운드 사운드 효과가 헤드폰에 제공된 좌측 및 우측 필터링된 신호에 의해 시뮬레이션 되도록 좌측 및 우측 스피커는 헤드폰 내에 배치된다.
본 개시의 다른 실시예는 음원으로부터의 사운드를 나타내는 디지털 신호를 처리하기 위한 위치 오디오 엔진(positional audio engine)에 관한 것이다. 오디오 엔진은 1 이상의 디지털 필터를 선택하도록 구성된 필터 선택 컴포넌트를 포함하며, 1 이상의 디지털 필터의 각각은 특정 범위의 청취 응답 함수로 형성되며, 선택은 청취자에 대한 음원의 공간적 위치에 기초한다. 오디오 엔진은 1 이상의 디지털 신호에 1 이상의 디지털 필터를 인가하여 대응하는 1 이상의 필터링된 신호를 산출하도록 구성된 필터 인가 컴포넌트를 더 포함하며, 1 이상의 필터링된 신호의 각각은 음원으로부터의 사운드에 인가된 청취 응답 함수의 시뮬레이션된 효과를 갖는다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 감지도를 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, 1 이상의 디지털 신호는 좌측 및 우측 디지털 신호를 포함하여서, 1 이상의 필터링된 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 필터링된 신호를 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 1 이상의 디지털 필터의 선택은 청취자에 대한 유한 수의 기하학적 위치에 기초한다. 일 실시예에서, 기하학적 위치는 복수의 반-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대한 음원의 움직의 효과를 시뮬레이션한다.
일 실시예에서, 1 이상의 디지털 신호에의 1 이상의 디지털 필터의 인가는 청취자에 대하여 선택된 위치에 음원을 배치하는 효과를 시뮬레이션한다.
본 개시의 다른 실시예는 디지털 오디오 신호를 처리하는 시스템에 관한 것이다. 그 시스템은 모노 입력 신호를 수신하고 좌측 및 우측 ITD-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트를 포함한다. 모노 입력 신호는 청취자에 대한 음원의 공간적 위치에 대한 정보를 포함한다. 시스템은 좌측 및 우측 ITD-조정된 신호를 수신하고, 좌측 및 우측 ITD-조정된 신호의 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트를 더 포함하며, 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록, 1 이상의 디지털 필터의 각각은 청취 응답 함수의 특정 범위에 기초한다. 상기 시스템은 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID-조정된 신호를 생성하여 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트를 더 포함한다.
일 실시예에서, 청취 응답 함수는 머리 전달 함수(HRTF)를 포함한다. 일 실시예에서, 특정 범위는 HRTF 내의 주파수의 특정 범위를 포함한다. 일 실시예에서, 주파수의 특정 범위는 실질적으로, 가청 주파수 중에서 평균적인 사람의 청취에 평균 감지도보다 큰 위치-구분 능력을 제공하는 주파수의 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 주파수의 특정 범위는 HRTF 내의 피크 구조를 포함하거나 그것과 실질적으로 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다. 일 실시예에서, 그 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내이거나 그 범위와 중첩한다.
일 실시예에서, ITD는 sinθcosφ의 절대 값에 비례하는 양을 포함하는데, 여기서 θ는 청취자 전방에 대한 음원의 방위각을 나타내고, φ는 청취자 귀 및 전방 방향에 의해 규정된 수평면에 대한 음원의 고도각을 나타낸다.
일 실시예에서, ITD 결정은 음원의 공간적 위치가 변하는 경우에 수행된다. 일 실시예에서, ITD 컴포넌트는 이전의 값과 현재의 값 사이의 ITD의 교차 페이드 천이를 수행하도록 추가로 구성된다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 이전의 값으로부터 현재의 값으로의 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 변경하는 단계를 포함한다.
일 실시예에서, IID 컴포넌트는 음원이 청취자에 대하여 좌측 또는 우측에 위치되는지를 결정하도록 구성된다. ITD 컴포넌트는 음원으로서 반대측에 있는 좌측 또는 우측 필터링된 신호를 약한 신호로서 지정하도록 더 구성된다. ITD 컴포넌트는 좌측 또는 우측 필터링된 신호의 나머지를 강한 신호로서 지정하도록 더 구성된다. ITD 컴포넌트는 제 1 보상에 의해 약한 신호를 조정하도록 더 구성된다. ITD 컴포넌트는 제 2 보상에 의해 강한 신호를 조정하도록 더 구성된다.
일 실시예에서, 제 1 보상은 cosθ에 비례하는 보상 값을 포함하며, 여기서, θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다. 일 실시예에서, 제 2 보상은 sinθ에 비례하는 보상 값을 포함하고, 여기서 θ는 청취자의 전방에 대한 음원의 방위각을 나타낸다.
일 실시예에서, IID에 대한 좌측 및 우측 필터링된 신호의 조정은, 음원의 선택된 이동에 기인하여 새로운 1 이상의 디지털 필터가 좌측 및 우측 필터링된 신호에 인가되는 경우에 수행된다. 일 실시예에서, ITD 컴포넌트는 이전 값과 현재 값 사이의 제 1 및 제 2 보상 값의 교차 페이드 천이를 수행하도록 더 구성된다. 일 실시예에서, 교차 페이드 천이는 복수의 처리 주기 동안에 제 1 및 제 2 보상 값을 변경하는 단계를 포함한다.
일 실시예에서, 1 이상의 디지털 필터는 복수의 디지털 필터를 포함한다. 일 실시예에서, 복수의 디지털 필터가 복수의 분할 신호에 병렬적으로 인가되도록, 1 이상의 디지털 신호의 각각은 복수의 디지털 필터의 수와 동일한 수의 신호로 분할된다. 일 실시예에서, 1 이상의 필터링된 신호의 각각은 복수의 디지털 필터에 의해서 필터링된 복수의 분할 신호를 결합하여 얻어진다. 일 실시예에서, 그 결합은 복수의 분할 신호를 합산하는 단계를 포함한다.
일 실시예에서, 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프하는 응답을 산출하는 필터를 포함한다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 각각은 버터워스 필터를 포함한다. 일 실시에에서, 제 1 및 제 2 디지털 필터의 하나에서의 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정된다. 일 실시예에서, 제 1 및 제 2 디지털 필터의 하나에 대한 통과 대역 부분은 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정된다.
일 실시예에서, 위치 필터 컴포넌트는 청취자에 대한 유한 수의 기하학적 위치에 기초하여 1 이상의 디지털 필터를 선택하도록 더 구성된다. 일 실시예에서, 기하학적 위치는 복수의 반-평면을 포함하고, 각각의 반-평면은 청취자의 귀 사이의 방향에 따른 에지와, 청취자의 귀 및 전방에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정된다. 일 실시예에서, 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화된다. 일 실시예에서, 전방 반-평면은 청취자 전방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함하고, 후방 반-평면은 청취자 후방에서 0 +/- 45°의 고도각에 있는 반-평면을 포함한다.
일 실시예에서, 상기 시스템은 샘플 속도 변환 컴포넌트, 음원 속도를 시뮬레이션 하도록 구성된 도플러 조정 컴포넌트, 청취자에 대한 음원의 거리를 고려하도록 구성된 거리 조정 컴포넌트, 음원에 대한 청취자 머리의 배향을 고려하도록 구성된 배향 조정 컴포넌트, 또는 잔향 효과를 시뮬레이션하기 위한 잔향 조정 컴포넌트를 더 포함한다.
본 개시의 또 다른 실시예는 디지털 오디오 신호를 처리하기 위한 시스템에 관한 것이다. 그 시스템은 복수의 신호 처리 체인(chain)을 포함하며, 각각의 체인은 모노 입력 신호를 수신하고 좌측 및 우측 ITD-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트를 포함한다. 모노 입력 신호는 청취자에 대한 음원의 공간적 위치에 대한 정보를 포함한다. 각 체인은 좌측 및 우측 ITD-조정된 신호를 수신하고, 좌측 및 우측 ITD-조정된 신호의 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트를 더 포함하며, 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록, 1 이상의 디지털 필터의 각각은 청취 응답 함수의 특정 범위에 기초한다. 각각의 체인은 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID-조정된 신호를 생성하여, 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트를 더 포함한다.
본 개시의 또 다른 실시예는 1 이상의 디지털 신호를 수신하는 수단을 갖는 장치에 관한 것이다. 그 장치는 음원의 공간적 위치에 대한 정보에 기초하여 1 이상의 디지털 필터를 선택하는 수단을 더 포함한다. 그 장치는 1 이상의 디지털 신호에 1 이상의 디지털 필터를 인가하여, 청취 응답 함수의 효과를 시뮬레이션하는 대응하는 1 이상의 필터링된 신호를 산출하는 수단을 더 포함한다.
본 개시의 또 다른 실시예는 1 이상의 전자 필터를 형성하는 수단과, 3차원 사운드 효과를 시뮬레이션하기 위하여, 1 이상의 전자 필터를 사운드 신호에 인가하는 수단을 갖는 장치에 관한 것이다.
도 1은 위치 오디오 엔진이 이동하는 음원의 사운드 효과를 청취자에 제공할 수 있는 예시적 청취 상황을 도시하는 도면.
도 2는 위치 오디오 엔진이 헤드폰을 사용하는 청취자에게 서라운드 사운드 효과를 제공할 수 있는 다른 예시적인 청취 상황을 도시하는 도면.
도 3은 위치 오디오 엔진의 전체적인 기능성의 블록도.
도 4는 도 3의 위치 오디오 엔진에 의해 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 5는 도 4의 프로세스의 더욱 구체적인 예일 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 6은 도 5의 프로세스의 더욱 구체적인 예일 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 7a는 응답 곡선으로부터의 1 이상의 위치-결정적 정보가 비교적 단순한 필터 응답으로 어떻게 변환되는지를 예시적으로 도시하는 도면.
도 7b는 도 7a의 예시적인 변환을 제공할 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 8은 설명을 위한 예시적인 공간적 구조 규정을 도시하는 도면.
도 9는 청취자에 대한 공간이 4분원으로 분할될 수 있는 예시적인 공간적 구성을 도시하는 도면.
도 10은 도 9의 공간적 구성 내의 음원이 X-축에 대하여 복수의 이산적인 반-평면상에 위치되는 바와 같이 근사화될 수 있고, 이에 의해 위치 필터링 프로세스를 단순화할 수 있는 예시적인 공간적 구성을 도시하는 도면.
도 11a 내지 11c는 위치-결정적 시뮬레이션된 필터 응답이 각종 반-평면에 대하여 얻어질 수 있도록, 도 10의 반-평면의 일부에서의 각종 예시적인 위치에서 얻어질 수 있는 HRTF와 같은 예시적인 응답 곡선을 도시하는 도면.
도 12는 일 실시예에서 위치 필터가 위치-결정적 시뮬레이션된 필터 응답을 제공할 수 있고, 두 귀간 시간차(ITD) 및 두 귀간 강도차(IID) 기능성을 갖고 구동할 수 있는 것을 도시하는 도면.
도 13은 도 12의 ITD 컴포넌트의 일 실시예를 도시하는 도면.
도 14는 도 12의 위치 필터의 일 실시예를 도시하는 도면.
도 15는 도 12의 IID 컴포넌트의 일 실시예를 도시하는 도면.
도 16은 도 12의 ITD 컴포넌트에 의해서 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 17은 도 12의 위치 필터 및 IID 컴포넌트에 의해서 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면.
도 18은 도 12의 ITD, 위치 필터 및 IID 컴포넌트의 기능성을 제공하기 수행될 수 있는 프로세스의 일 실시예를 도시하는 도면이며, 여기서, 교차 페이딩(crossfading) 기능성은 이동하는 음원의 효과의 매끄러운 천이를 제공할 수 있다.
도 19는 위치 필터 컴포넌트가 다른 사운드 처리 컴포넌트를 갖는 체인의 일부일 수 있는 예시적인 신호 처리 구성을 도시하는 도면.
도 20은 복수의 신호 처리 체인이 복수의 음원을 시뮬레이션하기 위해 실시될 수 있는 일 실시예를 도시하는 도면.
도 21은 도 20의 실시예에 대한 다른 변형예를 도시하는 도면.
도 22a 및 22b는 위치 필터를 갖는 위치 오디오 엔진이 구현될 수 있는 오디오 시스템의 비-한정적인 예를 도시하는 도면.
도 23a 및 23b는 위치 필터의 기능성이 청취자에게 향상된 청취 경험을 제공하도록 구현될 수 있는 장치의 비-한정적인 예를 도시하는 도면.
본 발명의 이러한 측면 및 다른 측면, 장점, 및 새로운 특징은 첨부 도면을 참조하는 이하의 상세한 설명으로부터 명백해질 것이다. 도면에서, 유사한 요소는 유사한 참조 부호를 갖는다.
일반적으로, 본 개시는 오디오 신호 처리 기술에 관한 것이다. 일부 실시예에서, 본 개시의 각종 특징 및 교시는 오디오 또는 오디오/시청 장치상에서 구현될 수 있다. 여기에 기술한 바와 같이, 본 개시의 각종 특징은 사운드 신호의 효율적인 처리를 허용하고, 그리하여 일부 적용에서, 제한된 신호 처리 리소스를 갖는 경우에도, 사실적인 위치적 사운드 이미지화(sound imaging)가 달성될 수 있다. 그와 같이, 일부 실시예에서, 청취자에게 사실적 임팩트(impact)를 갖는 사운드는 연산 능력이 제한될 수 있는 소형(handheld) 장치와 같은 휴대 장치에 의해서 출력될 수 있다. 여기에 개시된 각종 특징 및 개념은 휴대 장치에서의 구현에 한정되지 않으며, 사운드 신호를 처리하는 임의의 전자 장치 내에서 구현될 수 있다는 것을 이해해야 한다.
도 1은 청취자(102)가 스피커(108)로부터의 사운드(110)를 청취하는 예시적 상황(100)을 도시한다. 청취자(102)는 그 청취자(102)에 대하여 특정 위치에 있는 바와 같은 1 이상의 음원(112)을 감지하는 것으로 도시된다. 예시적 음원(112a)은 청취자(102)의 전방 우측에 있는 것이며, 예시적 음원(112b)은 청취자의 후방 좌측에 있다. 음원(112a)은 청취자(102)에 대하여 이동(화살표 114로 도시된 바와 같이)하는 것으로 도시된다.
도 1에 도시된 바와 같이, 임부 사운드는 청취자(102)가 일부 음원에 대하여 이동하고 있다는 것을 분명히 할 수 있다. 음원, 청취자 배향 및 이동의 여러 가지 다른 조합이 실시될 수 있다. 일부 실시예에서, 대응하는 시각적 인지(예컨대, 스크린으로부터의)와 결합된 그러한 오디오 인지는 청취자에게 효과적이고 강력한 감지 효과를 제공할 수 있다.
일 실시예에서, 위치 오디오 엔진(104)은 그와 같은 청취 효과를 달성하기 위해 신호(106)를 생성하여 스피커(108)에 제공할 수 있다. 위치 오디오 엔진(104)의 각종 실시예 및 특징은 이하에 상세히 기술한다.
도 2는 청취자(102)가 헤드폰(124)과 같은 두-스피커 장치로부터의 사운드를 청취하고 있는 다른 예시적 상황(120)을 도시한다. 또한, 위치 오디오 엔진(104)은 예시적인 헤드폰에 신호(122)를 생성하여 제공하는 것으로 도시된다. 이러한 예시 적인 구현에서, 청취자(102)에 의해서 인지된 사운드는 청취자(102)에 대하여 실질적으로 고정된 위치에 복수의 음원이 존재한다는 것을 분명히 한다. 예컨대, 서라운드 사운드 효과는 음원(126)(본 예에서는 다섯 개이지만, 다른 개수 및 구성이 또한 가능함)이 특정 위치에 나타나게 함으로써 생성될 수 있다.
일부 실시예에서, 대응하는 시각적 인지(예컨대, 스크린으로부터)와 결합된 그러한 오디오 인지는 청취자에게 효과적이고 강력한 감지 효과를 제공할 수 있다. 그리하여, 예컨대, 서라운드-사운드 효과는 헤드폰을 통하여 휴대 장치를 청취하고 있는 청취자에게 생성될 수 있다. 위치 오디오 엔진(104)의 각종 실시예 및 특징은 이하에 더욱 상세히 기술한다.
도 3은 입력 신호(132)를 수신하고 출력 신호(134)를 생성하는 위치 오디오 엔진(130)의 블록도를 도시한다. 여기에 기술한 특징을 갖는 그러한 신호 처리는 여러 방식으로 구현될 수 있다. 비-한정적인 예에서, 위치 오디오 엔진(130)의 기능성의 일부 또는 전체는 전자 장치 내의 멀티미디어 애플리케이션과 구동 시스템 사이의 애플리케이션 프로그래밍 인터페이스(API)로서 구현될 수 있다. 다른 비-한정적인 예에서, 엔진(130)의 기능성의 일부 또는 전체는 소스(source) 데이터(예컨대, 데이터 피일 또는 스트리밍 데이터 내의) 내에 합체될 수 있다.
다른 구성이 가능하다. 예컨대, 본 개시의 각종 개념 및 특징은 아날로그 시스템 내에서의 신호 처리를 위해 구현될 수 있다. 그러한 시스템 내에서, 위치 필터의 아날로그 등가물은 여기에 기술한 각종 기술과 유사한 방식으로 위치-결정적 정보에 기초하여 구성될 수 있다. 그리하여, 본 개시의 각종 개념 및 특징은 디지 털 시스템에 한정되는 것이 아니다.
도 4는 위치 오디오 엔진(130)에 의해 수행될 수 있는 프로세스(140)의 일 실시예를 도시한다. 프로세스 블록(142) 내에서, 선택된 위치 응답 정보는 주어진 주파수 범위 중에서 선택된다. 일 실시예에서, 주어진 범위는 청취가능한 주파수 범위일 수 있다(예컨대, 약 20Hz 내지 약 20KHz). 프로세스 블록(144)에서, 오디오 신호는 선택된 위치 응답 정보에 기초하여 처리된다.
도 5는 프로세스(140)(도 4)의 선택된 위치 응답 정보가 위치-결정적 또는 위치-상응적 정보일 수 있는 프로세스(150)의 일 실시예를 도시한다. 프로세스 블록(152)에서, 위치-결정적 정보는 주파수 응답 데이터로부터 얻어진다. 프로세스 블록(154)에서, 위치 또는 1 이상의 음원이 위치-결정적 정보에 기초하여 결정된다.
도 6은 프로세스(150)(도 5)의 더욱 구체적인 구현이 수행될 수 있는 프로세스(160)의 일 실시예를 도시한다. 프로세스 블록(162)에서, 이산적인 세트의 필터 파라미터가 얻어지고, 필터 파라미터는 1 이상의 머리 전달 함수(HRTF)의 1 이상의 위치-결정적 부분을 시뮬레이션할 수 있다. 일 실시예에서, 필터 파라미터는 디지털 신호 필터링을 위한 필터 계수일 수 있다. 프로세스 블록(164)에서, 1 이상의 음원의 위치는 필터 파라미터를 사용하는 필터링에 기초하여 결정된다.
설명을 위해, "위치-결정적"은 음원 위치 구분 특별히 예민한 것으로 알려진, 응답 스펙트럼(예컨대, 주파수 응답 스펙트럼)을 듣는 사람의 부분을 의미한다. HRTF는 사람의 청취 응답 스펙트럼의 일 예이다. 연구(예컨대, E. A. Macperson에 의한 "A comparation of spectral correlation and local feature-matching models of pinna cue processing", , Journal of the Acoustical Society of America, 101, 3105, 1997)는 일반적으로 사람 청취자는 사운드가 어디에서 오는지를 구분하기 위해서 전체의 HRTF 정보를 처리하지는 않는다는 것을 보여준다. 대신에, HRTF 내의 특정 특징에 중점을 둔다. 예컨대, 국부적 특징 매치와, 4KHz 이상의 주파수 내에서의 구배 상호 연관성(gradient correlation)이 사운드 방향 구분에 특별히 중요하는 것으로 보이며, HRTF의 다른 부분은 일반적으로 무시된다.
도 7a는 전방에서 우측으로 약 45°(귀의 높이에 대해)에 위치된 예시적인 음원에 대한 좌측 및 우측 귀의 청취 응답에 대응하는 예시적인 HRTF(170)를 도시한다. 일 실시예에서, 화살표(172 및 174)로 지시된 두 피크 구조, 및 관련 구조(피크(172 및 174) 사이의 골(valley)과 같은)는 예시적인 음원 배향의 좌측 귀 청취에 대하여 위치-결정적인 것으로 간주될 수 있다. 유사하게, 화살표(176 및 178)로 지시된 두 피크 구조, 및 관련 구조(피크(176 및 178) 사이의 골과 같은)는 예시적인 음원 배향의 우측 귀 청취에 대하여 위치-결정적인 것으로 간주될 수 있다.
도 7b는, 프로세스 블록(192) 내에서, 도 7a의 예시적인 HRTF(170)와 같은 응답 데이터로부터의 1 이상의 위치-결정적 주파수(또는 주파수 범위)를 식별할 수 있는 프로세스(190)의 일 실시예를 도시한다. 예시적인 HRTF(170) 내에서, 두 예시적인 주파수는 화살표(172, 174, 176 및 178)에 의해 지시된다. 프로세스 블록(194)에서, 1 이상의 위치-결정적 주파수 응답을 시뮬레이션하는 필터 계수가 얻어질 수 있다. 여기에 기술한 바와 같이, 그리고 프로세스 블록(196)에 도시된 바 와 같이, 그러한 필터 계수는 HRTF(170)를 생성한 예시적인 음원 배향의 응답을 시물레이션하기 위해 후속적으로 사용될 수 있다.
HRTF(170)에 대응하는 시뮬레이션된 필터 응답(180)은 프로세스 블록(194) 내에서 결정된 필터 계수로부터의 결과일 수 있다. 도시된 바와 같이, 피크(186, 188, 182 및 184) (및 대응하는 골)은 음원의 위치 구별을 위한 위치-결정적 응답을 제공하도록 복제된다. HRTF(170)의 다른 부분은 일반적으로 무시되는 것으로 도시되며, 이에 의해 저 주파수에서의 실질적으로 평탄한 응답과 같이 도시된다.
특정 부분 및/또는 구조만이 선택되므로(본 예에서는, 두 피크 및 관련된 골), 필터 응답의 형성(예컨대, 예시적인 시뮬레이션된 응답(180)을 산출하는 필터 계수의 결정)이 매우 단순해질 수 있다. 또한, 그러한 필터 계수는 저장되고, 매우 단순한 방식으로 후속적으로 사용될 수 있어서, 청취자에게 출력된 사운드의 사실적 위치-구변을 유효화하는데 필요한 연산 능력을 실질적으로 저감한다. 필터 계수 결정 및 후속 사용의 구체적인 예는 이하에 상세히 기술한다.
여기의 기술에서, 필터 계수 결정 및 후속 사용은 예시적인 두-피크 선택의 문맥으로 기술한다. 하지만, 일부 실시예에서, HRTF의 다른 부분 및/또는 특징이 식별되고 시뮬레이션될 수 있다는 것을 이해해야 한다. 예컨대, 주어진 HRTF가 위치-결정적일 수 있는 세 개의 피크를 갖는 경우, 이들 세 개의 피크가 식별되고 시뮬레이션될 수 있다. 따라서, 세 개의 필터는 두 개의 피크 경우에서의 두 개의 필터 대신에 세 개의 피크를 나타낼 수 있다.
일 실시예에서, HRTF의 선택된 특징 및/또는 범위(또는 다른 주파수 응답 곡 선)은 원하는 특징 및/또는 범위의 근사화된 응답을 생성하는 필터 계수를 얻음으로써 시뮬레이션될 수 있다. 그러한 필터 계수는 임의 수의 공지된 기술을 사용하여 얻어질 수 있다.
일 실시예에서, 선택된 특징(예컨대, 피크)에 의해서 제공될 수 있는 단순화는 단순화된 필터링 기술의 사용을 허용한다. 일 실시예에서, 유한 임펄스 응답(IIR)과 같은 신속하고 단순한 필터링은 한정된 수의 선택된 위치-결정적 특징의 응답을 시뮬레이션하는데 사용될 수 있다.
일 예로서, 예시적인 HRTF(170)의 두 개의 예시적 피크(좌측 청취의 경우 172 및 174, 우측 청취의 경우 176 및 178)가 공진된 버터워스 필터링 기술을 사용하여 시뮬레이션될 수 있다. 그러한 공지된 필터에 대한 계수는, 예컨대, MATLAB과 같은 신호 처리 애플리케이션을 포함하는 임의의 공지된 기술을 사용하여 얻어질 수 있다. 표 1은 예시적인 HRTF(170)의 시뮬레이션된 응답을 리턴할 수 있는 MATLAB 함수 호출(call)의 예를 보여준다.
피크 | 이득 | MATLAB 필터 함수 호출 버터(차수, 표준화된 범위, 필터 유형) |
피크 172(좌측) | 2dB | 차수 = 1 범위 = [2700/(샘플링 속도/2), 6000/(샘플링 속도/2)] 필터 유형 = '대역 통과' |
피크 174(좌측) | 2dB | 차수 = 1 범위 = [11000/(샘플링 속도/2), 14000/(샘플링 속도/2)] 필터 유형 = '대역 통과' |
피크 176(우측) | 3dB | 차수 = 1 범위 = [2600/(샘플링 속도/2), 6000/(샘플링 속도/2)] 필터 유형 = '대역 통과' |
피크 178(우측) | 11dB | 차수 = 1 범위 = [12000/(샘플링 속도/2), 16000/(샘플링 속도/2)] 필터 유형 = '대역 통과' |
일 실시예에서, 예시적 HRTF(170)의 선택된 피크에 대한 전술한 예시적 IIR 필터 응답은 시뮬레이션된 응답(180)을 산출할 수 있다. 프로세스(190)의 프로세스 블록(196)에 지시된 바와 같이, 대응하는 필터 계수는 후속 사용을 위해 저장될 수 있다.
전술한 바와 같이, 예시적인 HRTF(170) 및 시뮬레이션된 응답(180)은 전방에서 우측으로 약 45°(약 귀 높이에서)에 위치된 음원에 대응한다. 다른 음원에 대한 응답은 청취자에 대한 2 또는 3차원 응답 커버리지(coverage)를 제공하도록 유사한 방식으로 얻어질 수 있다. 다른 음원 위치에 대한 구체적인 필터링 예는 이하에 상세히 기술한다.
도 8은 여기에서의 설명을 위한 예시적인 공간적 좌표 규정(200)을 도시한다. 청취자(102)는 원점에 위치되는 것으로 상정한다. Y-축은 청취자(102)가 마주하는 전방에 위치하는 것으로 간주한다. 그리하여, X-Y 평면은 청취자(102)에 대한 수평면을 나타낸다. 음원(202)은 원점으로부터 거리 "R"에 위치되는 것으로 도시된다. 각도 φ는 수평면으로부터의 고도각을 나타내며, 각도 θ는 Y-축으로부터의 방위각을 나타낸다. 그리하여, 예컨대, 청취자의 머리 바로 뒤에 위치한 음원은 θ=180°, φ=0°를 가질 것이다.
일 실시예에서, 도 9에 도시된 바와 같이, 청치자에 대한 공간(원점에서)은 전방 및 후방뿐만 아니라, 좌측 및 우측으로 분할될 수 있다. 일 실시예에서, 전방 반-평면(210) 및 후방 반-평면(212)은, 방위각 φ를 갖고, X-축에서 X-Y평면과 교차하도록 규정될 수 있다. 그리하여, 예컨대, θ=45, φ=0에서, 그리고 도 7a의 예시적인 HRTF(170)에 대응하는 예시적인 음원은 전방-우측(FR) 부위, 및 φ=0에서의 전방 반-평면에 존재한다.
일 실시예에서, 이하에 상세히 기술하는 바와 같이, 각종 반-평면이 귀 높이의 위 및/아래의 음원을 고려하기 위하여 수평면 위 및/또는 아래에 존재할 수 있다. 주어진 반-평면에서, 한쪽(예컨대, 우측)에 대하여 얻어진 응답은 청취자 머리의 대칭에 의해 다른 쪽(예컨대, 좌측)에서의 미러 이미지 위치(Y-Z 평면에 대한)에서의 응답을 추정하는데 사용될 수 있다. 일 실시예에서, 그러한 대칭이 전방 및 후방에 대해서는 존재하지 않기 때문에, 전방 및 후방(및 그리하여 전방 및 후방 반-평면)에 대하여는 별도의 응답이 얻어질 수 있다.
도 10은 일 실시예에서, 청취자(원점) 주위의 공간이 다수의 전방 및 후방 반-평면으로 분할될 수 있다. 일 실시예에서, 전방 반-평면(362)은 수평 배향(φ =0)에 존재할 수 있고, 대응하는 후방 반-평면(364) 또한 실질적으로 수평으로 존재할 수 있다. 전방 반-평면(366)은 약 45°(φ=45°)의 전방-상승된 배향으로 존재할 수 있고, 대응하는 후방 반-평면(368)은 후방 반-평면(364) 아래에 약 45°의 배향으로 존재할 수 있다. 전방 반-평면(370)은 약 -45°(φ=-45°)의 배향으로 존재할 수 있고, 대응하는 후방 반-평면(372)은 후방 반-평면(364) 위에 약 45°의 각도로 존재할 것이다.
일 실시예에서, 청취자에 대한 음원은 전술한 반-평면의 하나에 존재하는 것으로 근사화될 수 있다. 각각의 반-평면은 반-평면상의 음원의 응답을 시뮬레이션하는 필터 계수의 세트를 가질 수 있다. 그리하여, 도 7a를 참조하여 전술한 예시적인 시뮬레이션된 응답은 전방 수평 반-평면(362)에 대한 필터 계수 세트를 제공할 수 있다. 전방 수평 반-평면(362)상의 임의의 개소에 위치한 음원에 대한 시뮬레이션된 응답은 전방 방향(Y-축)으로부터의 좌측 및 우측 변위를 고려하기 위해 좌측 및 우측 응답의 상대적인 이득을 조정함으로써 근사화될 수 있다. 또한, 음원 거리 및/또는 속도와 같은 다른 파라미터가 후술하는 방식으로 근사화될 수 있다.
도 11a 내지 11c는 전술한 것과 유사한 방식으로 얻어질 수 있는 각종의 대응하는 HRTF(도시 생략)에 대한 시뮬레이션된 응답의 일부 예를 도시한다. 도 11a는 θ=270°및 φ=+45°(전방의 상승된 반-평면(366)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(380)을 도시한다. 도 11b는 θ=270°및 φ=0°(수평 반-평면(362)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(382)을 도시한다. 도 11c는 θ=270°및 φ=-45°(전방 하부의 반-평면(370)에 대한 바로 좌측)에 대응하는 HRTF의 위치-결정적 부분으로부터 얻어진 예시적인 시뮬레이션된 응답(384)을 도시한다. 유사한 시뮬레이션된 응답이 후방 반-평면(372, 364 및 368)에 대하여 얻어질 수 있다. 또한, 그러한 시뮬레이션된 응답은 각종 θ값에서 얻어질 수 있다.
예시적인 시뮬레이션된 응답(384)에서, 대역 정지 버터워스 필터링은 식별된 특정의 원하는 근사화를 얻기 위해 사용될 수 있다는 것을 유념해야 한다. 그리하여, 각종 유형의 필터링 기술이 원하는 결과를 얻기 위해 사용될 수 있다. 또한, 버터워스 필터 이외의 필터가 유사한 결과를 달성하기 위해 사용될 수 있다. 또한, 신속하고 간단한 필터링을 제공하기 위해 IIR이 사용될지라도, 본 개시의 적어도 일부의 교시는 다른 필터(유한 임펄스 응답(FIR) 필터와 같은)를 사용하여 구현될 수 있다.
전술한 예시적인 반-평면 구성(φ=+45°, 0°, -45°)에 대하여, 표 2는 개의 반-평면(366, 362, 370, 372, 364 및 368)에 대한 필터 계수를 얻기 위해 입력될 수 있는 필터링 파라미터를 나열한다. 표 2에서의 예시적인 파라미터(표 1에서와 같이)를 위해서, 예시적인 버터워스 필터 함수 호출은 MATLAB 내에서 만들어질 수 있다:
"butter(Order, [ f Low /( SamplingRate /2), f High /( SamplingRate /2), Type)"
여기서, Order는 필터 항의 가장 높은 차수를 나타내고, f Low 및 f High 는 선택된 주파수 범위의 경계 값을 나타내며, SamplingRate는 샘플링 속도를 나타내며, Type은 각각의 주어진 필터에 대한 필터 유형을 나타낸다. 필터 파라미터에 대한 다른 값 및/또는 유형이 또한 가능하다.
반-평면 | 필터 | 이득(dB) | 차수 | 주파수범위 (fLow,fHigh) (KHz) | 유형 |
전방, φ=+0° | 좌측#1 | 2 | 1 | 2.7, 6.0 | 대역 통과 |
전방, φ=+0° | 좌측#2 | 2 | 1 | 11, 14 | 대역 통과 |
전방, φ=+0° | 우측#1 | 3 | 1 | 2.6, 6.0 | 대역 통과 |
전방, φ=+0° | 우측#2 | 11 | 1 | 12, 16 | 대역 통과 |
전방, φ=+45° | 좌측#1 | -4 | 1 | 2.5, 6.0 | 대역 통과 |
전방, φ=+45° | 좌측#2 | -1 | 1 | 13, 18 | 대역 통과 |
전방, φ=+45° | 우측#1 | 9 | 1 | 2.5, 7.5 | 대역 통과 |
전방, φ=+45° | 우측#2 | 6 | 1 | 11, 16 | 대역 통과 |
전방, φ=-45° | 좌측#1 | -15 | 1 | 5.0, 7.0 | 대역 정지 |
전방, φ=-45° | 좌측#2 | -11 | 1 | 10, 13 | 대역 정지 |
전방, φ=-45° | 우측#1 | -3 | 1 | 5.0, 7.0 | 대역 정지 |
전방, φ=-45° | 우측#2 | 3 | 1 | 10, 13 | 대역 정지 |
후방, φ=+0° | 좌측#1 | 6 | 1 | 3.5, 5.2 | 대역 통과 |
후방, φ=+0° | 좌측#2 | 1 | 1 | 9.5, 12 | 대역 통과 |
후방, φ=+0° | 우측#1 | 13 | 1 | 3.3, 5.1 | 대역 통과 |
후방, φ=+0° | 우측#2 | 6 | 1 | 10, 14 | 대역 통과 |
후방, φ=+45° | 좌측#1 | 6 | 1 | 2.5, 7.0 | 대역 통과 |
후방, φ=+45° | 좌측#2 | 1 | 1 | 11, 16 | 대역 통과 |
후방, φ=+45° | 우측#1 | 13 | 1 | 2.5, 7.0 | 대역 통과 |
후방, φ=+45° | 우측#2 | 6 | 1 | 12, 15 | 대역 통과 |
후방, φ=-45° | 좌측#1 | 6 | 1 | 5.0, 7.0 | 대역 정지 |
후방, φ=-45° | 좌측#2 | 1 | 1 | 10, 12 | 대역 정지 |
후방, φ=-45° | 우측#1 | 13 | 1 | 5.0, 7.0 | 대역 정지 |
후방, φ=-45° | 우측#2 | 6 | 1 | 8.5, 11 | 대역 정지 |
일 실시예에서, 표 2에서 알 수 있는 바와 같이, 각각의 반-평면은 4세트의 필터 계수를 가질 수 있다: 두 개의 예시적 위치-결정적 피크에 대하여, 각각의 좌측 및 우측에 대하여 두 개의 필터. 그리하여, 6개의 반-평면에, 24개의 필터가 존재할 수 있다.
일 실시예에서, 주어진 반-평면의 임의의 개소에서의 소스로부터의 사운드에 대한 응답을 시뮬레이션하기 위해 동일한 필터 계수가 사용될 수 있다. 이하에 상세히 기술하는 바와 같이, 좌측-우측 변위, 거리, 및/또는 소스의 속도에 기인한 영향이 고려되고 조정될 수 있다. 소스가 하나의 반-평면으로부터 다른 반-평면으로 이동하는 경우, 인지된 사운드 내의 매끄러운 천이를 제공하기 위해 이하에 기술하는 방식으로 필터 계수의 천이가 실시될 수 있다.
일 실시예에서, 주어진 사운드 소스가 두 반-평면 사이의 어딘가의 위치하는 경우(예컨대, 소스는 전방, φ=+30°), 소스는 "가장 근접한" 평면에 있는 것으로 간주될 수 있다(예컨대, 최근접 반-평면은 전방, φ=+45°). 알 수 있는 바와 같이, 이는 반-평면의 분포에 어느 정도의 "입도(granularity)"를 제공하기 위해서, 청취자에 대한 공간 내에 어느 정도의 반-평면을 제공하기 위한 특정 상황에서 원할 수 있다.
또한, 3차원 공간은 X-축에 대한 반-평면으로 분할될 필요는 없다. 그 공간은 청취자에 대하여 임의의 1, 2 또는 3차원 구조로 분할될 수 있다. 일 실시예에서, X-축에 대한 반-평면에서 행해진 바와 같이, 좌측 및 우측 청취와 같은 대칭은 필터 계수의 세트 수를 저감하기 위해 활용될 수 있다.
전술한 바와 같은 6개의 반-평면 구성(φ=+45°, 0°, -45°)은 선택된 위치-결정적 응답 정보가 청취자에 대한 제한된 수의 배향을 위해 어떻게 제공될 수 있는지의 일 예임을 이해할 것이다. 그와 같이 함으로써, 실질적으로 현실적인 3차원 사운드 효과가 비교적 작은 연산 능력 및/또는 리소스를 사용하여 재생될 수 있다. 반-평면의 수가 미세한 입도를 위해 증가될지라도 - 즉, 10까지(φ=+60°, +30°, +0°,-30°, -60°에서의 전방 및 후방) - 필터 계수 세트의 수는 관리 가능한 수까지 유지될 수 있다.
도 12는 위치 필터링(226)이 전술한 바와 같은 위치-결정적 정보의 시뮬레이션에 의해 위치 오디오 엔진의 기능성을 제공할 수 있는 기능 블록도(220)의 일 실시예를 도시한다. 일 실시예에서, 음원의 위치에 관한 정보를 갖는 모노 입력 신호(222)는 두 귀간 시간 지연(또는 시간차)("ITD")을 결정하는 컴포넌트(224)에 입력될 수 있다. ITD는 소스의 위치 정보에 기초하여 두 귀에의 도달 시간차에 대한 정보를 제공할 수 있다. ITD 기능성의 일 예는 이하에 상세히 기술한다.
일 실시예에서, ITD 컴포넌트(224)는 도달 차를 고려하는 좌측 및 우측 신호를 출력할 수 있고, 그러한 출력 신호는 위치-필터 컴포넌트(226)에 제공될 수 있다. 위치-필터 컴포넌트(226)의 예시적 구동은 이하에 상세히 기술한다.
일 실시예에서, 위치-필터 컴포넌트(226)는 위치-결정적 응답에 대하여 조정된 좌측 및 우측 신호를 출력할 수 있다. 그러한 출력 신호는 두 귀간 강도차("IID")를 결정하는 컴포넌트(228)에 제공될 수 있다. IID는 좌측 및 우측 신호의 강도에서의 위치-의존성에 대하여 조정하기 위해서, 위치-필터 출력의 조정을 제공할 수 있다. IID 보상의 일 예는 이하에 상세히 기술한다. 좌측 및 우측 신호(230)는 음원의 위치적 효과를 제공하기 위해서 IID 컴포넌트(228)에 의해 출력될 수 있다.
도 13은 도 12의 ITD 컴포넌트(224)로서 구현될 수 있는 ITD(240)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 입력 신호(242)는 주어진 샘플링 시간에서 음원의 위치에 대한 정보를 포함할 수 있다. 그러한 위치는 음원의 θ 및 φ의 값을 포함할 수 있다.
입력 신호(242)는 좌측 및 우측 귀에서의 상이한 도달 시간을 시뮬레이션하기 위해 필요한 두 귀간 시간 지연을 계산하는 ITD 계산 컴포넌트(244)에 제공되는 것으로 도시된다(소스가 한쪽에 위치하는 경우). 일 실시예에서, ITD는 다음과 같이 계산될 수 있다:
ITD = │(Maximum_ITD_Samples_per_Sampling_Rate - 1)sinθcosφ│ (1)
그리하여, 기대되는 바와 같이, 소스가 바로 전방(θ=0°) 또는 바로 후방(θ=180°)에 있는 경우, ITD = 0이며; 소스가 바로 좌측(θ=270°) 또는 바로 우측(θ=90°)에 있는 경우, ITD는 최대 값(주어진 φ값에 대해)을 갖는다. 유사하게, 소스가 수평면(φ=0°)에 있는 경우 최대 값(주어진 θ값에 대해)을 갖고, 소스가 정점부(φ=90°) 또는 바닥(φ=-90°)에 있는 경우는 제로이다.
전술한 방식으로 결정된 ITD는 ITD조정된 좌측 및 우측 신호를 산출하도록 입력 신호(242)에 도입될 수 있다. 예컨대, 소스 위치가 우측에 있는 경우, 우측 신호는 입력 신호 내의 사운드의 타이밍으로부터 감산된 ITD를 가질 수 있다. 유사하게, 좌측 신호는 입력 신호에 사운드의 타이밍에 부가된 ITD를 가질 수 있다. 좌측 및 우측 신호를 산출하기 위한 그러한 타이밍 조정은 공지된 방식으로 달성될 수 있고, 좌측 및 우측 지연 라인(246a 및 246b)으로 도시된다.
음원이 청취자에 대하여 실질적으로 고정적이면, 동일한 ITD는 도달-시간 기반 3차원 사운드 효과를 제공할 수 있다. 하지만, 음원이 이동하면, ITD 또한 변할 수 있다. ITD의 새로운 값이 지연 라인에 포함되면, 이전의 ITD 기반 지연으로부터 갑작스런 변화가 존재할 수 있고, 가능하게는 ITD의 인지에서의 검출가능한 이동의 결과를 낳는다.
일 실시예에서, 도 13에 도시된 바와 같이, ITD 컴포넌트(240)는 좌측 및 우측 지연 라인(246a 및 246b)에서의 새로운 지연 시간에 대한 매끄러운 천이를 제공하는 교차 페이드 컴포넌트(250a 및 250b)를 더 포함할 수 있다. ITD 교차 페이드 구동의 일 예는 이하게 상세히 기술한다.
도 13에 도시된 바와 같이, 좌측 및 우측 지연 조정된 신호(248)는 ITD 컴포넌트(240)에 의해서 출력되는 것으로 도시된다. 전술한 바와 같이, 지연 조정된 신호(248)는 교차 페이드 되거나 그렇지 않을 수 있다. 예컨대, 음원이 고정적이면, ITD가 실질적으로 동일하게 유지하기 때문에, 교차 페이드할 필요가 없을 수 있다. 음원이 이동하면, 소스 위치에서의 변화에 기인한 ITD 내의 갑작스런 이동을 저감하거나 실질적으로 제거하기 위해서 교차 페이딩이 소망될 수 있다.
도 14는 도 12의 컴포넌트(226)로서 구현될 수 있는 위치-필터 컴포넌트(260)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 좌측 및 우측 신호(262)는 위치-필터 컴포넌트(260)에 입력되는 것으로 도시된다. 일 실시예에서, 입력 신호(262)는 도 13의 ITD 컴포넌트(240)에 의해 제공될 수 있다. 하지만, 필터 준비에 관련된 각종 특징 및 개념(예컨대, 위치-결정적 응답에 기초한 필터 계수 결정)은 및/또는 필터 이용은 ITD 컴포넌트(240)에 의해 제공된 입력 신호를 갖는 것에 의존할 필요는 없다는 것을 이해할 것이다. 예컨대, 소스 데이터로부터의 입력 신호는 좌측/우측 구별 정보 및/또는 ITD-구별 정보를 이미 가질 수 있다. 그러한 상황에서, 위치-필터 컴포넌트(260)는 실질적으로 독립적 컴포넌트로서 구동하여 선택된 위치-결정적 정보에 기초한 사운드의 주파수 응답을 제공하는 기능성을 제공할 수 있다.
도 14에 도시된 바와 같이, 좌측 및 우측 입력 신호(262)는 필터 선택 컴포넌트(264)에 제공될 수 있다. 일 실시예에서, 필터 선택은 음원과 관련된 θ 및 φ의 값에 기초할 수 있다. 여기에 기술한 6개의 반-평면 예에서, θ 및 φ는 반-평면들의 하나에 음원 위치를 특유하게 연관시킬 수 있다. 전술한 바와 같이, 음원이 반-평면들의 하나에 있지 않으면, 그 소스는 "가장 근접한" 반-평면과 연관될 수 있다.
예컨대, 음원이 θ=10°및 φ=+10°에 위치한다고 상정한다. 그러한 상황에서, 위치가 전방이고, 수평 배향이 10°고도에 최근접 하기 때문에, 전방 수평 반-평면(도 10에서 362)이 선택될 수 있다. 전방 수평 반-평면(362)은 표 2에서 도시한 예시적 방식으로 결정되는 바와 같은 필터 계수 세트를 가질 수 있다. 그리하여, "전방, φ=+0°"반-평면에 대응하는 4개의 예시적 필터(좌측 2개, 우측 2개)가 이러한 예시적 소스 위치에 선택될 수 있다.
도 14에 도시된 바와 같이, 좌측 필터(266a 및 268a)(선택 컴포넌트(264)에 의해 식별된)가 좌측 신호에 인가될 수 있고, 우측 필터(266b 및 268b)(또한 선택 구성요소(264)에 의해서 식별된)가 우측 신호에 인가될 수 있다. 일 실시예에서, 각각의 필터(266a, 268a, 268b, 266b, 268b)는 그것들의 각각의 필터 계수에 기초하여 공지된 방식으로 디지털 신호에 대하여 구동한다.
여기에 기술하는 바와 같이, 두 개의 좌측 필터 및 두 개의 우측 필터는 두 개의 예시적 위치-결정적 피크의 문맥 내에 있다. 다른 수의 필터가 가능하다는 것을 이해할 것이다. 예컨대, 주파수 응답 내에서 3개의 위치-결정적 특징 및/또는 범위가 존재하는 경우, 좌측 및 우측 각각에 대하여 3개의 필터가 존재할 수 있다.
도 14에 도시된 바와 같이, 좌측 이득 컴포넌트(270a)는 좌측 신호의 이득을 조정할 수 있고, 우측 이득 컴포넌트(270b)는 우측 신호의 이득을 조정할 수 있다. 일 실시예에서, 표 2의 파라미터에 대응하는 다음의 이득이 좌측 및 우측 신호에 인가될 수 있다.
0°고도 | 45°고도 | -45°고도 | |
좌측 이득 | -4dB | -4dB | -20dB |
우측 이득 | 2dB | -1dB | -5dB |
일 실시예에서, 표 3에 나열한 예시적 이득 값은 3가지의 예시적 고도에서 좌측 및 우측 신호 사이의 정확한 높이 차이를 실질적으로 유지하기 위해 할당될 수 있다. 그리하여, 이들 예시적 이득은 좌측 및 우측 프로세스 내의 정확한 높이를 제공하기 위해 사용될 수 있고, 이러한 예에서 그것의 각각은 필터 출력(제 1 및 제 2 필터(266 및 268)로부터의)과 스케일드(scaled) 입력(이득 컴포넌트(270)으로부터)의 3-웨이(way) 합산을 포함한다.
일 실시예에서, 도 14에 도시된 바와 같이, 필터 및 이득 조정된 좌측 및 우측 신호는 각각의 합산기(272a 및 272b)에 의해서 합산되어 좌측 및 우측 출력 신호(274)를 산출할 수 있다.
도 15는 도 12의 컴포넌트(228)로서 구현될 수 있는 IID(두 귀간 강도차) 조정 컴포넌트(280)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 좌측 및 우측 신호(282)는 IID 컴포넌트(280)에 입력되도록 도시된다. 일 실시예에서, 입력 신호(282)는 도 14의 위치 필터 컴포넌트(260)에 의해서 제공될 수 있다.
일 실시예에서, IID 컴포넌트(280)는 제 1 보상 컴포넌트(284) 내에서 약한 채널 신호의 강도를 조정할 수 있고, 제 2 보상 컴포넌트(286) 내에서 강한 채널 신호의 강도를 조정할 수 있다. 예컨대, 음원이 θ=10°(즉, 10°만큼 우측)에 위치하는 것을 상정한다. 그러한 상황에서, 우측 채널은 강한 채널로 그리고 좌측 채널은 약한 채널로 간주될 수 있다. 그리하여, 제 1 보상(284)은 좌측 신호에, 제 2 보상(286)은 우측 신호에 인가될 수 있다.
일 실시예에서, 약한 채널 신호의 레벨은 이하에 주어진 양으로 조정될 수 있다:
Gain=│cosθ(Fixed_Filter_Level_Difference_per_Elevation-1.0│+1.0 (2)
그리하여, θ = 0°(바로 전방)인 경우, 약한 채널의 이득은 원래의 필터 레벨 차이로 조정된다. θ = 90°(바로 우측)인 경우, 이득 = 1이고, 이득 조정은 약한 채널에는 이루어지지 않는다.
일 실시예에서, 강한 채널 신호의 레벨은 이하에 주어진 양으로 조정될 수 있다:
Gain = sinθ + 1.0 (3)
그리하여, θ = 0°(바로 전방)인 경우, 이득 = 1이고, 이득 조정은 강한 채널에는 이루어지지 않는다. θ = 90°(바로 우측)인 경우, 이득 = 2이고, 이에 의해 θ의 차이 값에서의 전체적인 음량을 대략적으로 매치시키기 위해 6dB 이득 보상을 제공한다.
음원이 실질적으로 고정적이거나, 실질적으로 주어진 반-평면 내에서 이동하는 경우, 동일한 필터가 필터 응답을 생성하기 위해 사용될 수 있다. 약한 청취 측과 강한 정취 측에 대한 강도 보상은 전술한 바와 같은 IID 보상에 의해 제공될 수 있다. 음원이 하나의 반-평면으로부터 다른 반-평면으로 이동하지만, 필터 또한 변할 수 있다. 그리하여, 필터 레벨에 기초하는 IID가 매끄러운 반-평면 천이를 만들기 위한 방식에서는 보상을 제공하지 않을 수 있다. 그러한 천이는 음원이 반-평면 사이에서 이동함에 따라 강도에서의 검출가능한 갑작스런 이동의 결과를 낳을 수 있다.
그리하여, 도 15에 도시된 바와 같은 일 실시예에서, IID 컴포넌트(280)는 소스가 구(old) 반-평면으로부터 신(new) 반-평면으로 이동함에 따라 새로운 반-평면으로의 매끄러운 천이를 제공하는 교차 페이드 컴포넌트(290)를 더 포함할 수 있다. IID 교차 페이드 구동의 일 예는 이하에 상세히 기술한다.
도 15에 도시된 바와 같이, 좌측 및 우측 강도 조정된 신호(288)는 IID 컴포넌트(280)에 의해 출력되는 것으로 도시된다. 전술한 바와 같이, 강도 조정된 신호(288)는 교차 페이드되거나 그렇지 않을 수 있다. 예컨대, 소스가 고정적이거나, 주어진 반-평면 내에서 이동하는 경우, 필터가 실질적으로 동일하게 유지하기 때문에, 교차 페이드할 필요성이 존재하지 않을 수 있다. 반-평면 사이에서 음원이 이동하면, 교차 페이딩은 IID에서의 갑작스런 이동을 저감하거나 실질적으로 제거하기 위해서 소망될 수 있다.
도 16은 도 12 및 13을 참조하여 전술한 ITD 컴포넌트에 의해서 수행될 수 있는 프로세스(300)의 일 실시예를 도시한다. 프로세스 블록(302)에서, 음원 위치 각도 θ 및 φ가 입력 데이터로부터 결정된다. 프로세스 블록(304)에서, 최대 ITD 샘플이 각각의 샘플링 속도에 대하여 결정된다. 프로세스 블록(306)에서, 좌측 및 우측 데이터에 대한 ITD 오프셋 값이 결정된다. 프로세스 블록(308)에서, ITD 오프셋 값에 대응하는 지연이 좌측 및 우측 데이터에 도입된다.
일 실시예에서, 프로세스(300)은 음원의 이동을 고려하기 위하여 좌측 및 우측 ITD조정된 신호에 대하여 교차 페이딩이 수행되는 프로세스 블록을 더 포함할 수 있다.
도 17은 도 12, 14 및 15를 참조하여 전술한 위치 필터 컴포넌트 및/또는 IID 컴포넌트에 의해서 수행될 수 있는 프로세스(310)의 일 실시예를 도시한다. 프로세스 블록(312)에서, IID 보상 이득이 결정될 수 있다. 등식 2 및 3은 그러한 보상 이득 계산의 예이다.
결정 블록(314)에서, 프로세스(310)는 음원이 전방 및 우측("F. R.")에 있는지를 결정한다. 대답이 "예"이면, 전방 필터(적절한 고도에서의)가 프로세스 블록(316)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 우측에 있기 때문에, 우측 데이터는 강한 채널이고, 좌측 데이터는 약한 채널이다. 그리하여, 프로세스 블록(318)에서, 제 1 보상 이득(등식 2)이 좌측 데이터에 인가된다. 프로세스 블록(320)에서, 제 2 보상 이득(등식 3)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(322)에 출력된다.
결정 블록(314)에서의 대답이 "아니오"이면, 음원은 전방 및 우측에 있지 않는다. 그리하여, 프로세스(310)는 다른 나머지의 4분원으로 진행한다.
결정 블록(324)에서, 프로세스(310)는 음원이 후방 및 우측("R.R.")에 있는지를 결정한다. 대답이 "예"이면, 후방 필터(적절한 고도에서의)가 프로세스 블록(326)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 우측에 있기 때문에, 우측 데이터는 강한 채널이고, 좌측 데이터는 약한 채널이다. 그리하여, 프로세스 블록(328)에서, 제 1 보상 이득(등식 2)이 좌측 데이터에 인가된다. 프로세스 블록(330)에서, 제 2 보상 이득(등식 3)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(332)에 출력된다.
결정 블록(324)에서의 대답이 "아니오"이면, 음원은 F.R. 또는 R.R에 있지 않는다. 그리하여, 프로세스(310)는 다른 나머지의 4분원으로 진행한다.
결정 블록(334)에서, 프로세스(310)는 음원이 후방 및 좌측("R.L.")에 있는지를 결정한다. 대답이 "예"이면, 후방 필터(적절한 고도에서의)가 프로세스 블록(336)에서 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 음원이 좌측에 있기 때문에,좌우측 데이터는 강한 채널이고, 우측 데이터는 약한 채널이다. 그리하여, 프세스 블록(338)에서, 제 2 보상 이득(등식 3)이 좌측 데이터에 인가된다. 프로세스 블록(340)에서, 제 1 보상 이득(등식 2)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(342)에 출력된다.
결정 블록(334)에서의 대답이 "아니오"이면, 음원은 F.R. R.R 또는 R.L.에 있지 않는다. 그리하여, 프로세스(310)는 전방 및 좌측("F.L.")에 있는 것으로 간주된다.
프로세스 블록(346)에서, 전방 필터(적절한 고도에서의)가 좌측 및 우측 데이터에 인가된다. 필터-인가된 데이터 및 이득 조정된 데이터는 합산되어 위치-필터 출력 신호를 생성한다. 소스가 좌측에 있기 때문에, 좌측 데이터가 강한 채널이며, 우측 데이터가 약한 채널이다. 그리하여, 프로세스 블록(348)에서, 제 2 보상 이득(등식 3)이 좌측 데이터에 인가된다. 프로세스 블록(350)에서, 제 1 보상 이득(등식 2)이 우측 데이터에 인가된다. 위치 필터링되고 이득 조정된 좌측 및 우측 신호는 프로세스 블록(352)에서 출력된다.
도 18은 도 12-15를 참조하여 전술한 오디오 신호 처리 구성(220)에 의해 수행될 수 있는 프로세스(390)의 일 실시예를 도시한다. 특히, 프로세스(390)는 반-평면 내 또는 반-평면 사이의 음원의 이동을 수용할 수 있다.
프로세스 블록(392)에서, 모노 입력 신호가 얻어진다. 프로세스 블록(394)에서, 위치-기반 ITD가 결정되고 입력 신호에 인가된다. 결정 블록(396)에서, 프로세스(390)는 음원이 변경된 위치를 갖는지를 결정한다. 대답이 "아니오"이면, 데이터는 좌측 및 우측 지연 라인으로부터 판독되고, 인가된 ITD 지연을 갖고, 다시 지연 라인에 기록될 수 있다. 대답이 "예"이면, 프로세스 블록(400) 내의 프로세스(390)는 새로운 위치에 기초하여 새로운 ITD 지연을 결정한다. 프로세스 블록(402)에서, 교차 페이드가 수행되어 이전과 새로운 ITD 지연 사이의 매끄러운 천이를 제공할 수 있다.
일 실시예에서, 교차 페이딩은 이전 및 현재의 지연 라인으로부터의 데이터를 판독하여 수행될 수 있다. 그리하여, 예컨대, 각 시간에서 프로세스(390)가 호출되고, θ 및 φ값은 히스토리 내의 값과 비교되어 소스 위치가 변경되었는지를 결정한다. 변경이 없으면, 새로운 ITD 지연은 계산되지 않고, 존재하는 ITD 지연이 사용된다(프로세스 블록 398). 변경이 있으면, 새로운 ITD 지연이 계산되고(프로세스 블록 400), 교차 페이딩이 수행된다(프로세스 블록 402). 일 실시예에서, ITD 교차 페이딩은 이전의 값으로부터 새로운 값으로 ITD 지연 값을 점진적으로 증가시키거나 저감시켜서 달성될 수 있다.
일 실시예에서, ITD 지연 값의 교차 페이딩은 소스의 위치 변경이 검출된 경우 트리거(trigger)될 수 있고, 복수의 처리 주기 동안에 점진적 변경이 발생할 수 있다. 예컨대, ITD 지연이 오래된 값(ITD old ) 및 새로운 값(ITD new )을 갖는 경우, 교차 페이딩 천이는 N회의 처리 주기 동안에 일어날 수 있다: ITD (1) = ITD old , ITD(2) = ITD new + △ ITD /N, …, ITD (N-1) = ITD old + △ ITD (N-1)/N, ITD (N) = ITD new ; 여기서, △ ITD = ITD new - ITD old ( ITD new > ITD old 라 상정).
도 18에 도시된 바와 같이, ITD 조정된 데이터는 ITD 교차 페이딩과 함께 또는 ITD 교차 페이딩 없이 더 처리될 수 있어서, 프로세스 블록(404)에서, 위치 필터링은 현재의 θ 및 φ의 값에 기초하여 수행될 수 있다. 도 18의 설명 목적으로, 프로세스 블록(404)은 IID 보상을 또한 포함하는 것이 상정될 것이다.
결정 블록(406)에서, 프로세스(390)는 반-평면에서의 변경이 있었는지를 결정한다. 대답이 "아니오"이면, IID 보상의 교차 페이딩이 수행되지 않는다. 대답이 "예"이면, 프로세스 블록(408) 내의 프로세스(390)는 θ 및 φ의 이전의 값에 기초하여 다른 위치 필터링을 수행한다. 도 18의 설명 목적으로, 프로세스 블록(408) 또한 IID 보상을 포함하는 것을 상정될 것이다. 프로세스 블록(410)에서, IID 보상 값 사이에서 및/또는 필터가 변경될 때(예컨대, 이전 및 현재의 반-평면에 대응하여 필터 전환), 교차 페이딩이 수행될 수 있다. 그러한 교차 페이딩은 상이한 IID 이득의 인가시, 위치 필터 전환시, 또는 그 양자에서의 순간적 이상 또는 갑작스런 이동을 매끄럽게 하기 위해 구성될 수 있다.
일 실시예에서, IID 교차 페이딩은 이전의 값으로부터 새로운 값으로의 IID 보상 이득 값, 및/또는 이전의 세트로부터 새로운 세트로의 필터 계수를 점진적으로 증가시키거나 저감하여 달성될 수 있다. 일 실시예에서, IID 이득의 교차 페이딩은 반-평면에서의 변경이 검출될 때 트리거될 수 있고, IID 이득 값의 점진적 변경은 복수의 처리 주기 동안에 일어날 수 있다. 예컨대, ITD 이득이 오래된 값(IID old ) 및 새로운 값(IID new )을 갖는 경우, 교차 페이딩 천이는 N회의 처리 주기 동안에 일어날 수 있다: IID (1) = IID old , IID (2) = IID new + △ IID /N, …, IID (N-1) = IID old + △ IID (N-1)/N, IID (N) = IID new ; 여기서, △ IID = IID new - IID old ( IID new > IID old 라 상정). 유사한 점진적 변경이 위치 필터를 교차 페이딩하기 위하여 위치 필터 계수에 대하여 도입될 수 있다.
도 18에 더 도시되는 바와 같이, 위치 필터링되고 IID 보상된 신호는, IID 교차페이딩되거나 그렇지 않든, 처리된 스테레오 출력(414)을 산출하기 위해 프로세스 블록(412) 내에서 증폭될 수 있는 출력 신호를 산출한다.
일부 실시예에서, ITD, ITD 교차 페이딩, 위치 필터링, IID, IID의 교차 페이딩, 또는 그 조합은 다른 사운드 효과 강화 특징과 조합될 수 있다. 도 19는 사운드 신호가 ITD/위치 필터링/IID 처리 이전 및/또는 이후에 처리될 수 있는 신호 처리 구성(420)의 일 실시예의 블록도를 도시한다. 도시된 바와 같이, 소스(422)로부터의 사운드 신호는 이동하는 음원을 시뮬레이션하기 위해, 샘플 속도 변환(SRC)(424)에 대해 처리되고 도플러 효과(426)에 대해 조정될 수 있다. 거리(428) 및 청취자-소스 배향(430)을 고려하는 효과가 구현될 수 있다. 일 실시예에서, 전술한 방식으로 처리된 사운드 신호는 입력 신호(432)로서 ITD 컴포넌트(434)에 제공될 수 있다. ITD 처리뿐만 아니라, 위치-필터(436) 및 IID(438)에 의한 처리는 여기에 기술한 바와 같은 방식으로 수행될 수 있다.
도 19에 추가로 도시된 바와 같이, IID 컴포넌트(438)로부터의 출력은 출력 신호(442) 내에 잔향 효과를 제공하기 위해서 잔향 컴포넌트(440)에 의해 더 처리될 수 있다.
일 실시예에서, SRC(424), 도플러(426), 거리(428), 배향(430) 및 잔향(440) 컴포넌트는 공지된 기술에 기초할 수 있고, 그리하여 추가로 기술할 필요는 없다.
도 20은 복수의 오디오 신호 처리 체인(1 내지 N으로 도시된 바와 같은, 여기서 N>1)이 복수의 소스(452)로부터의 신호를 처리할 수 있는 일 실시예를 도시한다. 일 실시예에서, SRC(454), 도플러(456), 거리(458), 배향(460), ITD(462), 위치 필터(464), 및 IID(466)는 도 19의 단일 체인 예와 유사하게 구성될 수 있다. 복수의 IID(466)로부터의 좌측 및 우측 출력은 각각의 다운믹스(downmix) 컴포넌트(470 및 474)에서 조합되고, 두 개의 다운믹스된 신호는 출력 신호(478)를 생성하도록 잔향 처리될 수 있다(472 및 476).
일 실시예에서, SRC(454), 도플러(456), 거리(458), 배향(460), 다운믹스(470 및 474), 및 잔향(472 및 476) 컴포넌트는 공지된 기술에 기초할 수 있고, 그리하여 추가로 기술할 필요는 없다.
도 21은 일 실시예에서 다른 구성이 가능함을 도시한다. 예컨대, 복수의 사운드 데이터 스트림(예시적인 스트림 1 내지 8로 도시된)의 각각은 잔향(484), 도플러(4860, 거리(488) 및 배향(490) 컴포넌트를 통하여 처리될 수 있다. 배향 컴포넌트(490)로부터의 출력은 좌측 및 우측 신호를 출력하는 ITD 컴포넌트(492)에 입력될 수 있다.
도 21에 도시된 바와 같이, 8개의 ITD(492)의 출력은 다운믹스 컴포넌트(494)를 통하여 대응하는 위치 필터에 전송될 수 있다. 위치 필터(496)의 그러한 6개 세트는 6개의 예시적인 반-평면에 대응하도록 도시된다. 위치 필터(496)는 그것의 각각의 필터를 그것에 제공된 입력에 인가하고, 대응하는 좌측 및 우측 신호를 제공한다. 도 21의 기술을 목적으로, 위치 필터는 IID 보상 기능성을 또한 제공할 수 있는 것이 상정될 것이다.
도 21에 도시된 바와 같이, 위치 필터(496)의 출력은 2D 스트림(예컨대, 통상적인 스테레오 컨텐츠)와 여기에 기술된 바와 같이 처리되는 3D 스트림을 혼합하는 다운믹스 컴포넌트(498)에 의해서 추가로 다운믹스될 수 있다. 일 실시예에서, 그러한 다운믹싱은 오디오 신호 내의 클리핑(clipping)을 피할 수 있다. 다운믹스된 출력 신호는 출력 신호(502)를 생성하기 위해 SRS "WOW XT" 애플리케이션과 같은 사운드 강화 컴포넌트(500)에 의해서 더 처리될 수 있다.
예에 의해 보여지는 바와 같이, ITD, 위치 필터 및/또는 IID의 특징을 각종의 다른 사운드 효과 강화 기술과 합체시키기 위해서 각종 구성이 가능하다. 그리하여, 도시한 것과 다른 구성이 가능하다는 것을 이해할 것이다.
도 22a 및 22b는 위치 필터링의 각종 기능성이 어떻게 구현되는지의 비-한정적인 예시적 구성을 도시한다. 도 22a에 도시된 하나의 예시적 시스템(510)에서, 위치 필터링은 3D 사운드 애플리케이션 프로그래밍 인터페이스(API)(520)로서 지시한 컴포넌트에 의해서 수행될 수 있다. 그러한 API는 위치 필터링 기능성을 제공하면서, 구동 시스템(518)과 멀티미디어 애플리케이션(522) 사이의 인터페이스를 제공한다. 오디오 출력 컴포넌트(524)는 스피커 또는 헤드폰과 같은 출력 장치에 출력 신호(526)를 제공할 수 있다.
일 실시예에서, 3D 사운드 API(520)의 적어도 일부는 시스템(510)의 프로그램 메모리(516)에 상주하고, 프로세서(514)의 제어하에 있을 수 있다. 일 실시예에서, 시스템(510)은 청취자에게 시각적 입력을 제공할 수 있는 디스플레이(512) 컴포넌트를 또한 포함할 수 있다. 디스플레이(512)에 의해 제공된 시각적 큐(cue) 및 API(520)에 의해 제공되는 사운드 처리는 청취자/시청자에 대한 오디오-시각적 효과를 향상할 수 있다.
도 22b는 디스플레이 컴포넌트(532) 및 위치 필터링된 신호(540)를 스피커 또는 헤드폰과 같은 장치에 출력하는 오디오 출력 컴포넌트(538)를 또한 포함할 수 있는 다른 예시적인 시스템(530)을 도시한다. 일 실시예에서, 시스템(530)은 위치 필터링을 위해 필요한 적어도 일부의 정보를 갖는 내부의 데이터(534)를 포함할 수 있거나, 그러한 데이터에 접속할 수 있다. 예컨대, 각종 필터 계수 및 다른 정보는 데이터(534)로부터, 프로세서(536)의 제어하에 실행되는 일부 애플리케이션(도시 생략)에 제공될 수 있다. 다른 구성이 가능하다.
여기에 기술하는 바와 같이, 위치 필터링 및 관련 처리 기술의 각종 특징은 가혹한 연산 요건 없이 현실적인 3차원 사운드 효과의 생성을 허용한다. 그와 같이, 본 개시의 각종 특징은 연산 능력 및 리소스가 제한된 휴대 장치에서 구현하는데 특히 유용할 수 있다.
도 23a 및 23b는 위치-필터링의 각종 기능성이 구현될 수 있는 이동 장치의 비-한정적인 예를 도시한다. 도 23a는 일 실시예에서, 3D 오디오 기능성(556)이 이동 전화(550)와 같은 이동 기기에서 구현될 수 있는 것을 보여준다. 여러 이동 전화는 비디오 디스플레이(552) 및 오디오 출력(554)을 포함할 수 있는 멀티미디어 기능성을 제공한다. 하지만, 그러한 장치는 통상적으로 제한된 연상 능력 및 리소스를 갖는다. 그리하여, 3D 오디오 기능성(556)은 이동 전화(550)의 유저에게 강화된 청취 경험을 제공할 수 있다.
도 23b는 다른 예시적인 구현(560)에서, 서라운드 사운드 효과가 위치-필터링에 의해서 시뮬레이션될 수 있는 것을 보여준다(시뮬레이션된 음원(126)으로 도시함). 헤드폰(124)에 제공된 출력 신호(564)는 단지 헤드폰(124)의 좌측 및 우측 스피커에의 청취 동안에, 청취자(102)가 서라운드-사운드 효과를 경험하게 하는 결과를 낳는다.
예시적인 서라운드-사운드 구성(560)에 대하여, 위치-필터링은 5개의 음원(예컨대, 도 20 또는 21에서의 5가지 처리 체인)을 처리하도록 구성될 수 있다. 일 실시예에서, 음원(예컨대, 5개의 시뮬레이션된 스프커의)의 위치에 대한 정보는 입력 데이터 내에 인코딩된다. 5개의 스피커(126)가 청취자(102)에 대하여 이동하지 않기 때문에, 5개의 음원은 처리에서 고정될 수 있다. 그리하여, ITD 결정이 단순해질 수 있고, ITD 교차 페이딩이 제거될 수 있으며, 필터 선택이 고정될 수 있으며(예컨대, 소스가 수평면에 위치하며, 전방 및 후방 수평 반-평면만이 사용될 필요가 있는 경우), IID 보상이 단순해지며, IID 교차 페이딩이 제거될 수 있다.
이동 장치뿐만 아니라 비-이동 장치상에서의 다른 구현이 가능하다.
여기의 기술에서, 컴포넌트 또는 모듈의 관점에서 각종 기능성을 기술하고 묘사하였다. 그러한 묘사는 기술을 위한 것이며, 물리적 경계 또는 패키징 구성을 의미하는 것을 필요로 하지 않는다. 예컨대, 도 12(및 다른 도면)은 ITD, 위치 필터, IID를 컴포넌트로서 묘사한다. 이들 컴포넌트의 기능성은 단일 장치/소프트웨어, 별도의 장치/소프트웨어, 또는 그것의 임의의 조합에 의해 구현될 수 있다. 또한, 위치 필터와 같은 주어진 컴포넌트의 경우, 그것의 기능성은 단일 장치/소프트웨어, 복수의 장치/소프트웨어, 또는 그것의 임의의 조합에 의해 구현될 수 있다.
일반적으로, 프로세서는 예시적으로 컴퓨터, 프로그램 논리, 또는 여기에 기술하는 바와 같이 구동하는 데이터 및 지령을 나타내는 다른 기판 구성을 포함할 수 있다. 다른 실시예에서, 프로세서는 컨트롤러 회로, 프로세서 회로, 프로세서, 범용 단일 칩 또는 다중 칩 마이크로프로세서, 디지털 신호 프로세서, 내장 마이크로프로세서, 마이크로컨트롤러 등을 포함할 수 있다.
또한, 일 실시예에서, 프로그램 논리는 1 이상의 컴포넌트로서 유리하게 구현될 수 있다. 컴포넌트는 1 이상의 프로세서를 실행하도록 유리하게 구성될 수 있다. 그 컴포넌트는 소프트웨어 또는 하드웨어 컴포넌트, 소프트웨어 모듈과 같은 모듈, 객체-지향 소프트웨어 컴포넌트, 클래스(class) 컴포넌트 및 태스크(task) 컴포넌트, 프로세스 방법, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함하지만, 그것에 한정되는 것은 아니다.
위에 기술한 실시예를 그 실시예에 적용된 바와 같은 본 발명의 기본적인 신규한 특징을 나타내기 위해 도시하고 기술하였지만, 도시한 장치, 시스템 및/또는 방법의 상세사항의 형태에서의 각종 생략, 치환, 및 변경이 본 발명의 범주 내에서 당업자에 의해 이루어질 수 있다는 것을 이해해야 한다. 따라서, 본 발명의 범주는 전술한 기술에 한정되지 않으며, 첨부한 청구의 범위에 의해서 한정되어야만 한다.
Claims (46)
1 이상의 디지털 신호를 수신하는 단계로서, 상기 1 이상의 디지털 신호 각각은 청취자에 대한 음원(sound source)의 공간적 위치에 대한 정보를 갖는 것인, 신호 수신 단계와,
1 이상의 디지털 필터를 선택하는 단계로서, 상기 1 이상의 디지털 필터 각각은 청취 응답 함수의 특정 범위로부터 형성되는 것인, 필터 선택 단계와,
대응하는 1 이상의 필터링된 신호를 산출하도록 상기 1 이상의 디지털 신호에 상기 1 이상의 디지털 필터를 인가하는 단계로서, 상기 1 이상의 필터링된 신호 각각은 상기 음원에 인가된 상기 청취 응답 함수의 시뮬레이션된 효과를 갖는 것인, 필터 인가 단계
를 포함하는 디지털 오디오 신호 처리 방법.
제 1 항에 있어서,
상기 1 이상의 디지털 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 디지털 신호를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 2 항에 있어서,
상기 좌측 및 우측 디지털 신호는, 상기 청취자에 대한 상기 음원의 상기 공간적 위치에 기초하여 두 귀간 시간차(Interaural Time Difference)(ITD)에 대해 조정되는 것인, 디지털 오디오 신호 처리 방법.
제 3 항에 있어서,
상기 ITD 조정은,
상기 음원의 공간적 위치에 대한 정보를 갖는 모노(mono) 입력 신호를 수신하는 단계와,
상기 공간적 정보에 기초하여 시간차 값을 결정하는 단계와,
상기 시간차 값을 상기 모노 입력 신호에 도입하여 좌측 및 우측 신호를 생성하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 7 항에 있어서,
상기 시간차 값은 sinθcosφ의 절대 값에 비례하는 양을 포함하며,
θ는 청취자 전방에 대한 상기 음원의 방위각을 나타내고, φ는 상기 청취자 귀 및 전방향(front direction)에 의해 규정된 수평면에 대한 상기 음원의 고도각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
제 4 항에 있어서,
상기 시간차 값의 결정은 상기 음원의 상기 공간적 위치가 변할 때 수행되는 것인, 디지털 오디오 신호 처리 방법.
제 6 항에 있어서,
이전의 값과 현재의 값 사이에서 상기 시간차 값의 교차 페이드 천이(crossfade transition)를 수행하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
제 7 항에 있어서,
상기 교차 페이드 천이는, 복수의 처리 주기 동안에 좌측 및 우측 신호의 생성에 사용하기 위한 시간차 값을 이전의 값으로부터 현재의 값으로 변경하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 1 항에 있어서,
상기 1 이상의 필터링된 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 필터링된 신호를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 9 항에 있어서,
상기 1 이상의 필터의 인가에 의해서는 고려되지 않고 존재할 수 있는 임의의 강도 차이를 고려하기 위해서, 두 귀간 강도차(Interaural Intensity Difference)에 대하여 좌측 및 우측 필터링된 신호 각각을 조정하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
제 10 항에 있어서,
IID에 대한 상기 좌측 및 우측 필터링된 신호의 조정은,
상기 음원이 상기 청취자의 좌측 또는 우측에 위치되는지 여부를 판단하는 단계와,
음원으로서 반대측에 있는 좌측 또는 우측 필터링된 신호를 약한 신호로서 지정하는 단계와,
좌측 또는 우측 필터링된 신호의 나머지를 강한 신호로서 지정하는 단계와,
제 1 보상에 의해 상기 약한 신호를 조정하는 단계와,
제 2 보상에 의해 상기 강한 신호를 조정하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 11 항에 있어서,
상기 제 1 보상은 cosθ에 비례하는 보상 값을 포함하고, 여기서 θ는 상기 청취자의 전방에 대한 상기 음원의 방위각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
제 11 항에 있어서,
상기 제 2 보상은 sinθ에 비례하는 보상 값을 포함하고, 여기서 θ는 상기 청취자의 전방에 대한 상기 음원의 방위각을 나타내는 것인, 디지털 오디오 신호 처리 방법.
제 11 항에 있어서,
IID에 대한 상기 좌측 및 우측 필터링된 신호의 조정은, 상기 음원의 선택된 이동으로 인하여 상기 좌측 및 우측 필터링된 신호에 새로운 1 이상의 디지털 필터가 인가되는 경우에 수행되는 것인, 디지털 오디오 신호 처리 방법.
제 14 항에 있어서,
이전 값과 현재 값 사이에서 상기 제 1 및 제 2 보상 값의 교차 페이드 천이를 수행하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
제 15 항에 있어서,
상기 교차 페이드 천이는 복수의 처리 주기 동안에 상기 제 1 및 제 2 보상 값을 변경하는 단계를 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 1 항에 있어서,
상기 1 이상의 디지털 신호를 수신하기 전, 또는 상기 1 이상의 필터를 인가한 후에, 샘플 속도(sample rate) 변환, 음원 속도에 대한 도플러 조정, 상기 청취자에 대한 상기 음원의 거리를 고려하기 위한 거리 조정, 상기 음원에 대한 청취자 머리의 배향을 고려하기 위한 배향 조정, 또는 잔향(reverberation) 조정의 처리 단계들 중 적어도 하나를 수행하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
제 1 항에 있어서,
상기 1 이상의 디지털 신호에의 상기 1 이상의 디지털 필터의 인가는, 상기 청취자에 대한 상기 음원의 이동 효과를 시뮬레이션하는 것인, 디지털 오디오 신호 처리 방법.
제 1 항에 있어서,
상기 1 이상의 디지털 신호에의 상기 1 이상의 디지털 필터의 인가는, 상기 청취자에 대한 선택된 위치의 상기 음원을 배치하는 효과를 시뮬레이션하는 것인, 디지털 오디오 신호 처리 방법.
제 19 항에 있어서,
상기 청취자에 대한 선택된 위치의 복수의 음원의 효과를 시뮬레이션하기 위하여, 1 이상의 추가 음원의 효과를 시뮬레이션하는 단계를 더 포함하는 디지털 오디오 신호 처리 방법.
제 19 항에 있어서,
상기 1 이상의 디지털 신호는 좌측 및 우측 스피커에 출력될 좌측 및 우측 디지털 신호를 포함하고,
상기 복수의 음원은, 2 이상의 음원의 효과가 상기 좌측 및 우측 스피커로 시뮬레이션되도록 2 이상의 음원을 포함하는 것인, 디지털 오디오 신호 처리 방법.
제 21 항에 있어서,
상기 복수의 음원은 서라운드(surround) 사운드 배치의 하나와 유사한 방식으로 배치된 5개의 음원을 포함하고, 서라운드 사운드 효과가 헤드폰에 제공된 상기 좌측 및 우측 필터링된 신호에 의해 시뮬레이션 되도록, 상기 좌측 및 우측 스피커가 상기 헤드폰 내에 배치되는 것인, 디지털 오디오 신호 처리 방법.
음원으로부터의 사운드를 나타내는 디지털 신호를 처리하기 위한 위치 오디오 엔진(positional audio engine)으로서,
1 이상의 디지털 필터를 선택하도록 구성된 필터 선택 컴포넌트로서, 상기 1 이상의 디지털 필터 각각은 특정 범위의 청취 응답 함수로부터 형성되고, 상기 선택은 청취자에 대한 상기 음원의 공간적 위치에 기초하는 것인, 필터 선택 컴포넌트와,
1 이상의 디지털 신호에 상기 1 이상의 디지털 필터를 인가하여 대응하는 1 이상의 필터링된 신호를 산출하도록 구성된 필터 인가 컴포넌트로서, 상기 1 이상의 필터링된 신호 각각은 상기 음원으로부터의 상기 사운드에 인가되는 상기 청취 응답 함수의 시뮬레이션된 효과를 갖는 것인, 필터 인가 컴포넌트
를 포함하는 위치 오디오 엔진.
제 23 항에 있어서,
상기 청취 응답 함수는 머리 전달 함수(head-related transfer function)(HRTF)를 포함하는 것인, 위치 오디오 엔진.
제 24 항에 있어서,
상기 특정 범위는 상기 HRTF 내의 특정 주파수 범위를 포함하는 것인, 위치 오디오 엔진.
제 25 항에 있어서,
상기 특정 주파수 범위는 실질적으로, 가청 주파수 중에서 평균 감지도보다 큰, 평균적인 사람의 청취에 대한 위치-구분 감지도를 제공하는 주파수 범위 내에 있거나, 또는 그 범위와 중첩하는 것인, 위치 오디오 엔진.
제 25 항에 있어서,
상기 특정 주파수 범위는 실질적으로, 상기 HRTF 내의 피크 구조를 포함하거나 또는 그 피크 구조와 중첩하는 것인, 위치 오디오 엔진.
제 27 항에 있어서,
상기 피크 구조는 실질적으로 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위 내 에 있거나 또는 그 범위와 중첩하는 것인, 위치 오디오 엔진.
제 27 항에 있어서,
상기 피크 구조는 실질적으로 약 8.5KHz와 약 18KHz 사이의 주파수 범위 내에 있거나 또는 그 범위와 중첩하는 것인, 위치 오디오 엔진.
제 23 항에 있어서,
상기 1 이상의 디지털 필터는 복수의 디지털 필터를 포함하는 것인, 위치 오디오 엔진.
제 30 항에 있어서,
상기 복수의 디지털 필터가 복수의 분할 신호에 병렬로 인가되도록, 상기 1 이상의 디지털 신호 각각은 상기 복수의 디지털 필터의 수와 동일한 수의 신호로 분할되는 것인, 위치 오디오 엔진.
제 31 항에 있어서,
상기 1 이상의 필터링된 신호 각각은 상기 복수의 디지털 필터에 의해서 필터링된 상기 복수의 분할 신호를 결합함으로써 얻어지는 것인, 위치 오디오 엔진.
제 32 항에 있어서,
상기 결합은 상기 복수의 분할 신호의 합산을 포함하는 것인, 위치 오디오 엔진.
제 30 항에 있어서,
상기 복수의 디지털 필터는 제 1 및 제 2 디지털 필터를 포함하는 것인, 위치 오디오 엔진.
제 34 항에 있어서,
상기 제 1 및 제 2 디지털 필터 각각은, 상기 청취 응답 함수의 통과 대역 부분에서는 실질적으로 최대로 평탄하며, 정지 대역 부분에서는 실질적으로 제로를 향하여 롤 오프(roll off)하는 응답을 산출하는 필터를 포함하는 것인, 위치 오디오 엔진.
제 35 항에 있어서,
상기 제 1 및 제 2 디지털 필터 각각은 버터워스(Butterworth) 필터를 포함하는 것인, 위치 오디오 엔진.
제 35 항에 있어서,
상기 제 1 및 제 2 디지털 필터 중 하나에 대해 상기 통과 대역 부분은 약 2.5KHz와 약 7.5KHz 사이의 주파수 범위에 의해 규정되는 것인, 위치 오디오 엔진.
제 35 항에 있어서,
상기 제 1 및 제 2 디지털 필터 중 하나에 대해 상기 통과 대역 부분은 약 8.5 KHz와 약 18KHz 사이의 주파수 범위에 의해 규정되는 것인, 위치 오디오 엔진.
제 23 항에 있어서,
상기 1 이상의 디지털 필터의 선택은 상기 청취자에 대한 유한 수의 기하학적(geometric) 위치에 기초하는 것인, 위치 오디오 엔진.
제 39 항에 있어서,
상기 기하학적 위치는 복수의 반-평면을 포함하고, 각각의 반-평면은 상기 청취자의 귀 사이의 방향을 따라 에지에 의해, 그리고 상기 청취자에 대한 상기 귀 및 전방향에 의해 규정된 수평면에 대한 고도각 φ에 의해 규정되는 것인, 위치 오디오 엔진.
제 40 항에 있어서,
상기 복수의 반-평면은 1 이상의 전방 반-평면과 1 이상의 후방 반-평면으로 그룹화되는 것인, 위치 오디오 엔진.
제 41 항에 있어서,
상기 전방 반-평면은 상기 청취자 전방에서 약 0° 및 +/- 45°의 고도각에 있는 반-평면을 포함하고, 상기 후방 반-평면은 상기 청취자 후방에서 약 0°및 +/- 45°의 고도각에 있는 반-평면을 포함하는 것인, 위치 오디오 엔진.
모노(mono) 입력 신호를 수신하고 좌측 및 우측 ITD(Interaural Time Difference)-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트로서, 상기 모노 입력 신호는 상기 청취자에 대한 상기 음원의 공간적 위치에 대한 정보를 포함하는 것인, 두 귀간 시간차(ITD) 컴포넌트와,
상기 좌측 및 우측 ITD-조정된 신호를 수신하고, 상기 좌측 및 우측 ITD-조정된 신호 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트로서, 상기 1 이상의 디지털 필터 각각은, 상기 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록 상기 청취 응답 함수의 특정 범위에 기초하는 것인, 위치 필터 컴포넌트와,
상기 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID(Interaural Intensity Difference)-조정된 신호를 생성하여, 상기 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트
를 포함하는 디지털 오디오 신호 처리 시스템.
제 43 항에 있어서,
샘플 속도 변환 컴포넌트, 음원 속도를 시뮬레이션하도록 구성된 도플러 조정 컴포넌트, 상기 청취자에 대한 상기 음원의 거리를 고려하도록 구성된 거리 조정 컴포넌트, 상기 음원에 대한 상기 청취자 머리의 배향을 고려하도록 구성된 배향 조정 컴포넌트, 또는 잔향(reverberation) 효과를 시뮬레이션하기 위한 잔향 조정 컴포넌트 중 적어도 하나를 더 포함하는 디지털 오디오 신호 처리 시스템.
복수의 신호 처리 체인(chain)을 구비하며,
각각의 체인은,
모노 입력 신호를 수신하고 좌측 및 우측 ITD(Interaural Time Difference)-조정된 신호를 생성하여, 음원으로부터 청취자의 좌측 및 우측 귀에 도달하는 사운드의 도달 시간 차를 시뮬레이션하도록 구성된 두 귀간 시간차(ITD) 컴포넌트로서, 상기 모노 입력 신호는 상기 청취자에 대한 상기 음원의 공간적 위치에 대한 정보를 포함하는 것인, 두 귀간 시간차(ITD) 컴포넌트와,
상기 좌측 및 우측 ITD-조정된 신호를 수신하고, 상기 좌측 및 우측 ITD-조정된 신호 각각에 1 이상의 디지털 필터를 인가하여, 좌측 및 우측 필터링된 신호를 생성하도록 구성된 위치 필터 컴포넌트로서, 상기 1 이상의 디지털 필터는, 상기 좌측 및 우측 필터링된 디지털 신호가 청취 응답 함수를 시뮬레이션하도록, 상기 청취 응답 함수의 특정 범위에 기초하는 것인, 위치 필터 컴포넌트와,
상기 좌측 및 우측 필터링된 디지털 신호를 수신하고, 좌측 및 우측 IID(Interaural Intensity Difference)-조정된 신호를 생성하여, 상기 좌측 및 우측 귀에 도달하는 사운드의 강도차를 시뮬레이션하도록 구성된 두 귀간 강도차(IID) 컴포넌트
를 포함하는 디지털 오디오 신호 처리 시스템.
1 이상의 디지털 신호를 수신하는 수단과,
음원의 공간적 위치에 대한 정보에 기초하여 1 이상의 디지털 필터를 선택하는 수단과,
상기 1 이상의 디지털 신호에 상기 1 이상의 디지털 필터를 인가하여, 청취 응답 함수의 효과를 시뮬레이션하는 대응하는 1 이상의 필터링된 신호를 산출하는 수단을 포함하는 디지털 오디오 신호 처리 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71658805P | 2005-09-13 | 2005-09-13 | |
US60/716,588 | 2005-09-13 | ||
PCT/US2006/035446 WO2007033150A1 (en) | 2005-09-13 | 2006-09-13 | Systems and methods for audio processing |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080049741A true KR20080049741A (ko) | 2008-06-04 |
KR101304797B1 KR101304797B1 (ko) | 2013-09-05 |
Family
ID=37496972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087006288A KR101304797B1 (ko) | 2005-09-13 | 2006-09-13 | 오디오 처리 시스템 및 방법 |
Country Status (8)
Country | Link |
---|---|
US (2) | US8027477B2 (ko) |
EP (1) | EP1938661B1 (ko) |
JP (1) | JP4927848B2 (ko) |
KR (1) | KR101304797B1 (ko) |
CN (1) | CN101263739B (ko) |
CA (1) | CA2621175C (ko) |
PL (1) | PL1938661T3 (ko) |
WO (1) | WO2007033150A1 (ko) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL1938661T3 (pl) | 2005-09-13 | 2014-10-31 | Dts Llc | System i sposób przetwarzania dźwięku |
WO2007123788A2 (en) | 2006-04-03 | 2007-11-01 | Srs Labs, Inc. | Audio signal processing |
US8565440B2 (en) * | 2006-04-19 | 2013-10-22 | Sontia Logic Limited | Processing audio input signals |
RU2454825C2 (ru) * | 2006-09-14 | 2012-06-27 | Конинклейке Филипс Электроникс Н.В. | Манипулирование зоной наилучшего восприятия для многоканального сигнала |
US8050434B1 (en) | 2006-12-21 | 2011-11-01 | Srs Labs, Inc. | Multi-channel audio enhancement system |
EP1947471B1 (en) * | 2007-01-16 | 2010-10-13 | Harman Becker Automotive Systems GmbH | System and method for tracking surround headphones using audio signals below the masked threshold of hearing |
KR20080079502A (ko) * | 2007-02-27 | 2008-09-01 | 삼성전자주식회사 | 입체음향 출력장치 및 그의 초기반사음 생성방법 |
US8520873B2 (en) * | 2008-10-20 | 2013-08-27 | Jerry Mahabub | Audio spatialization and environment simulation |
WO2009046909A1 (en) * | 2007-10-09 | 2009-04-16 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating a binaural audio signal |
TWI475896B (zh) * | 2008-09-25 | 2015-03-01 | Dolby Lab Licensing Corp | 單音相容性及揚聲器相容性之立體聲濾波器 |
JP5499513B2 (ja) * | 2009-04-21 | 2014-05-21 | ソニー株式会社 | 音響処理装置、音像定位処理方法および音像定位処理プログラム |
KR101040086B1 (ko) * | 2009-05-20 | 2011-06-09 | 전자부품연구원 | 오디오 생성방법, 오디오 생성장치, 오디오 재생방법 및 오디오 재생장치 |
EP2262285B1 (en) | 2009-06-02 | 2016-11-30 | Oticon A/S | A listening device providing enhanced localization cues, its use and a method |
KR20120004909A (ko) | 2010-07-07 | 2012-01-13 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
KR20120040290A (ko) * | 2010-10-19 | 2012-04-27 | 삼성전자주식회사 | 영상처리장치, 영상처리장치에 사용되는 음성처리방법, 및 음성처리장치 |
JP5964311B2 (ja) | 2010-10-20 | 2016-08-03 | ディーティーエス・エルエルシーDts Llc | ステレオイメージ拡張システム |
WO2013032822A2 (en) | 2011-08-26 | 2013-03-07 | Dts Llc | Audio adjustment system |
EP2802161A4 (en) * | 2012-01-05 | 2015-12-23 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR LOCATING MULTICANALTONE SIGNALS |
US20130202132A1 (en) * | 2012-02-03 | 2013-08-08 | Motorola Mobilitity, Inc. | Motion Based Compensation of Downlinked Audio |
US8704070B2 (en) | 2012-03-04 | 2014-04-22 | John Beaty | System and method for mapping and displaying audio source locations |
CN103796150B (zh) * | 2012-10-30 | 2017-02-15 | 华为技术有限公司 | 音频信号的处理方法、装置及*** |
US9084050B2 (en) * | 2013-07-12 | 2015-07-14 | Elwha Llc | Systems and methods for remapping an audio range to a human perceivable range |
US9961469B2 (en) | 2013-09-17 | 2018-05-01 | Wilus Institute Of Standards And Technology Inc. | Method and device for audio signal processing |
KR101804744B1 (ko) | 2013-10-22 | 2017-12-06 | 연세대학교 산학협력단 | 오디오 신호 처리 방법 및 장치 |
CN105723459B (zh) * | 2013-11-15 | 2019-11-26 | 华为技术有限公司 | 用于改进声频信号的感知的设备和方法 |
EP4246513A3 (en) * | 2013-12-23 | 2023-12-13 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and parameterization device for same |
EP3122073B1 (en) | 2014-03-19 | 2023-12-20 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and apparatus |
EP4329331A3 (en) * | 2014-04-02 | 2024-05-08 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and device |
CN106165452B (zh) * | 2014-04-02 | 2018-08-21 | 韦勒斯标准与技术协会公司 | 音频信号处理方法和设备 |
US9042563B1 (en) | 2014-04-11 | 2015-05-26 | John Beaty | System and method to localize sound and provide real-time world coordinates with communication |
CN104125522A (zh) * | 2014-07-18 | 2014-10-29 | 北京智谷睿拓技术服务有限公司 | 声道配置方法、装置及用户设备 |
CN107073277B (zh) * | 2014-10-08 | 2020-05-15 | Med-El电气医疗器械有限公司 | 脉冲间间隔短的神经编码 |
DE202015009711U1 (de) | 2014-11-30 | 2019-06-21 | Dolby Laboratories Licensing Corporation | Mit sozialen Medien verknüpftes großformatiges Kinosaaldesign |
US9551161B2 (en) | 2014-11-30 | 2017-01-24 | Dolby Laboratories Licensing Corporation | Theater entrance |
CN104735588B (zh) * | 2015-01-21 | 2018-10-30 | 华为技术有限公司 | 处理声音信号的方法和终端设备 |
GB2535990A (en) * | 2015-02-26 | 2016-09-07 | Univ Antwerpen | Computer program and method of determining a personalized head-related transfer function and interaural time difference function |
KR20160122029A (ko) * | 2015-04-13 | 2016-10-21 | 삼성전자주식회사 | 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
WO2017192972A1 (en) | 2016-05-06 | 2017-11-09 | Dts, Inc. | Immersive audio reproduction systems |
CN106507266B (zh) * | 2016-10-31 | 2019-06-11 | 深圳市米尔声学科技发展有限公司 | 音频处理设备和方法 |
CN108076415B (zh) * | 2016-11-16 | 2020-06-30 | 南京大学 | 一种多普勒音效的实时实现方法 |
US10979844B2 (en) | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
CN110111804B (zh) * | 2018-02-01 | 2021-03-19 | 南京大学 | 基于rls算法的自适应去混响方法 |
US10856097B2 (en) | 2018-09-27 | 2020-12-01 | Sony Corporation | Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear |
US11906642B2 (en) * | 2018-09-28 | 2024-02-20 | Silicon Laboratories Inc. | Systems and methods for modifying information of audio data based on one or more radio frequency (RF) signal reception and/or transmission characteristics |
US11019450B2 (en) | 2018-10-24 | 2021-05-25 | Otto Engineering, Inc. | Directional awareness audio communications system |
CN109637550B (zh) * | 2018-12-27 | 2020-11-24 | 中国科学院声学研究所 | 一种声源高度角控制方法和*** |
US11113092B2 (en) * | 2019-02-08 | 2021-09-07 | Sony Corporation | Global HRTF repository |
US11451907B2 (en) | 2019-05-29 | 2022-09-20 | Sony Corporation | Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects |
US11347832B2 (en) | 2019-06-13 | 2022-05-31 | Sony Corporation | Head related transfer function (HRTF) as biometric authentication |
US11146908B2 (en) | 2019-10-24 | 2021-10-12 | Sony Corporation | Generating personalized end user head-related transfer function (HRTF) from generic HRTF |
US11070930B2 (en) | 2019-11-12 | 2021-07-20 | Sony Corporation | Generating personalized end user room-related transfer function (RRTF) |
Family Cites Families (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5412731A (en) * | 1982-11-08 | 1995-05-02 | Desper Products, Inc. | Automatic stereophonic manipulation system and apparatus for image enhancement |
US4817149A (en) * | 1987-01-22 | 1989-03-28 | American Natural Sound Company | Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization |
US4836329A (en) * | 1987-07-21 | 1989-06-06 | Hughes Aircraft Company | Loudspeaker system with wide dispersion baffle |
US4819269A (en) * | 1987-07-21 | 1989-04-04 | Hughes Aircraft Company | Extended imaging split mode loudspeaker system |
US4841572A (en) * | 1988-03-14 | 1989-06-20 | Hughes Aircraft Company | Stereo synthesizer |
US4866774A (en) * | 1988-11-02 | 1989-09-12 | Hughes Aircraft Company | Stero enhancement and directivity servo |
DE3932858C2 (de) * | 1988-12-07 | 1996-12-19 | Onkyo Kk | Stereophonisches Wiedergabesystem |
FR2650294B1 (fr) | 1989-07-28 | 1991-10-25 | Rhone Poulenc Chimie | Procede de traitement de peaux, et peaux obtenues |
US5173944A (en) * | 1992-01-29 | 1992-12-22 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Head related transfer function pseudo-stereophony |
EP0563929B1 (en) * | 1992-04-03 | 1998-12-30 | Yamaha Corporation | Sound-image position control apparatus |
US5319713A (en) * | 1992-11-12 | 1994-06-07 | Rocktron Corporation | Multi dimensional sound circuit |
US5333201A (en) * | 1992-11-12 | 1994-07-26 | Rocktron Corporation | Multi dimensional sound circuit |
US5438623A (en) * | 1993-10-04 | 1995-08-01 | The United States Of America As Represented By The Administrator Of National Aeronautics And Space Administration | Multi-channel spatialization system for audio signals |
EP0912077B1 (en) * | 1994-02-25 | 2001-10-31 | Henrik Moller | Binaural synthesis, head-related transfer functions, and uses therof |
US5592588A (en) * | 1994-05-10 | 1997-01-07 | Apple Computer, Inc. | Method and apparatus for object-oriented digital audio signal processing using a chain of sound objects |
US5491685A (en) * | 1994-05-19 | 1996-02-13 | Digital Pictures, Inc. | System and method of digital compression and decompression using scaled quantization of variable-sized packets |
US6072877A (en) * | 1994-09-09 | 2000-06-06 | Aureal Semiconductor, Inc. | Three-dimensional virtual audio display employing reduced complexity imaging filters |
US5638452A (en) * | 1995-04-21 | 1997-06-10 | Rocktron Corporation | Expandable multi-dimensional sound circuit |
US5943427A (en) * | 1995-04-21 | 1999-08-24 | Creative Technology Ltd. | Method and apparatus for three dimensional audio spatialization |
US5661808A (en) * | 1995-04-27 | 1997-08-26 | Srs Labs, Inc. | Stereo enhancement system |
US5850453A (en) * | 1995-07-28 | 1998-12-15 | Srs Labs, Inc. | Acoustic correction apparatus |
EP0762804B1 (en) * | 1995-09-08 | 2008-11-05 | Fujitsu Limited | Three-dimensional acoustic processor which uses linear predictive coefficients |
IT1281001B1 (it) * | 1995-10-27 | 1998-02-11 | Cselt Centro Studi Lab Telecom | Procedimento e apparecchiatura per codificare, manipolare e decodificare segnali audio. |
US5771295A (en) * | 1995-12-26 | 1998-06-23 | Rocktron Corporation | 5-2-5 matrix system |
US5742689A (en) * | 1996-01-04 | 1998-04-21 | Virtual Listening Systems, Inc. | Method and device for processing a multichannel signal for use with a headphone |
US5970152A (en) * | 1996-04-30 | 1999-10-19 | Srs Labs, Inc. | Audio enhancement system for use in a surround sound environment |
JPH09322299A (ja) * | 1996-05-24 | 1997-12-12 | Victor Co Of Japan Ltd | 音像定位制御装置 |
US5995631A (en) * | 1996-07-23 | 1999-11-30 | Kabushiki Kaisha Kawai Gakki Seisakusho | Sound image localization apparatus, stereophonic sound image enhancement apparatus, and sound image control system |
JP3976360B2 (ja) * | 1996-08-29 | 2007-09-19 | 富士通株式会社 | 立体音響処理装置 |
US5809149A (en) * | 1996-09-25 | 1998-09-15 | Qsound Labs, Inc. | Apparatus for creating 3D audio imaging over headphones using binaural synthesis |
US6421446B1 (en) * | 1996-09-25 | 2002-07-16 | Qsound Labs, Inc. | Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation |
US5784468A (en) * | 1996-10-07 | 1998-07-21 | Srs Labs, Inc. | Spatial enhancement speaker systems and methods for spatially enhanced sound reproduction |
JP3255348B2 (ja) | 1996-11-27 | 2002-02-12 | 株式会社河合楽器製作所 | 遅延量制御装置及び音像制御装置 |
US6035045A (en) | 1996-10-22 | 2000-03-07 | Kabushiki Kaisha Kawai Gakki Seisakusho | Sound image localization method and apparatus, delay amount control apparatus, and sound image control apparatus with using delay amount control apparatus |
US5912976A (en) | 1996-11-07 | 1999-06-15 | Srs Labs, Inc. | Multi-channel audio enhancement system for use in recording and playback and methods for providing same |
JP3266020B2 (ja) * | 1996-12-12 | 2002-03-18 | ヤマハ株式会社 | 音像定位方法及び装置 |
JP3208529B2 (ja) | 1997-02-10 | 2001-09-17 | 収一 佐藤 | オーディオシステムにおけるスピーカドライブ回路の逆起電圧検出方法及びその回路 |
US6281749B1 (en) * | 1997-06-17 | 2001-08-28 | Srs Labs, Inc. | Sound enhancement system |
US6078669A (en) * | 1997-07-14 | 2000-06-20 | Euphonics, Incorporated | Audio spatial localization apparatus and methods |
US6307941B1 (en) * | 1997-07-15 | 2001-10-23 | Desper Products, Inc. | System and method for localization of virtual sound |
US5835895A (en) * | 1997-08-13 | 1998-11-10 | Microsoft Corporation | Infinite impulse response filter for 3D sound with tap delay line initialization |
DK1025743T3 (da) | 1997-09-16 | 2013-08-05 | Dolby Lab Licensing Corp | Anvendelse af filtereffekter i stereohovedtelefoner for at forbedre den rumlige opfattelse af en kilde rundt om en lytter |
US6091824A (en) * | 1997-09-26 | 2000-07-18 | Crystal Semiconductor Corporation | Reduced-memory early reflection and reverberation simulator and method |
TW417082B (en) * | 1997-10-31 | 2001-01-01 | Yamaha Corp | Digital filtering processing method, device and Audio/Video positioning device |
KR19990041134A (ko) * | 1997-11-21 | 1999-06-15 | 윤종용 | 머리 관련 전달 함수를 이용한 3차원 사운드 시스템 및 3차원 사운드 구현 방법 |
DE69823228T2 (de) * | 1997-12-19 | 2005-04-14 | Daewoo Electronics Corp. | Raumklangsignalverarbeitungsvorriehtung und -verfahren |
EP1072089B1 (en) | 1998-03-25 | 2011-03-09 | Dolby Laboratories Licensing Corp. | Audio signal processing method and apparatus |
JP3686989B2 (ja) | 1998-06-10 | 2005-08-24 | 収一 佐藤 | 多チャンネル変換シンセサイザー回路システム |
JP3657120B2 (ja) * | 1998-07-30 | 2005-06-08 | 株式会社アーニス・サウンド・テクノロジーズ | 左,右両耳用のオーディオ信号を音像定位させるための処理方法 |
US6285767B1 (en) * | 1998-09-04 | 2001-09-04 | Srs Labs, Inc. | Low-frequency audio enhancement system |
US6590983B1 (en) * | 1998-10-13 | 2003-07-08 | Srs Labs, Inc. | Apparatus and method for synthesizing pseudo-stereophonic outputs from a monophonic input |
GB2342830B (en) | 1998-10-15 | 2002-10-30 | Central Research Lab Ltd | A method of synthesising a three dimensional sound-field |
US6993480B1 (en) * | 1998-11-03 | 2006-01-31 | Srs Labs, Inc. | Voice intelligibility enhancement system |
US6839438B1 (en) * | 1999-08-31 | 2005-01-04 | Creative Technology, Ltd | Positional audio rendering |
US7031474B1 (en) * | 1999-10-04 | 2006-04-18 | Srs Labs, Inc. | Acoustic correction apparatus |
US7277767B2 (en) * | 1999-12-10 | 2007-10-02 | Srs Labs, Inc. | System and method for enhanced streaming audio |
JP4304401B2 (ja) | 2000-06-07 | 2009-07-29 | ソニー株式会社 | マルチチャンネルオーディオ再生装置 |
JP4304845B2 (ja) * | 2000-08-03 | 2009-07-29 | ソニー株式会社 | 音声信号処理方法及び音声信号処理装置 |
JP2002191099A (ja) | 2000-09-26 | 2002-07-05 | Matsushita Electric Ind Co Ltd | 信号処理装置 |
US6928168B2 (en) * | 2001-01-19 | 2005-08-09 | Nokia Corporation | Transparent stereo widening algorithm for loudspeakers |
JP2002262385A (ja) | 2001-02-27 | 2002-09-13 | Victor Co Of Japan Ltd | 音像定位信号の生成方法、及び音像定位信号生成装置 |
US7079658B2 (en) * | 2001-06-14 | 2006-07-18 | Ati Technologies, Inc. | System and method for localization of sounds in three-dimensional space |
JP3435156B2 (ja) * | 2001-07-19 | 2003-08-11 | 松下電器産業株式会社 | 音像定位装置 |
US6557736B1 (en) * | 2002-01-18 | 2003-05-06 | Heiner Ophardt | Pivoting piston head for pump |
AUPS278402A0 (en) * | 2002-06-06 | 2002-06-27 | Interactive Communications | Closest point algorithm for off-axis near-field radiation calculation |
TW200408813A (en) | 2002-10-21 | 2004-06-01 | Neuro Solution Corp | Digital filter design method and device, digital filter design program, and digital filter |
US7529788B2 (en) | 2002-10-21 | 2009-05-05 | Neuro Solution Corp. | Digital filter design method and device, digital filter design program, and digital filter |
FR2847376B1 (fr) * | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
DK1320281T3 (da) * | 2003-03-07 | 2013-11-04 | Phonak Ag | Binauralt høreapparat og fremgangsmåde til styring af et sådant høreapparat |
US7286672B2 (en) | 2003-03-07 | 2007-10-23 | Phonak Ag | Binaural hearing device and method for controlling a hearing device system |
DE10344638A1 (de) * | 2003-08-04 | 2005-03-10 | Fraunhofer Ges Forschung | Vorrichtung und Verfahren zum Erzeugen, Speichern oder Bearbeiten einer Audiodarstellung einer Audioszene |
US7680289B2 (en) * | 2003-11-04 | 2010-03-16 | Texas Instruments Incorporated | Binaural sound localization using a formant-type cascade of resonators and anti-resonators |
US7949141B2 (en) | 2003-11-12 | 2011-05-24 | Dolby Laboratories Licensing Corporation | Processing audio signals with head related transfer function filters and a reverberator |
US7451093B2 (en) * | 2004-04-29 | 2008-11-11 | Srs Labs, Inc. | Systems and methods of remotely enabling sound enhancement techniques |
US20050273324A1 (en) * | 2004-06-08 | 2005-12-08 | Expamedia, Inc. | System for providing audio data and providing method thereof |
KR100725818B1 (ko) | 2004-07-14 | 2007-06-11 | 삼성전자주식회사 | 최적 가상음원을 제공하는 음향재생장치 및 음향재생방법 |
PL1938661T3 (pl) | 2005-09-13 | 2014-10-31 | Dts Llc | System i sposób przetwarzania dźwięku |
WO2007123788A2 (en) | 2006-04-03 | 2007-11-01 | Srs Labs, Inc. | Audio signal processing |
DE602007012730D1 (de) | 2006-09-18 | 2011-04-07 | Koninkl Philips Electronics Nv | Kodierung und dekodierung von audio-objekten |
BRPI0717037A2 (pt) | 2006-09-21 | 2013-11-26 | Koninkl Philips Electronics Nv | Dispositivo de jato de tinta para produzir um substrato de ensaio biológico, método para produzir um substrato de ensaio biológico, uso de um dispositivo de jato de tinta, e, substrato de ensaio. |
WO2008084436A1 (en) | 2007-01-10 | 2008-07-17 | Koninklijke Philips Electronics N.V. | An object-oriented audio decoder |
US20090237492A1 (en) * | 2008-03-18 | 2009-09-24 | Invism, Inc. | Enhanced stereoscopic immersive video recording and viewing |
EP2194527A3 (en) * | 2008-12-02 | 2013-09-25 | Electronics and Telecommunications Research Institute | Apparatus for generating and playing object based audio contents |
-
2006
- 2006-09-13 PL PL06814495T patent/PL1938661T3/pl unknown
- 2006-09-13 US US11/531,624 patent/US8027477B2/en active Active
- 2006-09-13 JP JP2008531246A patent/JP4927848B2/ja active Active
- 2006-09-13 CN CN2006800336938A patent/CN101263739B/zh active Active
- 2006-09-13 EP EP06814495.5A patent/EP1938661B1/en active Active
- 2006-09-13 WO PCT/US2006/035446 patent/WO2007033150A1/en active Application Filing
- 2006-09-13 CA CA2621175A patent/CA2621175C/en active Active
- 2006-09-13 KR KR1020087006288A patent/KR101304797B1/ko active IP Right Grant
-
2011
- 2011-09-23 US US13/244,043 patent/US9232319B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN101263739B (zh) | 2012-06-20 |
JP4927848B2 (ja) | 2012-05-09 |
PL1938661T3 (pl) | 2014-10-31 |
US9232319B2 (en) | 2016-01-05 |
EP1938661B1 (en) | 2014-04-02 |
WO2007033150A1 (en) | 2007-03-22 |
CA2621175A1 (en) | 2007-03-22 |
US20070061026A1 (en) | 2007-03-15 |
JP2009508442A (ja) | 2009-02-26 |
US20120014528A1 (en) | 2012-01-19 |
KR101304797B1 (ko) | 2013-09-05 |
EP1938661A1 (en) | 2008-07-02 |
US8027477B2 (en) | 2011-09-27 |
CN101263739A (zh) | 2008-09-10 |
CA2621175C (en) | 2015-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101304797B1 (ko) | 오디오 처리 시스템 및 방법 | |
EP3311593B1 (en) | Binaural audio reproduction | |
US9674629B2 (en) | Multichannel sound reproduction method and device | |
EP2589231B1 (en) | Facilitating communications using a portable communication device and directed sound output | |
EP3672285A1 (en) | Binaural rendering for headphones using metadata processing | |
US8605914B2 (en) | Nonlinear filter for separation of center sounds in stereophonic audio | |
CN113170271B (zh) | 用于处理立体声信号的方法和装置 | |
US11337020B2 (en) | Controlling rendering of a spatial audio scene | |
US20170289724A1 (en) | Rendering audio objects in a reproduction environment that includes surround and/or height speakers | |
US10440495B2 (en) | Virtual localization of sound | |
US20200059750A1 (en) | Sound spatialization method | |
WO2017211448A1 (en) | Method for generating a two-channel signal from a single-channel signal of a sound source | |
CA3209747A1 (en) | Apparatus and method for rendering audio objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160811 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190821 Year of fee payment: 7 |