KR20180088721A - 오디오 신호 처리 장치 및 방법 - Google Patents

오디오 신호 처리 장치 및 방법 Download PDF

Info

Publication number
KR20180088721A
KR20180088721A KR1020187018740A KR20187018740A KR20180088721A KR 20180088721 A KR20180088721 A KR 20180088721A KR 1020187018740 A KR1020187018740 A KR 1020187018740A KR 20187018740 A KR20187018740 A KR 20187018740A KR 20180088721 A KR20180088721 A KR 20180088721A
Authority
KR
South Korea
Prior art keywords
transfer function
right ear
audio signal
ear transfer
function
Prior art date
Application number
KR1020187018740A
Other languages
English (en)
Other versions
KR102172051B1 (ko
Inventor
리윈 팡
페터 그로셰
크리스토프 팔러
알렉시스 파브롯
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20180088721A publication Critical patent/KR20180088721A/ko
Application granted granted Critical
Publication of KR102172051B1 publication Critical patent/KR102172051B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 청취자가 청취자에 상대적인 방위각(azimuth angle) 및 앙각(elevation angle)에 의해 정의된 가상 타깃 위치로부터 오는 입력 오디오 신호(101)를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호(101)를 처리하는 오디오 신호 처리 장치(100)에 관한 것이며, 상기 오디오 신호 처리 장치(100)는 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되는, 미리 정의된 좌우 귀 전달 함수 쌍의 세트를 저장하도록 구성된 메모리(103) - 상기 복수의 참조 위치는 이차원 평면 내에 있음 -, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하도록 구성된 결정기(105), 및 좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 획득하기 위해, 결정된 상기 좌우 귀 전달 함수 쌍, 그리고 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 조정하도록 구성된 조정 함수에 기초하여, 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 상기 입력 오디오 신호(101)를 필터링하도록 구성된 조정 필터(107)를 포함한다.

Description

오디오 신호 처리 장치 및 방법
일반적으로, 본 발명은 오디오 신호 처리 분야에 관한 것이다. 더욱 구체적으로는, 본 발명은 가상 타깃 위치로부터 바이노럴 오디오 신호(binaural audio signal)를 생성할 수 있도록 해주는 오디오 신호 처리 장치 및 방법에 관한 것이다.
사람의 귀는 양쪽(오른쪽 또는 왼쪽)에서 뿐만 아니라 범위(거리), 상하 방향(고도), 전후(방위)의 삼차원으로 사운드(sound)를 찾을 수 있다. 공간의 일부 지점에서 귀에 의해 수신되는 사운드의 특성은 머리 전달 함수(head-related transfer function, HRTF)에 의해 특징지을 수 있다. 따라서, 두 개의 귀를 위한 한 쌍의 HRTF가 타깃 위치, 즉 가상의 타깃 위치로부터 오는 것처럼 보이는 바이노럴 사운드(binaural sound)를 합성하는 데 사용될 수 있다.
가상 현실(virtual reality), 공간 원격 회의(spatial teleconferencing), 가상 서라운드(virtual surround)와 같은, 헤드폰을 사용하는 3D 오디오의 많은 애플리케이션에는 필요한 모든 방향에 대한 전달 함수를 포함하는 고품질 HRTF 데이터세트를 필요로 한다. 라우드스피커로부터의 서라운드 사운드 재생을 시뮬레이팅하기 위해, 몇 가지 형태의 HRTF 처리가 또한 컴퓨터 소프트웨어에 포함되어 있다. 그러나, 모든 방위각에 대하여 HRTF를 측정하는 것은 하드웨어 및 재료를 수반하는 지루한 작업이다. 또한 측정된 HRTF의 데이터베이스를 저장하는 데 필요한 메모리가 매우 클 수 있다. 게다가 개인화된(personalized) HRTF를 사용하면 사운드 경험을 더 향상시킬 수 있지만, 그것을 획득하는 것은 3D 사운드의 합성 처리를 복잡하게 만든다.
바이노럴 사운드를 합성하기 위해 HRTF를 유도하기 위한 완전한 파라메트릭 모델의 아이디어가 다음과 같은 문헌에서 제안되었다: RO Duda, "Modeling head related transfer functions", 27th Asilomar Conference on Signals, Systems and Computers, 1993 및 VR Algazi 외, "The use of head-and-torso models for improved spatial sound synthesis", AES 113th Convention, Oct. 2002. 그러나 현실적인 바이노럴 사운드를 랜더링하기 위해서는, 이들 모델이 개인화된 HRTF에서 크게 벗어나 있기 때문에, 획득된 HRTF가 충분히 정확하지 않다.
개인화된(사용자 고유의) HRTF로부터 크게 벗어나지 않는 HRTF를 획득하기 위한 방법을 개발하기 위한 많은 연구가 수행되었다.
문헌: H. Gamper, "Head-related transfer function interpolation in azimuth, elevation and distance", JASA Express Letters, 2013에 나와 있는 것 처럼, 3D HRTF 보간법을 사용하여 측정된 HRTF로부터 원하는 소스 위치에서 추정 된 HRTF를 획득할 수 있다.
이 기술은 가까운 위치에서 측정된 HRTF를 필요로 한다. 예컨대 네 개의 측정은 원하는 위치를 둘러싸는 사면체를 형성한다. 또한,이 기술로는 정확한 고도 지각을 달성하기가 어렵다.
따라서, 가상 타깃 위치로부터 바이노럴 오디오 신호를 생성할 수 있도록 해주는 향상된 오디오 신호 처리 장치 및 방법이 필요하다.
본 발명의 목적은 가상 타깃 위치로부터 바이노럴 오디오 신호를 생성할 수 있도록 해주는 향상된 오디오 신호 처리 장치 및 방법을 제공하는 것이다.
이 목적은 독립항의 특징에 에의해 달성된다. 추가적인 구현 형태는 종속 항, 상세한 설명 및 도면으로부터 명백하다.
제1 측면에 따르면, 본 발명은 청취자가 청취자에 상대적인 방위각(azimuth angle) 및 앙각(elevation angle)에 의해 정의된 가상 타깃 위치(virtual target position)로부터 오는 입력 오디오 신호를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호를 처리하는 오디오 신호 처리 장치에 관한 것이며, 상기 오디오 신호 처리 장치는, 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되는, 미리 정의된 좌우 귀 전달 함수 쌍의 세트를 저장하도록 구성된 메모리 - 상기 복수의 참조 위치는 이차원 평면 내에 있음 -; 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하도록 구성된 결정기(determiner); 및 좌측 귀 출력 오디오 신호 및 우측 귀 출력 오디오 신호를 획득하기 위해, 결정된 상기 좌우 귀 전달 함수 쌍, 그리고 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 조정하도록 구성된 조정 함수에 기초하여, 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 상기 입력 오디오 신호를 필터링하도록 구성된 조정 필터를 포함한다.
따라서, 가상 타깃 위치로부터 바이노럴 오디오 신호를 생성할 수 있도록 해주는 향상된 오디오 신호 처리 장치가 제공된다. 특히, 제1 측면에 따른 오디오 신호 처리 장치는 청취자에 대해, 이차원 평면에서, 예를 들어 (주어진 시나리오에서 이미 이용 가능한) 수평면에서 가상 타깃 위치에 대해 정의된, 미리 정의된 전달 함수의 세트를 계산상 효율적인 방식으로 삼차원으로, 즉 이 평면 위 또는 아래의 가상 타깃 위치로 확장할 수 있도록 해준다. 예를 들어, 이것은 미리 정의된 전달 함수를 저장하는 데 필요한 메모리를 상당히 감소시킨다는 유리한 효과가 있다.
미리 정의된 좌우 귀 전달 함수 쌍의 세트는 미리 정의된 좌우 귀 머리 전달 함수(head related transfer function) 쌍을 포함할 수 있다.
미리 정의된 좌우 귀 전달 함수 쌍의 세트는 측정된 좌우 귀 전달 함수 및/또는 모델링된 좌우 귀 전달 함수를 포함할 수 있다. 따라서, 제1 측면에 따른 오디오 신호 처리 장치는, 사용자 특정의 측정된 전달 함수가 이용할 수 없다면, 보 다 현실적인 사운드 지각을 위한 사용자 특정의 측정된 전달 함수 또는 모델링된 전달 함수의 데이터베이스를 사용할 수 있다.
제1 측면에 따른 오디오 신호 처리 장치의 제1 가능한 구현 형태에서, 상기 조정 필터는 상기 가상 타깃 위치와 청취자의 좌측 귀 사이의 거리 및 상기 가상 타깃 위치와 청취자의 우측 귀 사이의 거리와 연관된 사운드 이동 시간차(sound travel time difference)를 보상함으로써, 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된다.
가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 지연을 도입함으로써, 사운드 이동 시간 차가 보상될 수 있어 청취자에 의한 보다 현실적인 사운드 지각을을 가능하게 해준다.
제1 측면 또는 그 제1 구현 형태에 따른 오디오 신호 처리 장치의 제2 가능한 구현 형태에서, 상기 조정 필터는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 하기 식:
Figure pct00001
및
Figure pct00002
에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며,
여기서,
Figure pct00003
은 상기 좌측 귀 전달 함수에 적용되는 지연을 나타내고,
Figure pct00004
은 상기 우측 귀 전달 함수에 적용되는 지연을 나타내며,
Figure pct00005
및
Figure pct00006
는 하기 식:
Figure pct00007
및
Figure pct00008
에 기초하여 정의되며,
여기서,
Figure pct00009
는 초 단위의 지연이고, c는 음속이고,
Figure pct00010
는 청취자의 머리와 연관된 파라미터이고,
Figure pct00011
는 상기 가상 타깃 위치의 방위각이며,
Figure pct00012
는 상기 가상 타깃 위치의 앙각이다.
따라서, 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 사운드 이동 시간차를 보상하기 위한 지연은 계산상 효율적인 방식으로 결정될 수 있다.
제1 측면 또는 그 제1 또는 제2 구현 형태에 따른 오디오 신호 처리 장치의 제3 가능한 구현 형태에서, 상기 조정 필터는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 주파수 의존성을 복수의 무한 임펄스 응답 필터에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며, 상기 복수의 무한 임펄스 응답 필터는 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 및 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된다.
IIR 필터에 의해, 측정된 전달 함수를 근사화하고 그 주요 스펙트럼 특징, 특히 방위 및/또는 고도의 지각과 관련된 것들만을 고려함으로써, 계산 복잡도가 감소될 수 있다.
제1 측면의 제3 구현 형태에 따른 오디오 신호 처리 장치의 제4 가능한 구현 형태에서, 각각의 상기 무한 임펄스 응답 필터의 주파수 의존성은 복수의 미리 정의된 필터 파라미터에 의해 정의되고, 상기 복수의 미리 정의된 필터 파라미터는, 각각의 상기 무한 임펄스 응답 필터의 주파수 의존성이 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 근사시키도록 선택된다.
한정된 필터 파라미터 세트로 각각의 무한 임펄스 응답 필터를 정의하여, 측정된 전달 함수의 주요 스펙트럼 특성을 재구성하기 위해 필터 파라미터만 저장하면되기 때문에, 메모리 공간의 절약을 가능하게 한다.
제1 측면의 제4 구현 형태에 따른 오디오 신호 처리 장치의 제5 가능한 구현 형태에서, 상기 복수의 무한 임펄스 응답 필터는 복수의 바이쿼드 필터(biquad filter), 즉 4분위 필터(biquadratic filter)를 포함한다. 상기 복수의 바이쿼드 필터는 병렬 필터 또는 캐스케이드 필터(cascaded filter)로 구현될 수 있다. 캐스케이드 필터의 사용은 전달 함수의 스펙트럼 특징을 더 잘 근사시킬 수 있다. 복수의 바이 쿼드 필터들의 순서는 상이할 수 있다.
제1 측면의 제5 구현 형태에 따른 오디오 신호 처리 장치의 제6 가능한 구현 형태에서, 상기 복수의 바이쿼드 필터는 하나 이상의 쉘빙 필터(shelving filter) 및/또는 하나 이상의 피킹 필터(peaking filter)를 포함하며, 상기 하나 이상의 쉘빙 필터는 차단 주파수 파라미터
Figure pct00013
및 이득 파라미터
Figure pct00014
에 의해 정의되고, 상기 하나 이상의 피킹 필터는 차단 주파수 파라미터
Figure pct00015
, 이득 파라미터
Figure pct00016
및 대역폭 파라미터
Figure pct00017
에 의해 정의된다.
쉘빙 필터 및/또는 피킹 필터의 주파수 의존성은 2개 또는 3개의 필터 파라미터에 기초하여 측정된 전달 함수의 주파수 의존성에 대한 양호한 근사치(approximation)를 제공한다.
제1 측면의 제6 구현 형태에 따른 오디오 신호 처리 장치의 제7 가능한 구현 형태에서, 상기 복수의 무한 응답 필터 중 하나 이상의 무한 임펄스 응답 필터에 대해, 상기 복수의 미리 정의된 필터 파라미터는, 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수가 최소 또는 최대 크기를 갖는 주파수와 방위각 및/또는 앙각을 결정하고, 상기 하나 이상의 무한 임펄스 응답 필터의 주파수 의존성에 의해 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 의존성을 근사시킴으로써 선택된다.
따라서, 미리 정의된 필터 파라미터는 계산상 효율적인 방법으로 결정될 수있다.
제1 측면의 제6 또는 제7 구현 형태에 따른 오디오 신호 처리 장치의 제8 가능한 구현 형태에서, 상기 차단 주파수 파라미터
Figure pct00018
, 상기 이득 파라미터
Figure pct00019
및/또는 상기 대역폭 파라미터
Figure pct00020
는 하기 식:
Figure pct00021
,
Figure pct00022
,
Figure pct00023
에 기초하여 결정되며,
여기서
Figure pct00024
와
Figure pct00025
는
Figure pct00026
의 최대 값과 최소 값을 각각 나타내고,
Figure pct00027
는 대응하는 필터 파라미터를 변경하는 속도를 제어하는 계수를 나타낸다.
제1 측면 또는 그 제1 내지 제8 구현 형태 중 어느 하나에 따른 오디오 신호 처리 장치의 제9 가능한 구현 형태에서, 상기 조정 필터는 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수에 기초하여, 상기 좌측 귀 오디오 신호를 획득하기 위해 상기 조정 함수를 상기 좌측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호와 컨볼루션함으로써, 및/또는 상기 우측 귀 오디오 신호를 획득하기 위해 상기 조정 함수를 상기 우측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호와 컨볼루션함으로써, 상기 입력 오디오 신호를 필터링하도록 구성된다.
제1 측면 또는 그 제1 내지 제8 구현 형태 중 어느 하나에 따른 오디오 신호 처리 장치의 제10 가능한 구현 형태에서, 상기 조정 필터는 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수에 기초하여, 상기 좌측 귀 출력 오디오 신호를 획득하기 위해 상기 좌측 귀 전달 함수를 상기 입력 오디오 신호와 컨볼루션하고 그 결과를 상기 조정 함수와 컨볼루션함으로써, 및/또는 상기 우측 귀 전달 오디오 신호를 획득하기 위해 상기 우측 귀 전달 함수를 상기 입력 오디오 신호와 컨볼루션하고 그 결과를 상기 조정 함수와 컨볼루션함으로써, 상기 입력 오디오 신호를 필터링하도록 구성된다.
제1 측면 또는 그 제1 내지 제10 구현 형태 중 어느 하나에 따른 오디오 신호 처리 장치의 제11 가능한 구현 형태에서, 상기 오디오 신호 처리 장치는 한 쌍의 트랜스듀서(transducer)를 더 포함하고, 특히 크로스토크 제거를 사용하는 헤드폰 또는 라우드스피커를 더 포함하고, 상기 좌측 귀 출력 오디오 신호 및 상기 우측 귀 출력 오디오 신호를 출력하도록 구성된다.
제1 측면 또는 그 제1 내지 제11 구현 형태 중 어느 하나에 따른 오디오 신호 처리 장치의 제12 가능한 구현 형태에서, 상기 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 대해 수평면 내에 있는, 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의된다. 즉, 미리 정의된 좌우 귀 전달 함수 쌍의 세트는 복수의 상이한 방위각, 및 고정된 제로 앙각(fixed zero elevation angle)에 대해 미리 정의된 좌우 귀 전달 함수 쌍들로 구성될 수 있다.
제1 측면 또는 그 제1 내지 제12 구현 형태 중 어느 하나에 따른 오디오 신호 처리 장치의 제13 가능한 구현 형태에서, 상기 결정기는, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍들의 세트에서 한 쌍의 좌우 귀 전달 함수를 선택함으로써, 및/또는 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 보간함으로써, 상기 좌우 귀 전달 함수 쌍을 결정하도록 구성된다.
제2 측면에 따르면, 본 발명은 청취자가 청취자에 상대적인 방위각 및 앙각에 의해 정의된 가상 타깃 위치로부터 오는 입력 오디오 신호를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호를 처리하는 오디오 신호 처리 방법에 관한 것이며, 상기 오디오 시호 처리 방법은, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하는 단계 - 상기 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되고, 상기 복수의 참조 위치는 이차원 평면 내에 있음 -; 및 좌측 귀 출력 오디오 신호 및 우측 귀 출력 오디오 신호를 획득하기 위해, 결정된 상기 좌우 귀 전달 함수 쌍, 그리고 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된 조정 함수에 기초하여, 예를 들어 조정 필터에 의해 상기 입력 오디오 신호를 필터링하는 단계를 포함한다.
제2 측면에 따른 오디오 신호 처리 방법의 제1 가능한 구현 형태에서, 상기 조정 함수는 상기 가상 타깃 위치와 청취자의 좌측 귀 및 청취자의 우측 귀 사이의 거리와 연관된 사운드 이동 시간차를 보상함으로써, 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된다.
제2 측면 또는 그 제1 구현 형태에 따른 오디오 신호 처리 방법의 제2 가능한 구현 형태에서, 상기 조정 함수는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 하기 식:
Figure pct00028
및
Figure pct00029
에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며,
여기서,
Figure pct00030
은 상기 좌측 귀 전달 함수에 적용되는 지연을 나타내고,
Figure pct00031
은 상기 우측 귀 전달 함수에 적용되는 지연을 나타내며,
Figure pct00032
및
Figure pct00033
는 하기 식:
Figure pct00034
및
Figure pct00035
에 기초하여 정의되며,
여기서,
Figure pct00036
는 초 단위의 지연이고, c는 음속이고,
Figure pct00037
는 청취자의 머리와 연관된 파라미터이고,
Figure pct00038
는 상기 가상 타깃 위치의 방위각이며,
Figure pct00039
는 상기 가상 타깃 위치의 앙각이다.
제2 측면 또는 그 제1 또는 제2 구현 형태에 따른 오디오 신호 처리 방법의 제3 가능한 구현 형태에서, 상기 조정 함수는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 주파수 의존성을 복수의 무한 임펄스 응답 필터에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며, 상기 복수의 무한 임펄스 응답 필터는 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 및 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된다.
제2 측면의 제3 구현 형태에 따른 오디오 신호 처리 방법의 제4 가능한 구현 형태에서, 각각의 상기 무한 임펄스 응답 필터의 주파수 의존성은 복수의 미리 정의된 필터 파라미터에 의해 정의되고, 상기 복수의 미리 정의된 필터 파라미터는, 각각의 상기 무한 임펄스 응답 필터의 주파수 의존성이 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 근사시키도록 선택된다.
제2 측면의 제4 구현 형태에 따른 오디오 신호 처리 방법의 제5 가능한 구현 형태에서, 상기 복수의 무한 임펄스 응답 필터는 복수의 바이쿼드 필터, 즉 4분위 필터를 포함한다. 상기 복수의 바이쿼드 필터는 병렬 필터 또는 캐스케이드 필터로 구현될 수 있다. 캐스케이드 필터의 사용은 전달 함수의 스펙트럼 특징을 더 잘 근사시킬 수 있다. 복수의 바이 쿼드 필터들의 순서는 상이할 수 있다.
제2 측면의 제5 구현 형태에 따른 오디오 신호 처리 방법의 제6 가능한 구현 형태에서, 상기 복수의 바이쿼드 필터는 하나 이상의 쉘빙 필터 및/또는 하나 이상의 피킹 필터를 포함하며, 상기 하나 이상의 쉘빙 필터는 차단 주파수 파라미터
Figure pct00040
및 이득 파라미터
Figure pct00041
에 의해 정의되고, 상기 하나 이상의 피킹 필터는 차단 주파수 파라미터
Figure pct00042
, 이득 파라미터
Figure pct00043
및 대역폭 파라미터
Figure pct00044
에 의해 정의된다.
제2 측면의 제6 구현 형태에 따른 오디오 신호 처리 방법의 제7 가능한 구현 형태에서, 상기 복수의 무한 응답 필터 중 하나 이상의 무한 임펄스 응답 필터에 대해, 상기 복수의 미리 정의된 필터 파라미터는, 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수가 최소 또는 최대 크기를 갖는 주파수와 방위각 및/또는 앙각을 결정하고, 상기 하나 이상의 무한 임펄스 응답 필터의 주파수 의존성에 의해 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 의존성을 근사시킴으로써 선택된다.
제2 측면의 제6 또는 제7 구현 형태에 따른 오디오 신호 처리 방법의 제8 가능한 구현 형태에서, 상기 차단 주파수 파라미터
Figure pct00045
, 상기 이득 파라미터
Figure pct00046
및/또는 상기 대역폭 파라미터
Figure pct00047
는 하기 식:
Figure pct00048
,
Figure pct00049
,
Figure pct00050
에 기초하여 결정되며,
여기서
Figure pct00051
와
Figure pct00052
는
Figure pct00053
의 최대 값과 최소 값을 각각 나타내고,
Figure pct00054
는 대응하는 필터 파라미터를 변경하는 속도를 제어하는 계수를 나타낸다.
제2 측면 또는 그 제1 내지 제8 구현 형태 중 어느 하나에 따른 오디오 신호 처리 방법의 제9 가능한 구현 형태에서, 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수에 기초하여 상기 입력 오디오 신호를 필터링하는 단계는, 상기 좌측 귀 오디오 신호를 획득하기 위해 상기 조정 함수를 상기 좌측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호와 컨볼루션하는 단계 및/또는 상기 우측 귀 오디오 신호를 획득하기 위해 상기 조정 함수를 상기 우측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호와 컨볼루션하는 단계를 포함한다.
제2 측면 또는 그 제1 내지 제8 구현 형태 중 어느 하나에 따른 오디오 신호 처리 방법의 제11 가능한 구현 형태에서, 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수에 기초하여 상기 입력 오디오 신호를 필터링하는 단계는, 상기 좌측 귀 출력 오디오 신호를 획득하기 위해 상기 좌측 귀 전달 함수를 상기 입력 오디오 신호와 컨볼루션하고 그 결과를 상기 조정 함수와 컨볼루션하는 단계 및/또는 상기 우측 귀 전달 오디오 신호를 획득하기 위해 상기 우측 귀 전달 함수를 상기 입력 오디오 신호와 컨볼루션하고 그 결과를 상기 조정 함수와 컨볼루션하는 단계를 포함한다.
제2 측면 또는 그 제1 내지 제10 구현 형태 중 어느 하나에 따른 오디오 신호 처리 방법의 제11 가능한 구현 형태에서, 상기 오디오 신호 처리 방법는 한 쌍의 트랜스듀서(transducer), 특히 크로스토크 제거를 사용하는 헤드폰 또는 라우드스피커를 통해 상기 좌측 귀 출력 오디오 신호 및 상기 우측 귀 출력 오디오 신호를 출력하는 단계를 더 포함한다.
제2 측면 또는 그 제1 내지 제11 구현 형태 중 어느 하나에 따른 오디오 신호 처리 방법의 제12 가능한 구현 형태에서, 상기 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 대해 수평면 내에 있는, 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의된다.
제2 측면 또는 그 제1 내지 제12 구현 형태 중 어느 하나에 따른 오디오 신호 처리 방법의 제13 가능한 구현 형태에서, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 상기 좌우 귀 전달 함수 쌍을 결정하는 단계는, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에서 한 쌍의 좌우 귀 전달 함수를 선택하는 단계, 또는 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 보간하는 단계를 포함한다.
본 발명의 제2 측면에 따른 오디오 신호 처리 방법은 본 발명의 제1 측면에 따른 오디오 신호 처리 장치에 의해 수행될 수 있다.
제3 측면에 따르면, 본 발명은 컴퓨터상에서 실행될 때, 본 발명의 제2 측면 및 그 구현 형태 중 어느 하나의 신호 처리 방법을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발며은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 발명의 다른 실시예들은 다음의 도면들과 관련하여 설명될 것이다.
도 1은 일 실시예에 따른 오디오 신호 처리 장치를 나타낸 개략도이다.
도 2는 일 실시예에 따른 오디오 신호 처리 장치의 조정 필터를 나타낸 개략도이다.
도 3은 고정된 방위각에 대한 앙각의 함수로서 머리 전달 함수의 데이터베이스의 예시적인 주파수 크기 분석을 나타낸 도면이다.
도 4는 일 실시예에 따른 오디오 신호 처리 장치의 조정 필터에서 구현될 수 있는 쉘빙 필터(shelving filter) 및 피킹 필터(peaking filter)를 포함하는 복수의 바이쿼드 필터(biquad filter)를 나타낸 개략도이다.
도 5는 일 실시예에 따른 오디오 신호 처리 장치의 조정 필터에서 구현될 수 있는 예시적인 쉘빙 필터의 주파수 의존성 및 예시적인 피킹 필터의 주파수 의존성을 나타낸 개략도이다.
도 6은 일 실시예에 따른 오디오 신호 처리 장치에 의한 필터 파라미터의 선택을 나타낸 개략도이다.
도 7은 일 실시예에 따른 오디오 신호 처리 장치의 일부를 나타낸 개략도이다.
도 8은 일 실시예에 따른 오디오 신호 처리 장치의 일부를 나타낸 개략도이다.
도 9는 일 실시예에 따른 오디오 신호 처리 장치가 사용될 수 있는, 즉 가상 라우드스피커 서라운드 시스템을 시뮬레이팅하는 헤드폰을 통해 바이노럴 사운드 합성을 위한 예시적인 시나리오를 나타낸 개략도이다.
도 10은 일 실시예에 따른 입력 오디오 신호를 처리하기 위한 오디오 신호 처리 방법을 나타낸 개략도이다.
여러 도면에서, 동일하거나 적어도 기능적으로 등가인 특징에 대해 동일한 참조 부호가 사용된다.
이하의 설명에서는 본 발명의 일부를 형성하고, 본 발명을 배치할 수 있는 구체적인 측면을 예시하는 첨부도면을 참조한다. 본 발명의 범위를 벗어나지 않으면서 다른 측면이 이용될 수 있고 구조적 또는 논리적 변경이 이루어질 수 있음을 이해할 수 있다. 본 발명의 범위는 첨부된 청구 범위로 정의되므로, 이하의 상세한 설명은 한정적인 의미로 해석되어서는 안된다.
예를 들어, 이해할 것은 기술된 방법과 관련된 개시 내용은 또한 그 방법을 수행하도록 구성된 대응하는 장치 또는 시스템에 대해 유효할 수 있고 그 반대도 성립한다는 것이다. 예를 들어, 특정 방법 단계가 기술되면, 대응하는 장치는 기술된 방법 단계를 수행하기 위한 유닛을 포함할 수 있으며, 그러한 유닛이 도면에 명시적으로 설명되거나 예시되지는 않더라도 그러하다. 또한, 이해할 것은, 달리 명시하지 않는 한, 본 명세서에 기술된 다양한 예시적인 측면의 특징은 서로 조합될 수 있다는 것이다.
도 1은 가상 타깃 위치로부터 오는 입력 오디오 신호(101)를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호(101)를 처리하는 오디오 신호 처리 장치(100)의 개략도를 보여준다. 구 좌표계에서, (청취자에 상대적인) 가상 타깃 위치는 반경 거리
Figure pct00055
, 방위각
Figure pct00056
및 앙각
Figure pct00057
로 정의된다.
오디오 신호 처리 장치(100)는 복수의 참조 위치/방향에 대해 미리 정의되는, 미리 정의된 좌우 귀 전달 함수 쌍의 세트를 저장하도록 구성된 메모리(103)를 포함하며, 복수의 참조 위치는 이차원 평면을 규정한다.
또한, 오디오 신호 처리 장치(100)는 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여, 한 쌍의 좌우 귀 전달 함수를 결정하도록 구성된 결정기(105)를 포함한다. 결정기(105)는 복수의 기준 위치에 의해 정의되는 이차원 평면에 있는 가상 타깃 위치와 연관된 위치/방향에 대한 한 쌍의 좌우 귀 전달 함수 쌍을 결정하도록 구성된다. 더욱 구체적으로는, 결정기(105)는 복수의 참조 위치에 의해 정의되는 이차원 평면 상에의 가상 타깃 위치/방향의 투영에 대한 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 좌우 귀 전달 함수 쌍을 결정함으로써 좌우 귀 전달 함수 쌍을 결정하도록 구성된다.
일 실시예에서, 결정기(105)는 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여, 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에서 한 쌍의 좌우 귀 전달 함수를 선택함으로써 좌우 귀 전달 함수 쌍을 결정하도록 구성된다.
일 실시예에서, 결정기(105)는 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 보간함으로써, 예를 들어 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를, 최근린 보간(nearest neighbour interpolation), 선형 보간(linear interpolation) 등을 통해 보간 보간함으로써 좌우 귀 전달 함수 쌍을 결정하도록 구성될 수 있다. 일 실시예에서, 결정기(105)는 선형 보간 방식, 최근린 보간 방식 또는 유사 보간(similar interpolation) 방식을 사용하여, 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하도록 구성된다.
또한, 오디오 신호 처리 장치(100)는 복수의 참조 위치에 의해 정의되는 이차원 평면상에의 가상 타깃 위치/방향의 투명에 대해 결정기(105)에 의해 이미 결정된 좌우 귀 전달 함수 쌍을 "삼차원", 즉 복수의 참조 위치에 의해 정의된 이차원 평면 위 또는 아래의 위치/방향으로 확장하기 위한 조정 필터(107)를 포함한다. 이를 위해, 조정 필터(107)는 좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 획득하기 위해, 결정된 좌우 귀 전달 함수 쌍, 그리고 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 조정하도록 구성된 조정 함수에 기초하여, 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 입력 오디오 신호(101)를 필터링하도록 구성된다.
예시적인 실시예에서, 미리 정의된 좌우 귀 전달 함수 쌍의 세트는 수평면에서, 즉 앙각
Figure pct00058
에 대해 네 쌍의 미리 정해진 좌우 귀 전달 함수를 포함한다. 네 쌍의 미리 정해진 좌우 귀 전달 함수는 방위각
Figure pct00059
에 대해 정의될 수 있다. 예시적인 가상 목표 위치가 방위각
Figure pct00060
및 앙각
Figure pct00061
와 연관되는 경우, 결정기(105)는
Figure pct00062
에서 미리 정의된 좌우 귀 전달 함수 쌍들을 사용하는 선형 보간을 통해 방위각
Figure pct00063
및 앙각
Figure pct00064
에 대한 좌우 귀 전달 함수 쌍을 결정할 수 있다. 다른 실시예에서, 결정기(105)는
Figure pct00065
(최근린 보간에 대응함)에서 미리 정의된 좌우 귀 전달 함수의 쌍을 선택함으로써 방위각
Figure pct00066
및 앙각
Figure pct00067
에 대한 좌우 귀 전달 함수 쌍을 결정할 수 있다. 방위각
Figure pct00068
및 앙각
Figure pct00069
에서 결정된, 미리 정의된 좌우 귀 전달 함수 쌍의
Figure pct00070
로의 확장은 조정 필터(107)에 의해 수행된다.
미리 정의된 좌우 귀 전달 함수의 세트는, 예를 들어 한정된, 머리 전달 함수(HRTF)의 세트일 수있다. 미리 정의된 좌우 귀 전달 함수 쌍의 세트는 개인화된 (특정 사용자에 대해 측정)되거나 일반화된 데이터베이스(모델링)에서 획득될 수 있습니다.
위에서 이미 언급한 바와 같이, 일 실시예에서, 미리 정의된 좌우 귀 머리 전달 함수 쌍의 세트는 복수의 방위각, 및 고정된 앙각에 대해 정의될 수 있다. 예를 들어, 고정된 앙각
Figure pct00071
에 대해, 미리 정의된 좌우 귀 머리 전달 함수 쌍의 세트는 방위각
Figure pct00072
에 의해 파라미터화되는 좌측 귀 HRTF
Figure pct00073
및 우측 귀 HRTF
Figure pct00074
에 의해 결정된다.
위에서 이미 언급한 바와 같이, 일 실시예에서, 미리 정의된 좌우 귀 머리 전달 함수 쌍의 세트는 고정된 방위각, 및 복수의 앙각에 대해 정의될 수 있다. 예를 들어, 고정된 방위각
Figure pct00075
에 대해, 미리 정의된 좌우 귀 머리 전달 함수 쌍의 세트는 앙각
Figure pct00076
에 의해 파라미터화되는 좌측 귀 HRTF
Figure pct00077
및 우측 귀 HRTF
Figure pct00078
에 의해 결정된다.
도 2는 일 실시예에 따른 오디오 신호 처리 장치의 조정 필터, 예를 들어 도 1에 도시된 오디오 신호 처리 장치 (100)의 조정 필터(107)의 조정 필터에 사용되는 조정 함수
Figure pct00079
를 나타낸 개략도를 보여준다. 도 2에 도시된 예시적인 실시예에서, 미리 정의된 좌우 귀 머리 전달 함수 쌍의 세트는 수평 전달 함수
Figure pct00080
및
Figure pct00081
, 즉 청취자에 대해 수평면에서 참조 위치/방향에 대해 정의된 전달 함수이다.
도 2에 도시된 조정 함수
Figure pct00082
(109)는 수평 전달 함수
Figure pct00083
및
Figure pct00084
에 지연을 적용하기 위한 지연 블록(109a) 및 수평 전달 함수
Figure pct00085
및
Figure pct00086
에 주파수 조정을 적용하기 위한 주파수 조정 블록(109b)를 포함한다.
일 실시예에서, 조정 필터(107)는 가상 타깃 위치와 청취자의 좌측 귀 사이의 거리 및 가상 타깃 위치와 청취자의 우측 귀 사이의 거리와 연관된 사운드 이동 시간차를 보상함으로써, 조정 함수
Figure pct00087
(109)에 기초하여, 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된다.
일 실시예에서, 조정 함수(109)는 일정한 앙각면(elevation plane)에서 파생된 새로운 입사각
Figure pct00088
에 기초하여 미리 정의된 전달 함수
Figure pct00089
및
Figure pct00090
의 세트에 대해 앙각
Figure pct00091
에 기인한 추가적인 시간 지연을 결정하도록 구성된다.
일 실시예에서, 조정 필터(107)는 조정 함수(109)를 통해, 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을(109a)을 하기 식:
Figure pct00092
및
Figure pct00093
에 기초하여 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며,
여기서,
Figure pct00094
은 좌측 귀 전달 함수에 적용되는 지연을 나타내고,
Figure pct00095
은 우측 귀 전달 함수에 적용되는 지연을 나타내며,
Figure pct00096
및
Figure pct00097
는 하기 식:
Figure pct00098
및
Figure pct00099
에 기초하여 정의되며,
여기서,
Figure pct00100
는 초 단위의 지연이고, c는 음속이고(즉,
Figure pct00101
),
Figure pct00102
는 청취자의 머리와 연관된 파라미터이고(예:
Figure pct00103
),
Figure pct00104
는 가상 타깃 위치의 방위각이며,
Figure pct00105
는 가상 타깃 위치의 앙각이다. 새로운 입사각
Figure pct00106
을 결정하기 위한 상기 식은 수평면에서의 가상 타깃 위치의 방위각
Figure pct00107
의, 일정한 앙각면에의 투영에 기초한다.
도 2에 도시된 조정 함수
Figure pct00108
(109)의 주파수 조정 블록(109b)은, 고도와 관련있는 지각 정보를 추가하여 미리 정의된 수평 전달 함수 쌍의 "이차원" 세트를 확장하기 위해, 즉 삼차원으로 확장하기 위해, 수평 전달 함수
Figure pct00109
및
Figure pct00110
에 주파수 조정을 적용하도록 구성된다.
일 실시예에서, 도 2에 도시된 조정 함수
Figure pct00111
(109)의 주파수 조정 블록(109b)은 모든 원하는 위치/방향을 커버하는 전달 함수의 완전한 데이터베이스의 스펙트럼 분석에 기초할 수 있다. 이는 예를 들어, 수평면에서의 방위각 θ에 의해 정의되는 수평 HRTF,
Figure pct00112
및
Figure pct00113
를 수평면 위 또는 아래의 앙각
Figure pct00114
로높이거나 조정할 수 있도록 해준다..
도 3은 앙각의 함수인 머리 전달 함수의 데이터베이스, 즉 KEMAR 더미 헤드를 사용하는, 측정된 MIT HRTF 데이터베이스의 예시적인 주파수 크기 분석을 보여준다. 주파수 크기 응답은 가상 타깃 위치의 방위각
Figure pct00115
에 대한 앙각
Figure pct00116
의 함수로서 좌측 HRTF
Figure pct00117
에 대해 도 3에 도시되어 있다. 복수의 관심 대상인 방위각에 대해 이러한 스펙트럼 분석을 반복함으로써, 방위각에 의해서만 정의된 임의의 수평 전달 함수 세트를, 원하는 앙각으로 상승된 것으로 확장할 수 있는, 완전한 전달 함수 세트를 획득할 수 있다.
일 실시예에서, 전술한 방식으로 도출된 전달 함수는, 바람직하게는, 앙각 또는 방위각의 지각과 관련 있는 주요 스펙트럼 특징만을 고려하는, 미리 정의된 좌우 귀 전달 함수의 세트의 등화(equalizing), 즉 주파수 의존성을 조정함으로써 대체된다. 이렇게함으로써 상승된 전달 함수를 생성하는 데 필요한 데이터가 상당히 감소된다. 앙각 또는 방위각은 스펙트럼 효과, 즉 등화 또는 조정 함수를 적용하여 렌더링될 수 있으며, 임의의 전달 함수에 사용될 수 있다.
일 실시예에서, 오디오 신호 처리 장치(100)의 조정 필터(107)는 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을, 복수의 무한 임펄스 응답 필터에 기초하여 가상 타깃 위치의 방위각
Figure pct00118
및/또는 앙각
Figure pct00119
의 함수로서 조정하도록 구성되며, 여기서 복수의 무한 임펄스 응답 필터는 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 및 우측 귀 전달 함수의 주파수 의존성의, 최대치 또는는 최소치와 같은, 스펙트럼상 두드러진 특징을 근사시키도록 구성된다.
일 실시예에서, 각각의 무한 임펄스 응답 필터의 주파수 의존성은 복수의 미리 정의된 필터 파라미터에 의해 정의되며, 복수의 미리 정의된 필터 파라미터는, 각각의 무한 임펄스 응답 필터의 주파수 의존성이 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를, 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 근사시키도록 선택된다.
일 실시예에서, 복수의 무한 임펄스 응답 필터는 복수의 바이쿼드 필터를 포함한다. 복수의 바이쿼드 필터는 병렬 필터 또는 캐스케이드 필터로서 구현될 수 있다. 캐스케이드 필터의 사용이 전달 함수의 스펙트럼 특징을 더 잘 근사시키므로 기 때문에 바람직하다. 도 4는 쉘빙 필터(401a,b) 및 피킹 필터(403a-c)를 포함하는 복수의 바이쿼드 필터를 보여주며, 위에서 이미 설명한 바와 같이, 스펙트럼 분석 및 필터 크기 응답으로부터 획득된 전달 함수들 사이의 거리를 최소화하기 위해 도 1에 도시된 오디오 신호 처리 장치(100)의 필터(105)에서 구현될 수 있다.
도 5는 도 1에 도시된 오디오 신호 처리 장치(100)의 필터(105)에서 구현될 수 있는 예시적인 쉘빙 필터(401a)의 주파수 의존성 및 예시적인 피킹 필터(403a)의 주파수 의존성을 나타낸 개략도이다. 웰빙 필터(401a)는 두 개의 필터 파라미터, 즉 신호가 변경되는, 주파수 범위를 정의하는 차단 주파수
Figure pct00120
및 신호가 얼마나 부스팅(또는
Figure pct00121
<0 dB이면 감쇄)되는지를 정의하는 이득
Figure pct00122
에 의해 정의된다. 피킹 필터(403a)는 품질 계수
Figure pct00123
와 직접 관련되는, 세 개의 필터 파라미터에 즉 피크가 위치하는 차단 주파수
Figure pct00124
, 피크의 높이를 정의하는 이득
Figure pct00125
(또는
Figure pct00126
<0 dB이면 노치) 및 피크 (또는 노치)의 대역폭
Figure pct00127
에 의해 결정될 수 있다.
일 실시예에서, 필터 파라미터는 수치 최적화 방법을 사용하여 획득될 수 있다.
그러나, 보다 메모리 효율이 좋은 일 실시예에서, 예를 들어 도 3에서 제공되는 스펙트럼 정보에 기초하여 필터 파라미터를 유도하기 위해 애드혹(ad-hoc) 방법이 사용될 수 있다. 따라서, 일 실시예에서 복수의 무한 응답 필터 중 적어도 하나의 무한 임펄스 응답 필터에 대해서는, 복수의 미리 정의된 필터 파라미터를, 복수의 측정된 좌우 귀 전달 함수 쌍의 왼측 귀 전달 함수 또는 우측 귀 전달 함수가 최소 또는 최대 크기를 갖는 주파수 및 방위각 및/또는 앙각을 결정하고, 그 적어도 하나의 무한 임펄스 응답 필더의 주파수 의존성에 의해 복수의 측정된 좌우 귀 전달 함수 쌍의 왼측 귀 전달 함수 또는 우측 귀 전달 함수를 근사시킴으로써, 계산하거나 선택한다.
도 6은 일 실시예에 따른 오디오 신호 처리 장치, 예를 들어 도 1에 도시된 오디오 신호 처리 장치(100)에서 구현될 수 있는, 도 3에 이미 도시된 데이터를 사용하는 필터 파라미터의 선택을 나타낸 개략도이다. 필터 파라미터의 유도는 측정 된 전달 함수에서 가장 중요한 스펙트럼 특징(spectral feature), 즉 피크 및 노치를 찾는 것으로 시작된다. 식별된 특징 각각에 대해, 관련된 특징 특성, 즉 수평축 상에서 판독될 수 있는 대응하는 중심 앙각
Figure pct00128
, 수직축 상에서 판독될 수 있는 대응하는 중심 주파수
Figure pct00129
, 최대 대응하는 스펙트럼 값
Figure pct00130
(피크에 대응하는
Figure pct00131
> 0 및 노치에 대한
Figure pct00132
<0) 및 최대 대역폭
Figure pct00133
이 추출된다.
일 실시예에서, 필터 파라미터들, 즉 (피킹 필터(403a-c)에 대해 정의된) 차단 주파수 파라미터
Figure pct00134
, 이득 파라미터
Figure pct00135
및/또는 대역폭 파라미터
Figure pct00136
는 하기 식:
Figure pct00137
,
Figure pct00138
,
Figure pct00139
에 기초하여 결정되며,
여기서
Figure pct00140
와
Figure pct00141
는
Figure pct00142
의 최대 값과 최소 값을 각각 나타내고,
Figure pct00143
는 대응하는 필터 파라미터를 변경하는 속도를 제어하는 계수를 나타낸다.
일 실시예에서, 파라미터
Figure pct00144
,
Figure pct00145
및
Figure pct00146
는 선택된 스펙트럼 특징을 최대한 근사하게 모델링하기 위해 세 가지 필터 디자인 파라미터
Figure pct00147
,
Figure pct00148
및
Figure pct00149
에 대해 수동으로 설정된다.
이어서, 파라미터
Figure pct00150
,
Figure pct00151
및
Figure pct00152
는 IIR 필터의 크기 응답이 스펙트럼 분석에 의해 획득되는 전달 함수와 매칭되는 방식으로 모든 스펙트럼 특징에 대해 개선될 수 있다.
필터 파라미터를 결정하기 위한 상술한 실시예에서, 13개의 파라미터
Figure pct00153
만 각각의 IIR 필터에 대해 저장되어야 하며, 여기서 처음 네 개의 파라미터
Figure pct00154
는 스펙트럼 분석으로부터 직접 취할 수 있고 다른 파라미터는 수동으로 설정할 수있다.
따라서, 전술한 식이 주어지면, 필터(401a,b 및 403a-c)의 파라미터는 원하는 앙각
Figure pct00155
의 함수로서 직접 유도될 수 있다. 중간 평면(median plane)에서만 측정된, 즉 특정 반경 거리
Figure pct00156
및 특정 앙각
Figure pct00157
에 대한 정보만을 포함하는 미리 정의된 전달 함수의 세트, 즉
Figure pct00158
및
Figure pct00159
가 주어지면, 이들 전달 함수는 전술한 바와 유사한 방식으로 임의의 원하는 방위각
Figure pct00160
, 즉 삼차원으로 확장될 수 있다.
도 7은 일 실시예에 따른 오디오 신호 처리 장치의 일부, 예를 들어 도 1에 도시된 오디오 신호 처리 장치(100)의 일부를 보여준다. 일 실시예에서, 오디오 신호 처리 장치(100)의 조정 필터(107)는 결정된 좌우 귀 전달 함수 쌍 및 조정 함수(109)에 기초하여, 좌측 귀 출력 오디오 신호(111a)를 획득하기 위해 조정 함수(100)를 좌측 귀 전달 함수와 컨볼루션하고 그 결과를 입력 오디오 신호(101)와 컨볼루션함으로써, 및/또는 우측 귀 전달 오디오 신호(111b)를 획득하기 위해 조정 함수(109)를 우측 귀 전달 함수와 컨볼루션하고 그 결과를 입력 오디오 신호(101)와 컨볼루션함으로써, 입력 오디오 신호(101)를 필터링하도록 구성된다.
도 8은 일 실시예에 따른 오디오 신호 처리 장치의 일부, 예를 들어 도 1에 도시된 오디오 신호 처리 장치(100)의 일부를 보여준다. 일 실시예에서, 오디오 신호 처리 장치(100)의 조정 필터(107)는 결정된 좌우 귀 전달 함수 쌍 및 조정 함수(109)에 기초하여, 좌측 귀 출력 오디오 신호(111a)를 획득하기 위해 좌측 귀 전달 함수를 입력 오디오 신호(101)와 컨볼루션하고 그 결과를 조정 함수(109)와 컨볼루션함으로써, 및/또는 우측 귀 전달 오디오 신호(111b)를 획득하기 위해 우측 귀 전달 함수를 입력 오디오 신호(101)와 컨볼루션하고 그 결과를 조정 함수(109)와 컨볼루션함으로써, 입력 오디오 신호(101)를 필터링하도록 구성된다.
도 9는 일 실시예에 따른 오디오 신호 처리 장치, 예를 들어 도 1에 도시된 오디오 신호 처리 장치(100)에 사용될 수 있는 예시적인 시나리오를 나타낸 개략도를 보여준다. 도 9에 도시된 실시예에서, 오디오 신호 처리 장치(100)는 가상 라우드스피커 서라운드 시스템을 시뮬레이팅하는 헤드폰을 통해 바이노럴 사운드를 합성하도록 구성된다. 이를 위해, 오디오 신호 처리 장치(100)는 바이노럴 사운드, 즉 좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 출력하도록 구성된 적어도 하나의 트랜스듀스, 특히 크로스토크 제거(crosstalk cancellation)를 사용하는 헤드폰 또는 라우드스피커를 포함 할 수있다.
도 9의 예에서, 시뮬레이션중인 가상 라우드스피커 서라운드 시스템은 전방 좌측(FL), 전방 우측(FR), 전방 중앙(FC), 후방 좌측(RL) 및 후방 우측(RR) 라우드스피커를 구비하여 설치된다. 이 예에서, 다섯 개의 라우드스피커에 대응하는 다섯 개의 HRTF는 가상 라우드스피커에 대한 바이노럴 사운드를 합성하기 위해 저장될 수 있다. 원하는 높이의 라우드스피커 위치, 전방 좌측 높이(FLH), 전방 우측 높이(FRH), 전방 중앙 높이(FCH), 후방 좌측 높이(RLH) 및 후방 우측 높이(RRH)의 위치가 주어지면, 오디오 신호 처리 장치(100)는 저장된 다섯 개의 수평 HRTF를 대응하는 상승된(elevated) HRTF로 효율적으로 확장시킬 수 있다. 따라서, 오디오 신호 처리 장치(100)를 사용함으로써, 5.1 사운드 시스템을 통한 바이노럴 렌더링 시스템은 10.2 사운드 시스템으로 확장된다.
도 10은 청취자가 입력 오디오 신호 (101)가 방위각 (azimuth)에 의해 정의 된 가상 목표 위치로부터 오는 것으로 인식하는 방식으로 청취자에게 송신 될 입력 오디오 신호 (101)를 처리하기위한 오디오 신호 처리 방법 (1000) 각도 및 청취자에 대한 앙각을 나타낸다.
도 10은, 청취자가 청취자에 상대적인 방위각 및 앙각에 의해 정의된 가상 타깃 위치로부터 오는 입력 오디오 신호(101)를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호(101)를 처리하는 오디오 신호 처리 방법(1000)을 나타낸 개략도를 보여준다.
오디오 신호 처리 방법(1000)은 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하는 단계(1001) - 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되고, 복수의 참조 위치는 이차원 평면 내에 있음 -; 및 좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 획득하기 위해, 결정된 좌우 귀 전달 함수 쌍, 그리고 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된 조정 함수(109)에 기초하여, 입력 오디오 신호(101)를 필터링하는 단계(1003)를 포함한다.
본 발명의 실시예는 상이한 이점을 실현한다. 오디오 신호 처리 장치(100) 및 오디오 신호 처리 방법(1000)은 바이노럴 사운드, 즉 청취자에 의해 가상 타깃 위치로부터 오는 것으로 지각되는 오디오 신호를 합성하는 수단을 제공한다. 오디오 신호 처리 장치(100)는 일반화된 데이터베이스로부터 획득되거나 특정 사용자에 대해 측정될 수 있는 "이차원"의 미리 정의된 전달 함수의 세트에 기초하여 기능한다. 또한, 음성 신호 처리 장치(100)는, 합성 사운드에서의 전후 또는 표고 효과(front-back or elevation effect)를 보강하는 수단을 제공할 수도 있다. 본 발명의 실시예는 상이한 시나리오, 예를 들어 미디어 재생에서 적용될 수 있는데, 이것은 5.1 이상(예를 들어, 10.2 또는 심지어 22.2)의 가상 서라운드 렌더링으로, 5.1 전달 함수 및 파라미터만을 저장하여 기본적인 이차원 세트에 기초하여 모든 삼차원 방위각 및 앙각을 획득한다. 본 발명의 실시예는 저해상도의 전달 함수에 기초한 고해상도의 완전한 구면 전달 함수를 얻기 위해 가상 현실에도 적용될 수 있다. 본 발명의 실시예는 필요한 메모리 및 신호 처리 알고리즘의 복잡도에 관한 바이노럴 사운드 합성의 효과적인 구현을 제공한다.
본 발명의 구체적인 특징 또는 측면을 여러 구현예 또는 실시예 중 하나만에 관하여 개시하였을 수도 있지만, 그러한 특징 또는 측면은 임의의 주어진 또는 특정 실시예에 대해 바람직하고 유리할 수 있는 다른 구현예 또는 실시예의 하나 이상의 다른 특징 또는 측면과 결합될 수 있다. 또한, 상세한 설명 또는 청구 범위에서 "포함한다", "가지고 있다", "구비한" 또는 다른 변형예가 사용되는 한도 내에서, 그러한 용어는 용어 "포함한다(comprise)"와 유사한 방식으로 포괄적인 것으로 의도된다. 또한, "예시적인", "예를 들어 "및 "예컨대" 등의 용어는 최선 또는 최적이 아니라 단지 예를 의미한다. "결합된(coupled)" 및 "연결된(connected)"과 같은 용어가 파생어와 함께 사용될 수 있습니다. 이들 용어는 두 개의 요소가 직접 물리적 또는 전기적 접촉하는지, 또는 서로 직접 접촉하지 않는지에 관계없이 협력하거나 상호 작용한다는 것을 나타 내기 위해 사용될 수 있음을 이해해야 한다.
본 명세서에서 특정 측면이 예시되고 기술되었지만, 당업자는 다양한 대안 및/또는 등가의 구현이 본 발명의 범위를 벗어나지 않으면서 도시되고 설명된 특정 측면들로 대체될 수 있음을 이해할 것이다. 본출원은 여기에서 논의된 특정 측면의 모든 개조 또는 변형을 포함하도록 의도된다.
이하의 청구의 범위에 있는 요소는 대응하는 라벨을 갖는 특정 시퀀스로 열거되지만, 청구항의 기재가 그렇지 않으면 그러한 요소의 일부 또는 전부를 구현하기 위한 특정 시퀀스를 암시하지 않는 한, 이들 요소는 반드시 그 특정 시퀀스로 구현되는 것으로 제한되는 것은 아니다.
상기 교시에 비추어 많은 대안, 수정 및 변형이 당업자에게 명백할 것이다. 물론, 당업자는 본 명세서에 기재된 것 이상의 수많은 발명의 응용이 있음을 쉽게 인식할 수 있다. 본 발명은 하나 이상의 특정 실시예를 참조하여 설명되었지만, 당업자는 본 발명의 범위를 벗어나지 않으면서 많은 변경이 이루어질 수 있음을 안다. 따라서, 첨부된 청구범위 및 그 등가물의 범위 내에서, 본 발명은 본 명세서에 구체적으로 기재된 것과 다르게 실시될 수 있음을 이해해야 한다.

Claims (16)

  1. 청취자가 청취자에 상대적인 방위각(azimuth angle) 및 앙각(elevation angle)에 의해 정의된 가상 타깃 위치로부터 오는 입력 오디오 신호(101)를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호(101)를 처리하는 오디오 신호 처리 장치(100)로서,
    청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되는, 미리 정의된 좌우 귀 전달 함수 쌍의 세트를 저장하도록 구성된 메모리(103) - 상기 복수의 참조 위치는 이차원 평면 내에 있음 -;
    상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하도록 구성된 결정기(105); 및
    좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 획득하기 위해, 결정된 상기 좌우 귀 전달 함수 쌍, 그리고 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 조정하도록 구성된 조정 함수에 기초하여, 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 상기 입력 오디오 신호(101)를 필터링하도록 구성된 조정 필터(107)
    를 포함하는 오디오 신호 처리 장치(100).
  2. 제1항에 있어서,
    상기 조정 필터(107)는 상기 가상 타깃 위치와 청취자의 좌측 귀 사이의 거리 및 상기 가상 타깃 위치와 청취자의 우측 귀 사이의 거리와 연관된 사운드 이동 시간차를 보상함으로써, 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되는, 오디오 신호 처리 장치(100).
  3. 제1항 또는 제2항에 있어서,
    상기 조정 필터(107)는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연을 하기 식:
    Figure pct00161
    및
    Figure pct00162
    에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며,
    여기서,
    Figure pct00163
    은 상기 좌측 귀 전달 함수에 적용되는 지연을 나타내고,
    Figure pct00164
    은 상기 우측 귀 전달 함수에 적용되는 지연을 나타내며,
    Figure pct00165
    및
    Figure pct00166
    는 하기 식:
    Figure pct00167
    및
    Figure pct00168
    에 기초하여 정의되며,
    여기서,
    Figure pct00169
    는 초 단위의 지연이고, c는 음의 속도이고,
    Figure pct00170
    는 청취자의 머리와 연관된 파라미터이고,
    Figure pct00171
    는 상기 가상 타깃 위치의 방위각이며,
    Figure pct00172
    는 상기 가상 타깃 위치의 앙각인, 오디오 신호 처리 장치(100).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 조정 필터(107)는 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 주파수 의존성을 복수의 무한 임펄스 응답 필터(401a,b, 403a-c)에 기초하여 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되며,
    상기 복수의 무한 임펄스 응답 필터(401a,b, 403a-c)는 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 및 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성되는, 오디오 신호 처리 장치(100).
  5. 제4항에 있어서,
    각각의 상기 무한 임펄스 응답 필터(401a, b, 403a-c)의 주파수 의존성은 복수의 미리 정의된 필터 파라미터에 의해 정의되고, 상기 복수의 미리 정의된 필터 파라미터는, 각각의 상기 무한 임펄스 응답 필터(401a, b, 403a-c)의 주파수 의존성이 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 주파수 의존성의 적어도 일부를 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 근사시키도록 선택되는, 오디오 신호 처리 장치(100).
  6. 제5항에 있어서,
    상기 복수의 무한 임펄스 응답 필터(401a,b, 403a-c)는 복수의 바이쿼드 필터(biquad filter)(401a,b, 403a-c)를 포함하고, 상기 복수의 바이쿼드 필터는 병렬 필터 또는 캐스케이드 필터(cascaded filter)로 구현될 수 있는, 오디오 신호 처리 장치(100).
  7. 제6항에 있어서,
    상기 복수의 바이쿼드 필터(401a,b, 403a-c)는 하나 이상의 쉘빙 필터(shelving filter)(401a,b) 및/또는 하나 이상의 피킹 필터(peaking filter)(403a-c)를 포함하며, 상기 하나 이상의 쉘빙 필터(401a,b)는 차단 주파수 파라미터
    Figure pct00173
    및 이득 파라미터
    Figure pct00174
    에 의해 정의되고, 상기 하나 이상의 피킹 필터(403a-c)는 차단 주파수 파라미터
    Figure pct00175
    , 이득 파라미터
    Figure pct00176
    및 대역폭 파라미터
    Figure pct00177
    에 의해 정의되는, 오디오 신호 처리 장치(100).
  8. 제7항에 있어서,
    상기 복수의 무한 응답 필터 중 하나 이상의 무한 임펄스 응답 필터(403a-c)에 대해, 상기 복수의 미리 정의된 필터 파라미터는, 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수가 최소 또는 최대 크기를 갖는 주파수와 방위각 및/또는 앙각을 결정하고, 상기 하나 이상의 무한 임펄스 응답 필터(403a-c)의 주파수 의존성에 의해 상기 복수의 측정된 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수 또는 우측 귀 전달 함수의 의존성을 근사시킴으로써 선택되는, 오디오 신호 처리 장치(100).
  9. 제7항 또는 제8항에 있어서,
    상기 차단 주파수 파라미터
    Figure pct00178
    , 상기 이득 파라미터
    Figure pct00179
    및/또는 상기 대역폭 파라미터
    Figure pct00180
    는 하기 식:
    Figure pct00181
    ,
    Figure pct00182
    ,
    Figure pct00183
    에 기초하여 결정되며,
    여기서
    Figure pct00184
    와
    Figure pct00185
    는
    Figure pct00186
    의 최대 값과 최소 값을 각각 나타내고,
    Figure pct00187
    는 대응하는 필터 파라미터를 변경하는 속도를 제어하는 계수를 나타내는, 오디오 신호 처리 장치(100).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 조정 필터(107)는 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수(109)에 기초하여, 상기 좌측 귀 오디오 신호(111a)를 획득하기 위해 상기 조정 함수(109)를 상기 좌측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호(101)와 컨볼루션함으로써, 및/또는 상기 우측 귀 오디오 신호(111ba)를 획득하기 위해 상기 조정 함수(109)를 상기 우측 귀 전달 함수와 컨볼루션하고 그 결과를 상기 입력 오디오 신호(101)와 컨볼루션함으로써, 상기 입력 오디오 신호(101)를 필터링하도록 구성되는, 오디오 신호 처리 장치(100).
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 조정 필터(107)는 결정된 상기 좌우 귀 전달 함수 쌍 및 상기 조정 함수(109)에 기초하여, 상기 좌측 귀 출력 오디오 신호(111a)를 획득하기 위해 상기 좌측 귀 전달 함수를 상기 입력 오디오 신호(101)와 컨볼루션하고 그 결과를 상기 조정 함수(109)와 컨볼루션함으로써, 및/또는 상기 우측 귀 전달 오디오 신호(111b)를 획득하기 위해 상기 우측 귀 전달 함수를 상기 입력 오디오 신호(101)와 컨볼루션하고 그 결과를 상기 조정 함수(109)와 컨볼루션함으로써, 상기 입력 오디오 신호(101)를 필터링하도록 구성되는, 오디오 신호 처리 장치(100).
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 오디오 신호 처리 장치(100)는 한 쌍의 트랜스듀서(transducer)를 더 포함하고, 특히 크로스토크 제거를 사용하는 헤드폰 또는 라우드스피커를 더 포함하고, 상기 좌측 귀 출력 오디오 신호(111a) 및 상기 우측 귀 출력 오디오 신호(111b)를 출력하도록 구성되는, 오디오 신호 처리 장치(100).
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 대해 수평면 내에 있는, 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되는, 오디오 신호 처리 장치(100).
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 결정기(105)는, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여, 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍들의 세트에서 한 쌍의 좌우 귀 전달 함수를 선택함으로써, 및/또는 상기 가상 타깃 위치의 방위각 및 앙각에 대해 상기 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 보간함으로써, 상기 좌우 귀 전달 함수 쌍을 결정하도록 구성되는, 오디오 신호 처리 장치(100).
  15. 청취자가 청취자에 상대적인 방위각 및 앙각에 의해 정의된 가상 타깃 위치로부터 오는 입력 오디오 신호(101)를 지각하는 방식으로, 청취자에게 송신될 입력 오디오 신호(101)를 처리하는 오디오 신호 처리 방법(1000)으로서,
    상기 가상 타깃 위치의 방위각 및 앙각에 대해 미리 정의된 좌우 귀 전달 함수 쌍의 세트에 기초하여 한 쌍의 좌우 귀 전달 함수를 결정하는 단계(1001) - 상기 미리 정의된 좌우 귀 전달 함수 쌍은 청취자에 상대적인 복수의 참조 위치에 대해 미리 정의되고, 상기 복수의 참조 위치는 이차원 평면 내에 있음 -; 및
    좌측 귀 출력 오디오 신호(111a) 및 우측 귀 출력 오디오 신호(111b)를 획득하기 위해, 결정된 상기 좌우 귀 전달 함수 쌍, 그리고 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수 사이의 지연 및 결정된 상기 좌우 귀 전달 함수 쌍의 좌측 귀 전달 함수와 우측 귀 전달 함수의 주파수 의존성을 상기 가상 타깃 위치의 방위각 및/또는 앙각의 함수로서 조정하도록 구성된 조정 함수(109)에 기초하여, 상기 입력 오디오 신호(101)를 필터링하는 단계(1003)
    를 포함하는 오디오 신호 처리 방법.
  16. 컴퓨터상에서 실행될 때, 제15항의 오디오 신호 처리 방법(1000)을 수행하기위한 프로그램 코드를 포함하는 컴퓨터 프로그램.
KR1020187018740A 2015-12-07 2015-12-07 오디오 신호 처리 장치 및 방법 KR102172051B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/078805 WO2017097324A1 (en) 2015-12-07 2015-12-07 An audio signal processing apparatus and method

Publications (2)

Publication Number Publication Date
KR20180088721A true KR20180088721A (ko) 2018-08-06
KR102172051B1 KR102172051B1 (ko) 2020-11-02

Family

ID=54782744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187018740A KR102172051B1 (ko) 2015-12-07 2015-12-07 오디오 신호 처리 장치 및 방법

Country Status (6)

Country Link
US (1) US10492017B2 (ko)
EP (1) EP3375207B1 (ko)
JP (1) JP6690008B2 (ko)
KR (1) KR102172051B1 (ko)
CN (1) CN108370485B (ko)
WO (1) WO2017097324A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358283B1 (ko) * 2016-05-06 2022-02-04 디티에스, 인코포레이티드 몰입형 오디오 재생 시스템
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
KR102119239B1 (ko) * 2018-01-29 2020-06-04 구본희 바이노럴 스테레오 오디오 생성 방법 및 이를 위한 장치
CN114205730A (zh) 2018-08-20 2022-03-18 华为技术有限公司 音频处理方法和装置
EP3900394A1 (en) * 2018-12-21 2021-10-27 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Sound reproduction/simulation system and method for simulating a sound reproduction
US10932083B2 (en) * 2019-04-18 2021-02-23 Facebook Technologies, Llc Individualization of head related transfer function templates for presentation of audio content
US10976991B2 (en) * 2019-06-05 2021-04-13 Facebook Technologies, Llc Audio profile for personalized audio enhancement
CN113691927B (zh) * 2021-08-31 2022-11-11 北京达佳互联信息技术有限公司 音频信号处理方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
JP2000023299A (ja) * 1998-07-01 2000-01-21 Ricoh Co Ltd 音像定位制御装置および音像定位制御方式
US20010040968A1 (en) * 1996-12-12 2001-11-15 Masahiro Mukojima Method of positioning sound image with distance adjustment
US7167567B1 (en) * 1997-12-13 2007-01-23 Creative Technology Ltd Method of processing an audio signal
US20130336494A1 (en) * 2012-06-13 2013-12-19 Dialog Semiconductor B.V. AGC Circuit for an Echo Cancelling Circuit
JP2014506416A (ja) * 2010-12-22 2014-03-13 ジェノーディオ，インコーポレーテッド オーディオ空間化および環境シミュレーション

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5580913A (en) * 1978-12-15 1980-06-18 Toshiba Corp Characteristic setting method for digital filter
JP2924502B2 (ja) * 1992-10-14 1999-07-26 ヤマハ株式会社 音像定位制御装置
US6072877A (en) * 1994-09-09 2000-06-06 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
JP4264686B2 (ja) * 2000-09-14 2009-05-20 ソニー株式会社 車載用音響再生装置
US7680289B2 (en) * 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
CN101116374B (zh) * 2004-12-24 2010-08-18 松下电器产业株式会社 声像定位装置
JP2006203850A (ja) * 2004-12-24 2006-08-03 Matsushita Electric Ind Co Ltd 音像定位装置
CN103716748A (zh) * 2007-03-01 2014-04-09 杰里·马哈布比 音频空间化及环境模拟
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
US9131305B2 (en) * 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
EP2869599B1 (en) * 2013-11-05 2020-10-21 Oticon A/s A binaural hearing assistance system comprising a database of head related transfer functions
CN104853283A (zh) * 2015-04-24 2015-08-19 华为技术有限公司 一种音频信号处理的方法和装置
WO2017075398A1 (en) * 2015-10-28 2017-05-04 Jean-Marc Jot Spectral correction of audio signals

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440639A (en) * 1992-10-14 1995-08-08 Yamaha Corporation Sound localization control apparatus
US20010040968A1 (en) * 1996-12-12 2001-11-15 Masahiro Mukojima Method of positioning sound image with distance adjustment
US7167567B1 (en) * 1997-12-13 2007-01-23 Creative Technology Ltd Method of processing an audio signal
JP2000023299A (ja) * 1998-07-01 2000-01-21 Ricoh Co Ltd 音像定位制御装置および音像定位制御方式
JP2014506416A (ja) * 2010-12-22 2014-03-13 ジェノーディオ，インコーポレーテッド オーディオ空間化および環境シミュレーション
US20130336494A1 (en) * 2012-06-13 2013-12-19 Dialog Semiconductor B.V. AGC Circuit for an Echo Cancelling Circuit

Also Published As

Publication number Publication date
US20180324541A1 (en) 2018-11-08
US10492017B2 (en) 2019-11-26
JP6690008B2 (ja) 2020-04-28
EP3375207A1 (en) 2018-09-19
CN108370485A (zh) 2018-08-03
CN108370485B (zh) 2020-08-25
WO2017097324A1 (en) 2017-06-15
JP2019502337A (ja) 2019-01-24
KR102172051B1 (ko) 2020-11-02
EP3375207B1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
KR102172051B1 (ko) 오디오 신호 처리 장치 및 방법
EP3509327B1 (en) Method for generating customized spatial audio with head tracking
US9961466B2 (en) Audio signal processing apparatus and method for binaural rendering
CN107018460B (zh) 具有头部跟踪的双耳头戴式耳机呈现
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
RU2736418C1 (ru) Принцип формирования улучшенного описания звукового поля или модифицированного описания звукового поля с использованием многоточечного описания звукового поля
KR101627652B1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
KR102430769B1 (ko) 몰입형 오디오 재생을 위한 신호의 합성
US9749767B2 (en) Method and apparatus for reproducing stereophonic sound
KR20180135973A (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
US11122384B2 (en) Devices and methods for binaural spatial processing and projection of audio signals
WO2006067893A1 (ja) 音像定位装置
EP3225039B1 (en) System and method for producing head-externalized 3d audio through headphones
Koyama Boundary integral approach to sound field transform and reproduction
GB2581785A (en) Transfer function dataset generation system and method
Choi Extension of perceived source width using sound field reproduction systems
Sunder 7.1 BINAURAL AUDIO TECHNOLOGIES-AN
WO2021063458A1 (en) A method and system for real-time implementation of time-varying head-related transfer functions
Vorländer Convolution and sound synthesis
Renhe DESC9115: Digital Audio Systems-Final Project

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant