KR20210043660A - 오디오 처리 방법 및 장치 - Google Patents

오디오 처리 방법 및 장치 Download PDF

Info

Publication number
KR20210043660A
KR20210043660A KR1020217007802A KR20217007802A KR20210043660A KR 20210043660 A KR20210043660 A KR 20210043660A KR 1020217007802 A KR1020217007802 A KR 1020217007802A KR 20217007802 A KR20217007802 A KR 20217007802A KR 20210043660 A KR20210043660 A KR 20210043660A
Authority
KR
South Korea
Prior art keywords
target
hrtf
hrtfs
correction factor
sum
Prior art date
Application number
KR1020217007802A
Other languages
English (en)
Other versions
KR102502551B1 (ko
Inventor
가빈 키어니
칼 암스트롱
빈 왕
쩌신 류
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Priority to KR1020237005716A priority Critical patent/KR20230027335A/ko
Publication of KR20210043660A publication Critical patent/KR20210043660A/ko
Application granted granted Critical
Publication of KR102502551B1 publication Critical patent/KR102502551B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 출원의 실시예들은 오디오 처리 방법 및 장치를 제공한다. 본 방법은: 처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 오디오 신호를 획득하는 단계; M개의 제1 HRTF와 M개의 제2 HRTF를 획득하는 단계- M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 오디오 신호가 대응하는 HRTF들임 -; a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 단계; 및 a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고, d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 오디오 신호에 기초하여, 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하는 단계를 포함한다. a+c=M이고, b+d=M이다. 본 출원의 실시예들에서, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소된다.

Description

오디오 처리 방법 및 장치
본 출원은 2018년 8월 20일자로 중국 특허청에 출원되고 발명의 명칭이 "AUDIO PROCESSING METHOD AND APPARATUS"인 중국 특허 출원 제2018109500909호에 대한 우선권을 주장하며, 이 출원은 본원에 전체적으로 참조로 포함된다.
본 출원은 사운드 처리 기술에 관한 것으로, 특히, 오디오 처리 방법 및 장치에 관한 것이다.
고성능 컴퓨터들 및 신호 처리 기술들의 급속한 발전으로, 가상 현실 기술은 점점 더 관심을 끌고 있다. 몰입형 가상 현실 시스템은 놀라운 시각 효과뿐만 아니라 사실적인 청각 효과를 요구한다. 시청각 통합은 가상 현실의 경험을 크게 향상시킬 수 있다. 가상 현실 오디오의 핵심은 3차원 오디오 기술이다. 현재, 3차원 오디오를 구현하기 위한 복수의 재생 방법(예를 들어, 다채널 기반 방법 및 객체 기반 방법)이 존재한다. 그러나, 기존의 가상 현실 디바이스에서는, 멀티-채널 헤드셋에 기초한 바이너럴 재생(binaural playback)이 가장 흔하게 사용된다.
종래 기술에서의 렌더링된 스테레오 신호는 좌측 채널 신호(좌측 귀 위치에 대한 오디오 신호)와 우측 채널 신호(우측 귀 위치에 대한 오디오 신호)를 포함한다. 좌측 채널 신호와 우측 채널 신호 양쪽 모드는 모든 위치에 대응하는 HRTF들과 오디오 신호들의 컨볼루션을 통해 획득되는 복수의 컨볼빙된 오디오 신호들을 중첩시킴으로써 획득되고, 여기서 오디오 신호들은 대응하는 위치들에서 가상 스피커들에 의해 처리된다. 이 방법을 사용하여 획득된 좌측 채널 신호와 우측 채널 신호 사이에 크로스토크(crosstalk)가 존재한다.
본 출원의 실시예들은 오디오 신호 수신단에 의해 출력되는 좌측 채널 신호와 우측 채널 신호 사이의 크로스토크를 감소시키기 위한, 오디오 처리 방법 및 장치를 제공한다.
제1 양태에 따르면, 본 출원의 실시예는 오디오 처리 방법을 제공하고, 이 오디오 처리 방법은:
처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하는 단계- M은 양의 정수이고, M개의 가상 스피커는 M개의 제1 오디오 신호와 일대일 대응함 -;
M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하는 단계- M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제1 HRTF는 M개의 가상 스피커와 일대일 대응하고, M개의 제2 HRTF는 M개의 가상 스피커와 일대일 대응함 -;
a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 단계- 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수임 -; 및
a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고, d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하는 단계를 포함하고, c개의 제1 HRTF는 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, d개의 제2 HRTF는 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M이다.
이 해결책에서, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크는 주로 제1 타겟 오디오 신호 및 제2 타겟 오디오 신호의 높은 대역들에 의해 야기된다. 따라서, a개의 제1 HRTF의 고대역 임펄스 응답들의 수정은 제2 타겟 오디오 신호에 대한 획득된 제1 타겟 오디오 신호에 의해 야기되는 간섭을 감소시킬 수 있다. 마찬가지로, b개의 제2 HRTF의 고대역 임펄스 응답들의 수정은 제1 타겟 오디오 신호에 대한 제2 타겟 오디오 신호에 의해 야기되는 간섭을 감소시킬 수 있다. 이것은 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호와 우측 귀 위치에 대응하는 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킨다.
가능한 설계에서, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들이 미리 저장되고, M개의 제1 HRTF를 획득하는 단계는: 현재 좌측 귀 위치에 대한 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하는 단계; 및 M개의 제1 위치와 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하는 단계를 포함한다.
이 설계에 따르면, M개의 제1 HRTF가 획득된다.
가능한 설계에서, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들이 미리 저장되고, M개의 제2 HRTF를 획득하는 단계는: 현재 우측 귀 위치에 대한 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하는 단계; 및 M개의 제2 위치와 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하는 단계를 포함한다.
이 설계에 따르면, M개의 제2 HRTF가 획득된다.
가능한 설계에서, a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하는 단계는: M개의 제1 오디오 신호 각각을 a개의 제1 타겟 HRTF 및 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하는 단계; M개의 제1 컨볼빙된 오디오 신호에 기초하여 제1 타겟 오디오 신호를 획득하는 단계를 포함한다.
이 설계에 따르면, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호, 즉 좌측 채널 신호가 획득된다.
가능한 설계에서, d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하는 단계는: M개의 제1 오디오 신호 각각을 d개의 제2 HRTF 및 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하는 단계; 및 M개의 제2 컨볼빙된 오디오 신호에 기초하여 제2 타겟 오디오 신호를 획득하는 단계를 포함한다.
이 설계에 따르면, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호, 즉 우측 채널 신호가 획득된다.
가능한 설계에서, a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이 가능한 설계에서, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여, a개의 제1 타겟 HRTF를 획득하는 단계는 다음의 가능한 구현들을 포함할 수 있다.
제1 구현에서는, 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제1 타겟 HRTF를 획득하고, 제1 수정 인자는 0보다 크고 1보다 작다.
이 구현에서는, 현재 좌측 귀 위치로부터 멀리 떨어진 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답이 제1 수정 인자를 사용하여 수정되며, 제1 수정 인자는 1보다 작다. 현재 좌측 귀 위치로부터 멀리 떨어진(즉, 현재 우측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킬 수 있다.
제2 구현에서는, 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제3 타겟 HRTF를 획득하고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다. 그 후, 제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답들을 곱하여, a개의 제1 타겟 HRTF를 획득하고, 제3 수정 인자는 1보다 큰 값이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다. 또한, 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
제3 구현에서는, 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제3 타겟 HRTF를 획득하고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다. 하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득한다. 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이다. 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다. 또한, 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장될 수 있다.
가능한 설계에서, b개의 제2 HRTF는 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이 가능한 설계에서, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여, b개의 제2 타겟 HRTF를 획득하는 단계는 다음의 몇몇 가능한 구현들을 포함할 수 있다.
제1 구현에서는, 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제2 타겟 HRTF를 획득하고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
이 구현에서는, 현재 우측 귀 위치로부터 멀리 떨어진 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답은 제2 수정 인자를 사용하여 수정되며, 제2 수정 인자는 1보다 작다. 현재 우측 귀 위치로부터 멀리 떨어진(즉, 현재 좌측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제1 타겟 오디오 신호에 대한 영향이 감소되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킬 수 있다.
제2 구현에서는, 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
그 후, b개의 제4 타겟 HRTF에 포함된 제4 수정 인자 및 각각의 임펄스 응답이 승산되어, b개의 제2 타겟 HRTF를 획득하고, 여기서 제4 수정 인자는 1보다 큰 값이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다. 또한, 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
제3 구현에서는, 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이다. 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다. 또한, 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장될 수 있다.
가능한 설계에서, a=a1+a2이다. a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치하는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치하는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이 가능한 설계에서, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여, a개의 제1 타겟 HRTF를 획득하는 단계는 다음의 가능한 구현들을 포함할 수 있다.
제1 가능한 구현에서는, 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득한다. a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함한다.
제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
이 구현에서는, 현재 좌측 귀 위치로부터 멀리 떨어진 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답이 제1 수정 인자를 사용하여 수정된다. 또한, 현재 좌측 귀 위치에 가까운 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답은 제5 수정 인자를 사용하여 수정된다. 제1 수정 인자는 제5 수정 인자에 반비례한다. 현재 좌측 귀 위치로부터 멀리 떨어진(즉, 현재 우측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되고; 현재 좌측 귀 위치에 가까운(즉, 현재 우측 귀 위치로부터 멀리 떨어진) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제1 타겟 오디오 신호에 대한 영향이 향상되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 추가로 감소시킬 수 있다.
제2 가능한 구현에서는, 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득한다. 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
그 후, 제3 수정 인자와 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 a2개의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a1개의 제7 타겟 HRTF를 획득한다. a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다. 제3 수정 인자는 1보다 큰 값이고, 제6 수정 인자는 0보다 크고 1보다 작은 값이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있다. 또한, 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
제3 가능한 구현에서는, 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득한다. 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득한다. 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이다. 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. 하나의 제5 타겟 HRTF에 대해, 제3 값과 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득한다. 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이다. 제5 제곱의 합은 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제6 제곱의 합은 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있다. 또한, 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장될 수 있다.
가능한 설계에서, b=b1+b2이다. b1개의 제2 HRTF는 타겟 중심의 제2 측면에 위치하는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면에 위치하는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이 가능한 설계에서, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여, b개의 제2 타겟 HRTF를 획득하는 단계는 다음의 몇몇 가능한 구현들을 포함할 수 있다.
제1 구현에서는, 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득한다. b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함한다.
제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
이 구현에서는, 우측 귀로부터 멀리 떨어진 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답이 제2 수정 인자를 사용하여 수정된다. 또한, 우측 귀에 가까운 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답은 제7 수정 인자를 사용하여 수정된다. 제2 수정 인자는 제7 수정 인자에 반비례한다. 현재 우측 귀 위치로부터 멀리 떨어진(즉, 현재 좌측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되고; 현재 우측 귀 위치에 가까운(즉, 현재 좌측 귀 위치로부터 멀리 떨어진) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 향상되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 추가로 감소시킬 수 있다.
제2 구현에서는, 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득한다. 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
그 후, 제4 수정 인자와 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제10 타겟 HRTF를 획득한다. b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다. 제4 수정 인자는 1보다 큰 값이고, 제8 수정 인자는 0보다 크고 1보다 작은 값이다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있다. 또한, 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
제3 구현에서는, 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득한다. 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득한다. 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이다. 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. 하나의 제8 타겟 HRTF에 대해, 제4 값과 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득한다. 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이다. 제7 제곱의 합은 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제8 제곱의 합은 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
이 구현에서는, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있다. 또한, 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장될 수 있다.
가능한 설계에서, 본 방법은: 제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하는 단계- 제1 자릿수는 제3 타겟 오디오 신호의 에너지의 자릿수이고, 제3 타겟 오디오 신호는 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득됨 -; 및
제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하는 단계- 제2 자릿수는 제4 타겟 오디오 신호의 에너지의 자릿수이고, 제4 타겟 오디오 신호는 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득됨 -를 추가로 포함한다.
이 설계에서는, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하고, 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다.
제2 양태에 따르면, 본 출원의 실시예는 오디오 처리 장치를 제공하고, 이 오디오 처리 장치는:
처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하도록 구성된 처리 모듈- M은 양의 정수이고, M개의 가상 스피커는 M개의 제1 오디오 신호와 일대일 대응함 -;
M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하도록 구성된 획득 모듈- M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제1 HRTF는 M개의 가상 스피커와 일대일 대응하고, M개의 제2 HRTF는 M개의 가상 스피커와 일대일 대응함 -; 및
a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하도록 구성된 수정 모듈- 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수임 -을 포함하고;
획득 모듈은: a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고; d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하도록 추가로 구성된다. c개의 제1 HRTF는 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, d개의 제2 HRTF는 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이다. a+c=M이고, b+d=M이다.
가능한 설계에서, 획득 모듈은 구체적으로:
현재 좌측 귀 위치에 대한 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하고;
M개의 제1 위치와 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하도록 구성되고, 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이다.
가능한 설계에서, 획득 모듈은 구체적으로:
현재 우측 귀 위치에 대한 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하고;
M개의 제2 위치와 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하도록 구성되고, 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이다.
가능한 설계에서, 획득 모듈은 구체적으로:
M개의 제1 오디오 신호 각각을 a개의 제1 타겟 HRTF 및 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하고;
M개의 제1 컨볼빙된 오디오 신호에 기초하여 제1 타겟 오디오 신호를 획득하도록 구성된다.
가능한 설계에서, 획득 모듈은 구체적으로:
M개의 제1 오디오 신호 각각을 d개의 제2 HRTF 및 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하고;
M개의 제2 컨볼빙된 오디오 신호에 기초하여 제2 타겟 오디오 신호를 획득하도록 구성된다.
가능한 설계에서, a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제1 타겟 HRTF를 획득하도록 구성되고, 제1 수정 인자는 0보다 크고 1보다 작다.
가능한 설계에서, 수정 모듈은 구체적으로:
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a개의 제1 타겟 HRTF를 획득하고- 제3 수정 인자는 1보다 큰 값임 -;
또는
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하도록 구성되고, 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
가능한 설계에서, b개의 제2 HRTF는 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제2 타겟 HRTF를 획득하도록 구성되고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b개의 제2 타겟 HRTF를 획득하고- 제4 수정 인자는 1보다 큰 값임 -;
또는
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하도록 구성되고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
가능한 설계에서, a=a1+a2이다. a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치하는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치하는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하도록 구성되고, a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함한다.
제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 a2개의 제5 타겟 HRTF의 각각의 임펄스 응답을 곱하여 a1개의 제7 타겟 HRTF를 획득하고- a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 7 타겟 HRTF를 포함하고, 제3 수정 인자는 1보다 큰 값이고, 제6 수정 인자는 0보다 크고 1보다 작은 값임 -;
또는
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하고- 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제5 타겟 HRTF에 대해, 제3 값과 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하도록 구성되고, 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 제5 제곱의 합은 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제6 제곱의 합은 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
가능한 설계에서, b=b1+b2이다. b1개의 제2 HRTF는 타겟 중심의 제2 측면에 위치하는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면에 위치하는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하도록 구성되고, b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함한다.
제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b1개의 제10 타겟 HRTF를 획득하고- b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함하고, 제4 수정 인자는 1보다 큰 값이고, 제8 수정 인자는 0보다 크고 1보다 작은 값임 -;
또는
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하고- 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제8 타겟 HRTF에 대해, 제4 값과 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하도록 구성되고, 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 제7 제곱의 합은 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제8 제곱의 합은 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
가능한 설계에서, 본 장치는 조정 모듈을 추가로 포함하고, 이 조정 모듈은:
제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하고- 제1 자릿수는 제3 타겟 오디오 신호의 에너지의 자릿수이고, 제3 타겟 오디오 신호는 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득됨 -;
제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하도록 구성되고, 제2 자릿수는 제4 타겟 오디오 신호의 에너지의 자릿수이고, 제4 타겟 오디오 신호는 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된다.
제3 양태에 따르면, 본 출원의 실시예는 프로세서를 포함하는 오디오 처리 장치를 제공하고,
프로세서는: 메모리에 결합되고, 메모리 내의 명령어를 판독 및 실행하여, 제1 양태의 가능한 설계들 중 어느 하나에 따른 방법을 구현하도록 구성된다.
가능한 설계에서, 메모리가 추가로 포함된다.
제4 양태에 따르면, 본 출원의 실시예는 판독가능 저장 매체를 제공한다. 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 실행될 때, 제1 양태의 가능한 설계들 중 임의의 하나에 따른 방법이 구현된다.
제4 양태에 따르면, 본 출원의 실시예는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램이 실행될 때, 제1 양태의 가능한 설계들 중 임의의 하나에 따른 방법이 구현된다.
본 출원에서, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여, 제2 타겟 오디오 신호에 대한 획득된 제1 타겟 오디오 신호에 의해 야기되는 간섭을 감소시킬 수 있다. 또한, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여, 제1 타겟 오디오 신호에 대한 제2 타겟 오디오 신호에 의해 야기되는 간섭을 감소될 수 있다. 이것은 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호와 우측 귀 위치에 대응하는 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킨다.
도 1은 본 출원의 실시예에 따른 오디오 신호 시스템의 개략적인 구조도이고;
도 2는 본 출원의 실시예에 따른 시스템 아키텍처의 도면이고;
도 3은 본 출원의 실시예에 따른 오디오 신호 수신 장치의 구조적인 블록도이고;
도 4는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 1이고;
도 5는 본 출원의 실시예에 따라 머리 중심을 중심으로서 사용하여 HRTF가 측정되는 측정 시나리오의 도면이고;
도 6은 본 출원의 실시예에 따른 M개의 가상 스피커의 분포의 개략도이고;
도 7은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 2이고;
도 8은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 3이고;
도 9는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 4이고;
도 10은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 5이고;
도 11은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 6이고;
도 12는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 7이고;
도 13은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 8이고;
도 14는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 9이고;
도 15는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 10이고;
도 16은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 11이고;
도 17은 본 출원의 실시예에 따른 오디오 처리 장치의 개략적인 구조도 1이고;
도 18은 본 출원의 실시예에 따른 오디오 처리 장치의 개략적인 구조도 2이다.
본 출원에서의 관련 기술 용어들이 먼저 설명된다:
머리 관련 전달 함수(Head Related Transfer Function, 줄여서 HRTF): 음원에 의해 전송된 음파는 머리, 귓바퀴(auricle), 몸통 등에 의해 산란된 후에 2개의 귀에 도달한다. 음원으로부터 2개의 귀로 음파를 전달하는 물리적 프로세스는 선형 시간 불변 음향 필터링 시스템으로서 간주될 수 있고, 프로세스의 특징들은 HRTF를 사용하여 설명될 수 있다. 즉, HRTF는 음원으로부터 2개의 귀로 음파를 전달하는 프로세스를 설명한다. 보다 생생한 설명은 다음과 같다: 음원에 의해 전송된 오디오 신호가 X이고, 오디오 신호 X가 미리 설정된 위치로 전송된 후의 대응하는 오디오 신호가 Y인 경우, X*Z=Y(X와 Z의 컨볼루션은 Y와 동일함)이고, 여기서 Z는 HRTF이다.
실시예들에서, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계에서의 미리 설정된 위치는 좌측 귀 위치에 대한 위치일 수 있다. 이 경우, 복수의 HRTF는 좌측 귀 위치에 중심을 둔 복수의 HRTF이다. 대안적으로, 실시예들에서, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들에서의 미리 설정된 위치는 우측 귀 위치에 대한 위치일 수 있다. 이 경우, 복수의 HRTF는 우측 귀 위치에 중심을 둔 복수의 HRTF이다. 대안적으로, 실시예들에서, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들에서의 미리 설정된 위치는 머리 중심 위치에 대한 위치일 수 있다. 이 경우, 복수의 HRTF는 머리 중심에 중심을 둔 복수의 HRTF이다.
도 1은 본 출원의 실시예에 따른 오디오 신호 시스템의 개략적인 구조도이다. 오디오 신호 시스템은 오디오 신호 송신단(11) 및 오디오 신호 수신단(12)을 포함한다.
오디오 신호 송신단(11)은 음원에 의해 전송된 신호를 수집 및 인코딩하여, 오디오 신호 인코딩된 비트스트림을 획득하도록 구성된다. 오디오 신호 인코딩된 비트스트림을 획득한 후, 오디오 신호 수신단(12)은 오디오 신호 인코딩된 비트스트림을 디코딩하여 디코딩된 오디오 신호를 획득하고; 그 후, 디코딩된 오디오 신호를 렌더링하여 렌더링된 오디오 신호를 획득한다.
선택적으로, 오디오 신호 송신단(11)은 유선 또는 무선 방식으로 오디오 신호 수신단(12)에 접속될 수 있다.
도 2는 본 출원의 실시예에 따른 시스템 아키텍처의 도면이다. 도 2에 도시된 바와 같이, 시스템 아키텍처는 모바일 단말기(130)와 모바일 단말기(140)를 포함한다. 모바일 단말기(130)는 오디오 신호 송신단일 수 있고, 모바일 단말기(140)는 오디오 신호 수신단일 수 있다.
모바일 단말기(130)와 모바일 단말기(140)는 서로 독립적이고 오디오 신호 처리 능력을 가지는 전자 디바이스들일 수도 있다. 예를 들어, 모바일 단말기(130)와 모바일 단말기(140)는 모바일 폰들, 웨어러블 디바이스들, 가상 현실(virtual reality, VR) 디바이스들, 증강 현실(augmented reality, AR) 디바이스들 등일 수도 있다. 모바일 단말기(130)는 무선 또는 유선 네트워크를 통해 모바일 단말기(140)에 접속된다.
선택적으로, 모바일 단말기(130)는 수집 컴포넌트(131), 인코딩 컴포넌트(110), 및 채널 인코딩 컴포넌트(132)를 포함할 수 있다. 수집 컴포넌트(131)는 인코딩 컴포넌트(110)에 접속되고, 인코딩 컴포넌트(110)는 인코딩 컴포넌트(132)에 접속된다.
선택적으로, 모바일 단말기(140)는 오디오 재생 컴포넌트(141), 디코딩 및 렌더링 컴포넌트(120), 및 채널 디코딩 컴포넌트(142)를 포함할 수 있다. 오디오 재생 컴포넌트(141)는 디코딩 컴포넌트(120)에 접속되고, 디코딩 및 렌더링 컴포넌트(120)는 채널 디코딩 컴포넌트(142)에 접속된다.
수집 컴포넌트(131)를 통해 오디오 신호를 수집한 후, 모바일 단말기(130)는 인코딩 컴포넌트(110)를 통해 오디오 신호를 인코딩하여, 오디오 신호 인코딩된 비트스트림을 획득하고; 그 후, 채널 인코딩 컴포넌트(132)를 통해 오디오 신호 인코딩된 비트스트림을 인코딩하여 송신 신호를 획득한다.
모바일 단말기(130)는 무선 또는 유선 네트워크를 통해 송신 신호를 모바일 단말기(140)에 전송한다.
송신 신호를 수신한 후, 모바일 단말기(140)는 채널 디코딩 컴포넌트(142)를 통해 송신 신호를 디코딩하여, 오디오 신호 인코딩된 비트스트림을 획득하고; 디코딩 및 렌더링 컴포넌트(120)를 통해 오디오 신호 인코딩된 비트스트림을 디코딩하여 처리될 오디오 신호를 획득하고, 디코딩 및 렌더링 컴포넌트(120)를 통해 처리될 오디오 신호를 렌더링하여 렌더링된 오디오 신호를 획득하고; 오디오 재생 컴포넌트를 통해 렌더링된 오디오 신호를 재생한다. 모바일 단말기(130)는 대안적으로 모바일 단말기(140)에 포함된 컴포넌트들을 포함할 수도 있고, 모바일 단말기(140)는 대안적으로 모바일 단말기(130)에 포함된 컴포넌트들을 포함할 수도 있다는 것이 이해될 수 있다.
또한, 모바일 단말기(140)는 오디오 재생 컴포넌트, 디코딩 컴포넌트, 렌더링 컴포넌트, 및 채널 디코딩 컴포넌트를 추가로 포함할 수 있다. 채널 디코딩 컴포넌트는 디코딩 컴포넌트에 접속되고, 디코딩 컴포넌트는 렌더링 컴포넌트에 접속되고, 렌더링 컴포넌트는 오디오 재생 컴포넌트에 접속된다. 이 경우, 송신 신호를 수신한 후, 모바일 단말기(140)는 채널 디코딩 컴포넌트를 통해 송신 신호를 디코딩하여, 오디오 신호 인코딩된 비트스트림을 획득하고; 디코딩 컴포넌트를 통해 오디오 신호 인코딩된 비트스트림을 디코딩하여 처리될 오디오 신호를 획득하고; 렌더링 컴포넌트를 통해 처리될 오디오 신호를 렌더링하여, 렌더링된 오디오 신호를 획득하고; 오디오 재생 컴포넌트를 통해 렌더링된 오디오 신호를 재생한다.
도 3은 본 출원의 실시예에 따른 오디오 신호 수신 장치의 구조적인 블록도이다. 도 3을 참조하면, 본 출원의 이 실시예에서의 오디오 신호 수신 장치(20)는 적어도 하나의 프로세서(21), 메모리(22), 적어도 하나의 통신 버스(23), 수신기(24), 및 송신기(25)를 포함할 수 있다. 통신 버스(203)는 프로세서(21), 메모리(22), 수신기(24), 및 송신기(25) 사이의 접속 및 통신을 위해 사용된다. 프로세서(21)는 신호 디코딩 컴포넌트, 디코딩 컴포넌트, 및 렌더링 컴포넌트를 포함할 수 있다.
구체적으로, 메모리(22)는 다음의 저장 매체들: 솔리드-스테이트 드라이브(Solid State Drives, SSD), 기계식 하드 디스크, 자기 디스크, 자기 디스크 어레이 등 중 임의의 하나 또는 임의의 조합일 수 있고, 프로세서(21)에 명령어 및 데이터를 제공할 수 있다.
메모리(22)는 복수의 미리 설정된 위치들과 복수의 HRTF 사이의 대응관계들: (1) 좌측 귀 위치에 대한 복수의 위치, 및 좌측 귀 위치에 중심을 두고 좌측 귀 위치에 대한 위치들에 대응하는 HRTF들; (2) 우측 귀 위치에 대한 복수의 위치, 및 우측 귀 위치에 중심을 두고 우측 귀 위치에 대한 위치들에 대응하는 HRTF들; 및 (3) 머리 중심에 대한 복수의 위치, 및 머리 중심에 중심을 두고 머리 중심에 대한 위치들에 대응하는 HRTF들 중 적어도 하나를 저장하도록 구성된다.
선택적으로, 메모리(22)는 다음의 요소들: 운영 체제 및 응용 프로그램 모듈을 저장하도록 추가로 구성된다.
운영 체제는 다양한 시스템 프로그램을 포함할 수 있고, 다양한 기본 서비스를 구현하고 하드웨어 기반 작업을 처리하도록 구성된다. 응용 프로그램 모듈은 다양한 응용 프로그램을 포함할 수 있고, 다양한 응용 서비스를 구현하도록 구성된다.
프로세서(21)는 CPU(central processing unit), 범용 프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그램가능 로직 디바이스, 트랜지스터 로직 디바이스, 하드웨어 컴포넌트, 또는 이들의 임의의 조합일 수 있다. 프로세서는 본 출원에 개시된 콘텐츠를 참조하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 및 회로들을 구현 또는 실행할 수 있다. 프로세서는 대안적으로 컴퓨팅 기능을 구현하는 프로세서들의 조합, 예를 들어, 하나 이상의 마이크로프로세서의 조합, 또는 DSP와 마이크로프로세서의 조합일 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 프로세서는 임의의 종래의 프로세서 등일 수 있다.
수신기(24)는 오디오 신호 전송 장치로부터 오디오 신호를 수신하도록 구성된다.
프로세서는 메모리(22)에 저장된 프로그램 또는 명령어 및 데이터를 호출하여, 다음 단계들: 수신된 오디오 신호에 대해 채널 디코딩을 수행하여 오디오 신호 인코딩된 비트스트림을 획득하는 단계(이 단계는 프로세서의 채널 디코딩 컴포넌트에 의해 구현될 수 있음); 및 오디오 신호 인코딩된 비트스트림을 추가로 디코딩하여(이 단계는 프로세서의 디코딩 컴포넌트에 의해 구현될 수 있음), 처리될 오디오 신호를 획득하는 단계를 수행한다.
처리될 신호를 획득한 후에, 프로세서(21)는 처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하고- M개의 가상 스피커는 M개의 제1 오디오 신호와 일대일 대응하고, M은 양의 정수임 -;
M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하고- M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제1 HRTF는 M개의 가상 스피커와 일대일 대응하고, M개의 제2 HRTF는 M개의 가상 스피커와 일대일 대응함 -;
a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하고- 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수임 -;
a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고, d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하도록 구성되고, c개의 제1 HRTF는 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, d개의 제2 HRTF는 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M이다.
프로세서(21)는 구체적으로: 현재 좌측 귀 위치에 대한 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하고; M개의 제1 위치 및 메모리(22)에 저장된 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하도록 구성된다.
프로세서(21)는 구체적으로: 현재 우측 귀 위치에 대한 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하고; M개의 제2 위치 및 메모리(22)에 저장된 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하도록 구성된다.
프로세서(21)는 구체적으로: M개의 제1 오디오 신호 각각을 a개의 제1 타겟 HRTF 및 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하고; M개의 제1 컨볼빙된 오디오 신호에 기초하여 제1 타겟 오디오 신호를 획득하도록 구성된다.
프로세서(21)는 구체적으로: M개의 제1 오디오 신호 각각을 d개의 제2 HRTF 및 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하고;
M개의 제2 컨볼빙된 오디오 신호에 기초하여 제2 타겟 오디오 신호를 획득하도록 추가로 구성된다.
a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이라고 가정된다.
이 경우, 프로세서(21)는 구체적으로 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제1 타겟 HRTF를 획득하도록 추가로 구성되고, 제1 수정 인자는 0보다 크고 1보다 작다.
프로세서(21)는 구체적으로: 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답들을 곱하여, a개의 제1 타겟 HRTF를 획득하도록 추가로 구성되고, 제1 수정 인자는 1보다 큰 값이다.
프로세서(21)는 구체적으로: 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하도록 추가로 구성되고, 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
b개의 제2 HRTF는 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이라고 가정된다.
이 경우, 프로세서(21)는 구체적으로 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제2 타겟 HRTF를 획득하도록 추가로 구성되고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
프로세서(21)는 구체적으로: 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b개의 제2 타겟 HRTF를 획득하도록 추가로 구성되고, 제4 수정 인자는 1보다 큰 값이다.
프로세서(21)는 구체적으로: 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하도록 추가로 구성되고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
a=a1+a2이고, a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치되는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이라고 가정한다.
이 경우, 프로세서(21)는 구체적으로: 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하도록 추가로 구성되고, a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함한다.
제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
프로세서(21)는 구체적으로: 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 a2개의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a1개의 제7 타겟 HRTF를 획득하도록 추가로 구성된다. a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함하고, 제3 수정 인자는 1보다 큰 값이고, 제6 수정 인자는 0보다 크고 1보다 작은 값이다.
프로세서(21)는 구체적으로: 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하고- 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제5 타겟 HRTF에 대해, 제3 값과 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하도록 구성되고, 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 제5 제곱의 합은 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제6 제곱의 합은 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
b=b1+b2이고, b1개의 제2 HRTF는 타겟 중심의 제2 측면 상에 위치되는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면 상에 위치되는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이라고 가정한다.
이 경우, 프로세서(21)는 구체적으로: 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하도록 추가로 구성되고, b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함한다.
제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
프로세서(21)는 구체적으로: 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제10 타겟 HRTF를 획득하도록 추가로 구성되고, b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함하고, 제4 수정 인자는 1보다 큰 값이고, 제8 수정 인자는 0보다 크고 1보다 작은 값이다.
프로세서(21)는 구체적으로: 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하고- 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제8 타겟 HRTF에 대해, 제4 값과 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하도록 구성되고, 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 제7 제곱의 합은 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제8 제곱의 합은 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
프로세서(21)는: 제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하고- 제1 자릿수는 제3 타겟 오디오 신호의 에너지의 자릿수이고, 제3 타겟 오디오 신호는 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득됨 -;
제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하도록 추가로 구성되고, 제2 자릿수는 제4 타겟 오디오 신호의 에너지의 자릿수이고, 제4 타겟 오디오 신호는 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된다.
프로세서(21)가 처리될 신호를 획득한 후의 각각의 방법은 프로세서 내의 렌더링 컴포넌트에 의해 수행될 수 있다는 것을 이해할 수 있다.
이 실시예에서의 오디오 신호 수신 장치는 a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여, 제2 타겟 오디오 신호에 대한 획득된 제1 타겟 오디오 신호에 의해 야기되는 간섭이 감소될 수 있게 한다. 또한, 오디오 신호 수신 장치는 b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여, 제1 타겟 오디오 신호에 대한 제2 타겟 오디오 신호에 의해 야기되는 간섭이 감소될 수 있게 한다. 이것은 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호와 우측 귀 위치에 대응하는 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킨다.
다음은 본 출원에서의 오디오 처리 방법을 설명하기 위해 특정 실시예들을 사용한다. 이하의 실시예들은 모두 오디오 신호 수신단, 예를 들어, 도 2에 도시된 모바일 단말기(140)에 의해 실행된다.
도 4는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 1이다. 도 3을 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S101: 처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하고, M개의 가상 스피커는 M개의 제1 오디오 신호와 일대일 대응하고, M은 양의 정수이다.
단계 S102: M개의 HRTF와 M개의 제2 HRTF를 획득하고, M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제1 HRTF는 M개의 가상 스피커와 일대일 대응하고, M개의 제2 HRTF는 M개의 가상 스피커와 일대일 대응한다.
단계 S103: a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하고, 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수이다.
단계 S104: a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고, d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하고, c개의 제1 HRTF는 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, d개의 제2 HRTF는 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M이다.
구체적으로, 본 출원의 이 실시예에서의 방법은 오디오 신호 수신단에 의해 수행되는 방법이다. 오디오 신호 송신단은 음원에 의해 전송된 스테레오 신호를 수집하고, 오디오 신호 송신단의 인코딩 컴포넌트는 음원에 의해 전송된 스테레오 신호를 인코딩하여, 인코딩된 신호를 획득한다. 그 후, 인코딩된 신호는 무선 또는 유선 네트워크를 통해 오디오 신호 수신단으로 송신되고, 오디오 신호 수신단은 인코딩된 신호를 디코딩한다. 디코딩을 통해 획득되는 신호는 이 실시예에서 처리될 오디오 신호이다. 즉, 이 실시예에서의 처리될 오디오 신호는 프로세서 내의 디코딩 컴포넌트에 의한 디코딩을 통해 획득되는 신호, 또는 도 2의 모바일 단말기(140) 내의 디코딩 및 렌더링 컴포넌트(120) 또는 디코딩 컴포넌트에 의한 디코딩을 통해 획득되는 신호일 수 있다.
오디오 신호를 처리하기 위해 사용되는 표준이 엠비소닉스(Ambisonic)이면, 오디오 신호 송신단에 의해 획득되는 인코딩된 신호는 표준 엠비소닉스 신호라는 것을 이해할 수 있다. 이에 대응하여, 오디오 신호 수신단에 의한 디코딩을 통해 획득된 신호는 또한 엠비소닉스(Ambisonic) 신호, 예를 들어, B-포맷 엠비소닉스 신호이다. 엠비소닉스 신호는 1차 엠비소닉스(First-Order Ambisonics, 줄여서 FOA) 신호 및 고차 엠비소닉스(High-Order Ambisonics) 신호를 포함한다.
이 실시예에서의 현재 좌측 귀 위치는 현재 청취자의 좌측 귀 위치이고, 이 실시예에서의 현재 우측 귀 위치는 현재 청취자의 우측 귀 위치이다. 이 실시예에서, 제1 타겟 오디오 신호는 좌측 채널 신호이고, 제2 타겟 오디오 신호는 우측 채널 신호이다.
이하에서는 디코딩을 통해 오디오 신호 수신단에 의해 획득되는 처리될 오디오 신호가 B-포맷 엠비소닉스 신호인 예를 사용하여 이 실시예를 설명한다.
단계 S101에서, M개의 제1 오디오 신호는 처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 획득되고, M≥1이고 M은 정수이다.
선택적으로, M은 4, 8, 16 등 중 어느 하나일 수 있다.
가상 스피커는 다음의 수학식 1에 따라 처리될 오디오 신호를 제1 오디오 신호로 처리할 수 있다:
Figure pct00001
1≤m≤M이고; P1m은 처리될 오디오 신호를 m번째 가상 스피커에 의해 처리함으로써 획득되는 m번째 제1 오디오 신호를 나타내고; W는 음원의 환경에 포함되는 모든 사운드에 대응하는 컴포넌트를 나타내고, 환경 컴포넌트로서 지칭되고; X는 음원의 환경에 포함되는 모든 사운드의, X 축 상의, 컴포넌트를 나타내고, X-좌표 컴포넌트로서 지칭되고; Y는 음원의 환경에 포함되는 모든 사운드의, Y 축 상의, 컴포넌트를 나타내고, Y-좌표 컴포넌트로서 지칭되고; Z는 음원의 환경에 포함되는 모든 사운드의, Z 축 상의, 컴포넌트를 나타내며, Z-좌표 컴포넌트로서 지칭된다. 본 명세서에서 X축, Y축, 및 Z축은 각각 음원에 대응하는 3차원 좌표계(즉, 오디오 신호 송신단에 대응하는 3차원 좌표계)의 X축, Y축, 및 Z축이고, L은 에너지 조정 계수를 나타낸다.
Figure pct00002
는 오디오 신호 수신단에 대응하는 3차원 좌표계의 좌표 원점에 대한 m번째 가상 스피커의 고도를 나타내고,
Figure pct00003
는 좌표 원점에 대한 m번째 가상 스피커의 방위각을 나타낸다.
단계 S102에서, 단계 S102 이전에, 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들이 미리 획득될 필요가 있고, M개의 가상 스피커에 대응하는 M개의 제1 HRTF 및 M개의 제2 HRTF는 대응관계들에 기초하여 결정된다.
이하에서는 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들을 획득하는 방식을 설명한다. 복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들을 획득하는 방식은 다음의 방식으로 한정되지 않는다.
도 5는 본 출원의 실시예에 따라 머리 중심을 중심으로서 사용하여 HRTF가 측정되는 측정 시나리오의 도면이다. 도 5는 머리 중심(62)에 대한 몇몇 위치들(61)을 도시한다. 머리 중심에 중심을 둔 복수의 HRTF가 있고, 상이한 위치들(61)에 있는 제1 음원들에 의해 전송되는 오디오 신호들은 오디오 신호들이 머리 중심에 송신될 때 머리 중심에 중심을 둔 상이한 HRTF들에 대응한다는 것을 이해할 수 있다. 머리 중심에 중심을 둔 HRTF가 측정될 때, 머리 중심은 현재 청취자의 머리 중심일 수 있거나, 또는 다른 청취자의 머리 중심일 수 있거나, 또는 가상 청취자의 머리 중심일 수 있다.
이러한 방식으로, 복수의 미리 설정된 위치에 대응하는 HRTF들은 제1 음원들을 머리 중심(62)에 대해 상이한 미리 설정된 위치들에 설정함으로써 획득될 수 있다. 구체적으로, 머리 중심(62)에 대한 제1 음원 1의 위치가 위치 c인 경우, 제1 음원 1에 의해 전송된 신호를 머리 중심(62)에 송신하는데 사용되고 측정을 통해 획득되는 HRTF 1은 머리 중심(62)에 중심을 두고 위치 c에 대응하는 HRTF 1이고; 머리 중심(62)에 대한 제1 음원 2의 위치가 위치 d인 경우, 제1 음원 2에 의해 전송된 신호를 머리 중심(62)에 송신하는데 사용되고 측정을 통해 획득되는 HRTF 2는 머리 중심(62)에 중심을 두고 위치 d에 대응하는 HRTF 2이고; 기타등등이다. 위치 c는 방위각 1, 고도 1, 및 거리 1을 포함한다. 방위각 1은 머리 중심(62)에 대한 제1 음원 1의 방위각이다. 고도 1은 머리 중심(62)에 대한 제1 음원 1의 고도이다. 거리 1은 제1 음원 1과 머리 중심(62) 사이의 거리이다. 마찬가지로, 위치 d는 방위각 2, 고도 2, 및 거리 2를 포함한다. 방위각 2는 머리 중심(62)에 대한 제1 음원 2의 방위각이다. 고도 2는 머리 중심(62)에 대한 제1 음원 2의 고도이다. 거리 2는 제1 음원 2와 머리 중심(62) 사이의 거리이다.
머리 중심(62)에 대한 제1 음원들의 위치들을 설정하는 동안, 거리들 및 고도들이 변하지 않을 때, 인접한 제1 음원들의 방위각들은 제1 미리 설정된 각도만큼 이격될 수 있고; 거리들 및 방위각들이 변하지 않을 때, 인접한 제1 음원들의 고도들은 제2 미리 설정된 각도만큼 이격될 수 있으며; 고도들 및 방위각들이 변하지 않을 때, 인접한 제1 음원들 사이의 거리는 제1 미리 설정된 거리만큼 이격될 수 있다. 제1 미리 설정된 각도는 3° 내지 10° 중 어느 하나, 예를 들어, 5°일 수 있다. 제2 미리 설정된 각도는 3° 내지 10° 중 어느 하나, 예를 들어, 5°일 수 있다. 제1 거리는 0.05m 내지 0.2m 중 어느 하나, 예를 들어, 0.1m일 수 있다.
예를 들어, 머리 중심에 중심을 두고 위치 c(100°, 50°, 1m)에 대응하는 HRTF 1을 획득하는 프로세스는 다음과 같다: 제1 음원 1은 머리 중심에 대한 방위각이 100°인 위치에 배치되고, 머리 중심에 대한 고도는 50°이고, 머리 중심으로부터의 거리는 1m이고; 제1 음원 1에 의해 전송된 오디오 신호를 머리 중심(62)에 전송하는데 사용되는 대응하는 HRTF를 측정하여, 머리 중심에 중심을 둔 HRTF 1을 획득한다. 측정 방법은 기존의 방법이고, 세부사항들은 여기서 설명되지 않는다.
다른 예로서, 머리 중심에 중심을 두고 위치 d(100°, 45°, 1m)에 대응하는 HRTF 1을 획득하는 프로세스는 다음과 같다: 제1 음원 2는 머리 중심에 대한 방위각이 100°인 위치에 배치되고, 머리 중심에 대한 고도는 45°이고, 머리 중심으로부터의 거리는 1m이고; 제1 음원 2에 의해 전송된 오디오 신호를 머리 중심(62)에 송신하는데 사용되는 대응하는 HRTF를 측정하여, 머리 중심에 중심을 둔 HRTF 2를 획득한다.
다른 예로서, 머리 중심에 중심을 두고 위치 e(95°, 45°, 1m)에 대응하는 HRTF 1을 획득하는 프로세스는 다음과 같다: 제1 음원 3은 머리 중심에 대한 방위각이 95°인 위치에 배치되고, 머리 중심에 대한 고도는 45°이고, 머리 중심으로부터의 거리는 1m이고; 제1 음원 3에 의해 전송된 오디오 신호를 머리 중심(62)에 송신하는데 사용되는 대응하는 HRTF를 측정하여, 머리 중심에 중심을 둔 HRTF 3을 획득한다.
다른 예로서, 머리 중심에 중심을 두고 위치 f(95°, 50°, 1m)에 대응하는 HRTF 1을 획득하는 프로세스는 다음과 같다: 제1 음원 4는 머리 중심에 대한 방위각이 95°인 위치에 배치되고, 머리 중심에 대한 고도는 50°이고, 머리 중심으로부터의 거리는 1m이고; 제1 음원 4에 의해 전송된 오디오 신호를 머리 중심(62)에 전송하는데 사용되는 대응하는 HRTF를 측정하여, 머리 중심에 중심을 둔 HRTF 4를 획득한다.
다른 예로서, 머리 중심에 중심을 두고 위치 g(100°, 50°, 1.1m)에 대응하는 HRTF 1을 획득하는 프로세스는 다음과 같다: 제1 음원 5는 머리 중심에 대한 방위각이 95°인 위치에 배치되고, 머리 중심에 대한 고도는 50°이고, 머리 중심으로부터의 거리는 1m이고; 제1 음원 5에 의해 전송된 오디오 신호를 머리 중심(62)에 전송하는데 사용되는 대응하는 HRTF를 측정하여, 머리 중심에 중심을 둔 HRTF 5를 획득한다.
후속 위치(x, x, x)에서, 제1 x는 방위각을 나타내고, 제2 x는 고도를 나타내고, 제3 x는 거리를 나타낸다는 점에 유의해야 한다.
전술한 방법에 따르면, 복수의 위치와 머리 중심에 중심을 둔 복수의 HRTF 사이의 대응관계들이 측정을 통해 획득될 수 있다. 머리 중심에 중심을 둔 HRTF의 측정 동안, 제1 음원들이 배치되는 복수의 위치는 미리 설정된 위치들이라고 지칭될 수 있다는 것을 이해할 수 있다. 따라서, 전술한 방법에 따르면, 복수의 미리 설정된 위치와 머리 중심에 중심을 둔 복수의 HRTF 사이의 대응관계들이 측정을 통해 획득될 수 있다. 이 실시예에서, 대응관계들은 제1 대응관계들로 지칭되고, 미리 설정된 위치들은 머리 중심에 대한 위치들이다.
또한, 전술한 방법과 유사한 방법은 좌측 귀 위치에 중심을 둔 HRTF를 측정하여, 복수의 미리 설정된 위치와 좌측 귀 위치에 중심을 둔 복수의 HRTF 사이의 대응관계들을 획득하는데 사용될 수 있다. 이 실시예에서, 대응관계들은 제2 대응관계들로 지칭되고, 미리 설정된 위치들은 좌측 귀 위치에 대한 위치들이다. 좌측 귀 위치에 중심을 둔 HRTF의 측정 동안, 좌측 귀 위치는 현재 청취자의 현재 좌측 귀 위치일 수 있거나, 또는 다른 청취자의 머리 중심일 수 있거나, 또는 가상 청취자의 좌측 귀 위치일 수 있다.
또한, 전술한 방법과 유사한 방법은 우측 귀 위치에 중심을 둔 HRTF를 측정하여, 복수의 미리 설정된 위치와 우측 귀 위치에 중심을 둔 복수의 HRTF 사이의 대응관계들을 획득하는데 사용될 수 있다. 이 실시예에서, 대응관계들은 제3 대응관계들로서 지칭되고, 미리 설정된 위치들은 우측 귀 위치에 대한 위치들이다. 우측 귀 위치에 중심을 둔 HRTF의 측정 동안, 좌측 귀 위치는 현재 청취자의 현재 우측 귀 위치일 수 있거나, 또는 다른 청취자의 머리 중심일 수 있거나, 또는 가상 청취자의 우측 귀 위치일 수 있다.
M개의 제1 HRTF 및 M개의 제2 HRTF는 전술한 대응관계들의 임의의 대응관계들에 기초하여 획득될 수 있다는 점이 이해될 수 있다. 도 3의 메모리는: 제1 대응관계들, 제2 대응관계들, 및 제3 대응관계들 중 적어도 하나를 저장할 수 있다.
M개의 제1 HRTF를 획득하는 단계는: 현재 좌측 귀 위치에 대한 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하는 단계; M개의 제1 위치와 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하는 단계를 포함한다. 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이고, 대응관계들은 제1 대응관계들 및 제2 대응관계들 중 어느 하나이다.
구체적으로, 이하에서는 대응관계들이 제1 대응관계들인 예를 사용하여 M개의 제1 HRTF를 획득하는 프로세스를 설명한다.
현재 좌측 귀 위치에 대한 각각의 가상 스피커의 제1 위치가 획득되고, M개의 가상 스피커가 있는 경우, M개의 제1 위치가 획득된다. 각각의 제1 위치는 현재 좌측 귀 위치에 대한 대응하는 가상 스피커의 제1 방위각 및 제1 고도, 및 현재 좌측 귀 위치와 가상 스피커 사이의 제1 거리를 포함한다.
M개의 제1 위치 및 제1 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하는 단계는: M개의 제1 위치와 연관된 M개의 제1 미리 설정된 위치를 결정하는 단계를 포함한다. M개의 제1 미리 설정된 위치는 제1 대응관계들에 포함된 미리 설정된 위치들이다. M개의 제1 미리 설정된 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라는 것은 제1 대응관계들에 기초하여 결정된다.
구체적으로, 제1 위치와 연관된 제1 미리 설정된 위치는 제1 위치일 수 있거나; 또는
제1 미리 설정된 위치에 포함된 고도는 제1 위치에 포함된 제1 고도에 가장 가까운 타겟 고도이고, 제1 미리 설정된 위치에 포함된 방위각은 제1 위치에 포함된 제1 방위각에 가장 가까운 타겟 방위각이며, 제1 미리 설정된 위치에 포함된 거리는 제1 위치에 포함된 제1 거리에 가장 가까운 타겟 거리이다. 타겟 방위각은 머리 중심에 중심을 둔 HRTF의 측정 동안 대응하는 미리 설정된 위치에 포함된 방위각, 즉 머리 중심에 중심을 둔 HRTF의 측정 동안 머리 중심에 대해 배치된 제1 음원의 방위각이다. 타겟 고도는 머리 중심에 중심을 둔 HRTF의 측정 동안 대응하는 미리 설정된 위치에서의 고도, 즉 머리 중심에 중심을 둔 HRTF의 측정 동안 머리 중심에 대한 제1 배치된 음원의 고도이다. 타겟 거리는 머리 중심에 중심을 둔 HRTF의 측정 동안 대응하는 미리 설정된 위치에서의 거리, 즉 머리 중심에 중심을 둔 HRTF의 측정 동안 배치된 제1 음원과 머리 중심 사이의 거리이다. 즉, 모든 제1 미리 설정된 위치는 머리 중심에 중심을 둔 복수의 HRTF의 측정 동안 제1 음원들이 배치되는 위치들이다. 즉, 머리 중심에 중심을 두고 각각의 제1 미리 설정된 위치에 대응하는 HRTF가 미리 측정된다.
제1 위치에 포함된 제1 방위각이 2개의 타겟 방위각 사이에 있다면, 2개의 타겟 방위각 중 하나는 미리 설정된 규칙에 따라 제1 미리 설정된 위치에 포함된 방위각으로서 결정될 수 있다는 것을 이해할 수 있다. 예를 들어, 미리 설정된 규칙은 다음과 같다: 제1 위치에 포함된 제1 방위각이 2개의 타겟 방위각 사이에 있다면, 제1 방위각에 더 가까운 2개의 타겟 방위각 중 하나의 타겟 방위각은 제1 미리 설정된 위치에 포함된 방위각으로서 결정된다. 제1 위치에 포함된 제1 고도가 2개의 타겟 고도 사이에 있다면, 2개의 타겟 고도 중 하나가, 미리 설정된 규칙에 따라, 제1 미리 설정된 위치에 포함된 고도로서 결정될 수 있다. 예를 들어, 미리 설정된 규칙은 다음과 같다: 제1 위치에 포함된 제1 고도가 2개의 타겟 고도 사이에 있다면, 제1 고도에 더 가까운 2개의 타겟 고도 중 하나의 타겟 고도는 제1 미리 설정된 위치에 포함된 고도로서 결정된다. 제1 위치에 포함된 제1 거리가 2개의 타겟 거리 사이에 있다면, 2개의 타겟 거리 중 하나는, 미리 설정된 규칙에 따라, 제1 미리 설정된 위치에 포함된 거리로서 결정될 수 있다. 예를 들어, 미리 설정된 규칙은 다음과 같다: 제1 위치에 포함된 제1 거리가 2개의 타겟 거리 사이에 있다면, 제1 거리에 더 가까운 2개의 타겟 거리 중 하나의 타겟 거리는 제1 미리 설정된 위치에 포함된 거리로서 결정된다.
예를 들어, 현재 좌측 귀 위치에 대한 m번째 가상 스피커의, 단계 S102에서의 측정을 통해 획득된, 제1 위치에서, 제1 방위각이 88°이고, 제1 고도가 46°이고, 제1 거리가 1.02m이면, 제1 대응관계들은 위치(90°, 45°, 1m)에 대응하는 HRTF, 위치(85°, 45°, 1m)에 대응하는 HRTF, 위치(90°, 50°, 1m)에 대응하는 HRTF, 위치(85°, 50°, 1m)에 대응하는 HRTF, 위치(90°, 45°, 1.1m)에 대응하는 HRTF, 위치(85°, 45°, 1.1m)에 대응하는 HRTF, 위치(90°, 50°, 1.1m)에 대응하는 HRTF, 및 위치(85°, 50°, 1.1m)에 대응하는 HRTF를 포함한다. 88°는 85° 내지 90°이지만 90°에 더 가깝고, 46°는 45° 내지 50°이지만 45°에 더 가깝고, 1.02m는 1m 내지 1.1m이지만 1m에 더 가깝다. 따라서, 위치(90°, 45°, 1m)가 현재 좌측 귀 위치에 대한 m번째 가상 스피커의 제1 위치와 연관된 제1 미리 설정된 위치 m이라고 결정된다. 이 경우, 위치(90°, 45°, 1m)에 대응하는, 제1 대응관계들에 포함되는, HRTF는 m번째 가상 스피커에 대응하는 제1 HRTF, 즉, M개의 제1 HRTF 중 하나이다.
즉, M개의 제1 위치와 연관된 M개의 제1 미리 설정된 위치가 결정된 후에, 제1 대응관계들에서, M개의 제1 미리 설정된 위치에 대응하는 M개의 HRTF는 M개의 제1 HRTF이다.
그 후, M개의 제2 HRTF를 획득하는 단계는: 현재 우측 귀 위치에 대한 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하는 단계, 및 M개의 제2 위치 및 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하는 단계를 포함한다. 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이고, 대응관계들은 제1 대응관계들 및 제3 대응관계들 중 어느 하나일 수 있다.
이하에서는 대응관계들이 제1 대응관계들인 예를 사용하여 M개의 제1 HRTF를 획득하는 프로세스를 설명한다.
현재 우측 귀 위치에 대한 각각의 가상 스피커의 제2 위치가 획득되고, M개의 가상 스피커가 있는 경우, M개의 제2 위치가 획득된다. 각각의 제2 위치는 현재 우측 귀 위치에 대한 대응하는 가상 스피커의 제2 방위각 및 제2 고도, 및 현재 우측 귀 위치와 가상 스피커 사이의 제2 거리를 포함한다.
M개의 제2 위치 및 제1 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하는 단계는: M개의 제2 위치와 연관된 M개의 제2 미리 설정된 위치를 결정하는 단계를 포함한다. M개의 제2 미리 설정된 위치는 제1 대응관계들에 포함된 미리 설정된 위치들이다. M개의 제2 미리 설정된 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라는 것은 제1 대응관계들에 기초하여 결정된다.
구체적으로, 제2 위치와 연관된 제2 미리설정된 위치에 대해서는, 제1 위치와 연관된 제1 미리 설정된 위치의 설명을 참조한다. 세부사항들은 본 명세서에서 다시 설명하지 않는다. M개의 제2 위치와 연관된 M개의 제2 미리 설정된 위치가 결정된 후에, 제1 대응관계들에서, M개의 제2 미리 설정된 위치에 대응하는 M개의 HRTF는 M개의 제2 HRTF이다.
단계 S103에서, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하고, 1≤a≤M이고, 1≤b≤M이다.
구체적으로, a개의 제1 HRTF의 고대역 임펄스 응답들이 수정되고, 1≤a≤M이라는 것은 적어도 하나의 제1 HRTF의 고대역 임펄스 응답이 수정된다는 것을 의미한다. 즉, 하나의 제1 HRTF의 고대역 임펄스 응답이 수정될 수 있거나, 또는 M개의 제1 HRTF의 고대역 임펄스 응답들이 수정될 수 있다.
마찬가지로, b개의 제2 HRTF의 고대역 임펄스 응답들이 수정되고, 1≤b≤M이라는 것은 적어도 하나의 제2 HRTF의 고대역 임펄스 응답이 수정된다는 것을 의미한다. 즉, 하나의 제2 HRTF의 고대역 임펄스 응답이 수정될 수 있거나, 또는 M개의 제2 HRTF의 고대역 임펄스 응답들이 수정될 수 있다.
a와 b가 동일하거나 또는 상이할 수 있다는 것을 이해할 수 있다.
수정될 제1 HRTF들에 대해, 하나의 방식으로, a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
다른 방식으로, a개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치하는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다.
다른 방식으로, a=a1+a2, 즉 a개의 제1 HRTF는 a1개의 제1 HRTF와 a2개의 제1 HRTF를 포함한다. a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치하는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치하는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이다.
수정될 b개의 제2 HRTF에 대해, 하나의 방식으로, b개의 제2 HRTF는 타겟 중심의 제2 측면 상의 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이다.
다른 방식으로, b개의 제2 HRTF는 타겟 중심의 제1 측면 상의 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이다.
다른 방식으로, b=b1+b2이고, b1개의 제2 HRTF는 타겟 중심의 제2 측면에 위치하는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면에 위치하는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이다.
이하에서는 특정 예들을 참조하여, 수정될 a개의 제1 HRTF과 수정될 b개의 제2 HRTF들을 설명한다.
M개의 가상 스피커에 대응하는 3차원 공간은 정다면체일 수 있다. 공간이 큐브인 경우, 하나의 가상 스피커가 큐브의 8개의 코너 각각에 배치될 수 있다. 이 경우, M=8이다. 대응하여, 큐브의 중심은 타겟 중심이다.
도 6은 본 출원의 실시예에 따른 M개의 가상 스피커의 분포의 개략도이다. 도 6을 참조하면, 도면에서의 511 내지 518은 가상 스피커들을 나타내고, 총 8개의 가상 스피커가 있다. 53은 8개의 가상 스피커에 대응하는 3차원 공간을 나타내고, 52는 8개의 가상 스피커에 대응하는 3차원 공간의 타겟 중심을 나타낸다. 타겟 중심의 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심의 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다.
도 6을 참조하면, "a개의 제1 HRTF가 타겟 중심의 제1 측면에 위치하는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, b개의 제2 HRTF들이 타겟 중심의 제2 측면 상의 b개의 가상 스피커가 대응하는 b개의 제2 HRTF들이다"는 방식으로,
현재 청취자가 일반적으로 큐브 공간의 제1 표면(도 5의 전면)(54)을 향한다면, a개의 제1 HRTF는 가상 스피커들(511 내지 514) 내의 a개의 가상 스피커에 대응하고, b개의 제2 HRTF는 가상 스피커들(515 내지 518) 내의 b개의 가상 스피커에 대응하고; 청취자가 일반적으로 큐브 공간의 제2 측면(도 5의 후면)(55)을 향한다면, a개의 제1 HRTF는 가상 스피커들(515 내지 518) 내의 a개의 가상 스피커에 대응하고, b개의 제2 HRTF는 가상 스피커들(511 내지 514) 내의 b개의 가상 스피커에 대응한다. 청취자가 일반적으로 큐브 공간의 제3 측면(56)을 향한다면, a개의 제1 HRTF는 가상 스피커들(512, 514, 516, 및 518) 내의 a개의 가상 스피커에 대응하고, b개의 제2 HRTF는 가상 스피커들(511, 513, 515, 및 517) 내의 b개의 가상 스피커에 대응한다. 청취자가 일반적으로 큐브 공간의 제4 측면(57)을 향한다면, a개의 제1 HRTF는 가상 스피커들(511, 513, 515, 및 517) 내의 a개의 가상 스피커에 대응하고, b개의 제2 HRTF는 가상 스피커들(512, 514, 516, 및 518) 내의 b개의 가상 스피커에 대응한다.
선택적으로, 이 실시예에서, 고대역에 포함되는 주파수들 각각은 미리 설정된 주파수보다 크고, 미리 설정된 주파수는 10K일 수 있다.
단계 S104에서, 구체적으로, 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호와 우측 귀 위치에 대응하는 제2 타겟 오디오 신호 양쪽 모두는 렌더링된 오디오 신호들이다.
제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크는 주로 제1 타겟 오디오 신호 및 제2 타겟 오디오 신호의 높은 대역들에 의해 야기된다. 따라서, 단계 S103에서 a개의 제1 HRTF의 고대역 임펄스 응답들의 수정은 제2 타겟 오디오 신호에 대한 획득된 제1 타겟 오디오 신호에 의해 야기되는 간섭을 감소시킬 수 있다. 마찬가지로, 단계 S103에서 b개의 제2 HRTF들의 고대역 임펄스 응답들의 수정은 제1 타겟 오디오 신호에 대한 제2 타겟 오디오 신호에 의해 야기되는 간섭을 감소시킬 수 있다. 이러한 방식으로, 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호와 우측 귀 위치에 대응하는 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킨다.
구체적으로, a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호가 획득되는 단계는: M개의 제1 오디오 신호 각각을 a개의 제1 타겟 HRTF 및 c개의 제1 HRTF의 모든 HRTF에서 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하는 단계; 및 M개의 제1 컨볼빙된 오디오 신호에 기초하여 제1 타겟 오디오 신호를 획득하는 단계를 포함한다.
구체적으로, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호는 m번째 가상 스피커에 대응하는 제1 HRTF 또는 제1 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다. M개의 가상 스피커가 있을 때, M개의 제1 컨볼빙된 오디오 신호가 획득된다. M개의 제1 컨볼빙된 오디오 신호를 중첩함으로써 획득된 신호는 제1 타겟 오디오 신호이다.
m번째 가상 스피커에 대응하는 제1 HRTF가 제1 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제1 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제1 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제1 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다.
모든 M개의 제1 HRTF가 수정되면, c=0이라는 것을 이해할 수 있다.
구체적으로, 우측 귀 위치에 대응하는 제2 타겟 오디오 신호가 d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여 획득하는 단계는: M개의 제1 오디오 신호 각각을 d개의 제2 HRTF 및 b개의 제2 타겟 HRTF의 모든 HRTF에서 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하는 단계; 및 M개의 제2 컨볼빙된 오디오 신호에 기초하여 제2 타겟 오디오 신호를 획득하는 단계를 포함한다.
구체적으로, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호는 m번째 가상 스피커에 대응하는 제2 타겟 HRTF 또는 제2 HRTF와 컨볼빙되어, m번째 컨볼빙된 오디오 신호를 획득한다. M개의 가상 스피커가 있을 때, M개의 제2 컨볼빙된 오디오 신호가 획득된다. M개의 제2 컨볼빙된 오디오 신호를 중첩함으로써 획득된 신호는 제2 타겟 오디오 신호이다.
m번째 가상 스피커에 대응하는 제2 HRTF가 제2 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제2 타겟 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제2 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제2 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다.
모든 M개의 제2 HRTF가 수정되면, d=0이라는 것을 이해할 수 있다.
이 실시예에서, a개의 제1 HRTF의 고대역 임펄스 응답들과 b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소되게 한다.
이하에서는 특정 실시예를 사용하여 도 4에 도시된 실시예에서의 단계 S103을 상세히 설명한다.
먼저, a개의 제1 HRTF가 타겟 중심의 제1 측면에 위치하는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF일 때, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하는 방법이 설명된다.
도 7은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 2이다. 도 7을 참조하면, 이 실시예에서의 방법은 다음의 단계를 포함한다.
단계 S201: 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제1 타겟 HRTF를 획득하고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
구체적으로, 단계 S201에서, a개의 제1 HRTF 내의 각각의 제1 HRTF에 대해, 제1 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제1 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제1 HRTF, 즉 제1 HRTF에 대응하는 제1 타겟 HRTF를 획득한다. 이러한 방식으로, a개의 제1 타겟 HRTF가 획득된다.
제1 수정 인자는 0.94, 0.95, 0.96, 0.97, 또는 0.98일 수 있거나, 또는 다른 값일 수 있다. 제1 수정 인자의 값은 가상 스피커와 청취자 사이의 거리에 관련된다. 가상 스피커와 청취자 사이의 거리가 작을수록 제1 수정 인자가 1에 더 가깝다는 것을 나타낸다.
이 실시예에서, 현재 좌측 귀 위치로부터 멀리 떨어진 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답은 제1 수정 인자를 사용하여 수정되며, 제1 수정 인자는 1보다 작다. 현재 좌측 귀 위치로부터 멀리 떨어진(즉, 현재 우측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킬 수 있다.
제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하기 위해, 이 실시예는 전술한 실시예에 기초하여 추가로 개선된다. 도 8은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 2이다. 도 8을 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S301: 제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
단계 S302: a개의 제3 타겟 HRTF에 기초하여 a개의 제1 타겟 HRTF를 획득한다.
구체적으로, 단계 S301에 대해서는, 전술한 실시예에서의 단계 S201의 설명을 참조한다.
단계 S302에서 a개의 제3 타겟 HRTF에 기초하여 a개의 제1 타겟 HRTF를 획득하는 단계는 다음의 몇몇 실현가능한 구현들을 포함할 수 있다.
제1 구현에서는, 제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a개의 제1 타겟 HRTF를 획득한다.
구체적으로, a개의 제3 타겟 HRTF 내의 각각의 제3 타겟 HRTF에 대해, 제3 수정 인자와 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득한다. 이러한 방식으로, a개의 제1 타겟 HRTF가 획득된다.
HRTF는 주파수 도메인에서의 임펄스 응답을 포함할 수 있고, 시간 도메인에서의 임펄스 응답을 추가로 포함할 수 있고, 주파수 도메인에서의 임펄스 응답과 시간 도메인에서의 임펄스 응답은 교환될 수 있다. 따라서, 이 실시예에서, 제3 수정 인자와 제3 타겟 HRTF에 포함된 임펄스 응답들을 곱하는 것은 제3 수정 인자와 제3 타겟 HRTF에 포함된 각각의 시간 도메인에서의 임펄스 응답을 곱하고, 제 3 수정 인자와 제3 타겟 HRTF에 포함된 각각의 주파수 도메인에서의 임펄스 응답을 곱하는 것일 수 있다. 이것은 후속 실시예들에도 적용가능하다.
선택적으로, 제3 수정 인자는 1보다 큰 미리 설정된 값, 예를 들어, 1.2일 수 있다.
제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a개의 제1 타겟 HRTF를 획득하는 목적은 a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여 획득되는 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득되는 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하는 것이다.
제2 구현에서, 하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하고, 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
구체적으로, 하나의 제3 타겟 HRTF에 대해, 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제2 제곱의 합 Q2이 획득되고, 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제1 제곱의 합 Q1이 획득된다. 그 후, Q1/Q2를 사용하여 제1 값이 획득된다. 하나의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답에 제1 값을 곱하여 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득한다. 이러한 방식으로, a개의 제1 타겟 HRTF가 획득된다.
제3 타겟 HRTF에 대응하는 제1 HRTF는 제1 HRTF가 수정된 후에 획득된 제3 타겟 HRTF를 지칭한다. 예를 들어, m번째 가상 스피커에 대응하는 제1 HRTF가 제1 HRTF 1이고, 제1 HRTF 1의 고대역 임펄스 응답이 수정된 후에, 제3 타겟 HRTF 1이 획득된다고 가정한다. 이 경우, 제1 HRTF 1은 제3 타겟 HRTF 1에 대응하는 제1 HRTF이다.
각각의 제3 타겟 HRTF에 대해, 제1 값과 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득한다. 이것은 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 보장할 수 있다.
이 실시예에서의 방법에 따르면, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다는 것에 기초하여, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
수정하기 위한 방법의 경우, a개의 제1 HRTF가 타겟 중심의 제2 측면에 위치하는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF일 때, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하기 위한 방법은 도 7 및 도 8에 도시된 실시예들을 참조한다. 도 7 및 도 8에 도시된 실시예들과 이 실시예의 차이는 곱해진 수정 인자가 a개의 제1 HRTF의 고대역 임펄스 응답들의 수정 동안 1보다 작을 수 있다는 것에 있다.
또한, b개의 제2 HRTF가 타겟 중심의 제2 측면에 위치하는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF일 때, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하기 위한 가능한 방법이 상세히 설명된다.
도 9는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 4이다. 도 9를 참조하면, 이 실시예에서의 방법은 다음의 단계를 포함한다.
단계 S401: 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제2 타겟 HRTF를 획득하고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
구체적으로, 단계 S401에서, b개의 제2 HRTF에서의 각각의 제2 HRTF에 대해, 제2 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제2 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제2 HRTF, 즉 제2 HRTF에 대응하는 제2 타겟 HRTF를 획득한다.
제2 수정 인자는 0.94, 0.95, 0.96, 0.97, 또는 0.98이거나, 또는 다른 값일 수 있다. 제2 수정 인자의 값은 가상 스피커와 청취자 사이의 거리에 관련된다. 예를 들어, 가상 스피커와 청취자 사이의 거리가 작을수록 제2 수정 인자가 1에 더 가깝다는 것을 표시한다.
선택적으로, 제1 수정 인자는 제2 수정 인자와 동일하다.
선택적으로, 제1 수정 인자는 제2 수정 인자와 상이하다.
b개의 제2 HRTF의 상위 대역의 의미는 a개의 제1 HRTF의 상위 대역의 의미와 동일하다는 것을 이해할 수 있다.
이 실시예에서, 우측 귀로부터 멀리 떨어진 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답은 제2 수정 인자를 사용하여 수정되며, 여기서 제2 수정 인자는 1보다 작다. 현재 우측 귀 위치로부터 멀리 떨어진(즉, 현재 좌측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제1 타겟 오디오 신호에 대한 영향이 감소되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 감소시킬 수 있다.
제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하기 위해, 이 실시예는 전술한 실시예에 기초하여 개선된다. 도 10은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 5이다. 도 10을 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S501: 제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
단계 S502: b개의 제4 타겟 HRTF에 기초하여 b개의 제2 타겟 HRTF를 획득한다.
구체적으로, 단계 S501에 대해서는, 전술한 실시예에서의 단계 S401을 참조한다.
단계 S502에서 b개의 제4 타겟 HRTF에 기초하여 b개의 제2 타겟 HRTF를 획득하는 단계는 다음의 몇몇 실현가능한 구현을 포함할 수 있다.
제1 구현에서는, 제4 수정 인자와 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b개의 제2 타겟 HRTF를 획득한다.
b개의 제4 타겟 HRTF에서의 각각의 제4 타겟 HRTF에 대해, 제4 수정 인자와 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득한다. 이러한 방식으로, b개의 제2 타겟 HRTF가 획득된다.
선택적으로, 제4 수정 인자는 1보다 큰 미리 설정된 값일 수 있다. 제3 수정 인자와 제4 수정 인자는 동일할 수 있거나 또는 상이할 수 있다.
제4 수정 인자와 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b개의 제2 타겟 HRTF를 획득하는 목적은 b개의 제2 타겟 HRTF, d개의 제2 HRTF, 및 M개의 제1 오디오 신호에 기초하여 획득되는 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득되는 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하는 것이다.
제2 구현에서, 하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
구체적으로, 하나의 제4 타겟 HRTF에 대해, 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제4 제곱의 합 Q4가 획득되고, 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제3 제곱의 합 Q3이 획득된다. 그 후, Q3/Q4를 사용하여 제2 값이 획득된다. 제4 타겟 HRTF에 포함된 각각의 임펄스 응답에 제2 값을 곱하여 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득한다. 이러한 방식으로, b개의 제2 타겟 HRTF가 획득된다.
제4 타겟 HRTF에 대응하는 제2 HRTF는 제2 HRTF가 수정된 후에 획득되는 제4 타겟 HRTF를 지칭한다. 예를 들어, m번째 가상 스피커에 대응하는 제2 HRTF가 제2 HRTF 1이고, 제2 HRTF 1의 고대역 임펄스 응답이 수정된 후에, 제4 타겟 HRTF 1이 획득된다고 가정한다. 이 경우, 제2 HRTF 1은 제4 타겟 HRTF 1에 대응하는 제2 HRTF이다.
각각의 제4 타겟 HRTF에 대해, 제2 값과 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득한다. 이것은 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 보장할 수 있다.
이 실시예에서의 방법에 따르면, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 감소될 수 있다는 것에 기초하여, 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
수정하기 위한 방법의 경우, b개의 제2 HRTF가 타겟 중심의 제1 측면에 위치하는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF일 때, b개의 제2 HRTF의 고대역 임펄스 응답들은 도 9 및 도 10에 도시된 실시예들을 참조한다. 도 9 및 도 10에 도시된 실시예들과의 이 실시예의 차이는 곱해진 수정 인자가 b개의 제2 HRTF의 고대역 임펄스 응답들의 수정 동안 1보다 작을 수 있다는 것에 있다.
또한, "a=a1+a2, 즉 a개의 제1 HRTF가 a1개의 제1 HRTF와 a2개의 제1 HRTF를 포함하고, 여기서 a1개의 제1 HRTF는 타겟 중심의 제1 측면에 위치하는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상의 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF인 시나리오에서, a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하기 위한 방법이 설명된다.
도 11은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 6이다. 도 11을 참조하면, 이 실시예에서의 방법은 다음의 단계를 포함한다.
단계 S601: 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하고, a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함하고, 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
구체적으로, 단계 S601에서, a1개의 제1 HRTF 내의 각각의 제1 HRTF에 대해, 제1 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제1 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제1 HRTF, 즉 제1 HRTF에 대응하는 제3 타겟 HRTF를 획득한다. 이러한 방식으로, a1개의 제3 타겟 HRTF가 획득된다.
a2개의 제1 HRTF 내의 각각의 제1 HRTF에 대해, 제5 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제1 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제1 HRTF, 즉 제1 HRTF에 대응하는 제5 타겟 HRTF를 획득한다. 이러한 방식으로, a2개의 제5 타겟 HRTF가 획득된다.
제1 수정 인자의 의미는 도 7에 도시된 실시예에서의 것과 동일하고, 세부사항들은 본 명세서에서 다시 설명되지 않는다. 제5 수정 인자와 제1 수정 인자의 곱은 1이다. 즉, 제5 수정 인자는 제1 수정 인자에 반비례한다.
m번째 가상 스피커에 대응하는 제1 HRTF가 제3 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제3 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제1 HRTF가 제5 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제5 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다. m번째 가상 스피커에 대응하는 제1 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제1 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다.
이 실시예에서는, 현재 좌측 귀 위치로부터 멀리 떨어진 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답은 제1 수정 인자를 사용하여 수정된다. 또한, 현재 좌측 귀 위치에 가까운 가상 스피커에 대응하는 제1 HRTF의 고대역 임펄스 응답은 제5 수정 인자를 사용하여 수정된다. 제1 수정 인자는 제5 수정 인자에 반비례한다. 현재 좌측 귀 위치로부터 멀리 떨어진(즉, 현재 우측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되고; 현재 좌측 귀 위치에 가까운(즉, 현재 우측 귀 위치로부터 멀리 떨어진) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제1 타겟 오디오 신호에 대한 영향이 향상되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 추가로 감소시킬 수 있다.
제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하기 위해, 이 실시예는 전술한 실시예에 기초하여 추가로 개선된다. 도 12는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 7이다. 도 12를 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S701: 제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하고, a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함하고, 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
단계 S702: a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF에 기초하여 a개의 제1 타겟 HRTF를 획득한다.
구체적으로, 단계 S701에 대해서는, 전술한 실시예에서의 단계 S601의 설명을 참조한다.
단계 S702에서 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF에 기초하여 a개의 제1 타겟 HRTF를 획득하는 단계는 다음의 2개의 구현을 포함할 수 있다.
제1 구현에서는, 제3 수정 인자와 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답들을 곱하여 a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 a2개의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답들을 곱하여 a1개의 제7 타겟 HRTF를 획득하고, 여기서 a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
구체적으로, a1개의 제3 타겟 HRTF 내의 각각의 제3 타겟 HRTF에 대해, 제3 수정 인자와 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득한다. 이러한 방식으로, a1개의 제6 타겟 HRTF가 획득된다.
선택적으로, 제3 수정 인자는 1보다 큰 미리 설정된 값일 수 있다.
a2개의 제5 타겟 HRTF 내의 각각의 제5 타겟 HRTF에 대해, 제6 수정 인자와 제5 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득한다. 이러한 방식으로, a2개의 제7 타겟 HRTF가 획득된다.
선택적으로, 제6 수정 인자는 1 미만의 미리 설정된 값일 수 있다.
이 경우, a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
m번째 가상 스피커에 대응하는 제1 HRTF가 제6 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제6 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제1 HRTF가 제7 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제7 타겟 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다. m번째 가상 스피커에 대응하는 제1 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제1 HRTF와 컨볼빙되어, m번째 제1 컨볼빙된 오디오 신호를 획득한다.
이 구현의 목적은 a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여 획득되는 제1 타겟 오디오 신호의 에너지의 자릿수가 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득되는 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하는 것이다.
제2 구현에서, 하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하고, 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. 하나의 제5 타겟 HRTF에 대해, 제3 값과 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하고, 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 제5 제곱의 합은 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제6 제곱의 합은 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
구체적으로, 하나의 제3 타겟 HRTF에 대해, 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제2 제곱의 합 Q2가 획득되고; 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되는데, 즉, 제1 제곱 합 Q1이 획득된다. 그 후, Q1/Q2를 사용하여 제1 값이 획득된다. 하나의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답에 제1 값을 곱하여 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득한다. 이러한 방식으로, a1개의 제6 타겟 HRTF가 획득된다.
제3 타겟 HRTF에 대응하는 제1 HRTF는 도 8에 도시된 실시예에서 설명된 것과 동일하고, 세부사항들은 본 명세서에서 다시 설명되지 않는다.
하나의 제5 타겟 HRTF에 대해, 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제5 제곱의 합 Q5가 획득되고; 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되는데, 즉, 제6 제곱 합 Q6이 획득된다. 그 후, Q5/Q6을 사용하여 제3 값이 획득된다. 하나의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답에 제3 값을 곱하여 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득한다. 이러한 방식으로, a2개의 제7 타겟 HRTF가 획득된다.
이 경우, a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
제5 타겟 HRTF에 대응하는 제1 HRTF에 대해서는, 제3 타겟 HRTF에 대응하는 제1 HRTF의 설명을 참조한다. 세부사항들은 본 명세서에서 다시 설명하지 않는다.
이 구현에서는, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 보장할 수 있다.
이 실시예에서의 방법에 따르면, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있고, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
또한, "b=b1+b2, 즉 b1개의 제2 HRTF는 타겟 중심의 제2 측면에 위치하는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면 상의 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF인 시나리오에서, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하기 위한 방법이 설명된다.
도 13은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 8이다. 도 13을 참조하면, 이 실시예에서의 방법은 다음의 단계를 포함한다.
단계 S801: 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득하고, 여기서 b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함하고, 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
구체적으로, 단계 S801에서, b1개의 제2 HRTF에서의 각각의 제2 HRTF에 대해, 제2 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제2 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제2 HRTF, 즉 제2 HRTF에 대응하는 제4 타겟 HRTF를 획득한다. 이러한 방식으로, b1개의 제4 타겟 HRTF가 획득된다.
b2개의 제2 HRTF에서의 각각의 제2 HRTF에 대해, 제7 수정 인자와 미리 설정된 주파수보다 큰 각각의 주파수에 대응하고 제2 HRTF에 포함되는 임펄스 응답을 곱하여, 수정된 제2 HRTF, 즉 제2 HRTF에 대응하는 제8 타겟 HRTF를 획득한다. 이러한 방식으로, b2개의 제8 타겟 HRTF가 획득된다.
제2 수정 인자의 의미는 도 9에 도시된 실시예에서의 것과 동일하고, 세부사항들은 본 명세서에서 다시 설명되지 않는다. 제7 수정 인자와 제2 수정 인자의 곱은 1이다. 즉, 제7 수정 인자는 제2 수정 인자에 반비례한다.
m번째 가상 스피커에 대응하는 제2 HRTF가 제4 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제4 타겟 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제2 HRTF가 제8 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제8 타겟 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다. m번째 가상 스피커에 대응하는 제2 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제2 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다.
이 실시예에서, 우측 귀로부터 멀리 떨어진 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답은 제2 수정 인자를 사용하여 수정된다. 또한, 우측 귀에 가까운 가상 스피커에 대응하는 제2 HRTF의 고대역 임펄스 응답은 제7 수정 인자를 사용하여 수정된다. 제2 수정 인자는 제7 수정 인자에 반비례한다. 현재 우측 귀 위치로부터 멀리 떨어진(즉, 현재 좌측 귀 위치에 가까운) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 감소되고; 현재 우측 귀 위치에 가까운(즉, 현재 좌측 귀 위치로부터 멀리 떨어진) 가상 스피커에 의해 출력되는 제1 오디오 신호의 고대역 신호에 의해 야기되는 제2 타겟 오디오 신호에 대한 영향이 향상되는 것과 동등하다. 이것은 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크를 추가로 감소시킬 수 있다.
제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하기 위해, 이 실시예는 전술한 실시예에 기초하여 개선된다. 도 14는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 9이다. 도 14를 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S901: 제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여 b2개의 제8 타겟 HRTF를 획득하고, 여기서 b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함하고, 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
단계 S902: b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF에 기초하여 b개의 제2 타겟 HRTF를 획득한다.
구체적으로, 단계 S901에 대해서는, 전술한 실시예에서의 단계 S801의 설명을 참조한다.
단계 S902에서 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF에 기초하여 b개의 제2 타겟 HRTF를 획득하는 단계는 다음의 2개의 구현을 포함할 수 있다.
제1 구현에서는, 제4 수정 인자와 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제10 타겟 HRTF를 획득하고, 여기서 b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
구체적으로, b1개의 제4 타겟 HRTF에서의 각각의 제4 타겟 HRTF에 대해, 제4 수정 인자와 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득한다. 이러한 방식으로, b1개의 제9 타겟 HRTF가 획득된다.
선택적으로, 제4 수정 인자는 1보다 큰 미리 설정된 값일 수 있다.
b2개의 제8 타겟 HRTF 내의 각각의 제8 타겟 HRTF에 대해, 제8 수정 인자와 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득한다. 이러한 방식으로, b2개의 제10 타겟 HRTF가 획득된다.
선택적으로, 제8 수정 인자는 0보다 크고 1보다 작은 미리 설정된 값일 수 있다.
이 경우, b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
m번째 가상 스피커에 대응하는 제2 HRTF가 제9 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제9 타겟 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다는 것을 이해할 수 있다. m번째 가상 스피커에 대응하는 제2 HRTF가 제10 타겟 HRTF가 되도록 수정되면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제10 타겟 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다. m번째 가상 스피커에 대응하는 제2 HRTF가 수정되지 않으면, m번째 가상 스피커에 의해 출력되는 m번째 제1 오디오 신호가 제2 HRTF와 컨볼빙되어, m번째 제2 컨볼빙된 오디오 신호를 획득한다.
이 구현의 목적은 b개의 제2 타겟 HRTF, d개의 제2 HRTF, 및 M개의 제1 오디오 신호에 기초하여 획득되는 제2 타겟 오디오 신호의 에너지의 자릿수가 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득되는 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것을 최대로 보장하는 것이다.
제2 구현에서, 하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. 하나의 제8 타겟 HRTF에 대해, 제4 값과 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하고, 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 제7 제곱의 합은 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제8 제곱의 합은 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다. b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
구체적으로, 하나의 제4 타겟 HRTF에 대해, 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제4 제곱의 합 Q4가 획득되고; 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되는데, 즉, 제3 제곱 합 Q3이 획득된다. 그 후, Q3/Q4를 사용하여 제2 값이 획득된다. 하나의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답에 제2 값을 곱하여 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득한다. 이러한 방식으로, b1개의 제9 타겟 HRTF가 획득된다.
제4 타겟 HRTF에 대응하는 제2 HRTF는 도 6에 도시된 실시예에서 설명된 것과 동일하고, 세부사항들은 본 명세서에서 다시 설명되지 않는다.
하나의 제8 타겟 HRTF에 대해, 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되고, 즉, 제7 제곱의 합 Q7이 획득되고; 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이 획득되는데, 즉, 제8 제곱 합 Q8이 획득된다. 그 후, Q7/Q8를 사용하여 제4 값이 획득된다. 하나의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답에 제4 값을 곱하여 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득한다. 이러한 방식으로, b2개의 제10 타겟 HRTF가 획득된다.
이 경우, b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
제8 타겟 HRTF에 대응하는 제2 HRTF에 대해서는, 제4 타겟 HRTF에 대응하는 제2 HRTF의 설명을 참조한다. 세부사항들은 본 명세서에서 다시 설명하지 않는다.
이 구현에서, 제2 타겟 오디오 신호의 에너지의 자릿수와 제4 타겟 오디오 신호의 에너지의 자릿수가 보장될 수 있다.
이 실시예에서의 방법에 따르면, 제1 타겟 오디오 신호와 제2 타겟 오디오 신호 사이의 크로스토크가 추가로 감소될 수 있고, 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장될 수 있다.
도 7과 도 8 중 어느 하나에 도시된 실시예는 도 9, 도 10, 도 13, 및 도 14 중 어느 하나에 도시된 실시예와 조합될 수 있고, 도 11과 도 12 중 어느 하나에 도시된 실시예는 도 9, 도 10, 도 13, 및 도 14 중 어느 하나에 도시된 실시예와 조합될 수 있다는 것을 이해할 수 있다.
도 8, 도 10, 도 12, 및 도 14에 도시된 전술한 실시예들 중 하나의 실시예에서는, HRTF를 수정하여, 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하고, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 최대로 보장되게 한다. 대안적으로, 제1 타겟 오디오 신호는 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하고, 제1 타겟 오디오 신호의 에너지의 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장되도록 조정될 수 있다. 도 15는 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 10이다. 도 15를 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S1001: 제1 타겟 오디오 신호의 진폭들의 제9 제곱의 합을 획득한다.
단계 S1002: 제3 타겟 오디오 신호의 진폭들의 제10 제곱의 합을 획득하고, 여기서 제3 타겟 오디오 신호는 M개의 제1 HRTF와 M개의 제1 오디오 신호에 기초하여 획득된 오디오 신호이다.
단계 S1003: 제9 제곱의 합에 대한 제10 제곱의 합의 제1 비율을 획득한다.
단계 S1004: 제1 타겟 오디오 신호의 각각의 진폭에 제1 비율을 곱하여, 조정된 제1 타겟 오디오 신호를 획득한다.
구체적으로, 단계 S1001 내지 단계 S1004는 "제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하고, 제1 자릿수는 제3 타겟 오디오 신호의 에너지의 자릿수이고, 제3 타겟 오디오 신호는 M개의 제1 HRTF와 M개의 제1 오디오 신호에 기초하여 획득된다"는 것이다.
또한, 렌더링 효율을 개선하기 위해, 제1 타겟 오디오 신호가 획득된 후에, 제1 타겟 오디오 신호의 에너지의 자릿수는 대안적으로 미리 설정된 자릿수로 조정될 수 있다. 이러한 방식으로, 제3 타겟 오디오 신호는 획득될 필요가 없다.
이 실시예에서는, 제1 타겟 오디오 신호의 에너지의 조정된 자릿수가 제3 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장된다.
도 16은 본 출원의 실시예에 따른 오디오 처리 방법의 흐름도 11이다. 도 16을 참조하면, 이 실시예에서의 방법은 다음의 단계들을 포함한다.
단계 S1101: 제2 타겟 오디오 신호의 진폭들의 제11 제곱의 합을 획득한다.
단계 S1102: 제4 타겟 오디오 신호의 진폭들의 제12 제곱의 합을 획득하고, 여기서 제4 타겟 오디오 신호는 M개의 제2 HRTF와 M개의 제1 오디오 신호에 기초하여 획득된 오디오 신호이다.
단계 S1103: 제11 제곱의 합에 대한 제12 제곱의 합의 제2 비율을 획득한다.
단계 S1104: 제2 타겟 오디오 신호의 각각의 진폭에 제2 비율을 곱하여, 조정된 제2 타겟 오디오 신호를 획득한다.
구체적으로, 단계 S1101 내지 단계 S1104는 "제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하고, 제2 자릿수는 제4 타겟 오디오 신호의 에너지의 자릿수이고, 제4 타겟 오디오 신호는 M개의 제2 HRTF와 M개의 제1 오디오 신호에 기초하여 획득되는 오디오 신호인 것"의 특정 구현이다.
또한, 렌더링 효율을 개선하기 위해, 제2 타겟 오디오 신호가 획득된 후에, 제2 타겟 오디오 신호의 에너지의 자릿수는 대안적으로 미리 설정된 자릿수로 조정될 수 있다. 이러한 방식으로, 제4 타겟 오디오 신호는 획득될 필요가 없다.
이 실시예에서는, 제2 타겟 오디오 신호의 에너지의 자릿수가 제4 타겟 오디오 신호의 에너지의 자릿수와 동일하다는 것이 보장된다.
도 7과 도 11에 도시된 실시예들 중 어느 하나는 도 15에 도시된 실시예와 조합될 수 있고, 도 9와 도 13에 도시된 실시예들 중 어느 하나는 도 16에 도시된 실시예와 조합될 수 있다.
오디오 신호 수신단에 의해 구현되는 기능들에 대해, 전술한 것은 본 출원의 실시예들에서 제공되는 해결책들을 설명한다. 전술한 기능들을 구현하기 위해, 오디오 신호 수신단은 기능들을 수행하기 위한 대응하는 하드웨어 구조들 및/또는 소프트웨어 모듈들을 포함한다는 점이 이해될 수 있다. 본 출원에서 개시되는 실시예들에서 설명되는 예들에서의 유닛들 및 알고리즘 단계들을 참조하여, 본 출원의 실시예들은 하드웨어 또는 하드웨어와 컴퓨터 소프트웨어의 조합의 형태로 구현될 수 있다. 기능이 하드웨어 또는 컴퓨터 소프트웨어에 의해 구동되는 하드웨어에 의해 수행되는지는 기술적 해결책들의 특정 애플리케이션들 및 설계 제약들에 의존한다. 본 기술분야의 통상의 기술자는 각각의 특정 애플리케이션에 대해 설명되는 기능들을 구현하기 위해 상이한 방법들을 사용할 수 있지만, 구현이 본 출원의 실시예들의 기술적 해결책들의 범위를 벗어나는 것으로 고려되어서는 안 된다.
본 출원의 실시예들에서, 오디오 신호 수신단은 전술한 방법 예들에 기초하여 기능 모듈들로 분할될 수 있다. 예를 들어, 각각의 기능 모듈은 각각의 대응하는 기능에 기초한 분할을 통해 획득될 수 있거나, 또는 2개 이상의 기능들이 하나의 처리 유닛에 통합될 수 있다. 전술한 통합된 유닛은 하드웨어의 형태로 구현될 수 있거나, 또는 소프트웨어 기능 모듈의 형태로 구현될 수 있다. 본 출원의 실시예들에서, 모듈들로의 분할은 일례이고, 단지 논리적 기능 분할이라는 점에 유의해야 한다. 실제 구현 동안, 다른 분할 방식이 존재할 수 있다.
도 17은 본 출원의 실시예에 따른 오디오 처리 장치의 개략적인 구조도 1이다. 도 17을 참조하면, 이 실시예에서의 장치는 처리 모듈(31), 획득 모듈(32), 및 수정 모듈(33)을 포함한다.
처리 모듈(31)은 처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하도록 구성되며, M은 양의 정수이고, M개의 가상 스피커는 M개의 제1 오디오 신호와 일대일 대응한다.
획득 모듈(32)은 M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하도록 구성되고, M개의 제1 HRTF는 M개의 가상 스피커에서 좌측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제2 HRTF는 M개의 가상 스피커에서 우측 귀 위치까지 M개의 제1 오디오 신호가 대응하는 HRTF들이고, M개의 제1 HRTF는 M개의 가상 스피커와 일대일 대응하고, M개의 제2 HRTF는 M개의 가상 스피커와 일대일 대한다.
수정 모듈(33)은: a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하도록 구성되고, 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수이다.
획득 모듈(32)은: a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고; d개의 제2 HRTF, b개의 제2 타겟 HRTF, 및 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하도록 추가로 구성된다. c개의 제1 HRTF는 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, d개의 제2 HRTF는 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M이다.
이 실시예에서의 장치는 전술한 방법 실시예들의 기술적 해결책들을 수행하도록 구성될 수 있다. 장치의 구현 원리들 및 기술적 효과들은 전술한 방법 실시예들의 것들과 유사하다. 세부사항들은 본 명세서에서 다시 설명하지 않는다.
가능한 설계에서, 획득 모듈(32)은 구체적으로:
현재 좌측 귀 위치에 대한 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하고;
M개의 제1 위치와 대응관계들에 기초하여, M개의 제1 위치에 대응하는 M개의 HRTF가 M개의 제1 HRTF라고 결정하도록 구성되고, 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이다.
가능한 설계에서, 획득 모듈(32)은 구체적으로:
현재 우측 귀 위치에 대한 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하고;
M개의 제2 위치와 대응관계들에 기초하여, M개의 제2 위치에 대응하는 M개의 HRTF가 M개의 제2 HRTF라고 결정하도록 구성되고, 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들이다.
가능한 설계에서, 획득 모듈(32)은 구체적으로:
M개의 제1 오디오 신호 각각을 a개의 제1 타겟 HRTF 및 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하고;
M개의 제1 컨볼빙된 오디오 신호에 기초하여 제1 타겟 오디오 신호를 획득하도록 구성된다.
가능한 설계에서, 획득 모듈(32)은 구체적으로:
M개의 제1 오디오 신호 각각을 d개의 제2 HRTF 및 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하고;
M개의 제2 컨볼빙된 오디오 신호에 기초하여 제2 타겟 오디오 신호를 획득하도록 구성된다.
가능한 설계에서, a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, a개의 제1 타겟 HRTF를 획득하도록 구성되고, 제1 수정 인자는 0보다 크고 1보다 작다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a개의 제1 타겟 HRTF를 획득하도록 구성되고, 제3 수정 인자는 1보다 큰 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하고- 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하도록 구성되고, 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
가능한 설계에서, b개의 제2 HRTF는 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제2 타겟 HRTF를 획득하도록 구성되고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다. 대안적으로, 이러한 가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b개의 제2 타겟 HRTF를 획득하도록 구성되고, 제4 수정 인자는 1보다 큰 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈은 구체적으로:
제2 수정 인자와 b개의 제2 HRTF에 포함된 고대역 임펄스 응답들을 곱하여, b개의 제4 타겟 HRTF를 획득하고- 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하도록 구성되고, 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이다.
가능한 설계에서, a=a1+a2이다. a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치하는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, a2개의 제1 HRTF는 타겟 중심의 제2 측면 상에 위치하는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하도록 구성되고, a개의 제1 타겟 HRTF는 a1개의 제3 타겟 HRTF와 a2개의 제5 타겟 HRTF를 포함한다.
제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
제3 수정 인자와 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 a2개의 제5 타겟 HRTF의 각각의 임펄스 응답을 곱하여 a1개의 제7 타겟 HRTF를 획득하도록 구성되고, a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 7 타겟 HRTF를 포함하고, 제3 수정 인자는 1보다 큰 값이고, 제6 수정 인자는 0보다 크고 1보다 작은 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제1 수정 인자와 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 제1 수정 인자와 제5 수정 인자의 곱은 1이고, 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제3 타겟 HRTF에 대해, 제1 값과 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하고- 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제2 제곱의 합은 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제5 타겟 HRTF에 대해, 제3 값과 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하도록 구성되고, 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 제5 제곱의 합은 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제6 제곱의 합은 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; a개의 제1 타겟 HRTF는 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함한다.
가능한 설계에서, b=b1+b2이다. b1개의 제2 HRTF는 타겟 중심의 제2 측면에 위치하는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, b2개의 제2 HRTF는 타겟 중심의 제1 측면에 위치하는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이다. 제1 측면은 현재 좌측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이고, 제2 측면은 현재 우측 귀 위치로부터 멀리 떨어진, 타겟 중심의 측면이다. 타겟 중심은 M개의 가상 스피커에 대응하는 3차원 공간의 중심이다.
이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하도록 구성되고, b개의 제2 타겟 HRTF는 b1개의 제4 타겟 HRTF와 b2개의 제8 타겟 HRTF를 포함한다.
제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
제4 수정 인자와 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 b1개의 제10 타겟 HRTF를 획득하도록 구성되고, b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함하고, 제4 수정 인자는 1보다 큰 값이고, 제8 수정 인자는 0보다 크고 1보다 작은 값이다.
대안적으로, 이러한 가능한 설계에서, 수정 모듈(33)은 구체적으로:
제2 수정 인자와 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 제2 수정 인자와 제7 수정 인자의 곱은 1이고, 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
하나의 제4 타겟 HRTF에 대해, 제2 값과 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하고- 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제4 제곱의 합은 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제8 타겟 HRTF에 대해, 제4 값과 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하도록 구성되고, 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 제7 제곱의 합은 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 제8 제곱의 합은 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; b개의 제2 타겟 HRTF는 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함한다.
이 실시예에서의 장치는 전술한 방법 실시예들의 기술적 해결책들을 수행하도록 구성될 수 있다. 장치의 구현 원리들 및 기술적 효과들은 전술한 방법 실시예들의 것들과 유사하다. 세부사항들은 본 명세서에서 다시 설명하지 않는다.
도 18은 본 출원의 실시예에 따른 오디오 처리 장치의 개략적인 구조도 2이다. 도 18을 참조하면, 도 17에 도시된 장치에 기초하여, 이 실시예에서의 장치는 조정 모듈(34)을 추가로 포함한다.
조정 모듈(34)은: 제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하고- 제1 자릿수는 제3 타겟 오디오 신호의 에너지의 자릿수이고, 제3 타겟 오디오 신호는 M개의 제1 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득됨 -;
제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하도록 구성되고, 제2 자릿수는 제4 타겟 오디오 신호의 에너지의 자릿수이고, 제4 타겟 오디오 신호는 M개의 제2 HRTF 및 M개의 제1 오디오 신호에 기초하여 획득된다.
이 실시예에서의 장치는 전술한 방법 실시예들의 기술적 해결책들을 수행하도록 구성될 수 있다. 장치의 구현 원리들 및 기술적 효과들은 전술한 방법 실시예들의 것들과 유사하다. 세부사항들은 본 명세서에서 다시 설명하지 않는다.
본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 판독가능 저장 매체는 명령어를 저장하고, 명령어가 실행될 때, 컴퓨터는 본 출원의 전술한 방법 실시예에서의 방법을 수행할 수 있게 된다.
본 출원에서 제공되는 몇몇 실시예들에서, 개시된 장치 및 방법이 다른 방식들로 구현될 수 있다는 것을 잘 알 것이다. 예를 들어, 설명된 장치 실시예들은 단지 예들이다. 예를 들어, 유닛들로의 분할은 논리적 기능 분할일 뿐이며 실제 구현에서는 다른 분할일 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 결합되거나 다른 시스템에 통합되거나, 일부 특징이 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접적 결합 또는 통신 접속은 소정의 인터페이스를 통해 구현될 수도 있다. 장치들 또는 유닛들 간의 간접 결합들 또는 통신 접속들은 전자적 형태, 기계적 형태, 또는 다른 형태로 구현될 수 있다.
별개의 부분들로서 설명된 유닛들은 물리적으로 분리되거나 분리되지 않을 수도 있고, 유닛들로서 표시된 부분들은 물리적 유닛들이거나 아닐 수도 있고, 한 위치에 위치하거나, 복수의 네트워크 유닛에 분산될 수도 있다. 이러한 유닛들의 일부 또는 전부는 실시예들의 해결책들의 목적들을 달성하기 위해 실제 요건들에 기초하여 선택될 수 있다.
또한, 본 출원의 실시예들의 기능적 유닛들은 하나의 처리 유닛 내로 통합될 수 있거나, 유닛들 각각은 단독으로 물리적으로 존재할 수 있고, 또는 2개 이상의 유닛들이 하나의 유닛 내로 통합된다. 통합된 유닛은 하드웨어의 형태로 구현될 수 있거나, 소프트웨어 기능 유닛과 조합된 하드웨어의 형태로 구현될 수 있다.
전술한 설명은 단지 본 발명의 특정 구현일 뿐이고, 본 발명의 보호 범위를 한정하려는 것은 아니다. 본 발명에서 개시된 기술적 범위 내의 당업자에 의해 용이하게 알아낼 수 있는 임의의 변형이나 대체물은 본 발명의 보호 범위 내에 든다. 따라서, 본 발명의 보호 범위는 청구항의 보호 범위에 따라야 한다.

Claims (39)

  1. 오디오 처리 방법으로서,
    처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하는 단계- M은 양의 정수이고, 상기 M개의 가상 스피커는 상기 M개의 제1 오디오 신호와 일대일 대응함 -;
    M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하는 단계- 상기 M개의 제1 HRTF는 상기 M개의 가상 스피커에서 좌측 귀 위치까지 상기 M개의 제1 오디오 신호가 대응하는 HRTF들이고, 상기 M개의 제2 HRTF는 상기 M개의 가상 스피커에서 우측 귀 위치까지 상기 M개의 제1 오디오 신호가 대응하는 HRTF들이고, 상기 M개의 제1 HRTF는 상기 M개의 가상 스피커와 일대일 대응하고, 상기 M개의 제2 HRTF는 상기 M개의 가상 스피커와 일대일 대응함 -;
    a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 단계- 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수임 -; 및
    상기 a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고, d개의 제2 HRTF, 상기 b개의 제2 타겟 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하는 단계- 상기 c개의 제1 HRTF는 상기 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, 상기 d개의 제2 HRTF는 상기 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M임 -를 포함하는 오디오 처리 방법.
  2. 제1항에 있어서,
    복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들이 미리 저장되고, 상기 M개의 제1 HRTF를 획득하는 것은:
    상기 현재 좌측 귀 위치에 대한 상기 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하는 것; 및
    상기 M개의 제1 위치와 상기 대응관계들에 기초하여, 상기 M개의 제1 위치에 대응하는 M개의 HRTF가 상기 M개의 제1 HRTF라고 결정하는 것을 포함하는 오디오 처리 방법.
  3. 제1항 또는 제2항에 있어서,
    복수의 미리 설정된 위치와 복수의 HRTF 사이의 대응관계들이 미리 저장되고, 상기 M개의 제2 HRTF를 획득하는 것은:
    상기 현재 우측 귀 위치에 대한 상기 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하는 것; 및
    상기 M개의 제2 위치와 상기 대응관계들에 기초하여, 상기 M개의 제2 위치에 대응하는 M개의 HRTF가 상기 M개의 제2 HRTF라고 결정하는 것을 포함하는 오디오 처리 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 a개의 제1 타겟 HRTF들, c개의 제1 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 상기 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하는 것은:
    상기 M개의 제1 오디오 신호 각각을 상기 a개의 제1 타겟 HRTF 및 상기 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하는 것; 및
    상기 M개의 제1 컨볼빙된 오디오 신호에 기초하여 상기 제1 타겟 오디오 신호를 획득하는 것을 포함하는 오디오 처리 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    d개의 제2 HRTF, 상기 b개의 제2 타겟 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 상기 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하는 것은:
    상기 M개의 제1 오디오 신호 각각을 상기 d개의 제2 HRTF 및 상기 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하는 것; 및
    상기 M개의 제2 컨볼빙된 오디오 신호에 기초하여 상기 제2 타겟 오디오 신호를 획득하는 것을 포함하는 오디오 처리 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 상기 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 방법.
  7. 제6항에 있어서,
    상기 a개의 제1 HRTF들의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하는 것은:
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 상기 a개의 제1 타겟 HRTF를 획득하는 것을 포함하고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 오디오 처리 방법.
  8. 제6항에 있어서,
    상기 a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하는 것은:
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하는 것- 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    제3 수정 인자와 a개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a개의 제1 타겟 HRTF를 획득하는 것- 상기 제3 수정 인자는 1보다 큰 값임 -;
    또는
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF를 획득하는 것- 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    하나의 제3 타겟 HRTF에 대해, 제1 값과 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하는 것- 상기 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 상기 제1 제곱의 합은 상기 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제2 제곱의 합은 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -을 포함하는 오디오 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 b개의 제2 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 상기 3차원 공간의 중심인 오디오 처리 방법.
  10. 제9항에 있어서,
    b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 것은:
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제2 타겟 HRTF를 획득하는 것을 포함하고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 방법.
  11. 제9항에 있어서,
    b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 것은:
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제4 타겟 HRTF를 획득하는 것- 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    제4 수정 인자와 상기 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, 상기 b개의 제2 타겟 HRTF를 획득하는 것- 상기 제4 수정 인자는 1보다 큰 값임 -;
    또는
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제4 타겟 HRTF를 획득하는 것- 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    하나의 제4 타겟 HRTF에 대해, 제2 값과 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하는 것- 상기 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 상기 제3 제곱의 합은 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제4 제곱의 합은 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -을 포함하는 오디오 처리 방법.
  12. 제1항 내지 제5항 중 어느 한 항에 있어서,
    a=a1+a2이고, 상기 a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, 상기 a2개의 제1 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이고, 상기 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 방법.
  13. 제12항에 있어서,
    a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하는 것은:
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하는 것을 포함하고, 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제3 타겟 HRTF와 상기 a2개의 제5 타겟 HRTF를 포함하고;
    상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 방법.
  14. 제12항에 있어서,
    a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하는 것은:
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여 a2개의 제5 타겟 HRTF를 획득하는 것- 상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    제3 수정 인자와 상기 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 상기 a2개의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여 a2개의 제7 타겟 HRTF를 획득하는 것- 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제6 타겟 HRTF와 상기 a2개의 제7 타겟 HRTF를 포함하고, 상기 제3 수정 인자는 1보다 큰 값이고, 상기 제6 수정 인자는 0보다 크고 1보다 작은 값임 -;
    또는
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하는 것- 상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    하나의 제3 타겟 HRTF에 대해, 제1 값과 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하는 것- 상기 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 상기 제1 제곱의 합은 상기 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제2 제곱의 합은 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제5 타겟 HRTF에 대해, 제3 값과 상기 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하는 것- 상기 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 상기 제5 제곱의 합은 상기 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제6 제곱의 합은 상기 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -을 포함하고; 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함하는 오디오 처리 방법.
  15. 제1항 내지 제8항과 제12항 내지 제14항 중 어느 한 항에 있어서,
    b=b1+b2이고, 상기 b1개의 제2 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, 상기 b2개의 제2 HRTF는 상기 타겟 중심의 제1 측면 상에 위치되는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이고, 상기 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 방법.
  16. 제15항에 있어서,
    b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 것은:
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하는 것을 포함하고, 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제4 타겟 HRTF와 상기 b2개의 제8 타겟 HRTF를 포함하고;
    상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 방법.
  17. 제15항에 있어서,
    b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하는 것은:
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하는 것- 상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    제4 수정 인자와 상기 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 상기 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b2개의 제10 타겟 HRTF를 획득하는 것- 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제9 타겟 HRTF와 상기 b2개의 제10 타겟 HRTF를 포함하고, 상기 제4 수정 인자는 1보다 큰 값이고, 상기 제8 수정 인자는 0보다 크고 1보다 작은 값임 -;
    또는
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하는 것- 상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -; 및
    하나의 제4 타겟 HRTF에 대해, 제2 값과 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하는 것- 상기 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 상기 제3 제곱의 합은 상기 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제4 제곱의 합은 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 및 하나의 제8 타겟 HRTF에 대해, 제4 값과 상기 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하는 것- 상기 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 상기 제7 제곱의 합은 상기 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제8 제곱의 합은 상기 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -을 포함하고; 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함하는 오디오 처리 방법.
  18. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하는 단계- 상기 제1 자릿수는 상기 제3 타겟 오디오 신호의 에너지의 자릿수이고, 상기 제3 타겟 오디오 신호는 상기 M개의 제1 HRTF 및 상기 M개의 제1 오디오 신호에 기초하여 획득됨 -; 및
    상기 제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하는 단계- 상기 제2 자릿수는 상기 제4 타겟 오디오 신호의 에너지의 자릿수이고, 상기 제4 타겟 오디오 신호는 상기 M개의 제2 HRTF 및 상기 M개의 제1 오디오 신호에 기초하여 획득됨 -를 추가로 포함하는 오디오 처리 방법.
  19. 오디오 처리 장치로서,
    처리될 오디오 신호를 M개의 가상 스피커에 의해 처리함으로써 M개의 제1 오디오 신호를 획득하도록 구성된 처리 모듈- M은 양의 정수이고, 상기 M개의 가상 스피커는 상기 M개의 제1 오디오 신호와 일대일 대응함 -;
    M개의 제1 머리-관련 전달 함수 HRTF 및 M개의 제2 HRTF를 획득하도록 구성된 획득 모듈- 상기 M개의 제1 HRTF는 상기 M개의 가상 스피커에서 좌측 귀 위치까지 상기 M개의 제1 오디오 신호가 대응하는 HRTF들이고, 상기 M개의 제2 HRTF는 상기 M개의 가상 스피커에서 우측 귀 위치까지 상기 M개의 제1 오디오 신호가 대응하는 HRTF들이고, 상기 M개의 제1 HRTF는 상기 M개의 가상 스피커와 일대일 대응하고, 상기 M개의 제2 HRTF는 상기 M개의 가상 스피커와 일대일 대응함 -; 및
    a개의 제1 HRTF의 고대역 임펄스 응답들을 수정하여 a개의 제1 타겟 HRTF를 획득하고, b개의 제2 HRTF의 고대역 임펄스 응답들을 수정하여 b개의 제2 타겟 HRTF를 획득하도록 구성된 수정 모듈- 1≤a≤M이고, 1≤b≤M이며, a와 b 둘 다 정수임 -을 포함하고;
    상기 획득 모듈은 추가로: 상기 a개의 제1 타겟 HRTF, c개의 제1 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 현재 좌측 귀 위치에 대응하는 제1 타겟 오디오 신호를 획득하고; d개의 제2 HRTF, 상기 b개의 제2 타겟 HRTF, 및 상기 M개의 제1 오디오 신호에 기초하여, 현재 우측 귀 위치에 대응하는 제2 타겟 오디오 신호를 획득하도록 구성되고, 상기 c개의 제1 HRTF는 상기 M개의 제1 HRTF 내의 a개의 제1 HRTF 이외의 HRTF들이고, 상기 d개의 제2 HRTF는 상기 M개의 제2 HRTF 내의 b개의 제2 HRTF 이외의 HRTF들이고, a+c=M이고, b+d=M인 오디오 처리 장치.
  20. 제19항에 있어서,
    상기 획득 모듈은 구체적으로:
    상기 현재 좌측 귀 위치에 대한 상기 M개의 제1 가상 스피커의 M개의 제1 위치를 획득하고;
    상기 M개의 제1 위치와 대응관계들에 기초하여, 상기 M개의 제1 위치에 대응하는 M개의 HRTF가 상기 M개의 제1 HRTF라고 결정하도록 구성되고, 상기 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들인 오디오 처리 장치.
  21. 제19항 또는 제20항에 있어서,
    상기 획득 모듈은 구체적으로:
    상기 현재 우측 귀 위치에 대한 상기 M개의 제2 가상 스피커의 M개의 제2 위치를 획득하고;
    상기 M개의 제2 위치와 대응관계들에 기초하여, 상기 M개의 제2 위치에 대응하는 M개의 HRTF가 상기 M개의 제2 HRTF라고 결정하도록 구성되고, 상기 대응관계들은 복수의 미리 설정된 위치와 복수의 HRTF 사이의 미리 저장된 대응관계들인 오디오 처리 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 획득 모듈은 구체적으로:
    상기 M개의 제1 오디오 신호 각각을 상기 a개의 제1 타겟 HRTF 및 상기 c개의 제1 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제1 컨볼빙된 오디오 신호를 획득하고;
    상기 M개의 제1 컨볼빙된 오디오 신호에 기초하여 상기 제1 타겟 오디오 신호를 획득하도록 구성되는 오디오 처리 장치.
  23. 제19항 내지 제22항 중 어느 한 항에 있어서,
    상기 획득 모듈은 구체적으로:
    상기 M개의 제1 오디오 신호 각각을 상기 d개의 제2 HRTF 및 상기 b개의 제2 타겟 HRTF의 모든 HRTF 내의 대응하는 HRTF와 컨볼빙하여, M개의 제2 컨볼빙된 오디오 신호를 획득하고;
    상기 M개의 제2 컨볼빙된 오디오 신호에 기초하여 상기 제2 타겟 오디오 신호를 획득하도록 구성되는 오디오 처리 장치.
  24. 제19항 내지 제23항 중 어느 한 항에 있어서,
    상기 a개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a개의 가상 스피커가 대응하는 a개의 제1 HRTF이고, 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 장치.
  25. 제24항에 있어서,
    상기 수정 모듈은 구체적으로:
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 a개의 제1 타겟 HRTF를 획득하도록 구성되고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 오디오 처리 장치.
  26. 제24항에 있어서,
    상기 수정 모듈은 구체적으로:
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF들을 획득하고- 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
    제3 수정 인자와 상기 a개의 제3 타겟 HRTF들에 포함된 각각의 임펄스 응답을 곱하여, 상기 a개의 제1 타겟 HRTF를 획득하고- 상기 제3 수정 인자는 1보다 큰 값임 -;
    또는
    제1 수정 인자와 상기 a개의 제1 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여 a개의 제3 타겟 HRTF들을 획득하고- 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
    하나의 제3 타겟 HRTF에 대해, 제1 값과 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제3 타겟 HRTF에 대응하는 제1 타겟 HRTF를 획득하도록 구성되고, 상기 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 상기 제1 제곱의 합은 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제2 제곱의 합은 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합인 오디오 처리 장치.
  27. 제19항 내지 제26항 중 어느 한 항에 있어서,
    상기 b개의 제2 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 b개의 가상 스피커가 대응하는 b개의 제2 HRTF이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 상기 3차원 공간의 중심인 오디오 처리 장치.
  28. 제27항에 있어서,
    상기 수정 모듈은 구체적으로:
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제2 타겟 HRTF를 획득하도록 구성되고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 장치.
  29. 제27항에 있어서, 상기 수정 모듈은 구체적으로:
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제4 타겟 HRTF를 획득하고- 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
    제4 수정 인자와 상기 b개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, 상기 b개의 제2 타겟 HRTF를 획득하고- 상기 제4 수정 인자는 1보다 큰 값임 -;
    또는
    제2 수정 인자와 상기 b개의 제2 HRTF에 포함된 상기 고대역 임펄스 응답들을 곱하여, 상기 b개의 제4 타겟 HRTF를 획득하고- 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
    하나의 제4 타겟 HRTF에 대해, 제2 값과 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제4 타겟 HRTF에 대응하는 제2 타겟 HRTF를 획득하도록 구성되고, 상기 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 상기 제3 제곱의 합은 상기 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제4 제곱의 합은 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합인 오디오 처리 장치.
  30. 제19항 내지 제23항 중 어느 한 항에 있어서,
    a=a1+a2이고, 상기 a1개의 제1 HRTF는 타겟 중심의 제1 측면 상에 위치되는 a1개의 가상 스피커가 대응하는 a1개의 제1 HRTF이고, 상기 a2개의 제1 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 a2개의 가상 스피커가 대응하는 a2개의 제1 HRTF이고, 상기 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 장치.
  31. 제30항에 있어서,
    상기 수정 모듈은 구체적으로:
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하도록 구성되고, 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제3 타겟 HRTF와 상기 a2개의 제5 타겟 HRTF를 포함하고;
    상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 장치.
  32. 제30항에 있어서,
    상기 수정 모듈은 구체적으로:
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
    제3 수정 인자와 상기 a1개의 제3 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a1개의 제6 타겟 HRTF를 획득하고, 제6 수정 인자와 상기 a2개의 제5 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, a1개의 제7 타겟 HRTF를 획득하고- 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제6 타겟 HRTF와 상기 a2개의 제7 타겟 HRTF를 포함하고, 상기 제3 수정 인자는 1보다 큰 값이고, 상기 제6 수정 인자는 0보다 크고 1보다 작은 값임 -;
    또는
    제1 수정 인자와 상기 a1개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a1개의 제3 타겟 HRTF를 획득하고, 제5 수정 인자와 상기 a2개의 제1 HRTF의 고대역 임펄스 응답들을 곱하여, a2개의 제5 타겟 HRTF를 획득하고- 상기 제1 수정 인자와 상기 제5 수정 인자의 곱은 1이고, 상기 제1 수정 인자는 0보다 크고 1보다 작은 값임 -;
    하나의 제3 타겟 HRTF에 대해, 제1 값과 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제3 타겟 HRTF에 대응하는 제6 타겟 HRTF를 획득하고- 상기 제1 값은 제2 제곱의 합에 대한 제1 제곱의 합의 비율이고, 상기 제1 제곱의 합은 상기 하나의 제3 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제2 제곱의 합은 상기 하나의 제3 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제5 타겟 HRTF에 대해, 제3 값과 상기 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제5 타겟 HRTF에 대응하는 제7 타겟 HRTF를 획득하도록 구성되고, 상기 제3 값은 제6 제곱의 합에 대한 제5 제곱의 합의 비율이고, 상기 제5 제곱의 합은 상기 하나의 제5 타겟 HRTF에 대응하는 제1 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제6 제곱의 합은 상기 하나의 제5 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; 상기 a개의 제1 타겟 HRTF는 상기 a1개의 제6 타겟 HRTF와 a2개의 제7 타겟 HRTF를 포함하는 오디오 처리 장치.
  33. 제19항 내지 제26항과 제30항 내지 제32항 중 어느 한 항에 있어서,
    b=b1+b2이고, 상기 b1개의 제2 HRTF는 상기 타겟 중심의 제2 측면 상에 위치되는 b1개의 가상 스피커가 대응하는 b1개의 제2 HRTF이고, 상기 b2개의 제2 HRTF는 상기 타겟 중심의 제1 측면 상에 위치되는 b2개의 가상 스피커가 대응하는 b2개의 제2 HRTF이고, 상기 제1 측면은 상기 현재 좌측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 제2 측면은 상기 현재 우측 귀 위치로부터 멀리 떨어진, 상기 타겟 중심의 측면이고, 상기 타겟 중심은 상기 M개의 가상 스피커에 대응하는 3차원 공간의 중심인 오디오 처리 장치.
  34. 제33항에 있어서,
    상기 수정 모듈은 구체적으로:
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하도록 구성되고, 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제4 타겟 HRTF와 상기 b2개의 제8 타겟 HRTF를 포함하고;
    상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값인 오디오 처리 장치.
  35. 제33항에 있어서,
    상기 수정 모듈은 구체적으로:
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
    제4 수정 인자와 상기 b1개의 제4 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b1개의 제9 타겟 HRTF를 획득하고, 제8 수정 인자와 상기 b2개의 제8 타겟 HRTF에 포함된 각각의 임펄스 응답을 곱하여, b1개의 제10 타겟 HRTF를 획득하고- 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제9 타겟 HRTF와 상기 b2개의 제10 타겟 HRTF를 포함하고, 상기 제4 수정 인자는 1보다 큰 값이고, 상기 제8 수정 인자는 0보다 크고 1보다 작은 값임 -;
    또는
    제2 수정 인자와 상기 b1개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b1개의 제4 타겟 HRTF를 획득하고, 제7 수정 인자와 상기 b2개의 제2 HRTF의 고대역 임펄스 응답들을 곱하여, b2개의 제8 타겟 HRTF를 획득하고- 상기 제2 수정 인자와 상기 제7 수정 인자의 곱은 1이고, 상기 제2 수정 인자는 0보다 크고 1보다 작은 값임 -;
    하나의 제4 타겟 HRTF에 대해, 제2 값과 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제4 타겟 HRTF에 대응하는 제9 타겟 HRTF를 획득하고- 상기 제2 값은 제4 제곱의 합에 대한 제3 제곱의 합의 비율이고, 상기 제3 제곱의 합은 상기 하나의 제4 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제4 제곱의 합은 상기 하나의 제4 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합임 -; 하나의 제8 타겟 HRTF에 대해, 제4 값과 상기 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답을 곱하여, 상기 하나의 제8 타겟 HRTF에 대응하는 제10 타겟 HRTF를 획득하도록 구성되고, 상기 제4 값은 제8 제곱의 합에 대한 제7 제곱의 합의 비율이고, 상기 제7 제곱의 합은 상기 하나의 제8 타겟 HRTF에 대응하는 제2 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고, 상기 제8 제곱의 합은 상기 하나의 제8 타겟 HRTF에 포함된 모든 임펄스 응답의 제곱의 합이고; 상기 b개의 제2 타겟 HRTF는 상기 b1개의 제9 타겟 HRTF와 b2개의 제10 타겟 HRTF를 포함하는 오디오 처리 장치.
  36. 제19항 내지 제25항 중 어느 한 항에 있어서,
    조정 모듈을 추가로 포함하고,
    상기 조정 모듈은: 상기 제1 타겟 오디오 신호의 에너지의 자릿수를 제1 자릿수로 조정하고- 상기 제1 자릿수는 상기 제3 타겟 오디오 신호의 에너지의 자릿수이고, 상기 제3 타겟 오디오 신호는 상기 M개의 제1 HRTF 및 상기 M개의 제1 오디오 신호에 기초하여 획득됨 -;
    상기 제2 타겟 오디오 신호의 에너지의 자릿수를 제2 자릿수로 조정하도록 구성되고, 상기 제2 자릿수는 상기 제4 타겟 오디오 신호의 에너지의 자릿수이고, 상기 제4 타겟 오디오 신호는 상기 M개의 제2 HRTF 및 상기 M개의 제1 오디오 신호에 기초하여 획득되는 오디오 처리 장치.
  37. 프로세서를 포함하는 오디오 처리 장치로서,
    상기 프로세서는: 메모리에 결합되고, 상기 메모리 내의 명령어를 판독 및 실행하여, 제1항 내지 제18항 중 어느 한 항에 따른 방법을 구현하도록 구성되는 오디오 처리 장치.
  38. 제37항에 있어서,
    상기 메모리를 추가로 포함하는 오디오 처리 장치.
  39. 판독가능 저장 매체로서,
    상기 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램이 실행될 때, 제1항 내지 제18항 중 어느 한 항에 따른 방법이 구현되는 판독가능 저장 매체.
KR1020217007802A 2018-08-20 2019-03-19 오디오 처리 방법 및 장치 KR102502551B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237005716A KR20230027335A (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810950090.9 2018-08-20
CN201810950090.9A CN110856095B (zh) 2018-08-20 2018-08-20 音频处理方法和装置
PCT/CN2019/078780 WO2020037983A1 (zh) 2018-08-20 2019-03-19 音频处理方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237005716A Division KR20230027335A (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210043660A true KR20210043660A (ko) 2021-04-21
KR102502551B1 KR102502551B1 (ko) 2023-02-23

Family

ID=69592413

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217007802A KR102502551B1 (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치
KR1020237005716A KR20230027335A (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237005716A KR20230027335A (ko) 2018-08-20 2019-03-19 오디오 처리 방법 및 장치

Country Status (6)

Country Link
US (2) US11451921B2 (ko)
EP (1) EP3833056A4 (ko)
KR (2) KR102502551B1 (ko)
CN (2) CN110856095B (ko)
BR (1) BR112021003158A2 (ko)
WO (1) WO2020037983A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111916094B (zh) * 2020-07-10 2024-02-23 瑞声新能源发展(常州)有限公司科教城分公司 音频信号处理方法、装置、设备及可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1551205A1 (en) * 2003-12-30 2005-07-06 Alcatel Head relational transfer function virtualizer
US20120243689A1 (en) * 2011-03-21 2012-09-27 Sangoh Jeong Apparatus for controlling depth/distance of sound and method thereof
KR20140128567A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
US6175631B1 (en) * 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
US7949141B2 (en) * 2003-11-12 2011-05-24 Dolby Laboratories Licensing Corporation Processing audio signals with head related transfer function filters and a reverberator
KR100677119B1 (ko) * 2004-06-04 2007-02-02 삼성전자주식회사 와이드 스테레오 재생 방법 및 그 장치
KR100644617B1 (ko) * 2004-06-16 2006-11-10 삼성전자주식회사 7.1 채널 오디오 재생 방법 및 장치
JP4509686B2 (ja) * 2004-07-29 2010-07-21 新日本無線株式会社 音響信号処理方法および装置
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
CN101529930B (zh) * 2006-10-19 2011-11-30 松下电器产业株式会社 声像定位装置、声像定位***、声像定位方法、程序及集成电路
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
WO2012068174A2 (en) * 2010-11-15 2012-05-24 The Regents Of The University Of California Method for controlling a speaker array to provide spatialized, localized, and binaural virtual surround sound
US9271102B2 (en) * 2012-08-16 2016-02-23 Turtle Beach Corporation Multi-dimensional parametric audio system and method
JP6330251B2 (ja) * 2013-03-12 2018-05-30 ヤマハ株式会社 密閉型ヘッドフォン用信号処理装置および密閉型ヘッドフォン
CN104581610B (zh) * 2013-10-24 2018-04-27 华为技术有限公司 一种虚拟立体声合成方法及装置
JP2015211418A (ja) * 2014-04-30 2015-11-24 ソニー株式会社 音響信号処理装置、音響信号処理方法、および、プログラム
EP3132617B1 (en) * 2014-08-13 2018-10-17 Huawei Technologies Co. Ltd. An audio signal processing apparatus
CN107113524B (zh) 2014-12-04 2020-01-03 高迪音频实验室公司 反映个人特性的双耳音频信号处理方法和设备
JP6539742B2 (ja) * 2015-02-18 2019-07-03 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． オーディオ信号をフィルタリングするためのオーディオ信号処理装置および方法
CN107925814B (zh) * 2015-10-14 2020-11-06 华为技术有限公司 生成提升声音印象的方法和设备
WO2017097324A1 (en) * 2015-12-07 2017-06-15 Huawei Technologies Co., Ltd. An audio signal processing apparatus and method
CN105933835A (zh) * 2016-04-21 2016-09-07 音曼（北京）科技有限公司 基于线性扬声器阵列的自适应3d声场重现方法及***
KR20170125660A (ko) 2016-05-04 2017-11-15 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
CN107786936A (zh) * 2016-08-25 2018-03-09 中兴通讯股份有限公司 一种声音信号的处理方法及终端
CN107182021A (zh) * 2017-05-11 2017-09-19 广州创声科技有限责任公司 Vr电视中的动态空间虚拟声处理***及处理方法
CN107105384B (zh) * 2017-05-17 2018-11-02 华南理工大学 一种中垂面上近场虚拟声像的合成方法
CN108156575B (zh) * 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1551205A1 (en) * 2003-12-30 2005-07-06 Alcatel Head relational transfer function virtualizer
US20120243689A1 (en) * 2011-03-21 2012-09-27 Sangoh Jeong Apparatus for controlling depth/distance of sound and method thereof
KR20140128567A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법

Also Published As

Publication number Publication date
US11863964B2 (en) 2024-01-02
EP3833056A4 (en) 2021-10-13
WO2020037983A8 (zh) 2020-10-22
BR112021003158A2 (pt) 2021-05-11
KR20230027335A (ko) 2023-02-27
CN114205730A (zh) 2022-03-18
CN110856095A (zh) 2020-02-28
CN110856095B (zh) 2021-11-19
US20210176583A1 (en) 2021-06-10
WO2020037983A1 (zh) 2020-02-27
US20220386064A1 (en) 2022-12-01
KR102502551B1 (ko) 2023-02-23
EP3833056A1 (en) 2021-06-09
US11451921B2 (en) 2022-09-20

Similar Documents

Publication Publication Date Title
KR102149214B1 (ko) 위상응답 특성을 이용하는 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
JP7038725B2 (ja) オーディオ信号処理方法及び装置
EP3229498B1 (en) Audio signal processing apparatus and method for binaural rendering
US10820135B2 (en) System for and method of generating an audio image
US11611841B2 (en) Audio processing method and apparatus
TW202127916A (zh) 用於虛擬實境音訊的聲場調適
US11863964B2 (en) Audio processing method and apparatus
Enzner et al. Advanced system options for binaural rendering of ambisonic format
US20230011591A1 (en) System and method for virtual sound effect with invisible loudspeaker(s)
US11758348B1 (en) Auditory origin synthesis
US11470435B2 (en) Method and device for processing audio signals using 2-channel stereo speaker
US11924619B2 (en) Rendering binaural audio over multiple near field transducers
KR20230152139A (ko) Hoa 계수를 획득하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right