KR102358283B1 - 몰입형 오디오 재생 시스템 - Google Patents

몰입형 오디오 재생 시스템 Download PDF

Info

Publication number
KR102358283B1
KR102358283B1 KR1020187035306A KR20187035306A KR102358283B1 KR 102358283 B1 KR102358283 B1 KR 102358283B1 KR 1020187035306 A KR1020187035306 A KR 1020187035306A KR 20187035306 A KR20187035306 A KR 20187035306A KR 102358283 B1 KR102358283 B1 KR 102358283B1
Authority
KR
South Korea
Prior art keywords
audio signal
height
signal
audio
virtualized
Prior art date
Application number
KR1020187035306A
Other languages
English (en)
Other versions
KR20190005206A (ko
Inventor
쟝-마크 조트
대경 노
리안 제임스 캐시디
테미스 조지 카치아노스
오베알 워커
Original Assignee
디티에스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디티에스, 인코포레이티드 filed Critical 디티에스, 인코포레이티드
Publication of KR20190005206A publication Critical patent/KR20190005206A/ko
Application granted granted Critical
Publication of KR102358283B1 publication Critical patent/KR102358283B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)

Abstract

시스템 및 방법은, 수평 평면에서 라우드스피커를 사용하여 삼차원 음장에서 가상 라우드스피커 소스를 제공할 수 있다. 한 예에서, 프로세서 회로는, 청취자에 대해 상승되는, 그리고, 옵션 사항으로, 명시된 방위각만큼 청취자의 대향 방향으로부터 오프셋되는 라우드스피커를 사용한 재생을 위해 의도되는 정보를 포함하는 적어도 하나의 높이 오디오 신호를 수신할 수 있다. 제1 가상 높이 필터는 명시된 방위각에 기초하여 사용을 위해 선택될 수 있다. 가상화된 오디오 신호는 적어도 하나의 높이 오디오 신호에 제1 가상 높이 필터를 적용하는 것에 의해 생성될 수 있다. 가상화된 오디오 신호가 수평 평면에서 하나 이상의 라우드스피커를 사용하여 재생될 때, 가상화된 오디오 신호는 방위각에 대응하는 상승된 라우드스피커 소스로부터 발생하는 것으로 청취자에 의해 인식될 수 있다.

Description

몰입형 오디오 재생 시스템
우선권의 주장
이 특허 출원은 2016년 5월 6일자로 출원된 미국 특허 가출원 제62/332,872호에 대한 우선권의 이익을 주장하는데, 이 가출원은 참조에 의해 그 전체가 본원에 통합된다.
예컨대 헤드폰 또는 라우드스피커를 사용한 삼차원 오디오 재생을 위한, 머리 전달 함수(Head-Related Transfer Functions; HRTF)에 기초하여 오디오 신호 프로세싱을 구현하기 위한 다양한 기술이 제안되어 있다. 몇몇 예에서, 그 기술은 수평 평면에 국한되는, 또는 상승된(elevated) 위치되는 가상 라우드스피커를 재생하기 위해 사용된다. 라우드스피커 기반 시스템에서 "스위트 스팟(sweet spot)"으로부터 멀리 떨어진 청취자 위치에 대한 수평 국소화 아티팩트(horizontal localization artifact)를 감소시키기 위해, 다양한 필터가 적용되어 효과를 낮은 주파수로 제한할 수 있다. 그러나, 이것은 가상 상승 효과(virtual elevation effect)의 효율성을 손상시킬 수 있다.
이러한 기술은 일반적으로, 상승된 라우드스피커를 사용하는 재생을 위해 의도되는 적어도 하나의 전용 채널을 포함하는 오디오 입력 신호를 요구하거나 또는 사용한다. 그러나, 음악 레코딩(music recordings) 및 영화 사운드트랙을 비롯한, 몇몇 일반적으로 이용 가능한 오디오 콘텐츠는, 이러한 전용 채널을 포함하지 않을 수도 있다. 두 개의 라우드스피커를 통해 오디오 신호를 확산시키는 "의사 스테레오(pseudo-stereo)" 기술을 사용하는 것은, 예를 들면, 소망되는 수직 몰입 효과를 생성하기에 일반적으로 불충분하거나 또는 적절하지 않은데, 그 이유는, 그것이 재생된 오디오 이미지를 전역적으로 수직으로 상승시키고 확장시키기 때문이다. 더욱 자연스러운 사운딩 몰입 또는 향상 효과를 위해서는, 주변 또는 확산 신호 성분에 대한 인식된 수직 확장을 제공하면서, (예를 들면, 수평 평면에서의) 주 신호 성분의 인식된 국소화를 보존하는 것이 바람직하다.
한 예에서, 청취 공간의 천정에서 높이 신호를 반사하기 위해, 상향 발사형 라우드스피커 드라이버가 사용될 수 있다. 그러나, 이 접근법은 항상 실용적인 것은 아닌데, 그 이유는, 그것이 적당한 높이에 있는 수평 천장을 필요로 하고, 수평 채널 신호에 대한 높이 채널 신호의 상대적인 지연 정렬 및 교정을 위한 추가적인 시스템 복잡성을 필요로 하기 때문이다.
본 발명자는, 해결되어야 하는 문제점이, 상승된 라우드스피커를 요구하지 않으면서 또는 사용하지 않으면서 몰입형의 삼차원 청취 경험을 제공하는 것을 포함한다는 것을 인식하였다. 문제점은, 예컨대 수직으로 상승된 위치에서, 그리고 청취자가 향하는 방향에 대해 명시된 각도에서, 청취자에 대한 삼차원 공간에서 가상 사운드 소스를 제공하는 것을 더 포함할 수 있다. 문제점은, 청취자의 움직임을 추적하는 것 및 상응하여 유저의 삼차원 공간에서 가상 사운드 소스를 조정 또는 유지하는 것을 포함할 수 있다. 문제점은, 삼차원 또는 몰입형 음장(sound field) 경험을 재생하기 위한 하드웨어 요건을 단순화하는 것 또는 감소시키는 것을 더 포함할 수 있다.
한 예에서, 수직 국소화 문제점에 대한 해결책은, 몰입형 공간 오디오 재생을 위한 시스템 및 방법을 포함한다. 실시형태는, 예컨대 물리적으로 상승된 또는 상향 발사형 라우드스피커를 요구하지 않으면서 또는 사용하지 않으면서, 적어도 부분적으로 상승된 위치로부터 오는 것으로 청취자에 의해 인식되는 사운드를 재생하기 위해, 라우드스피커를 사용할 수 있다. 다양한 실시형태는, 헤드폰, 라우드스피커, 및 종래의 스테레오 또는 서라운드 사운드 재생 시스템을 포함하는 명시된 오디오 재생 디바이스와 호환되거나 또는 그 명시된 오디오 재생 디바이스에 대해 선택된다. 예를 들면, 본원에서 설명되는 몇몇 시스템 및 방법은, 예컨대 사운드 바 라우드스피커, 홈 시어터 시스템, 또는 통합된 라우드스피커를 갖는 TV 또는 랩탑 컴퓨터를 사용하여 향상된 몰입형 삼차원 다중채널 오디오 콘텐츠의 재생을 위해 사용될 수 있다.
전용 "높이" 라우드스피커 또는 드라이버를 제거하는 것으로부터의 하드웨어 단순화 및 비용 절감 외에도, 본 시스템 및 방법은 다양한 이점을 포함한다. 예를 들면, 신호 프로세싱 방법은, 수평 평면 국소화 프로세싱 또는 렌더링과는 독립적으로 가상 높이 효과(virtual height effect)를 구현할 수 있다. 이것은, 수직 및 수평 양태의 최적화 또는 튜닝을 개별적으로 허용할 수 있고, 그에 의해, 심지어 "스위트 스팟"으로부터 멀리 떨어진 청취 위치에서도 그리고 설계가 손상시키는 수평 서라운드 효과와는 무관하게 상승 효과를 보존할 수 있다.
가상 상승 효과와 수평 평면 국소화 사이의 의존성을 제거하는 것에 의해, 효율적인 신호 프로세싱 토폴로지가 가능하게 될 수 있다. 한 예에서, 예컨대 전방 및 후방 라우드스피커를 포함하는 다중채널 서라운드 사운드 시스템에서 시스템이 2 채널 스테레오 라우드스피커 배치만을 포함하든 또는 시스템이 추가적인 라우드스피커를 포함하든 간에, 동일한 또는 유사한 가상 높이 효과 토폴로지가 사용될 수 있다. 한 예에서, 다중채널 시스템 예는, 물리적인 후방 라우드스피커를 사용하여 가상 후방 상승 효과를 사용할 수 있다. 다른 예에서, 2 채널 시스템 예는, 수평 평면 후방 가상화와 연계하여 가상 후방 상승 효과를 사용할 수 있다. 가상 높이 프로세싱 토폴로지(virtual height processing topology)는 두 예 모두에 대해 동일할 수 있다.
한 예에서, 예컨대 별개의 높이 채널을 포함하지 않을 수도 있는 레거시 콘텐츠 포맷의 경우, 향상된 몰입 효과를 생성하기 위해, 높이 업믹싱 기술(height upmixing technique)이 사용될 수 있다. 높이 업믹스 기술은, 입력 신호에서 주변 성분의 인식된 국소화를 수직으로 확장시키는 것을 포함할 수 있다.
상기에서 설명된 문제점에 대한 해결책은, 종래의 수평 라우드스피커 또는 헤드폰 구성을 사용하여 더욱 정확하고 몰입감 있는 음장을 전달하기 위해, 가상 높이 오디오 신호 프로세싱을 포함할 수 있거나 또는 사용할 수 있다. 한 예에서, 가상 높이 프로세싱은, 상승된 라우드스피커를 사용하여 전달을 위해 의도되는 오디오 신호에 가상 높이 필터(virtual height filter)를 적용할 수 있다. 이러한 가상 높이 필터는 머리 전달 함수(HRTF) 크기 또는 전력 비율 특성으로부터 유도될 수 있다. 몇몇 예에서, HRTF 크기 또는 전력 정보는, 청취자의 주시 방향(look direction) 또는 대향 방향에 대한 소망되는 방위 국소화 각도에 무관하게 유도될 수 있다. 전력 비율은, 청취자 앞 정중면(median plane)에 위치되는 사운드 소스에 대해 평가될 수 있다. 그러나, 이 접근법은, 정중면으로부터 먼 사운드 국소화를 위한 가상 높이 프로세싱을 다루지 않을 수도 있다.
한 예에서, 가상 높이 프로세싱은, 청취자의 주시 방향에 대한 가상 사운드 소스의 명시된 방위각, 또는 회전 방향에 적어도 부분적으로 의존하는 가상 높이 필터를 포함할 수 있거나 또는 사용할 수 있다. 한 예에서, 프로세싱은, 상승된 가상 소스에 대한 동측(ipsilateral) HRTF와 대측(contralateral) HRTF 사이의 다양한 차이를 고려할 수 있다.
한 예에서, 상기에서 설명된 문제점에 대한 추가적인 해결책은, 팬텀 소스(phantom source)의 HRTF 기반의 가상화를 포함할 수 있거나 또는 사용할 수 있다. 팬텀 소스는, 다수의 입력 또는 출력 채널 사이에서 진폭 패닝되는(amplitude-panned) 오디오 정보 또는 사운드 신호를 포함할 수 있고, 그러한 팬텀 소스는 일반적으로 청취자에 의해 라우드스피커 사이의 어딘가로부터 발신하는 것으로 인식된다. 한 예에서, 예컨대 주파수 도메인 공간 분석 및 합성 기술을 포함하는 가상화 기술은, 그들의 각각의 적절한 또는 의도된 국소화에서 팬텀 사운드 성분을 추출 및 "재렌더링"하도록 사용될 수 있고, 팬텀 성분, 예컨대 팬텀 중앙 성분의 재생을 향상시키기 위해, 상관 해제 프로세싱이 가상화와 함께 사용될 수 있다.
한 예에서, 가변 상관 해제 효과는, 한 쌍의 디지털 유한 임펄스 응답(finite-impulse-response; FIR) HRTF 필터에 통합될 수 있다.
몇몇 예에서, 상관 해제 프로세싱이 팬텀 센터 사운드 성분(phantom-center sound component)에 대해서만 배타적으로 적용될 수 있고, 상관 해제된 신호에 대해서는 어떠한 가상화 프로세싱도 적용되지 않는다. 다른 예에서, 상관 해제 프로세싱은 가상화 필터 내에 통합될 수 있다. 또 다른 예에서, 본원에서 설명되는 몰입형 공간 오디오 재생 시스템 및 방법은 팬텀 소스의 가상화를 포함하거나 또는 사용하고, 상관 해제 필터가, 예컨대 가상화 프로세싱 이전에, 입력 채널 신호에 적용될 수 있다.
한 예에서, 본원에서 설명되는 몰입형 공간 오디오 재생 시스템 및 방법은, 예컨대, 입력 오디오 신호에 존재하는 주변 및/또는 확산 성분의 청취자 인식 국소화(listener-perceived localization)를 수직으로 확장시키는 것에 의해, 향상된 몰입 효과를 생성하기 위해, 낮은 복잡도 시간 도메인 업믹스 프로세싱 기술을 포함할 수 있거나 또는 사용할 수 있다. 향상된 몰입 효과는, 1차 사운드 성분의 국소화에 대한 최소의 또는 제어된 효과를 나타낼 수 있다. 업믹스 기술은 수동 또는 능동 매트릭스를 포함할 수 있는데, 후자는, 레거시 다중채널 콘텐츠로부터, 예컨대 5.1 서라운드 사운드 콘텐츠로부터 합성 높이 채널(synthetic height channel)을 유도할 수 있는 (예를 들면, DTS® Neo:X™ 및 DTS® Neural:X™과 같은) 주파수 도메인 알고리즘을 포함한다.
대안적인 실시형태가 가능하며, 본원에서 논의되는 단계 및 엘리먼트는, 특정한 실시형태에 따라서, 변경될 수도 있거나, 추가될 수도 있거나, 또는 제거될 수도 있다는 것을 유의해야 한다. 이들 대안적인 실시형태는, 본 발명의 범위를 벗어나지 않으면서, 사용될 수도 있는 대안적인 단계와 대안적인 엘리먼트, 및 이루어질 수도 있는 구조적 변경을 포함한다.
이 개요는 본 특허 출원의 주제의 개요를 제공하도록 의도된다. 본 발명의 배타적인 또는 완전한 설명을 제공하는 것이 의도되지는 않는다. 상세한 설명은 본 특허 출원에 관한 추가 정보를 제공하기 위해 포함된다.
반드시 축척대로 묘화되지는 않는 도면에서, 동일한 도면 부호는 상이한 도면에서 유사한 컴포넌트를 설명할 수도 있다. 상이한 문자 접미사를 갖는 동일한 도면 부호는 유사한 컴포넌트의 상이한 인스턴스를 나타낼 수도 있다. 도면은 일반적으로, 제한으로서가 아니라 예로서, 본 문헌에서 논의되는 다양한 실시형태를 예시한다.
도 1은 일반적으로 삼차원 음장에서의 오디오 신호 재생의 제1 및 제2 예를 예시한다.
도 2는 다수의 동측 및 대측 상승 스펙트럼 응답 차트(elevation spectral response chart)의 예를 예시한다.
도 3은 일반적으로 가상 높이 및 수평 평면 사운드 신호 공간화(spatialization)의 제1 및 제2 예를 예시한다.
도 4는 일반적으로 11.1 재생 시스템을 시뮬레이팅하기 위해 다수의 가상 높이 라우드스피커를 사용하는 시스템의 예를 예시한다.
도 5는 일반적으로, 몇몇 실시형태에 따른, 가상화기 프로세싱 시스템(virtualizer processing system)의 예를 예시한다.
도 6은 일반적으로, 몇몇 실시형태에 따른, 제2 가상화기 프로세싱 시스템의 예를 예시한다.
도 7은 일반적으로, 가상 높이 프로세싱을 위한 시스템의 일부의 블록도의 예를 예시한다.
도 8은 일반적으로 네스트화된 올패스 필터(nested all-pass filter)의 블록도의 예를 예시한다.
도 9는 일반적으로 9 채널 입력 시스템에서의 가상 높이 프로세서의 제1, 제2, 및 제3 예를 예시한다.
도 10은 일반적으로 높이 업믹스 프로세싱의 예를 예시한다.
도 11은 일반적으로 단일 채널 입력 신호에 대한 높이 업믹스 프로세싱의 블록도를 예시한다.
도 12는 일반적으로 도 11의 예로부터의 상관 해제 모듈(Decorrelation module)의 예의 블록도를 예시한다.
도 13은 일반적으로 제1 높이 업믹스 프로세싱 예를 예시한다.
도 14는 일반적으로 제2 높이 업믹스 프로세싱 예를 예시한다. 도 15는 일반적으로 제3 높이 업믹스 프로세싱 예를 예시한다.
도 16은 일반적으로 제4 높이 업믹스 프로세싱 예를 예시한다.
도 17은 일반적으로 5 채널 입력 시스템에서의 가상 높이 업믹스 프로세서의 제1, 제2, 및 제3 예를 예시한다.
도 18은 본원에서 논의되는 방법론 중 임의의 하나 이상을 수행하도록 구성 가능한 머신의 컴포넌트를 예시하는 블록도이다.
예컨대 헤드폰 또는 다른 라우드스피커를 통한 재생을 위한, 환경 렌더링 및 오디오 신호 프로세싱의 예를 포함하는 다음의 설명에서, 상세한 설명의 일부를 형성하는 첨부 도면에 대한 참조가 이루어진다. 도면은, 예시로서, 본 발명이 실시될 수 있는 특정한 실시형태를 도시한다. 이들 실시형태는 또한 본원에서 "예(example)"로서 참조된다. 이러한 예는 도시되는 또는 설명되는 것 이외의 엘리먼트를 포함할 수 있다. 그러나, 본 발명자는, 도시되는 또는 설명되는 엘리먼트만이 제공되는 예를 또한 고려한다. 본 발명자는, 특정한 예(또는 그것의 하나 이상의 양태)와 관련하여, 또는 본원에서 도시되는 또는 설명되는 다른 예(또는 그것의 하나 이상의 양태)와 관련하여, 도시되는 또는 설명되는 이들 엘리먼트(또는 그들의 하나 이상의 양태)의 임의의 조합 또는 순열을 사용하는 예를 고려한다.
본원에서 사용될 때, 어구 "오디오 신호"는 물리적인 사운드를 나타내는 신호이다. 본원에서 설명되는 오디오 프로세싱 시스템 및 방법은 다양한 필터를 사용하여 오디오 신호를 사용할 수 있거나 또는 프로세싱할 수 있다. 몇몇 예에서, 시스템 및 방법은, 다수의 오디오 채널로부터의 신호를 사용할 수 있거나, 또는 다수의 오디오 채널에 대응하는 신호를 사용할 수 있다. 한 예에서, 오디오 신호는, 다수의 오디오 채널에 대응하는 정보를 포함하는 디지털 신호를 포함할 수 있다.
다양한 라우드스피커 구성을 통해 2 채널 또는 다중채널 오디오 신호를 재생하기 위해, 다양한 오디오 프로세싱 시스템 및 방법이 사용될 수 있다. 예를 들면, 오디오 신호는, 헤드폰을 통해, 한 쌍의 북셸프형 라우드스피커(bookshelf loudspeaker)를 통해, 또는 예컨대 청취자와 관련하여 다양한 위치에 배치되는 라우드스피커를 사용하여, 서라운드 사운드 시스템을 통해 재생될 수 있다. 몇몇 예는, 예컨대 라우드스피커의 수 또는 방위가 제한되는 경우, 청취 경험을 향상시키기 위해 강한 흥미를 끄는 공간 향상 효과를 포함할 수 있거나 또는 사용할 수 있다.
참조에 의해 그 전체가 본원에 통합되며, 발명의 명칭이 "Virtual Audio Processing for Loudspeaker or Headphone Playback"인 Walsh 등등에게 부여된 미국 특허 제8,000,485호에서, 오디오 신호는, 다른 신호와 합산되어 수정된 스테레오 이미지를 생성할 수 있는 가상화된 채널 신호를 생성하도록 가상화기 프로세서를 사용하여 프로세싱될 수 있다. '485 특허의 기술에 대해 추가적으로 또는 대안적으로, 본 발명자는, 수평적으로 배열된 라우드스피커 구성을 사용하는 동안 수직 성분을 포함하는 정확한 음장 표현을 전달하기 위해, 가상 높이 프로세싱이 사용될 수 있다는 것을 인식하였다.
한 예에서, 청취자 위의 또는 아래의 다양한 명시된 고도(altitude) 또는 상승에서의 사운드 정보를 포함하는 것으로 청취자에 의해 인식되는 가상 오디오 정보를 렌더링하여 청취자의 경험을 추가로 향상시키기 위해, 머리 전달 함수로부터 유도될 수 있는 것과 같은 상대적인 가상 상승 필터가 적용될 수 있다. 한 예에서, 이러한 가상 오디오 정보는 수평 평면에서 제공되는 라우드스피커를 사용하여 재생되고, 가상 오디오 정보는, 예컨대, 심지어, 인식된 발생 위치에 어떠한 물리적인 또는 실제의 라우드스피커도 존재하지 않는 경우에도, 수평 평면에 대해 상승된 라우드스피커 또는 다른 소스로부터 발생하는 것으로 인식된다. 한 예에서, 가상 오디오 정보는, 수평 평면의 오디오 정보로부터 연장되는, 옵션 사항으로(optionally) 그 오디오 정보를 포함하는 사운드 상승의 느낌, 또는 청각적 환영을 제공한다.
도 1은 일반적으로 삼차원 음장에서의 오디오 신호 재생의 제1 및 제2 예(101 및 151)를 예시한다. 제1 예(101)에서, 청취자(110)는 제1 방향(111) 또는 "주시 방향(look direction)"을 향한다. 그 예에서, 주시 방향은 청취자(110)와 관련되는 제1 평면을 따라 연장된다. 몇몇 예에서, 제1 평면은 청취자(110)의 귀와, 또는 청취자(110)의 몸통(torso)과, 또는 청취자(110)의 허리와 일치하는 수평 평면을 포함한다. 제1 평면은, 다시 말하면, 청취자(110)에 대한 명시된 방위 또는 위치로 참조될 수 있다.
도 1은 제1 머리 전달 함수(HRTF) 필터 H(z)로부터의 가상 높이 프로세싱 필터를 예시하는데, 예컨대 청취자(110)의 머리에 대한 정중면의 제1 위치(121)에서 측정될 수 있다. 즉, 한 예에서, 제1 위치(121)는 청취자(110)에 대한 수평의 정면 방향에서 0 도의 방위각을 가질 수 있다.
제2 예(151)에서, 청취자(110)는 제1 방향(111)을 향하고, 제2 머리 전달 함수(HRTF) 필터 HH(Z)로부터의 제2 가상 높이 프로세싱 필터는, 청취자(110)의 머리에 대한 제2 위치(122)에서 측정될 수 있다. 이 예에서, 제2 위치(122)는 정중면의 상승된 위치에서 제공된다. 즉, 제2 위치(122)는 청취자(110)에 대한 수평의 정면 방향에서 0 도의 방위각 및 넌제로의 고도각(θ)을 가질 수 있다.
제1 예(101)에서, 하기의 수학식 (1)에서 X로 표시되는 오디오 입력 신호는, 정중면의 제1 위치(121)에 있는 라우드스피커에 의해 제공될 수 있다. 청취자(110)의 좌측 또는 우측 귀에서 수신되는 신호(Y)는 다음과 같이 표현될 수 있다:
Figure 112018121956311-pct00001
제2 예(151)에서, 청취자(110)의 좌측 또는 우측 귀에서 수신되는 신호(YH)는 다음과 같이 표현될 수 있다:
Figure 112018121956311-pct00002
제1 위치(121)에 위치되는 라우드스피커를 사용하는 동안 신호(X)가 제2 위치(122)로부터 방출되거나 발생한다는 청취자의 인식은, 재생된 오디오 신호가, 청취자(10)에 의해 수신될 때, 신호(YH)와 실질적으로 동일한 크기의 스펙트럼을 갖는 것을 보장하는 것에 의해 제공될 수 있다. 이러한 신호는 가상 높이 필터(EH)를 사용하여 입력 신호(X)를 사전 필터링하고, 그에 의해, 다음과 같이 되도록, 수정된 라우드스피커 입력 신호(X') 및 수신 신호(Y')를 산출하는 것에 의해 획득될 수 있다:
Figure 112018121956311-pct00003
및
Figure 112018121956311-pct00004
한 예에서, 크기 스펙트럼 |Y'(z)|는, 예컨대 가상 높이 필터의 크기 전달 함수 |EH(Z)|가 수학식 (5)를 만족하는 경우, 임의의 입력 신호(X)에 대해 |YH(Z)|와 실질적으로 동일하게 만들어질 수 있다.
Figure 112018121956311-pct00005
한 예에서, 가상 높이 필터(EH(Z))는, 자신의 크기 전달 함수(|EH(Z)|)가, 수학식 6에서 나타내어지는 바와 같이, HRTF 필터(HH(Z) 및 H(z))의 크기 스펙트럼 비율과 실질적으로 동일한 선형 위상 필터로서 또는 최소 위상 필터로서 설계될 수 있다.
Figure 112018121956311-pct00006
최소 위상 설계가 사용되는 경우, 가상 높이 필터(EH(Z))는 수학식 7에서 나타내어지는 바와 같이 정의될 수 있다.
Figure 112018121956311-pct00007
수학식 (7)에서, 그리고 본 논의의 전반에 걸쳐, {G(z)}는, 예컨대 임의의 전달 함수 G(z)에 대해, |G(z)|와 동일한 크기를 갖는 최소 위상 전달 함수를 나타낸다.
도 2는 다수의 상승 스펙트럼 응답 차트의 예를 예시한다. 예시된 차트의 각각은 HRTF 스펙트럼 비율 정보를 예시하는데, x 축은 주파수를 나타내고, y 축은 데시벨 단위로 표현되는 상대적 진폭 비율을 나타낸다. 스펙트럼 비율 정보는, 동측 전방 및 후위(back) 위치, 및 대측 전방 및 후위 위치를 비롯한, 45 도 상승 및 다양한 방위각(
Figure 112018121956311-pct00008
) 또는 위치에 위치되는 사운드 소스에 대한 것이다. 예를 들면, 도 2는, 청취자(110)의 동측 전방 위치에 대한 주파수 대 상대적 진폭 비율 관계를 나타내는 제1 트레이스(211)를 도시하는 제1차트(201)를 포함한다. 즉, 제1 차트(201)는, 소스의 높이 또는 상승이 (예를 들면, 45도에서) 고정되고 소스가 동측 전방 위치로부터 발생하는 것으로 또는 동측 전방 위치로부터의 정보를 포함하는 것으로 인식되도록 의도되는 경우, 상이한 주파수 고유의 HRTF 필터 특성이 사용될 수 있다는 것을 나타낸다. 제2 차트(202)는, 청취자(110)의 동측의 후위 또는 후방 위치에 대한 주파수 대 상대적 진폭 비율 관계를 나타내는 제2 트레이스(212)를 도시한다. 제3 및 제4 차트(203 및 204)는, 마찬가지로, 청취자(110)의 대측 전방 및 대측 후위 위치에 대한 주파수 대 상대적 진폭 비율 관계를 각각 나타내는 제3 및 제4 트레이스(213 및 214)를 나타낸다.
도 2의 예로부터, 방위각(
Figure 112018121956311-pct00009
) 또는 위치에 따라 HRTF 크기 비율(예를 들면, 상승 스펙트럼 큐)이 변경된다. 따라서, 가상 높이 필터를 일정하게 유지하는 대신, 예컨대 방위각(
Figure 112018121956311-pct00010
)에 무관하게, 명시된 방위각(
Figure 112018121956311-pct00011
)에 적어도 부분적으로 의존하는 가상 높이 필터를 사용하여 유효한 또는 정확한 가상 높이 효과가 제공될 수 있다. 한 예에서, 가상 높이 필터는, 주어진 방위각(
Figure 112018121956311-pct00012
)에 대해 측정된 상승 스펙트럼 큐를 더욱 가깝게 매치시키기 위해, 사용되는 수평 평면 사운드 공간화 방법과는 독립적일 수 있다.
도 3은 일반적으로, 가상 높이 및 수평 평면 사운드 신호 프로세싱 또는 공간화의 제1 및 제2 예(301 및 351)를 예시한다. 이러한 공간화는, 예를 들면, 진폭 패닝, Ambisonics(앰비소닉), 및 HRTF 기반의 가상 라우드스피커 프로세싱 기술을 포함할 수 있다. 적절하게 적용되면, 이들 기술은, 예컨대 방위각(
Figure 112018121956311-pct00013
)에서 그리고 고도각(θ)에서 음장 내에 위치되는 라우드스피커로부터 입력 신호(X)가 재생되는 것처럼, 청취자(110)의 동측 및 대측 측에서 수신될 신호를 근사시키기 위해 사용될 수 있다.
제1 예(301)에서, 청취자(110)는 삼차원 음장에서 제2 방향(311)을 향할 수 있거나 또는 바라볼 수 있다. 음장 내에 위치되는 가상 소스(305)는, 예컨대 청취자(110)가 필드의 원점에 위치되는 경우, 삼차원 음장 내의 좌표 (x, y, z)에서 제공될 수 있다. 청취자(110)가 재생된 신호를 가상 소스(305)로부터 발생하는 것으로 인식하도록, 다수의 이용 가능한 프로세싱 또는 공간화 기술 중 어떤 것을 입력 신호(X)에 대해 사용할지 또는 적용할지를 결정하는 것을 포함할 수 있다.
제2 예(351)는 일반적으로, 가상 사운드 소스를 제공하는 것을 포함하는 국소화 문제점에 대한 해결책의 예를 예시한다. 제2 예(351)는 제2 방향(311)을 향하는 동일한 청취자(110)를 포함한다. 예컨대 넌제로의 방위각(
Figure 112018121956311-pct00014
)에 그리고 넌제로의 고도각(θ)에 위치되는, 예컨대 정중면 외부에 위치되는 상승된 사운드 소스의 청각적 환영을 제공하기 위해, 제2 예(351)는, 예컨대 수학식 (6)의 가상 높이 필터(EH(Z))를 사용하여 수평 평면 사운드 공간화를 적용하는 사전 필터링을 포함할 수 있다. 도 3의 예에서, 오디오 입력 신호는, 좌표 (x, y)에서 수평으로 위치되는 신호를 가상화하기 위해 또는 제공하기 위해, 예컨대 오디오 프로세서 회로를 사용하여, 수평 평면 가상화 모듈(365)을 사용하여 먼저 프로세싱될 수 있다. 그 다음, 수평으로 위치된 신호는, 수평으로 위치된 신호로부터 거리 z에 있는 수직으로 위치된 신호를 가상화하기 위해 또는 제공하기 위해, 예컨대 높이 가상화 모듈(375)을 포함하는 동일한 또는 상이한 오디오 프로세서 회로를 사용하여 추가로 프로세싱될 수 있다. 즉, 한 예에서, 오디오 프로세서 회로는, 예컨대 하나 이상의 소스 신호에 신호 필터(예를 들면, HRTF 기반의 필터)를 적용하여, 가상화된 또는 국소화된 높이 오디오 신호를 생성하기 위해 사용될 수 있다. 비록 도 3이 수직으로 위치된 신호를 청취자(110)의 평면에 대해 상승된 것으로 묘사하지만, 수직으로 위치된 신호는 청취자(110)의 평면에 대해 선택적으로 또는 추가적으로 낮아질 수 있을 것이다.
본원에서 설명되는 가상화 기술은 상이한 재생 시스템 구성을 시뮬레이팅하기 위해 사용될 수 있거나 또는 적용될 수 있다. 도 4는, 예를 들면, 일반적으로, 11.1 서라운드 사운드 재생 시스템을 시뮬레이팅하기 위해 다수의 가상 높이 라우드스피커를 포함할 수 있는 또는 사용할 수 있는 시스템(400)의 예를 예시한다. 예를 들면, 시스템(400)은, 청취자(110)에 대한 11.1(또는 7.1.4) 재생 시스템을 제공하기 위해 또는 시뮬레이팅하기 위해, 네 개의 가상 높이 라우드스피커를 갖는 7.1 수평 서라운드 사운드 재생 시스템을 포함할 수 있다. 시스템(400)의 예에서, 수평 서라운드 사운드 재생 시스템은, 적어도 중앙 스피커(401), 좌측 전방 스피커(402), 우측 전방 스피커(403), 좌측 사이드 스피커(404), 우측 사이드 스피커(405), 좌측 후방 스피커(406), 및 우측 후방 스피커(407)를 포함한다. 한 예에서, 시스템(400) 내의 스피커 중 임의의 하나 이상은, 좌측 전방 스피커(402) 및 우측 전방 스피커(403)를 제외하고 가상화된다.
도 4의 예에서, 시스템(400)은 가상 좌측 전방 높이(height) 스피커(412), 가상 우측 전방 높이 스피커(413), 가상 좌측 후방 높이 스피커(416), 및 가상 우측 후방 높이 스피커(417)를 포함한다. 한 예에서, 각각의 가상 높이 라우드스피커는, 동일한 또는 유사한 방위각을 갖는 수평 평면 물리적 라우드스피커 또는 수평 평면 가상 라우드스피커를 사용하여 제공될 수 있고, 명시된 방위각에 대해 계산되는 상승 스펙트럼 큐를 시뮬레이팅하도록 구성되는 가상 높이 필터를 가지고 사전 필터링되는 신호를 재생을 위해 수신한다(예를 들면, 상이한 상승 스펙트럼 큐의 예를 도시하는 도 2의 예로부터의 차트(201-204) 참조). 한 예에서, 각각의 방위각에 대한 가상 높이 필터의 크기 전달 함수는, 각각의 주파수에서 스펙트럼 크기 또는 전력 비율을 계산하기 이전에, 동측 및 대측 HRTF의 전력 평균화에 의해 계산될 수 있다.
도 5는 일반적으로, 몇몇 실시형태에 따른, 가상화기 프로세싱 시스템(500)의 예를 예시한다. 이 예에서, 가상화기 프로세싱 시스템(500)은, 수평 오디오 신호 입력 쌍(L 및 R로 표시되는 신호)을 수신하도록 그리고 출력 쌍을, 예컨대 출력 라우드스피커 드라이버의 대응하는 쌍으로 또는 증폭기 회로로 제공하도록 구성되는 수평 평면 가상화기 회로(501)(예를 들면, 수평 평면 가상화 모듈(365)에 대응함)를 포함한다. 시스템(500)은, 높이 오디오 신호 입력 쌍(Lh 및 Rh로 표시되는 신호)을 수신하도록 구성되는 높이 가상화기 회로(502)(예를 들면, 높이 가상화 모듈(375)에 대응함)를 더 포함한다.
시스템(500)의 예에서, 수평 평면 가상화기 회로(501)는 오디오 신호 입력 쌍(L, R)에 수평 평면 공간화를 제공한다. 한 예에서, 수평 평면 가상화기 회로(501)는, L 및 R 가상 라우드스피커가 정중면에 대해, 뿐만 아니라 두 개의 출력 라우드스피커 드라이버에 대해 대칭적으로 위치된다는 것을 가정하는 "트랜스오럴(transaural)" 셔플 필터 토폴로지를 사용하여 실현된다. 이 가정 하에서, 합산 및 차이 가상화 필터(sum and difference virtualization filter)는 수학식 8 및 9에 따라 설계될 수 있다:
Figure 112018121956311-pct00015
수학식 8 및 9에서, 주파수 변수 z에 대한 의존성은 간략화를 위해 생략되며, 다음의 HRTF 표기법이 사용된다:
H0i: 좌측 또는 우측 물리적 라우드스피커 위치에 대한 동측 FIRTF;
H0c: 좌측 또는 우측 물리적 라우드스피커 위치에 대한 대측 HRTF;
Hi: 좌측 또는 우측 가상 라우드스피커 위치에 대한 동측 HRTF; 및
Hc: 좌측 또는 우측 가상 라우드스피커 위치에 대한 대측 HRTF.
한 예에서, 수학식 (8) 및 (9)에서 수평 HRTF 쌍(Hi ; Hc)을, 높이 HRTF 쌍(예를 들면, HHi 및 HHc, 여기서 HHi는 좌측 또는 우측 가상 높이 라우드스피커 위치에 대한 동측 HRTF이고, HHc는 좌측 또는 우측 가상 높이 라우드스피커 위치에 대한 대측 HRTF임)으로 대체하는 것에 의해, 높이 채널 신호(Lh 및 Rh)를 재생하도록 높이 라우드스피커를 시뮬레이팅하기 위해 또는 가상화하기 위해 동일한 가상화기 프로세싱 시스템(500) 토폴로지가 사용될 수 있다.
몇몇 예에서, 예컨대 수평 평면 가상화 프로세싱(horizontal-plane virtualization processing) 이전에, 가상 높이 필터(EH)를 통한 높이 오디오 신호 입력 쌍 신호(Lh 및 Rh)의 사전 프로세싱을 사용하여 가상 높이 라우드스피커가 도 5에서 도시되는 바와 같이 시뮬레이팅될 수 있다. 한 예에서, 이 접근법은, 예컨대 오디오 신호 입력 쌍(L, R) 및 높이 오디오 신호 입력 쌍(Lh, Rh)에 대한 단일의 수평 가상화 프로세싱 블록을 공유하는 것에 의해, 시스템(500)에 대한 계산 부하를 감소시키는 것을 도울 수 있기 때문에, 유익할 수 있다. 한 예에서, 높이 오디오 신호 입력 쌍 신호를 사전 프로세싱하는 것은, 예컨대 수평 평면 가상화기 회로(501)에 의해 적용될 수도 있는 필터 설계 최적화와는 독립적으로, 가상 높이 필터의 주관적 유효성을 보존하는 데 도움을 줄 수 있다.
한 예에서, 상승 필터(EH)는, 그것을 (EHHSUM, EHHDIFF)로 대체하는 것에 의해 합산 및 차이 필터 쌍(HSUM; HDIFF) 내에 직접적으로 통합될 수 있다. 따라서, HSUM 및 HDIFF가 낮은 주파수로 대역 제한되는, 또는 다르게는 수학식 (8) 및 (9)로부터 수정되는 가상화 설계에서, 가상 높이 효과의 유효성이 독립적으로 제어될 수 있다.
도 6은 일반적으로, 몇몇 실시형태에 따른, 제2 가상화기 프로세싱 시스템(600)의 한 예를 예시한다. 이 예에서, 제2 가상화기 프로세싱 시스템(600)은, 예컨대 수평 오디오 신호 입력 쌍(L 및 R로 표시되는 신호)을 수신하도록 그리고 출력 쌍을, 예컨대 출력 라우드스피커 드라이버의 대응하는 쌍으로 또는 증폭기 회로 내의 각각의 채널로 제공하도록 구성되는 수평 평면 가상화기 회로(501)를 포함한다. 시스템(600)은, 높이 오디오 신호 입력 쌍(예를 들면, Lh 및 Rh로 표시되는 신호)을 수신하도록 구성되는 제2 높이 가상화기 회로(602)를 더 포함한다.
도 6의 예에서, 제2 가상화기 프로세싱 시스템(600)은 동측 및 대측 상승 스펙트럼 큐의 재생을 차별화하도록 구성될 수 있다. 이 예에서, 가상 높이 라우드스피커 신호(Lh 및 Rh)는 정중면에 대해 대칭적으로 위치되는 것으로 가정될 수 있고, 제2 높이 가상화기 회로(602)는 합산 필터 및 차가 필터를 포함하는데, 여기서:
Figure 112018121956311-pct00016
가상 라우드스피커 프로세싱을 위한 다른 예에서, 가상 높이 프로세싱은 예컨대 그것을 (ESUM,HHSUM; EDIFF,HHDIFF)로 대체하는 것에 의해 합산 및 차이 필터 쌍(HSUM, HDIFF) 내에 직접적으로 통합될 수 있다. 따라서, HSUM 및 HDIFF가 낮은 주파수로 대역 제한되는 또는 다르게는 수학식 (8) 및 (9)로부터 수정되는 시스템에서, 가상 높이 효과의 유효성이 독립적으로 제어될 수 있다.
한 예에서, 가상 높이 프로세싱은 다중채널 신호에 적용될 수 있다. 다중채널 오디오 신호는, 정적인 또는 물리적 라우드스피커 위치와 일치하지 않는 사운드 국소화를 제공하기 위해, 두 개 이상의 오디오 채널에 걸쳐 "패닝되는(panned)" 사운드 성분을 포함할 수 있다. 이러한 패닝된 사운드는 "팬텀 소스"로 칭해질 수 있다.
도 4를 다시 참조하면, 시스템(400)은 제1 및 제2 가상 팬텀 소스(421, 422)를 예시한다. 한 예에서, 전방 좌측 높이 입력 채널과 우측 높이 입력 채널 사이에서 패닝되는 입력 신호가 제1 가상 팬텀 소스(421)를 제공한다. 이들 입력 채널이 가상 라우드스피커로서 재생되면, 인식된 결과는 가상 팬텀 소스로 칭해진다. 마찬가지로, 제2 가상 팬텀 소스(42)는, 예컨대 전방 우측 높이 입력 채널과 후방 우측 높이 입력 채널 사이에서 패닝되는 팬텀 소스에 대한 가상 라우드스피커 프로세싱 이후의 국소화를 나타낼 수 있다.
심지어 가상 라우드스피커 프로세싱이 개별적으로 테스트되는 각각의 입력 채널 신호의 국소화 효과를 충실하게 재생하는 경우에도, 가상 팬텀 소스의 렌더링은, 다른 대응하는 오디오 프로그램 자료와 결합될 때, 국소화, 라우드니스 또는 음색(timbre)의 가청 저하를 겪을 수 있다는 것이 관측될 수 있다. 예를 들면, 제1 가상 팬텀 소스(421)의 인식된 국소화는, 예컨대 가상 좌측 전방 높이 스피커(412) 및 가상 우측 전방 높이 스피커(413)와 비교하여, 예상보다 덜 상승될 수 있다. 몇몇 예에서, 이 저하 문제는, 예컨대 가상화 프로세싱 이전에, 채널 간 상관 해제 프로세싱을 적용하는 것에 의해 완화될 수 있다.
도 7은 일반적으로, 가상 높이 프로세싱을 위한 시스템(700)의 일부분의 블록도의 예를 예시한다. 한 예에서, 시스템(700)은, 전방 높이 입력 신호 쌍(Lh, Rh) 및 후방 또는 사이드 높이 입력 신호 쌍(Lsh, Rsh)을 포함하는 4 채널 입력 신호를 수신하도록 구성된다. 시스템은, 입력 신호의 각각에 상관 해제 필터를 개별적으로 적용하도록 구성되는 상관 해제 모듈을 포함한다. 한 예에서, 상관 해제 모듈은, 각각의 상이한 올패스 필터를 입력 신호의 각각에 적용하고, 필터의 각각은 상이하게 구성될 수 있다.
상관 해제는, 두 개 이상의 오디오 신호 또는 채널 사이의 상관을 감소시키는 오디오 프로세싱 기술이다. 몇몇 예에서, 상관 해제는, 오디오 신호의 청취자의 인식된 공간 심상(spatial imagery)을 수정하기 위해 사용될 수 있다. 공간 심상 또는 인식을 조정하기 위해 또는 수정하기 위해 상관 해제 프로세싱을 사용하는 다른 예는, 오디오 채널의 쌍 사이의 인식된 "팬텀" 소스 효과를 감소시키는 것, 오디오 채널의 쌍 사이의 인식된 거리를 넓히는 것, 오디오 신호가 헤드폰을 통해 재생될 때 오디오 신호의 인식된 외재화(externalization)를 향상시키는 것, 및/또는 재생된 음장에서의 인식된 확산성(diffuseness)을 증가시키는 것을 포함할 수 있다.
한 예에서, 두 개(또는 그 이상)의 오디오 신호 사이의 상관을 감소시키기 위한 방법은, 각각의 오디오 신호의 위상을 랜덤화하는 것을 포함한다. 예를 들면, 각각의 올패스 필터, 예컨대 주파수 도메인에서의 상이한 랜덤 위상 계산에 기초하는 각각은, 각각의 오디오 신호를 필터링하기 위해 사용될 수 있다. 몇몇 예에서, 상관 해제는, 음색 변화 또는 다른 의도하지 않은 아티팩트를 오디오 신호에 도입할 수 있다.
도 7의 예에서, 다양한 입력 신호는 가상화 이전에, 즉, 임의의 가상 높이 필터 또는 공간적 국소화 프로세싱을 받기 이전에, 상관 해제 프로세싱을 받을 수 있다. 상관 해제 프로세싱 이후에, 입력 신호(예를 들면, Lh 입력 채널과 Rh 입력 채널 사이에서 패닝되는 소스 신호)는, 청취자의 위치를 중심으로 가상 라우드스피커의 예정 위치를 결합하는 가장 짧은 아크 상에 실질적으로 위치되는 가상 위치에서 청취자에 의해 청취되도록 만들어질 수 있다. 본 발명자는, 이러한 상관 해제 프로세싱이, 예컨대 청취자의 경험을 손상시킬 수 있는 다양한 가상 국소화 아티팩트, 예컨대 머리 내 국소화(in-head localization), 전방-후방 혼란, 및 상승 에러를 방지하는 것을 돕는 데 유효할 수 있다는 것을 인식하였다.
도 8은 일반적으로, 네스트화된 올패스 필터(800)의 블록도의 예를 예시한다. 필터 파라미터(M, N, g1 및 g2)는, 예컨대 다른 필터를 사용하여 또는 상이한 파라미터를 갖는 필터(800)의 다른 인스턴스를 사용하여 프로세싱되는 다른 신호에 대해, 필터(800)의 상관 해제 효과에 영향을 끼친다. 한 예에서, 도 7의 시스템(700)으로부터의 각각의 상관 해제 필터는, 도 8의 예로부터의 네스트화된 올패스 필터(800)의 인스턴스를 포함한다.
한 예에서, 채널 간 상관 해제는, (도 7의 예에서 상이한 문자 A, B, C 및 D에 의해 나타내어지는 바와 같이) 각각의 네스트화된 올패스 필터의 파라미터(M, N, g1 및 g2)에 대해 상이한 값을 선택하는 것에 의해 획득될 수 있다. 다른 상관 해제 필터 타입 또는 기술은, 시스템(700)의 상관 해제 블록에서 유사하게 사용될 수 있다.
도 7을 다시 참조하면, 시스템(700)은 가상 높이 필터 모듈을 더 포함한다. 가상 높이 필터 모듈에서, 각각의 가상 높이 필터가 네 개의 입력 신호(Lh, Rh, Lsh, Rsh)의 각각에 적용될 수 있다. 그 예에서, 각각의 필터는, 일련의 또는 종속 접속(cascade)의 2차 디지털 IIR 필터 섹션으로서 모델링된다. 다른 디지털 필터 구현은, 명시된 크기 또는 주파수 응답 특성에 기초할 수 있으며 가상 높이 필터에 대해 사용될 수 있다. 도 7의 예에서, 서라운드 프로세싱 모듈은 가상 높이 필터 모듈을 따른다. 한 예에서, 서라운드 프로세싱 모듈은, 전방 높이 입력 신호 쌍(Lh, Rh)에 적용되는 전방 채널 수평 평면 가상화기(예를 들면, 도 5 참조), 및 후방 높이 입력 신호 쌍(Lsh, Rsh)에 적용되는 후방 채널 수평 평면 가상화기를 포함한다.
도 9는 일반적으로, 9 채널 입력 시스템에서의 가상 높이 프로세서의 제1, 제2, 및 제3 예(901, 902 및 903)를 예시한다. 제1 예(901)는, 신호 성분 또는 채널(L, R, C, Ls, Rs, Lh, Rh, Lsh, 및 Rsh)을 포함하는 9 채널 입력 신호(911)를 나타내는 신호 흐름도를 포함한다. 예컨대 오디오 프로세서 회로에서 시변 오디오 신호 정보(time-varying audio signal information)를 수신하기 위한 별개의 전기적 또는 광학적 입력 경로를 비롯한, 다양한 하드웨어 회로부(circuitry)가 9 채널 입력 신호(911)를 수신하기 위해 사용될 수 있다.
한 예에서, 신호 성분 또는 채널 중 하나 이상은, 동일한 또는 다른 신호 성분 또는 채널 중 하나 이상에 대한 국소화에 관한 정보를 갖는 메타데이터(예를 들면, 오디오 신호 정보로 인코딩되는 아날로그 또는 디지털 데이터)를 포함한다. 예를 들면, 좌측 높이 채널(Lh) 및 우측 높이 채널(Rh)은, 그 안에 포함되는 오디오 콘텐츠의 명시된 국소화에 관한 각각의 데이터 또는 정보를 포함할 수 있다. 한 예에서, 국소화 정보는 다른 수단을 통해, 예컨대 오디오 프로세서 회로에 대한 별개의 또는 전용 하드웨어 입력을 사용하여 제공될 수 있다. 국소화 정보는, 국소화 정보가 어떤 채널(들)에 대응하는지에 관한 표시를 포함할 수 있다. 한 예에서, 국소화 정보는, 방위 및/또는 고도 정보를 포함한다. 고도 정보는, 기준 평면 위 또는 아래에 있는 국소화의 표시를 포함할 수 있다.
제1 예(901)에서, 높이 채널 입력 신호(height-channel input signal)(Lh, Rh, Lsh, 및 Rsh)는 상관 해제 모듈(912)에 제공되는데, 이 경우, 네 개의 입력 신호 중 하나 이상이 상관 해제 필터를 거치게 된다. 한 예에서, 네 개의 입력 신호의 각각은, 도 8의 필터(800)와 같은 네스트화된 올패스 필터를 포함하는 또는 사용하는 상관 해제 필터를 거치게 된다. 한 예에서, 네 개의 입력 신호의 각각은 상관 해제 필터의 상이한 인스턴스를 거치게 되고, 상이한 상관 해제 필터 파라미터가 각각의 인스턴스에 대해 사용된다. 상관 해제 모듈(912)은, 입력 신호를 상관 해제하기 위해 다른 회로(예를 들면, 하이 패스, 로우 패스, 또는 다른 필터)를 포함할 수 있거나 또는 사용할 수 있다.
상관 해제 모듈(912)에 의한 상관 해제 프로세싱에 후속하여, 결과적으로 나타나는 상관 해제된 신호는 가상 높이 필터 모듈(913)로 제공된다. 한 예에서, 가상 높이 필터 모듈(913)은 도 3의 예시로부터의 높이 가상화 모듈(375)을 포함하거나 또는 사용하고, 신호 프로세싱 또는 필터링을 하나 이상의 상관 해제된 신호에 적용하여 가상화된 높이 오디오 정보 신호를 제공한다. 가상 높이 필터 모듈(913)에서, 상기의 도 5의 논의에서 설명되는 바와 같이, 전방 가상 높이 필터가 선택되어 높이 오디오 신호 입력 쌍(Lh, Rh)에 적용될 수 있다. 한 예에서, 전방 가상 높이 필터는, 입력 신호(들)와 관련되는 방위 파라미터에 기초하여 적절한 필터를 검색하기 위해, 프로세서 회로를 사용하여 선택된다. 한 예에서, 후방 가상 높이 필터는 후방 높이 입력 신호 쌍(Lsh, Rsh)에 적용될 수 있다. 몇몇 예에서, 전방 및 후방 가상 높이 필터는 방위각 고유의 HRTF 데이터에 기초할 수 있는데, 예컨대 C 채널(예를 들면, 전방 센터) 스피커의 방향에 대해 측정될 수 있다. 가상 높이 필터 모듈(913)에 후속하여, 필터링된 신호가 믹서 모듈(914)에 제공될 수 있고, 필터링된 높이 신호(Lh, Rh, Lsh 및 Rsh)는 대응하는 수평 입력 신호(각각 L, R, Ls 및 Ls)로 다운 믹스되어 5 채널 출력 신호(920)를 생성할 수 있다. 즉, 믹서 모듈(914)은, (예를 들면, 가상 높이 필터(913)로부터의) 가상화된 높이 오디오 정보 신호의 하나 이상의 성분을, 동시적으로 재생되도록 구성되는 또는 소망되는 (예를 들면, 9 채널 입력 신호(911)로부터의) 하나 이상의 다른 신호와 결합 또는 합산하기 위한 수단 또는 하드웨어를 제공할 수 있다. 한 예에서, 5 채널 출력 신호(920)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다.
도 9의 제2 예(902)는, 신호 성분 또는 채널(L, R, C, Ls, Rs, Lh, Rh, Lsh, 및 Rsh)을 포함하는 9 채널 입력 신호(911)를 나타내는 신호 흐름도를 포함한다. 제2 예(902)에서, 높이 채널 입력 신호(Lh, Rh, Lsh, 및 Rsh)는, 제1 예(901)와 마찬가지로, 상관 해제 모듈(912)로 그리고 가상 높이 필터 모듈(913)로 제공된다. 가상 높이 필터 모듈(913)에 후속하여, 필터링된 신호가 믹서 모듈(924)에 제공될 수 있고, 필터링된 높이 신호(Lh, Rh, Lsh 및 Rsh)는 대응하는 수평 입력 신호(각각 L, R, Ls 및 Ls)로 다운 믹스되어 5 채널 출력 신호를 생성할 수 있다. 제2 예(902)에서, 5 채널 출력 신호는 2 채널 라우드스피커 출력 신호(926)를 제공하도록 구성되는 수평 서라운드 프로세싱 모듈(925)에 의해 추가로 프로세싱될 수 있다. 2 채널 출력 신호(926)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다. 몇몇 예에서, 서라운드 프로세싱 모듈(925)은, 도 5에 도시되는 바와 같이, 전방 신호 쌍(L, R)에 적용되는 전방 채널 수평 평면 가상화기, 및 사이드 신호 쌍(Ls, Rs)에 적용되는 후방 채널 수평 평면 가상화기를 포함한다. 한 예에서, 수평 서라운드 프로세싱 모듈(925)은, 수평적으로 위치된 신호 성분을 가상화하기 위해 또는 제공하기 위해, 도 3의 예로부터의 수평 평면 가상화 모듈(365)을 포함할 수 있거나 또는 사용할 수 있다.
도 9의 예의 제3 예(903)는, 신호 성분 또는 채널(L, R, C, Ls, Rs, Lh, Rh, Lsh, 및 Rsh)을 포함하는 9 채널 입력 신호(911)를 나타내는 신호 흐름도를 포함한다. 제3 예(903)에서, 높이 채널 입력 신호(Lh, Rh, Lsh, 및 Rsh)는, 제1 예(901)와 마찬가지로, 상관 해제 모듈(912)로 그리고 가상 높이 필터 모듈(913)로 제공된다. 한 예에서, 가상 높이 필터 모듈(913)은, 필터링된 신호를 신호 쌍으로 다운 믹싱하도록 그리고 신호를 높이 서라운드 프로세싱 모듈(931)로 제공하도록 구성될 수 있다. 수평 입력 신호(L, R, C, Ls, 및 Rs)는 수평 서라운드 프로세싱 모듈(932)을 사용하여 개별적으로 프로세싱될 수 있다. 한 예에서, 수평 서라운드 프로세싱 모듈(932)은, 수평적으로 위치된 신호 성분을 가상화하기 위해 또는 제공하기 위해, 도 3의 예로부터의 수평 평면 가상화 모듈(365)을 포함할 수 있거나 또는 사용할 수 있다. 높이 서라운드 프로세싱 모듈(931) 및 수평 서라운드 프로세싱 모듈(932)로부터의 출력은, 신호를 추가로 믹스하도록 그리고 2 채널 라우드스피커 출력 신호(936)를 제공하도록 구성되는 믹서 모듈(934)로 제공될 수 있다. 한 예에서, 2 채널 출력 신호(936)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다.
한 예에서, 수평 평면에서 라우드스피커를 사용한 재생 또는 표시를 위해 의도되는 입력 신호는, 실제 또는 가상 높이 스피커로 제공될 출력 신호를 유도하도록 수정될 수 있다. 이러한 입력 신호 프로세싱은, 높이 업믹싱 또는 높이 업믹스 프로세싱으로 칭해질 수 있다.
도 10은 일반적으로 높이 업믹스 프로세싱의 예를 예시한다. 도 10은, 겉보기 사운드 소스 위치(apparent sound source location)(1010)가 청취자(110)로부터 이격되는 제1 예(1001)를 포함한다. 한 예에서, 높이 업믹스 프로세싱의 의도된 효과는, 예컨대 인식된 사운드 소스 국소화를, 예컨대 수평 평면에서 유지하는 동안, 확산 사운드의 인식된 정도를 수직으로 확장시키는 것이다. 도 10은 제2 예(1051)를 더 포함하는데, 여기서는, 겉보기 사운드 소스 위치(1010)는 실질적으로 동일한 방위각으로 그러나 높이 스피커 위치(1060)에 신호를 제공하기 위해 확산 사운드의 겉보기 수직 확장을 가지고 유지된다.
도 11은 일반적으로 단일 채널 입력 신호(1101)에 대한 높이 업믹스 프로세싱의 블록도(1100)를 예시한다. 입력 신호(1101)는 수평 경로 신호(horizontal-path signal) 및 높이 경로 신호(height-path signal)로 분할될 수 있다. 한 예에서, 수평 경로 신호는 수평 스피커 출력(1102)으로 전달될 수 있다. 높이 경로 신호는 지연 모듈(1110)에서 수신될 수 있다. 명시된 지연 지속 기간이 높이 경로 신호에 적용된 이후, 지연된 신호는 지연 모듈(1110)로부터 상관 해제 모듈(1120)로 제공될 수 있다. 지연 지속 기간은 조정 가능할 수 있다. 통상적인 지연 지속 기간 값은, 심리 음향 하스 효과(Haas Effect)(일명, "제1 파면의 법칙(law of the first wave front)")를 활용하기 위해, 예컨대 일시적인 입력 신호에 대한 인식된 사운드 소스 국소화가 수평 스피커에서 유지되는 것을 보장하기 위해, 약 5 내지 20 밀리초의 범위 내에 있을 수 있다(예를 들면, 도 10 참조). 다른 지연 지속 기간 값이 마찬가지로 사용될 수 있다.
반향 감쇠 테일과 같은, 낮은 자기 상관을 갖는 준정적(quasi-stationary) 신호의 경우, 도 11의 높이 업믹스 프로세싱 기술의 효과는, 지각된 사운드 국소화를, 수평 평면으로부터 상방으로 확장시키는 것일 수 있다. 도 11에 도시되는 바와 같은 몇몇 예에서, 상관 해제 모듈(1120)은, 높이 스피커 출력(1122)에서의 신호와 수평 스피커 출력(1102)에서의 신호 사이의 상관을 추가로 감소시키기 위해, 상관 해제 필터를 높이 경로 신호에(그리고 추가적으로 또는 대안적으로, 수평 경로 신호에) 적용할 수 있다. 이러한 추가적인 상관 해제는, 수직 확장의 인식 또는 감각을 향상시킬 수 있다.
도 12는 일반적으로 도 11의 예로부터의 상관 해제 모듈(1120)의 예의 블록도를 예시한다. 이 예에서, 상관 해제 필터는 슈뢰더(Schroeder) 올패스 섹션(1200)을 포함한다. 필터는, 길이 M의 지연, 및 1 미만의 크기를 갖는 피드백 이득(g1)을 비롯한, 다양한 조정 가능한 파라미터를 가질 수 있다. 한 예에서, 피드백 이득(g1)의 크기의 각각에 대한 그리고 지연 길이에 대한 값은, 약 0 내지 10 밀리초일 수 있다. 다른 값도 마찬가지로 사용될 수 있다.
가상 높이 업믹싱을 수행할 수 있는 시스템의 몇몇 예가 도 13 내지 도 16에서 예시된다. 예에서, 수평 채널 입력 신호가, 도 11의 예와 마찬가지로, 높이 경로 신호 및 수평 경로 신호를 비롯한, 다수의 신호 경로로 분할될 수 있다. 높이 경로 신호는 가상 높이 필터로 포워딩될 수 있고, 그 다음, 예컨대 옵션 사항인 신호의 수평 평면 가상화 이전에, 수평 경로 신호의 프로세싱되지 않은, 최소로 프로세싱된, 또는 상관 해제된 버전과 결합될 수 있다.
도 13은 일반적으로 제1 높이 업믹스 프로세싱 예(1300)를 예시한다. 예(1300)는 제1 입력 신호 프로세싱 회로(1301) 및 업믹스 프로세싱 회로(1302)를 포함한다. 제1 입력 신호 프로세싱 회로(1301)는, 수평 채널 입력 신호를 수신하도록 그리고 감쇠 회로(예를 들면, 파라메트릭 저주파 쉘빙 감쇠기 회로(parametric low-frequency shelving attenuator circuit))에 높이 경로 신호를 제공하기 위해 그리고 수평 경로 신호를 부스트 회로(예를 들면, 파라메트릭 저주파 쉘빙 부스트 회로(parametric low-frequency shelving boost circuit))에 제공하기 위해 신호를 분할하도록 구성된다. 한 예에서, 감쇠 및 부스트 회로는, 감쇠기 회로에 의해 제공되는 감쇠 특성이 부스트 회로에 의해 제공된 부스트 특성에 의해 저지될 수 있다는 것을 의미하는 준 상보적일(quasi-complementary) 수 있다. 한 예에서, 감쇠 및 부스트 특성은 실질적으로 동일한 그러나 반대 값을 가질 수 있지만, 그러나, 동일하지 않은 값이 마찬가지로 사용될 수 있다. 제1 신호 프로세싱 회로(1301)로부터의 출력은 업믹스 프로세싱 회로(1302)로 제공될 수 있다.
업믹스 프로세싱 회로(1302)에서, 감쇠 회로로부터의 감쇠된 신호는 지연 회로를 사용하여 지연될 수 있고, 그 다음, 상관 해제 모듈을 사용하여 추가로 프로세싱될 수 있다. 한 예에서, 상관 해제 모듈, 좌우 채널 신호 성분을 상관 해제하거나, 높이 및 수평 채널 신호 성분을 상관 해제하거나, 또는 다른 신호 성분을 상관 해제한다. 상관 해제에 후속하여, 결과적으로 나타나는 상관 해제된 신호는 가상 높이 필터를 사용하여 프로세싱될 수 있고, 그 다음, 부스트 회로로부터의 부스트된 수평 경로 신호와 믹싱될 수 있다. 믹싱된 신호는, 예컨대 증폭기, 후속하는 프로세서 모듈, 또는 라우드스피커로 출력되기 이전에, 옵션 사항으로, 추가적인 프로세싱을 위해 수평 평면 가상화기 회로로 제공될 수 있다.
도 13의 예(1300)에서, 상관 해제 모듈의 좌측/우측 및 높이/수평 필터 컴포넌트는, 예를 들면, 올패스 필터를 사용하여, 예컨대 도 8의 예로부터의 네스트화된 올패스 필터(800)를 사용하여 실현될 수 있는 단일의 상관 해제 필터로 결합될 수 있다. 한 예에서, 상관 해제 모듈은, 지연된 높이 경로 신호를 지연되지 않은 수평 경로 신호와 다운 믹싱하는 것으로부터 발생할 수 있는 음색 아티팩트 또는 사운드 컬러레이션(sound coloration) 아티팩트(때때로 "콤 필터(comb-filter)" 컬러레이션으로 칭해짐)를 완화하는 데 도움이 될 수 있다.
한 예에서, 콤 필터 컬러레이션은, 예컨대 쉘빙 등화 필터를 사용하여(예를 들면, 감쇠 회로를 사용하여) 더 낮은 주파수에서 높이 경로 신호를 감쇠시키는 것에 의해 추가로 완화될 수 있다. 최종 결합된 출력 신호의 전체적인 신호 라우드니스 특성을 보존하는 것을 돕기 위해, 부스트 쉘빙 필터가 (예를 들면, 부스트 회로를 사용하여) 수평 경로 신호에 적용될 수 있다. 추가적으로, 모든 신호 주파수에 걸쳐 동일한 전력을 유지하기 위해서는, 믹스 다운 이득이 0 dB이 되는 것, 상보형 쉘빙 필터의 감쇠 및 부스트가 반대 극성 값(예를 들면, +3 dB 및 -3 dB)으로 설정되는 것이 도움이 될 수 있다.
도 14는 일반적으로 제2 높이 업믹스 프로세싱 예(1400)를 예시한다. 예(1400)는 제2 입력 신호 프로세싱 회로(1401) 및 도 13의 예(1300)로부터의 동일한 업믹스 프로세싱 회로(1302)를 포함한다. 한 예에서, 업믹스 프로세싱 회로(1302)의 하나 이상의 파라미터는 제2 입력 신호 프로세싱 회로(1401)로부터 신호를 수용하도록 변경될 수 있다. 예(1400)에서, 제1 입력 신호 프로세싱 회로(1301)로부터의 준 상보적 감쇠 및 부스트 회로는, 단일의 올패스 필터 및 신호 합산 및 차이 연산자(operator)로 대체될 수 있다. 입력 신호와 동일한 입력 신호에 적용되는 1차 또는 2차 모두 올패스 필터의 출력 사이에서 합산 및 차이 신호가 획득될 수 있다. 감쇠 및 부스트 쉘빙 효과를 달성하기 위해, 이전 차이의 후속하는 합산은, 감쇠 계수 및 부스트 계수(KA 및 KB)에 의해 각각 승산될 수 있고, 이전 합산은 2의 계수로 제산될 수 있다.
도 15는 일반적으로 제3 높이 업믹스 프로세싱 예(1500)를 예시한다. 예(1500)는 제3 입력 신호 프로세싱 회로(1501) 및 도 13의 예(1300)로부터의 동일한 업믹스 프로세싱 회로(1302)를 포함한다. 한 예에서, 업믹스 프로세싱 회로(1302)의 하나 이상의 파라미터는 제3 입력 신호 프로세싱 회로(1501)로부터 신호를 수용하도록 변경될 수 있다. 예(1500)에서, 제1 입력 신호 프로세싱 회로(1301)로부터의 준 상보적 감쇠 및 부스트 회로는, 단일의 로우 패스 필터 및 합산 및 차이 연산자로 대체될 수 있다. 예(1500)에서, 입력 신호와 동일한 입력 신호에 적용되는 로우 패스 필터의 출력 사이에서 합산 및 차이가 획득될 수 있다.
도 16은 일반적으로 제4 높이 업믹스 프로세싱 예(1600)를 예시한다. 예(1600)는 제4 입력 신호 프로세싱 회로(1601) 및 도 13의 예(1300)로부터의 동일한 업믹스 프로세싱 회로(1302)를 포함한다. 한 예에서, 업믹스 프로세싱 회로(1302)의 하나 이상의 파라미터는 제4 입력 신호 프로세싱 회로(1601)로부터 신호를 수용하도록 변경될 수 있다. 예(1600)에서, 제1 입력 신호 프로세싱 회로(1301)로부터의 준 상보적 감쇠 및 부스트 회로는, 합산 및 차이 연산자가 후속되는 올패스 필터("올패스 필터 1" 및 "올패스 필터 2")의 병렬 조합을 사용하여 구현될 수 있다. 합산 및 차이 신호는 올패스 필터 1의 출력과 올패스 필터 2의 출력 사이에서 획득될 수 있다. 감쇠 및 부스트 쉘빙 효과를 달성하기 위해, 감쇠 계수 및 부스트 계수(KA 및 KB)에 의해 각각 승산되는 이전의 차이의 후속하는 합산이 적용될 수 있고, 이전 합산은 2의 계수로 제산될 수 있다.
도 17은 일반적으로 5 채널 입력 시스템에서의 가상 높이 업믹스 프로세서의 제1, 제2, 및 제3 예(1701, 1702, 및 1703)를 예시한다. 제1 예(1701)는, 신호 성분 또는 채널(L, R, C, Ls 및 Rs)을 포함하는 5 채널 입력 신호(1711)를 나타내는 신호 흐름도를 포함한다. 예컨대 오디오 프로세서 회로에서 시변 오디오 신호 정보를 수신하기 위한 별개의 전기적 또는 광학적 입력 경로를 비롯한, 다양한 하드웨어 회로부가 5 채널 입력 신호(1711)를 수신하기 위해 사용될 수 있다.
한 예에서, 신호 성분 또는 채널 중 하나 이상은, 동일한 또는 다른 신호 성분 또는 채널 중 하나 이상에 대한 국소화에 관한 정보를 갖는 메타데이터(예를 들면, 오디오 신호 정보로 인코딩되는 아날로그 또는 디지털 데이터)를 포함한다. 한 예에서, 국소화 정보는 다른 수단을 통해, 예컨대 오디오 프로세서 회로에 대한 별개의 또는 전용 하드웨어 입력을 사용하여 제공될 수 있다. 국소화 정보는, 국소화 정보가 어떤 채널(들)에 대응하는지에 관한 표시를 포함할 수 있다. 한 예에서, 국소화 정보는, 방위 및/또는 고도 정보를 포함한다. 고도 정보는, 기준 평면 위 또는 아래에 있는 국소화의 표시를 포함할 수 있다.
제1 예(1701)에서, 입력 신호는, 예컨대 입력 신호 내의 정보에 기초하여, 높이 신호(Lh, Rh, Lsh 및 Rsh)를 생성하는 업믹스 프로세서 모듈(1712)로 제공된다. 업믹스 프로세서 모듈(1712)은, 각각, 도 13, 도 14, 도 15 및 도 16의 예로부터의 제1 내지 제4 높이 업믹스 프로세싱 예(1300, 1400, 1500 및 1600)에서 도시되는 시스템 중 임의의 것을 포함할 수 있거나 또는 사용할 수 있다. 예를 들면, 업믹스 프로세서 모듈(1712)은, 각각의 입력 채널을, 예컨대 준 상보적 저주파 감쇠 및 부스트를 사용하여, 지연이 적용될 수 있는 높이 경로 신호, 및 수평 경로 신호로 분할하도록 구성될 수 있다. 한 예에서, 업믹스 프로세서 모듈(1712)은 또한, 입력 신호(1711)(L, R, C, Ls 및 Rs)를 제1 믹서 모듈(1715)로 전달하도록 구성될 수 있다.
제1 예(1701)에서, 업믹스 프로세서 모듈(1712)에 의해 생성되는 네 개의 높이 신호는, 상관 해제 모듈(1713)로 제공될 수 있고, 네 개 입력 신호 중 적어도 하나 이상은 상관 해제 필터를 거칠 수 있다. 한 예에서, 네 개의 입력 신호의 각각은, 네스트화된 올패스 필터의 고유한 인스턴스, 예컨대 도 8의 필터(800)를 포함하는 또는 사용하는 상관 해제 필터를 거칠 수 있다. 상관 해제된 신호를 생성하기 위해, 예컨대 위상 시프트 또는 시간 지연 오디오 필터 회로를 사용하는 다른 하드웨어 필터 또는 회로가 마찬가지로 사용될 수 있거나 또는 적용될 수 있다. 상관 해제 모듈(1713)에 의한 상관 해제 프로세싱에 후속하여, 결과적으로 나타나는 상관 해제된 신호는 가상 높이 필터 모듈(1714)로 제공된다. 한 예에서, 가상 높이 필터 모듈(1714)은 도 3의 예로부터의 높이 가상화 모듈(375)을 포함하거나 또는 사용하고, 하나 이상의 상관 해제된 신호에 신호 프로세싱 또는 필터링을 적용한다.
가상 높이 필터 모듈(1714)에서, 상기의 도 5의 논의에서 설명되는 바와 같이, 예컨대 오디오 프로세서 회로를 사용하여, 전방 가상 높이 필터가 높이 오디오 신호 입력 쌍(Lh, Rh)에 적용될 수 있다. 한 예에서, 후방 가상 높이 필터는 후방 높이 입력 신호 쌍(Lsh, Rsh)에 적용될 수 있다. 몇몇 예에서, 전방 및 후방 가상 높이 필터는 방위각 고유의 HRTF 데이터에 기초하여 또는 방위각 고유의 HRTF 데이터를 사용하여 선택될 수 있는데, 예컨대 C 채널(예를 들면, 전방 센터 채널) 스피커의 방향에 대해 측정될 수 있다. 한 예에서, 가상 높이 필터 모듈(1714) 및/또는 오디오 프로세서 회로는, 높이 오디오 신호 입력(들)을 필터링하는 것에 의해 가상화된 오디오 신호를 생성한다.
가상 높이 필터 모듈(1714)에 후속하여, 필터링된 신호가 믹서 모듈(1715)에 제공될 수 있고, 필터링된 높이 신호(Lh, Rh, Lsh 및 Rsh)는 믹서 모듈(1715)에 의해 대응하는 수평 경로 신호(L, R, Ls 및 Ls)로 다운 믹스되어 5 채널 출력 신호(1719)를 생성할 수 있다. 5 채널 출력 신호(1719)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다.
제2 예(1702)는, 수평 서라운드 프로세싱을 포함하는 제1 예(1701)의 변형을 예시한다. 제2 예(1702)는, 믹서 모듈(725)로부터 5 채널 출력 신호를 수신하도록 그리고 다운 믹스된 2 채널 출력 신호(1729)(예를 들면, 좌측 및 우측 스테레오 쌍)를 제공하도록 구성되는 수평 서라운드 프로세싱 모듈(1726)을 포함할 수 있다. 2 채널 출력 신호(1729)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다.
한 예에서, 수평 서라운드 프로세싱 모듈(1726)은, 수평적으로 위치된 신호 성분을 가상화하기 위해 또는 제공하기 위해, 도 3의 예로부터의 수평 평면 가상화 모듈(365)을 포함할 수 있거나 또는 사용할 수 있다. 한 예에서, 수평 서라운드 프로세싱 모듈(1726)은, 도 5의 예에서 예시되는 바와 같이, 좌측 및 우측 전방 신호 쌍(L, R)에 적용되는 전방 채널 수평 평면 가상화기, 및 좌측 및 우측 사이드 신호 쌍(Ls, Rs)에 적용되는 후방 채널 수평 평면 가상화기를 포함한다.
제3 예(1703)는, 개별적으로 적용된 높이 서라운드 프로세싱 및 수평 서라운드 프로세싱을 포함하는 제1 예(1701)의 변형을 예시한다. 제3 예(1703)는, 업믹스 프로세서 모듈(1712)로부터 5 채널 출력 신호를 수신하도록 그리고 다운 믹스된 2 채널 출력 신호(예를 들면, 좌측 및 우측 스테레오 쌍)를 믹스 모듈(1735)로 제공하도록 구성되는 수평 서라운드 프로세싱 모듈(1736)을 포함할 수 있다. 한 예에서, 수평 서라운드 프로세싱 모듈(1736)은, 수평적으로 위치된 신호 성분을 가상화하기 위해 또는 제공하기 위해, 도 3의 예로부터의 수평 평면 가상화 모듈(365)을 포함할 수 있거나 또는 사용할 수 있다. 한 예에서, 수평 서라운드 프로세싱 모듈(1736)은, 도 5의 예에서 예시되는 바와 같이, 좌측 및 우측 전방 신호 쌍(L, R)에 적용되는 전방 채널 수평 평면 가상화기, 및 좌측 및 우측 사이드 신호 쌍(Ls, Rs)에 적용되는 후방 채널 수평 평면 가상화기를 포함한다.
제3 예(1703)는, 가상 높이 필터 모듈(1714)로부터 출력 신호(Lh, Rh, Lsh, 및 Rsh)를 수신하도록 구성되는 높이 서라운드 프로세싱 모듈(1737)을 포함할 수 있다. 높이 서라운드 프로세싱 모듈(737)은 또한, 가상 높이 필터 모듈(1714)로부터의 네 개의 높이 신호를 프로세싱 및 다운 믹스하여, 다운 믹싱된 2 채널 출력 신호(예를 들면, 좌측 및 우측 스테레오 쌍)를 제공할 수 있다. 수평 서라운드 프로세싱 모듈(1736)로부터의 그리고 높이 서라운드 프로세싱 모듈(1737)로부터의 각각의 2 채널 출력 신호는, 믹서 모듈(1735)에 의해 결합되어 2 채널 라우드스피커 출력 신호(1739)를 렌더링할 수 있다. 2 채널 출력 신호(1739)는, 제1 평면 외부의, 예를 들면, 제1 평면 위의 또는 아래의 정보를 포함하는 것으로 청취자에 의해 인식되는 가청 정보를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성될 수 있다.
다양한 시스템 및 머신이 본원에서 설명되는 신호 프로세싱 태스크 중 하나 이상을 수행하도록 또는 실행하도록 구성될 수 있다. 예를 들면, 도 9 및 도 17의 예에서 제공되는 것과 같은, 업믹스 모듈, 상관 해제 모듈, 가상 높이 필터 모듈, 높이 서라운드 프로세싱 모듈, 수평 서라운드 프로세싱 모듈, 믹서 모듈, 또는 다른 모듈 또는 프로세스 중 임의의 하나 이상은, 다양한 프로세싱 태스크를 수행하는 범용 또는 특수 목적으로 제조된 머신을 사용하여, 예컨대 유형의 비일시적 프로세서 판독 가능 매체로부터 검색되는 명령어를 사용하여 구현될 수 있다.
도 18은, 몇몇 예시적인 실시형태에 따른, 머신 판독 가능 매체(예를 들면, 머신 판독 가능 저장 매체)로부터 명령어(1816)을 판독할 수 있는 그리고 본원에서 논의되는 방법론 중 임의의 하나 이상을 수행할 수 있는 머신(1800)의 컴포넌트를 예시하는 블록도이다. 구체적으로, 도 18은, 머신(1800)으로 하여금 본원에서 논의되는 방법론 중 임의의 하나 이상을 수행하게 하는 명령어(1816)(예를 들면, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행 가능 코드)가 실행될 수도 있는 예시적인 실시형태의 컴퓨터 시스템에서의 머신(1800)의 개략적인 표현을 도시한다. 예를 들면, 명령어(1816)는 도 5 내지 도 7, 및 도 11 내지 도 17, 및 등등의 모듈 또는 회로 또는 컴포넌트를 구현할 수 있다. 명령어(1816)는, 일반적인 프로그래밍되지 않은 머신(1800)을, 설명되고 예시된 기능을 설명된 방식으로(예를 들면, 오디오 프로세서 회로로서) 수행하도록 프로그래밍되는 특정한 머신으로 변환할 수 있다. 대안적인 실시형태에서, 머신(1800)은 독립형 디바이스로서 동작하거나 또는 다른 머신에 커플링될(예를 들면, 네트워크화될) 수 있다. 네트워크화된 배치에서, 머신(1800)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 용량 내에서 동작할 수 있거나, 또는 피어-투-피어(peer-to-peer)(또는 분산) 네트워크 환경에서 피어 머신(peer machine)으로서 동작할 수 있다.
머신(1800)은, 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(personal computer; PC), 태블릿 컴퓨터, 랩탑 컴퓨터, 넷북, 셋탑 박스(set-top box; STB), 개인 휴대형 정보 단말(personal digital assistant; PDA), 엔터테인먼트 미디어 시스템 또는 시스템 컴포넌트, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들면, 스마트 워치), 스마트 홈 디바이스(예를 들면, 스마트 어플라이언스), 다른 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 헤드폰 드라이버, 또는 머신(1800)에 의해 취해질 액션을 명시하는 명령어(1816)를, 순차적으로 또는 달리, 실행할 수 있는 임의의 머신을 포함할 수 있지만, 그러나 이들로 제한되지는 않는다. 또한, 단지 단일의 머신(1800)만이 예시되지만, 용어 "머신"은, 본원에서 논의되는 방법론 중 임의의 하나 이상을 수행하기 위해 명령어(1816)를 개별적으로 또는 공동으로 실행하는 머신(1800)의 콜렉션(collection)을 포함하는 것으로 간주될 수 있을 것이다.
머신(1800)은, 버스(1802) 등을 통해 서로 통신하도록 구성될 수 있는, 예컨대 오디오 프로세서 회로, 비일시적 메모리/스토리지(830), 및 I/O 컴포넌트(1850)를 비롯한, 프로세서(1810)를 포함할 수 있거나 또는 사용할 수 있다. 예시적인 실시형태에서, 프로세서(1810)(예를 들면, 중앙 프로세싱 유닛(central processing unit; CPU), 축약형 명령어 세트 컴퓨팅(reduced instruction set computing; RISC) 프로세서, 복합 명령어 세트 컴퓨팅(complex instruction set computing; CISC) 프로세서, 그래픽 프로세싱 유닛(graphics processing unit; GPU), 디지털 신호 프로세서(digital signal processor; DSP), ASIC, 무선 주파수 집적 회로(radio-frequency integrated circuit; RFIC), 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들면, 명령어(1816)를 실행할 수도 있는 프로세서(1812) 및 프로세서(1814)와 같은 회로를 포함할 수 있다. 용어 "프로세서"는, 동시에 명령어(1816)를 동시적으로 실행할 수도 있는 두 개 이상의 독립적인 프로세서(1812, 1814)(종종 "코어"로 칭해짐)를 포함할 수 있는 멀티 코어 프로세서(1812, 1814)를 포함하도록 의도된다. 비록 도 18이 다수의 프로세서(1810)를 도시하지만, 머신(1800)은, 단일 코어를 갖는 단일의 프로세서(1812, 1814), 다수의 코어를 갖는 단일의 프로세서(1812, 1814)(예를 들면, 멀티 코어 프로세서(1812, 1814)), 단일의 코어를 갖는 다수의 프로세서(1812, 1814), 다수의 코어를 갖는 다수의 프로세서(1812, 1814), 또는 이들의 임의의 조합을 포함할 수도 있는데, 프로세서 중 임의의 하나 이상은, 프로세싱된 또는 가상화된 오디오 신호를 렌더링하기 위해 오디오 신호에 높이 필터를 적용하도록 구성되는 회로를 포함할 수 있다.
메모리/스토리지(1830)는, 메모리(1832), 예컨대 메인 메모리 회로, 또는 다른 메모리 저장 회로, 및 저장 유닛(1836)을 포함할 수 있는데, 둘 모두는 예컨대 버스(1802)를 통해 프로세서(1810)에 액세스 가능하다. 저장 유닛(1836) 및 메모리(1832)는, 본원에서 설명되는 방법론 또는 기능 중 임의의 하나 이상을 구현하는 명령어(1816)를 저장한다. 명령어(1816)는 또한, 머신(1800)에 의한 그들의 실행 동안, 메모리(1832) 내에, 저장 유닛(1836) 내에, 프로세서(1810) 중 적어도 하나 내에(예를 들면, 프로세서(1812, 1814)의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에, 완전히 또는 부분적으로, 상주할 수도 있다. 따라서, 메모리(1832), 저장 유닛(1836), 및 프로세서(1810)의 메모리는 머신 판독 가능 매체의 예이다.
본원에서 사용될 때, "머신 판독 가능 매체"는, 명령어(1816) 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 디바이스를 의미하며, 랜덤 액세스 메모리(random-access memory; RAM), 리드 온리 메모리(read-only memory; ROM), 버퍼 메모리, 플래시 메모리, 광학 매체, 자기 매체, 캐시 메모리, 다른 타입의 스토리지(예를 들면, 소거 가능한 프로그래밍 가능 리드 온리 메모리(erasable programmable read-only memory; EEPROM)), 및/또는 이들의 임의의 적절한 조합을 포함할 수도 있지만, 그러나 이들로 제한되지는 않는다. 용어 "머신 판독 가능 매체"는, 명령어(1816)를 저장할 수 있는 단일의 매체 또는 다수의 매체(예를 들면, 중앙 집중식 또는 분산형 데이터베이스, 또는 관련된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. 용어 "머신 판독 가능 매체"는 또한, 머신(예를 들면, 머신(1800))에 의한 실행을 위한 명령어(예를 들면, 명령어(1816))를 저장할 수 있는 임의의 매체, 또는 다수의 매체의 조합을 포함하는 것으로 간주되어야 할 것이고, 그 결과, 명령어(1816)는, 머신(1800)(예를 들면, 프로세서(1810))의 하나 이상의 프로세서에 의해 실행될 때, 머신(1800)으로 하여금, 본원에서 설명되는 방법론 중 임의의 하나 이상을 수행하게 한다. 따라서, "머신 판독 가능 매체"는, 단일의 저장 장치 또는 디바이스뿐만 아니라, 다수의 저장 장치 또는 디바이스를 포함하는 "클라우드 기반의" 저장 시스템 또는 저장 네트워크를 가리킨다. 용어 "머신 판독 가능 매체"는 신호 그 자체를 배제한다.
I/O 컴포넌트(1850)는, 입력을 수신하고, 출력을 제공하기 위한, 출력을 생성하기 위한, 정보를 송신하기 위한, 정보를 교환하기 위한, 측정을 캡쳐하기 위한, 및 등등을 위한 다양한 컴포넌트를 포함할 수도 있다. 특정한 머신(1800)에 포함되는 특정한 I/O 컴포넌트(1850)는, 머신(1800)의 타입에 의존할 것이다. 예를 들면, 이동 전화와 같은 휴대형 머신은, 터치 입력 디바이스 또는 다른 입력 메커니즘을 포함할 가능성이 있을 것이고, 한편 헤드리스 서버 머신(headless server machine)은 이러한 터치 입력 디바이스를 포함하지 않을 가능성이 있을 것이다. I/O 컴포넌트(1850)는 도 18에 도시되지 않는 많은 다른 컴포넌트를 포함할 수도 있다는 것이 인식될 것이다. I/O 컴포넌트(1850)는 단지 다음의 논의를 간략하게 하기 위해 기능성별로 그룹화되며, 그룹화는 어떤 식으로든 제한하는 것은 아니다. 다양한 예시적인 실시형태에서, I/O 컴포넌트(1850)는 출력 컴포넌트(1852) 및 입력 컴포넌트(1854)를 포함할 수도 있다. 출력 컴포넌트(1852)는 시각적 컴포넌트(예를 들면, 플라즈마 디스플레이 패널(plasma display panel; PDP), 발광 다이오드(light emitting diode; LED) 디스플레이, 액정 디스플레이(liquid crystal display; LCD), 프로젝터, 또는 음극선관(cathode ray tube; CRT)과 같은 디스플레이), 음향 컴포넌트(예를 들면, 라우드스피커), 햅틱 컴포넌트(예를 들면, 진동 모터, 저항 메커니즘), 다른 신호 생성기, 및 등등을 포함할 수 있다. 입력 컴포넌트(1854)는, 영숫자 입력 컴포넌트(예를 들면, 키보드, 영숫자 입력을 수신하도록 구성되는 터치 스크린, 광-광학식 키보드(photo-optical keyboard,), 또는 다른 영숫자 입력 컴포넌트), 포인트 기반의 입력 컴포넌트(예를 들면, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트(예를 들면, 물리적 버튼, 터치 또는 터치 제스쳐의 위치 및/또는 힘을 제공하는 터치스크린, 또는 다른 촉각 입력 컴포넌트), 오디오 입력 컴포넌트(예를 들면, 마이크), 및 등등을 포함할 수 있다.
또 다른 예시적인 실시형태에서, I/O 컴포넌트(1850)는, 다수의 다른 컴포넌트 중에서, 생체 인식 컴포넌트(1856), 모션 컴포넌트(1858), 환경 컴포넌트(1860), 또는 위치 컴포넌트(1862)를 포함할 수 있다. 예를 들면, 생체 인식 컴포넌트(1856)는, 예컨대, 예를 들면, 청취자 고유의 또는 환경 고유의 임펄스 응답 또는 HRTF의 포함, 사용, 또는 선택에 영향을 줄 수 있는, 표현(예를 들면, 손 표현, 얼굴 표정, 목소리 표현, 몸짓, 또는 눈 추적)을 검출하기 위한, 생체 신호(예를 들면, 혈압, 심박수, 체온, 땀, 또는 뇌파)를 측정하기 위한, 사람(예를 들면, 목소리 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도 기반의 식별)을 식별하기 위한, 및 등등을 위한 컴포넌트를 포함할 수 있다. 한 예에서, 생체 인식 컴포넌트(1856)는, 환경에서 청취자(110)의 검출된 위치에 관한 정보를 감지하도록 또는 제공하도록 구성되는 하나 이상의 센서를 포함할 수 있다. 동작 컴포넌트(1858)는 가속 센서 컴포넌트(예를 들면, 가속도계), 중력 센서 컴포넌트, 회전 센서 컴포넌트(예를 들면, 자이로스코프), 및 등등을 포함할 수 있는데, 예컨대 청취자(110)의 위치에서의 변화를 추적하기 위해 사용될 수 있다. 환경 컴포넌트(1860)는, 예를 들면, 조명 센서 컴포넌트(예를 들면, 광도계), 온도 센서 컴포넌트(예를 들면, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들면, 기압계), 음향 센서 컴포넌트(예를 들면, 예컨대 하나 이상의 주파수 또는 주파수 대역에 대한 잔향 감쇠 시간을 검출하는 하나 이상의 마이크), 근접 센서 또는 실내 체적 감지 컴포넌트(예를 들면, 근처의 물체를 검출하는 적외선 센서), 가스 센서(예를 들면, 안전을 위해 유해한 가스의 농도를 검출하는 또는 대기의 오염 물질을 측정하는 가스 검출 센서), 또는 주변 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수도 있는 다른 컴포넌트를 포함할 수 있다. 위치 컴포넌트(1862)는, 위치 센서 컴포넌트(예를 들면, 글로벌 포지션 시스템(global position system; GPS) 수신기 컴포넌트), 고도 센서 컴포넌트(예를 들면, 고도가 유도될 수도 있는 기압을 검출하는 고도계 또는 기압계), 방위 센서 컴포넌트(예를 들면, 자력계), 및 등등을 포함할 수 있다.
통신은 아주 다양한 기술을 사용하여 구현될 수 있다. I/O 컴포넌트(1850)는, 각각 커플링(1882) 및 커플링(1872)을 통해 머신(1800)을 네트워크(1880) 또는 디바이스(1870)에 커플링하도록 동작 가능한 통신 컴포넌트(1864)를 포함할 수 있다. 예를 들면, 통신 컴포넌트(1864)는, 네트워크(1880)와 인터페이싱하기 위한 네트워크 인터페이스 컴포넌트 또는 다른 적절한 디바이스를 포함할 수 있다. 또 다른 예에서, 통신 컴포넌트(1864)는, 유선 통신 컴포넌트, 무선 통신 컴포넌트, 셀룰러 통신 컴포넌트, 근접장 통신(near field communication; NFC) 컴포넌트, Bluetooth® 컴포넌트(예를 들면, Bluetooth® 저에너지), Wi-Fi® 컴포넌트, 및 다른 양식을 통해 통신을 제공하는 다른 통신 컴포넌트를 포함할 수 있다. 디바이스(1870)는, 다른 머신 또는 아주 다양한 주변장치 디바이스 중 임의의 것(예를 들면, USB를 통해 커플링되는 주변장치 디바이스)일 수 있다.
또한, 통신 컴포넌트(1864)는, 식별자를 검출할 수 있거나 또는 식별자를 검출하도록 동작 가능한 컴포넌트를 포함할 수 있다. 예를 들면, 통신 컴포넌트(1864)는, 무선 주파수 식별(radio frequency identification; RFID) 태그 판독기 컴포넌트, NFC 스마트 태그 검출 컴포넌트, 광학 판독기 컴포넌트(예를 들면, 통일 상품 코드(Universal Product Code; UPC) 바 코드와 같은 일차원 바 코드, 큐알(Quick Response; QR) 코드와 같은 다차원 바 코드, 아즈텍(Aztec) 코드, 데이터클리프(Dataglyph), 맥시코드(MaxiCode), PDF49, 울트라 코드(Ultra Code), UCC RSS-2D 바코드, 및 다른 광학 코드를 검출하기 위한 광학 센서), 또는 음향 검출 컴포넌트(예를 들면, 태깅된 오디오 신호를 식별하기 위한 마이크)를 포함할 수 있다. 또한, 인터넷 프로토콜(Internet Protocol; IP) 지오로케이션을 통한 위치, Wi-Fi® 신호 삼각 측량을 통한 위치, 특정한 위치를 나타낼 수도 있는 NFC 비콘 신호의 검출을 통한 위치, 및 등등과 같은, 다양한 정보가 통신 컴포넌트(1864)를 통해 유도될 수 있다. 이러한 식별자는, 참조 또는 로컬 임펄스 응답, 참조 또는 로컬 환경 특성, 또는 청취자 고유의 특성 중 하나 이상에 관한 정보를 결정하기 위해 사용될 수 있다.
다양한 예시적인 실시형태에서, 네트워크(1880)의 하나 이상의 부분은, 애드혹(ad hoc) 네트워크, 인트라넷, 엑스트라넷, 가상 사설 네트워크(virtual private network; VPN), 근거리 통신망(local area network; LAN), 무선 LAN(wireless LAN; WLAN) 광역 네트워크(wide area network; WAN), 무선 WAN(wireless WAN; WWAN), 도시권 통신망(Metropolitan Area Network; MAN), 인터넷, 인터넷의 일부, 공중 교환식 전화망(public switched telephone network; PSTN)의 일부, 기존 전화 서비스(plain old telephone service; POTS) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 다른 타입의 네트워크, 또는 둘 이상의 이러한 네트워크의 조합일 수 있다. 예를 들면, 네트워크(1880) 또는 네트워크(1880)의 일부는, 무선 또는 셀룰러 네트워크를 포함할 수 있고, 커플링(1882)은, 코드 분할 다중 액세스(Code Division Multiple Access; CDMA) 연결, 이동 통신용 글로벌 시스템(Global System for Mobile communications; GSM) 연결, 또는 다른 타입의 셀룰러 또는 무선 커플링일 수도 있다. 이 예에서, 커플링(1882)은, 단일 캐리어 무선 송신 기술(Single Carrier Radio Transmission Technology; 1xRTT), 에볼루션 데이터 최적화(Evolution-Data Optimized; EVDO) 기술, 일반 패킷 무선 서비스(General Packet Radio Service; GPRS) 기술, GSM 에볼루션을 위한 향상된 데이터 레이트(Enhanced Data rates for GSM Evolution; EDGE) 기술, 3G를 포함하는 3 세대 파트너쉽 프로젝트(third Generation Partnership Project; 3 GPP), 4 세대 무선(4G) 네트워크, 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS), 고속 패킷 액세스(High Speed Packet Access; HSPA), 와이맥스(Worldwide Interoperability for Microwave Access; WiMAX), 롱 텀 에볼루션(long term evolution; LTE) 표준, 다양한 표준 설정 기관에 의해 정의되는 다른 것, 다른 장거리 프로토콜, 또는 다른 데이터 전송 기술과 같은, 다양한 타입의 데이터 전송 기술 중 임의의 것을 구현할 수 있다. 한 예에서, 이러한 무선 통신 프로토콜 또는 네트워크는, 중앙 집중식 프로세서 또는 머신으로부터 청취자에 의해 사용 중인 헤드폰 디바이스로 헤드폰 오디오 신호를 송신하도록 구성될 수 있다.
명령어(1816)는, 네트워크 인터페이스 디바이스(예를 들면, 통신 컴포넌트(1864)에 포함되는 네트워크 인터페이스 컴포넌트)를 통해 송신 매체를 사용하여 그리고 다수의 널리 알려진 전송 프로토콜 중 임의의 하나(예를 들면, 하이퍼텍스트 전송 프로토콜(hypertext transfer protocol; HTTP))를 사용하여, 네트워크(1880)를 통해 송신될 수 있거나 또는 수신될 수 있다. 마찬가지로, 명령어(1816)는, 디바이스(1870)에 대한 커플링(1872)(예를 들면, 피어-투-피어 커플링)을 통해 전송 매체를 사용하여 송신될 수 있거나 또는 수신될 수 있다. 용어 "송신 매체"는, 머신(1800)에 의한 실행을 위한 명령어(1816)를 저장, 인코딩, 또는 반송할(carry) 수 있는, 그리고 디지털 또는 아날로그 통신 신호 또는 이러한 소프트웨어의 통신을 용이하게 하기 위한 다른 무형의 매체를 포함하는 임의의 무형의 매체를 포함하는 것으로 간주될 수 있을 것이다.
본원에서 논의되는 개념 및 예의 많은 변형예가 관련 기술 분야에서 숙련된 자에게 명백할 것이다. 예를 들면, 실시형태에 따라, 본원에서 설명되는 방법, 프로세스, 또는 알고리즘의 중 임의의 것의 소정의 액트, 이벤트, 또는 기능은 상이한 시퀀스로 수행될 수 있고, 추가, 병합, 또는 생략될 수 있다(그 결과, 다양한 방법, 프로세스, 또는 알고리즘의 실행을 위해 설명된 액트 또는 이벤트 모두가 반드시 필요한 것은 아니다). 게다가, 몇몇 실시형태에서, 액트 또는 이벤트는, 순차적이기보다는, 예컨대 다중 스레드식 프로세싱, 인터럽트 프로세싱, 또는 다수의 프로세서 또는 프로세서 코어를 통해 또는 다른 병렬 아키텍쳐 상에서, 동시적으로 수행될 수 있다. 또한, 상이한 태스크 또는 프로세스는, 함께 기능할 수 있는 상이한 머신 및 컴퓨팅 시스템에 의해 수행될 수 있다.
본원에서 개시되는 실시형태와 관련하여 설명되는 다양한 예시적인 논리적 블록, 모듈, 방법, 및 알고리즘 프로세스 및 시퀀스는, 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 둘 모두의 조합으로서 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 상호 호환성을 설명하기 위해, 다양한 컴포넌트, 블록, 모듈, 및 프로세스 액션은, 몇몇 경우에, 그들의 기능성의 관점에서 일반적으로 설명된다. 이러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지의 여부는, 특정한 애플리케이션 및 전체 시스템에 부과되는 설계 제약에 의존한다. 따라서, 설명된 기능성은 특정한 애플리케이션에 대해 다양한 방식으로 구현될 수 있지만, 그러나 이러한 구현 결정은 본 문헌의 범위를 벗어나게 하는 것으로 해석되지 않아야 한다. 본원에서 설명되는 몰입형 공간 오디오 재생 시스템 및 방법 및 기술의 실시형태는, 상기의 도 18의 논의에서 설명되는 바와 같은 수많은 타입의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성 내에서 동작한다.
본 발명의 다양한 양태는 독립적으로 또는 함께 사용될 수 있다. 예를 들면, 양태 1은, 주제(subject matter)(예컨대, 장치, 시스템, 디바이스, 방법, 액트를 수행하기 위한 수단, 또는, 디바이스에 의해 수행될 때, 디바이스로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 디바이스 판독 가능 매체)를 포함할 수 있거나 또는 사용할 수 있는데, 예컨대 제1 평면에 배치되는 라우드스피커를 사용하여 삼차원 음장에서 가상화된 오디오 정보를 제공하기 위한 방법을 포함할 수 있거나 또는 사용할 수 있고, 가상화된 오디오 정보는 제1 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식된다. 양태 1에서, 방법은, 제1 프로세서 회로를 사용하여, 적어도 하나의 높이 오디오 신호 - 적어도 하나의 높이 오디오 신호는 제1 평면으로부터 오프셋되는 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성됨 - 를 수신하는 것, 및, 제1 프로세서 회로를 사용하여, 적어도 하나의 높이 오디오 신호에 대응하는 국소화 정보 - 국소화 정보는 방위 파라미터를 포함함 - 를 수신하는 것을 포함할 수 있다. 양태 1은, 제1 프로세서 회로를 사용하여, 방위 파라미터에 관한 정보를 사용하여 제1 가상 높이 필터를 선택하는 것, 및 적어도 하나의 높이 오디오 신호에 제1 가상 높이 필터를 적용하기 위해 제1 프로세서 회로를 사용하는 것을 포함하는, 가상화된 오디오 신호를 생성하는 것을 더 포함할 수 있는데, 가상화된 오디오 신호는, 제1 평면에서 하나 이상의 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성되며, 가상화된 오디오 신호가 하나 이상의 라우드스피커를 사용하여 재생되는 경우, 그것은 제1 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식된다. 한 예에서, 양태 1의 제1 평면은, 가상화된 오디오 신호를 재생하기 위해 사용되는 하나 이상의 라우드스피커의 수평 평면에 대응한다. 한 예에서, 양태 1의 제1 평면은 청취자의 수평 평면에 대응한다. 다른 예에서, 청취자의 수평 평면 및 가상화된 오디오 신호를 재생하기 위해 사용되는 라우드스피커는 일치하고, 양태 1의 제1 평면은 일치 평면에 대응한다.
양태 2는 양태 1의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 가상화된 오디오 신호가 하나 이상의 라우드스피커를 사용하여 재생될 때 가상화된 오디오 신호가 라우드스피커의 수평 평면으로부터 제2 평면으로 수직 상방으로 또는 하방으로 연장되는 가청 정보를 포함하는 것으로 청취자에 의해 인식되도록 신호를 생성하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 3은 양태 1 또는 2 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 가상화된 오디오 신호가 하나 이상의 라우드스피커를 사용하여 재생될 때 가상화된 오디오 신호가 라우드스피커의 수평 평면에 대해 상승된 또는 하강된 소스로부터 발생하는 것으로 청취자에 의해 인식되도록 신호를 생성하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 4는 양태 1 내지 3 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 제1 가상 높이 필터를 적용하기 이전에 적어도 하나의 높이 오디오 신호에 수평 평면 가상화를 적용하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 5는 양태 1 내지 3 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 제1 가상 높이 필터를 적용한 이후 적어도 하나의 높이 오디오 신호에 수평 평면 가상화를 적용하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 6은 양태 1 내지 5 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 오디오 신호 믹서 회로를 사용하여, 가상화된 오디오 신호를, 제1 평면에서 하나 이상의 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하는 것을 옵션 사항으로 포함한다.
양태 7은 양태 1 내지 6 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 적어도 하나의 높이 오디오 신호를 수신하는 것이, 제1 평면에 대해 상승되는 상이한 라우드스피커를 사용한 재생을 위해 의도되는 제1 및 제2 높이 오디오 채널에 관한 정보를 수신하는 것을 포함한다는 것을 옵션 사항으로 포함하고, 제1 평면은 청취자의 수평 평면이고, 국소화 정보를 수신하는 것은, 제1 및 제2 높이 오디오 채널에 대한 각각의 방위 파라미터를 수신하는 것을 포함하고, 선택하는 것은, 각각의 방위 파라미터에 관한 정보를 사용하여 상이한 각각의 제1 및 제2 가상 높이 필터를 선택하는 것을 포함하고, 생성하는 것은, 각각의 제1 및 제2 가상화된 오디오 신호를 제공하기 위해, 제1 프로세서 회로를 사용하여 제1 및 제2 가상 높이 필터를 제1 및 제2 높이 오디오 채널에 각각 적용하는 것을 포함하고, 제1 및 제2 가상화된 오디오 신호가 수평 평면에서 라우드스피커를 사용하여 재생되는 경우, 재생된 신호는, 수평 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식된다.
양태 8은 양태 7의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 생성하는 것이, 제1 및 제2 가상 높이 필터를 적용하기 이전에 제1 및 제2 높이 오디오 신호를 상관 해제하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 9는 양태 7의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 및 제2 높이 오디오 채널에 대한 각각의 방위 파라미터가 실질적으로 대칭인 방위각이다는 것을 옵션 사항으로 포함하고, 선택된 상이한 각각의 제1 및 제2 가상 높이 필터는, 동측 및 대측 머리 전달 함수 데이터에 기초하는 합산 필터 및 차이 필터를 포함한다.
양태 10은 양태 1 내지 9 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 국소화 정보를 수신하는 것이 고도 파라미터를 수신하는 것을 더 포함한다는 것을 옵션 사항으로 포함하고, 제1 가상 높이 필터를 선택하는 것은, 방위 파라미터에 관한 정보를 사용하는 것 및 고도 파라미터에 관한 정보를 사용하는 것을 포함한다.
양태 11은 양태 1 내지 10 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 가상 높이 필터를 선택하는 것이, 머리 전달 함수로부터 유도되는 가상 높이 필터를 선택하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 12는 양태 1 내지 11 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 제1 프로세서 회로를 사용하여 수평 평면 공간화를 가상화된 오디오 신호에 적용하는 것을 더 포함한다는 것을 옵션 사항으로 포함한다.
양태 13은 양태 12의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 청취자의 수평 평면에서 라우드스피커를 사용한 재생을 위해 의도되는 다른 오디오 신호에 수평 평면 공간화를 적용하기 위해 제1 프로세서 회로를 사용하는 것을 포함하는, 수평 평면에 대한 공간적으로 향상된 오디오 신호를 생성하는 것을 옵션 사항으로 포함한다. 양태 13은, 청취자의 수평 평면에서 라우드스피커를 사용하여 서라운드 사운드를 제공하기 위해, 가상화된 오디오 신호를 공간적으로 향상된 오디오 신호와 믹싱하는 것을 더 포함할 수 있다.
양태 14는, 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 13 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 그 주제와 옵션 사항으로 결합될 수 있는데, 예컨대, 청취자의 제1 평면 외부에 있는 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성되는 높이 오디오 정보 신호를 수신하기 위한 수단, 적어도 하나의 높이 오디오 신호에 대응하는 국소화 정보 - 국소화 정보는 방위 파라미터를 포함함 - 를 수신하기 위한 수단, 방위 파라미터를 사용하여 가상화된 높이 필터를 선택하기 위한 수단, 및 선택된 가상화된 높이 필터 및 수신된 높이 오디오 정보 신호를 사용하여 가상화된 높이 오디오 정보 신호를 생성하기 위한, 그리고 비일시적 컴퓨터 판독 가능 매체 상에 가상화된 높이 오디오 정보 신호를 저장하기 위한 수단을 포함하는 시스템을 포함할 수 있거나 또는 사용할 수 있고, 가상화된 높이 오디오 정보 신호는 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다.
양태 15는 양태 14의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 오디오 재생을 위해 사용되는 라우드스피커의 수평 평면으로부터 제2 평면으로 수직 상방으로 또는 하방으로 연장되는 오디오 이미지를 제공하도록, 가상화된 높이 오디오 정보 신호가 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다는 것을 옵션 사항으로 포함한다.
양태 16은 양태 14 또는 15 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 오디오 재생에서 사용되는 라우드스피커의 수평 평면으로부터 수직 상방으로 또는 하방으로 오프셋되는 위치로부터 발생하는 오디오 이미지를 제공하도록, 가상화된 높이 오디오 정보 신호가 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다는 것을 옵션 사항으로 포함한다.
양태 17은 양태 14 내지 16 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 높이 오디오 정보 신호를 생성하기 이전에 높이 오디오 정보 신호에 수평 평면 가상화를 적용하기 위한 수단을 옵션 사항으로 포함한다.
양태 18은 양태 14 내지 17 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 높이 오디오 정보 신호를, 청취자의 제1 평면에서 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하기 위한 수단을 옵션 사항으로 포함한다.
양태 19는 양태 14 내지 18 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 다수의 상관 해제된 신호를 생성하기 위해 높이 오디오 정보 신호 내의 오디오 정보의 다수의 채널을 상관 해제하기 위한 수단을 옵션 사항으로 포함한다. 양태 19에서, 가상화된 높이 오디오 정보 신호를 생성하기 위한 수단은, 선택된 가상화된 높이 필터 및 다수의 상관 해제된 신호 중 적어도 하나를 사용하여 가상화된 높이 오디오 정보 신호를 생성하기 위한 수단을 포함할 수 있다.
양태 20은 양태 14 내지 19 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 방위 파라미터를 사용하여 가상화된 높이 필터를 선택하기 위한 수단이, 고도 파라미터를 사용하여 가상화된 높이 필터를 선택하기 위한 수단을 포함한다는 것을 옵션 사항으로 포함한다.
양태 21은 양태 14 내지 20 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 머리 전달 함수에 관한 정보를 사용하여 가상화된 높이 필터를 생성하기 위한 수단을 옵션 사항으로 포함한다.
양태 22는 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 21 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 옵션 사항으로 그 주제와 결합될 수 있는데, 예컨대, 수평 평면에서 라우드스피커를 사용하여 삼차원 음장에서 가상화된 오디오 정보를 제공하도록 구성되는 오디오 신호 프로세싱 시스템을 포함할 수 있거나 또는 사용할 수 있고, 가상화된 오디오 정보는 수평 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식된다. 양태 22에서, 시스템은, 적어도 하나의 높이 오디오 신호 - 적어도 하나의 높이 오디오 신호는 청취자에 대해(예를 들면, 청취자와 관련되는 수평 평면에 대해) 상승되는 라우드스피커를 사용한 재생을 위해 의도되는 오디오 신호 정보를 포함함 - 를 수신하도록 구성되는 오디오 신호 입력부, 적어도 하나의 높이 오디오 신호에 관한 국소화 정보 - 국소화 정보는 제1 방위 파라미터를 포함함 - 를 수신하도록 구성되는 국소화 신호 입력부, 하나 이상의 가상 높이 필터 - 가상 높이 필터의 각각은 하나 이상의 방위 파라미터와 관련됨 - 를 포함하는 메모리 회로, 및 오디오 신호 프로세서 회로를 포함하고, 오디오 신호 프로세서 회로는: 제1 방위 파라미터를 사용하여 메모리 회로로부터 제1 가상 높이 필터를 검색하도록, 그리고 적어도 하나의 높이 오디오 신호에 제1 가상 높이 필터를 적용하는 것에 의해 가상화된 오디오 신호를 생성하도록 구성되고, 가상화된 오디오 신호가 수평 평면에서 하나 이상의 라우드스피커를 사용하여 재생될 때, 가상화된 오디오 신호는 수평 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식된다.
양태 23은 양태 22의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 오디오 신호 입력부에 커플링되며 적어도 하나의 높이 오디오 신호를 수신하도록 구성되는 상관 해제 회로를 옵션 사항으로 포함하고, 상관 해제 회로는 높이 오디오 신호에 포함되는 하나 이상의 오디오 채널에 상관 해제 필터를 적용하도록 구성된다.
양태 24는 양태 22 또는 23 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 높이 오디오 신호 및 가상화된 오디오 신호 중 적어도 하나에 수평 평면 가상화를 적용하도록 구성되는 수평 평면 가상화 프로세서 회로를 옵션 사항으로 포함한다.
양태 25는 양태 22 내지 24 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를, 동일한 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하도록 구성되는 믹서 회로를 옵션 사항으로 포함한다.
양태 26은 양태 22 내지 25 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 오디오 신호 프로세서 회로가, 청취자에 대응하는 동측 및 대측 머리 전달 함수 정보에 기초하여 제1 가상 높이 필터를 유도하도록 구성되는 머리 전달 함수 유도 회로를 포함한다는 것을 옵션 사항으로 포함한다.
양태 27은, 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 16 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 그 주제와 옵션 사항으로 결합될 수 있는데, 예컨대 N 개의 오디오 입력 채널을 갖는 시스템에서의 적어도 하나의 높이 오디오 신호의 가상 높이 프로세싱을 위한 방법을 포함할 수 있거나 또는 사용할 수 있고, 적어도 하나의 높이 오디오 신호는 N 개의 오디오 입력 채널 중 하나에 대응한다. 양태 27에서, 방법은 시스템으로부터의 다운 믹싱된 오디오 출력을 위한 M 개의 - N 및 M은 넌제로의 양의 정수이고 M은 N보다 더 작음 - 채널을 선택하는 것, 오디오 신호 프로세서 회로를 사용하여, 적어도 하나의 높이 오디오 신호에 대한 가상 국소화에 관한 정보 - 가상 국소화에 관한 정보는 방위 파라미터를 포함함 - 를 수신하는 것, 및 메모리 회로로부터, 적어도 하나의 높이 오디오 신호와 함께 사용하기 위한 가상 높이 필터를 선택하는 것 - 선택하는 것은 방위 파라미터에 기초함 - 을 포함할 수 있다. 양태 27은, 방위 파라미터에 기초하는 선택된 가상 높이 필터를 사용하여 적어도 하나의 높이 오디오 신호를 프로세싱하기 위해 가상화 프로세서 회로를 사용하는 가상화된 오디오 신호를, 오디오 신호 프로세서 회로를 사용하여, 제공하는 것, 및 출력 신호를 제공하도록, 가상화된 오디오 신호를, 선택된 M 개의 채널 중 하나 이상으로부터의 다른 오디오 신호 정보와 믹싱하는 것을 더 포함할 수 있다.
양태 28은 양태 27의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 방위 파라미터 및/또는 고도 파라미터에 대응하는 머리 전달 함수로부터 가상 높이 필터를 유도하는 것을 옵션 사항으로 포함한다.
양태 29는 양태 27 또는 28 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 전력 신호의 비율을 사용하여 그리고 방위 파라미터에 기초하여 가상 높이 필터를 유도하는 것을 옵션 사항으로 포함한다.
양태 30은 양태 27 내지 29 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 출력 신호에 수평 평면 공간화를 적용하는 것을 옵션 사항으로 포함한다.
양태 31은 양태 27 내지 30 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 제공하는 것이, 적어도 하나의 높이 오디오 신호의 다수의 채널 중 적어도 하나에 상관 해제 필터를 적용하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 32는 양태 27 내지 31 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 적어도 하나의 높이 오디오 신호가 두 개의 채널의 각각에서의 신호 정보를 포함한다는 것, 가상 국소화에 관한 정보를 수신하는 것이, 두 개의 채널에서의 신호 정보에 각각 대응하는 방위 파라미터를 수신하는 것을 포함한다는 것, 방위 파라미터가 실질적으로 대칭인 가상 국소화 방위각을 포함한다는 것, 및 가상 높이 필터를 선택하는 것이, 동측 및 대측 머리 전달 함수 데이터에 기초하는 합산 필터 및 차이 필터를 각각 선택하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 33은 양태 27 내지 32 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 믹싱이, 2 채널 헤드폰 오디오 신호를 렌더링하도록 신호를 믹싱하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 34는, 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 33 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 그 주제와 옵션 사항으로 결합될 수 있는데, 예컨대 제1 평면 내에서 실질적으로 제공되는 라우드스피커를 사용하여 재생되는 오디오 신호에서 가청 아티팩트 높이를 수직으로 연장시키기 위한 방법을 포함할 수 있거나 또는 사용할 수 있다. 양태 34에서, 방법은, 제1 프로세서 회로를 사용하여, 제1 오디오 입력 신호 - 오디오 입력 신호는 청취자의 제1 평면 내에 제공되는 다수의 라우드스피커 중 적어도 하나를 사용한 재생을 위해 의도됨 - 를 수신하는 것, 입력 오디오 신호를 지연시키고, 제1 프로세서 회로를 사용하여, 제1 입력 오디오 신호에 가상 높이 필터를 적용하여 가상화된 높이 신호를 제공하는 것, 및 제1 프로세서 회로를 사용하여, 가상화된 높이 신호 및 오디오 입력 신호를 결합하여 프로세싱된 오디오 신호 - 프로세싱된 오디오 신호는, 제1 평면으로부터 수직으로 연장되는 가청 아티팩트를 제공하도록 청취자의 제1 평면에 제공되는 다수의 라우드스피커 중 하나 이상을 사용한 재생을 위해 구성됨 - 를 제공하는 것을 포함할 수 있다.
양태 35는 양태 34의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 수직으로 연장된 가청 아티팩트와 관련되는 방위각 및 고도각에 대응하는 머리 전달 함수로부터 가상 높이 필터를 유도하는 것을 옵션 사항으로 포함한다.
양태 36은, 양태 34 또는 35 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 오디오 입력 신호가 적어도 두 개의 채널에서의 정보를 포함한다는 것을 옵션 사항으로 포함하고, 제1 입력 오디오 신호에 가상 높이 필터를 적용하는 것을 지연시키는 것은, 가상화된 높이 신호 및 오디오 입력 신호를 결합하여 프로세싱된 오디오 신호를 제공하기 이전에, 두 개의 채널 중 적어도 하나에 상관 해제 필터를 적용하는 것을 더 포함한다.
양태 37은 양태 34 내지 36 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 스펙트럼 보정 필터를 가상화된 높이 신호에 적용하여 신호 내의 저주파수 정보를 감쇠시키거나 또는 증폭시키는 것을 옵션 사항으로 포함한다.
양태 38은, 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 37 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 그 주제와 옵션 사항으로 결합될 수 있는데, 예컨대, 두 개 이상의 오디오 정보 채널을 포함하는 오디오 신호의 가상화 프로세싱을 위한 방법을 포함할 수 있거나 또는 사용할 수 있다. 양태 38에서, 방법은, 제1 프로세서 회로를 사용하여, 다수의 오디오 정보 채널을 포함하는 오디오 신호를 수신하는 것, 제1 프로세서 회로를 사용하여, 다수의 오디오 정보 채널 중 적어도 하나에 상관 해제 필터를 적용하여 적어도 하나의 필터링된 채널을 제공하는 것, 및 제1 프로세서 회로를 사용하여 적어도 하나의 필터링된 채널에 가상화 프로세싱 - 가상화 프로세싱은, 가상화된 오디오 신호가 라우드스피커 또는 헤드폰을 사용하여 청취자에게 제공될 때 가상화된 오디오 신호 내의 가청 정보의 청취자 인식 국소화를 조정하도록 구성됨 - 을 적용하는 것을 포함하는, 가상화된 오디오 신호를 생성하는 것을 포함할 수 있다.
양태 39는 양태 38의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 적어도 하나의 필터링된 채널에 가상 높이 필터를 적용하는 것을 더 포함한다는 것을 옵션 사항으로 포함하고, 가상 높이 필터는 머리 전달 함수로부터 유도된다.
양태 40은 양태 38 또는 39 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이 적어도 하나의 필터링된 채널에 가상 높이 필터를 적용하는 것을 더 포함한다는 것을 옵션 사항으로 포함하고, 가상 높이 필터는 다수의 머리 전달 함수의 전력 비율로부터 유도된다.
양태 41은 양태 40의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 방위 방향에서 그리고 상승 방향에서 청취자로부터 오프셋되는 오디오 소스와 각각 관련되는 제1 및 제2 머리 전달 함수로부터의 크기 정보를 사용하여 가상 높이 필터를 유도하는 것을 옵션 사항으로 포함한다.
양태 42는 양태 38 내지 41 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 상관 해제 필터를 적용하는 것이, 다수의 오디오 정보 채널 중 적어도 하나에 올패스 필터를 적용하여 적어도 하나의 필터링된 채널을 제공하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 43은 양태 38 내지 42 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하는 것이, 가상화된 오디오 신호가 라우드스피커 또는 헤드폰을 사용하여 재생될 때 가상화된 오디오 신호에서의 가청 정보의 원점의 인식된 국소화를 조정하기 위해 머리 전달 함수 기반의 필터를 적용하는 것을 포함한다는 것을 옵션 사항으로 포함한다.
양태 44는, 주제(예컨대, 장치, 방법, 액트를 수행하기 위한 수단, 또는, 머신에 의해 수행될 때, 머신으로 하여금 액트를 수행하게 할 수 있는 명령어를 포함하는 머신 판독 가능 매체)를 포함하도록 또는 사용하도록 양태 1 내지 43 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나, 또는 그 주제와 옵션 사항으로 결합될 수 있는데, 예컨대, 다수의 오디오 정보 채널을 포함하는 오디오 신호를 수신하기 위한 수단, 다수의 오디오 정보 채널을 상관 해제하고 적어도 하나의 필터링된 채널을 제공하기 위한 수단, 및 적어도 하나의 필터링된 채널을 사용하여 가상화된 오디오 신호를 생성하기 위한 수단을 포함하는 시스템을 포함할 수 있거나 또는 사용할 수 있고, 가상화된 오디오 신호는, 제1 평면 외부의 가청 정보의 청취자 인식 국소화를 생성하도록 청취자의 제1 평면에서 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다.
양태 45는 양태 44의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 평면이 라우드스피커의 수평 평면이다는 것 및 가상화된 오디오 신호가, 수평 평면 위로 또는 아래로 연장되는 가청 정보의 청취자 인식 국소화를 생성하도록 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다는 것을 옵션 사항으로 포함한다.
양태 46은 양태 44 또는 45 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 평면이 라우드스피커의 수평 평면이다는 것 및 가상화된 오디오 신호가, 수평 평면 위로 또는 아래로 발생하는 가청 정보의 청취자 인식 국소화를 생성하도록 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성된다는 것을 옵션 사항으로 포함한다.
양태 47은 양태 44 내지 46 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하기 위한 수단이, 적어도 하나의 필터링된 채널에 머리 전달 함수 기반의 가상화 필터를 적용하기 위한 수단을 포함한다는 것을 옵션 사항으로 포함한다.
양태 48은 양태 44 내지 47 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 가상화된 오디오 신호를 생성하기 이전에 필터링된 채널에 수평 평면 가상화를 적용하기 위한 수단을 옵션 사항으로 포함한다.
양태 49는 양태 44 내지 48 중 하나 또는 이들의 임의의 조합의 주제를 포함할 수 있거나 또는 사용할 수 있거나, 또는, 옵션 사항으로, 그 주제와 결합될 수 있는데, 제1 평면 내부의 그리고 제1 평면 외부의 가청 정보의 청취자 인식 국소화를 생성하도록, 가상화된 오디오 신호를, 청취자의 제1 평면에서 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하기 위한 수단을 옵션 사항으로 포함한다.
이들 비제한적인 양태의 각각은 독자적으로 존재할 수 있거나, 또는 본원에서 제공되는 다른 양태 또는 예 중 하나 이상과의 다양한 순열 또는 조합으로 결합될 수 있다.
이 문헌에서, 용어 "a(한)" 또는 "an(한)"은, 특허 문서에서 일반적인 것처럼, "적어도 하나" 또는 "하나 이상"의 임의의 다른 인스턴스 또는 용법과는 무관하게, 하나 또는 하나보다 더 많은 것을 포함하기 위해 사용된다. 본 문헌에서, 용어 "또는"은, 달리 나타내어지지 않는 한, "A 또는 B"가 "B가 아닌 A", "A가 아닌 B", 및 "A와 B"를 포함하도록, 또는 비배타적인 것을 가리키도록 사용된다. 본 문헌에서, 용어 "포함하는(including)" 및 "여기서(in which)"는, 각각의 용어 "포함하는(comprising)" 및 "여기서(wherein)"의 평이한 영어의 등가적 표현으로 사용된다.
다른 것들 중에서도, "할 수 있다(can)", "할 수도 있을 것이다(might)", "할 수도 있다(may)", "예를 들면(e.g.)" 및 등등과 같은, 본원에서 사용되는 조건부적 언어는, 달리 명시적으로 언급되지 않는 한, 또는 사용될 때 문맥 내에서 달리 이해되지 않는 한, 일반적으로, 소정의 피쳐, 엘리먼트 및/또는 상태를, 다른 실시형태는 포함하지 않지만, 소정의 실시형태가 포함한다는 것을 전달하도록 의도된다. 따라서, 이러한 조건부적 언어는, 피쳐, 엘리먼트 및/또는 상태가 하나 이상의 실시형태에 대해 어떤 식으로든 필요로 된다는 것 또는 이들 피쳐, 엘리먼트 및/또는 상태가 포함되는지의 여부 또는 임의의 특정한 실시형태에서 수행되어야 하는지의 여부를, 저작자(author) 입력 또는 암시(prompting)의 유무에 무관하게, 결정하기 위한 로직을 하나 이상의 실시형태가 반드시 포함한다는 것을 의미하도록 일반적으로 의도되지는 않는다.
상기 상술된 설명이, 다양한 실시형태에 적용될 때의 신규의 피쳐를 나타내었고, 설명하였고, 언급하였지만, 예시되는 디바이스 또는 알고리즘의 형태 및 상세에서의 다양한 생략, 대체, 및 변경이, 본 개시의 취지를 벗어나지 않으면서 이루어질 수 있다는 것이 이해될 것이다. 인식될 바와 같이, 본원에서 설명되는 본 발명의 소정의 실시형태는, 몇몇 피쳐가 다른 것과는 별개로 사용될 수 있거나 또는 실시될 수 있기 때문에, 본원에서 기술되는 바와 같은 피쳐 및 이점의 모두를 제공하지는 않는 형태 내에서 구현될 수 있다.
또한, 비록 본 주제가 구조적 피쳐 또는 방법 또는 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제는 상기에서 설명되는 특정한 피쳐 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정한 피쳐 및 액트는 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (49)

  1. 제1 평면에 배치되는 라우드스피커를 사용하여 삼차원 음장(sound field)에서 가상화된 오디오 정보를 제공하기 위한 방법으로서,
    상기 가상화된 오디오 정보는 상기 제1 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식되고, 상기 방법은,
    제1 프로세서 회로를 사용하여, 적어도 하나의 높이 오디오 신호(height audio signal)를 수신하는 단계 - 상기 적어도 하나의 높이 오디오 신호는, 상기 제1 평면으로부터 오프셋되는 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성됨 - ;
    상기 제1 프로세서 회로를 사용하여, 상기 적어도 하나의 높이 오디오 신호에 대응하는 국소화 정보(localization information)를 수신하는 단계 - 상기 국소화 정보는 방위 파라미터를 포함함 - ;
    상기 제1 프로세서 회로를 사용하여, 상기 방위 파라미터에 관한 정보를 사용해 제1 가상 높이 필터(virtual height filter)를 선택하는 단계; 및
    가상화된 오디오 신호를 생성하는 단계 - 상기 가상화된 오디오 신호를 생성하는 단계는, 상기 제1 프로세서 회로를 사용하여, 상기 적어도 하나의 높이 오디오 신호에 상기 제1 가상 높이 필터를 적용하는 단계를 포함함 -
    를 포함하고,
    상기 가상화된 오디오 신호는, 상기 제1 평면에서의 하나 이상의 라우드스피커를 사용한 오디오 재생에서의 사용을 위해 구성되며, 상기 가상화된 오디오 신호가 상기 하나 이상의 라우드스피커를 사용하여 재생될 때, 상기 가상화된 오디오 신호는 상기 제1 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식되고,
    상기 적어도 하나의 높이 오디오 신호를 수신하는 단계는, 상기 제1 평면에 대해 상승된 상이한 라우드스피커를 사용한 재생을 위해 의도되는 제1 및 제2 높이 오디오 채널에 관한 정보를 수신하는 단계를 포함하고, 상기 제1 평면은 상기 청취자의 수평 평면이고,
    상기 국소화 정보를 수신하는 단계는, 상기 제1 및 제2 높이 오디오 채널에 대한 각각의 방위 파라미터를 수신하는 단계를 포함하고,
    상기 선택하는 단계는, 상기 각각의 방위 파라미터에 관한 정보를 사용하여 상이한 각각의 제1 및 제2 가상 높이 필터를 선택하는 단계를 포함하며,
    상기 생성하는 단계는, 각각의 제1 및 제2 가상화된 오디오 신호를 제공하기 위해, 상기 제1 프로세서 회로를 사용하여, 상기 제1 및 제2 높이 오디오 채널에 상기 제1 및 제2 가상 높이 필터를 각각 적용하는 단계를 포함하고, 상기 제1 및 제2 가상화된 오디오 신호가 상기 수평 평면에서의 라우드스피커를 사용하여 재생될 때, 상기 재생되는 신호는, 상기 수평 평면 이외에서의 가청 정보를 포함하는 것으로 상기 청취자에 의해 인식되고,
    상기 생성하는 단계는, 상기 제1 및 제2 가상 높이 필터를 적용하기 이전에 상기 적어도 하나의 높이 오디오 신호를 상관 해제하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 가상화된 오디오 신호를 생성하는 단계는, 상기 가상화된 오디오 신호가 상기 하나 이상의 라우드스피커를 사용하여 재생될 때, 상기 가상화된 오디오 신호가 상기 하나 이상의 라우드스피커의 수평 평면으로부터 제2 평면으로 수직 상방 또는 하방으로 연장되는 가청 정보를 포함하는 것으로 상기 청취자에 의해 인식되도록 상기 신호를 생성하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  3. 제1항에 있어서,
    상기 가상화된 오디오 신호를 생성하는 단계는, 상기 가상화된 오디오 신호가 상기 하나 이상의 라우드스피커를 사용하여 재생될 때, 상기 가상화된 오디오 신호가 상기 하나 이상의 라우드스피커의 수평 평면에 대해 상승된(elevated) 또는 하강된 소스로부터 발생하는 것으로 상기 청취자에 의해 인식되도록 상기 신호를 생성하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  4. 제1항에 있어서,
    상기 가상화된 오디오 신호를 생성하는 단계는, 상기 제1 가상 높이 필터를 적용하기 이전에 상기 적어도 하나의 높이 오디오 신호에 수평 평면 가상화(horizontal-plane virtualization)를 적용하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  5. 제1항에 있어서,
    상기 가상화된 오디오 신호를 생성하는 단계는, 상기 제1 가상 높이 필터를 적용한 이후에 상기 적어도 하나의 높이 오디오 신호에 수평 평면 가상화를 적용하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  6. 제1항에 있어서,
    오디오 신호 믹서 회로를 사용하여, 상기 가상화된 오디오 신호를, 상기 제1 평면에서의 하나 이상의 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하는 단계를 더 포함하는, 가상화된 오디오 정보를 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 제1 및 제2 높이 오디오 채널에 대한 상기 각각의 방위 파라미터는 실질적으로 대칭인 방위각이고, 상기 선택된 상이한 각각의 제1 및 제2 가상 높이 필터는, 동측(ipsilateral) 및 대측(contralateral) 머리 전달 함수 데이터(head-related transfer function data)에 기초하는 합산 필터(sum filter) 및 차이 필터(difference filter)를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  8. 제1항에 있어서,
    상기 국소화 정보를 수신하는 단계는, 고도 파라미터를 수신하는 단계를 더 포함하고, 상기 제1 가상 높이 필터를 선택하는 단계는, 상기 방위 파라미터에 관한 정보를 사용하는 단계 및 상기 고도 파라미터에 관한 정보를 사용하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  9. 제1항에 있어서,
    상기 제1 가상 높이 필터를 선택하는 단계는, 머리 전달 함수로부터 유도되는 가상 높이 필터를 선택하는 단계를 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  10. 제1항에 있어서,
    상기 가상화된 오디오 신호를 생성하는 단계는, 상기 제1 프로세서 회로를 사용하여, 상기 가상화된 오디오 신호에 수평 평면 공간화(horizontal-plane spatialization)를 적용하는 단계를 더 포함하는 것인, 가상화된 오디오 정보를 제공하기 위한 방법.
  11. 제10항에 있어서,
    수평 평면에 대한 공간적으로 향상된 오디오 신호를 생성하는 단계 - 상기 공간적으로 향상된 오디오 신호를 생성하는 단계는, 상기 제1 프로세서 회로를 사용하여, 상기 청취자의 수평 평면에서의 라우드스피커를 사용한 재생을 위해 의도되는 다른 오디오 신호에 수평 평면 공간화를 적용하는 단계를 포함함 - ; 및
    상기 청취자의 수평 평면에서의 라우드스피커를 사용하여 서라운드 사운드를 제공하기 위해, 상기 가상화된 오디오 신호를 상기 공간적으로 향상된 오디오 신호와 믹싱하는 단계
    를 더 포함하는, 가상화된 오디오 정보를 제공하기 위한 방법.
  12. 수평 평면에서의 라우드스피커를 사용하여 삼차원 음장에서 가상화된 오디오 정보를 제공하도록 구성되는 오디오 신호 프로세싱 시스템으로서,
    상기 가상화된 오디오 정보는 상기 수평 평면 이외에서의 가청 정보를 포함하는 것으로 청취자에 의해 인식되고, 상기 시스템은,
    적어도 하나의 높이 오디오 신호를 수신하도록 구성되는 오디오 신호 입력부 - 상기 적어도 하나의 높이 오디오 신호는 청취자에 대해 상승된 라우드스피커를 사용한 재생을 위해 의도되는 오디오 신호 정보를 포함함 - ;
    상기 적어도 하나의 높이 오디오 신호에 관한 국소화 정보를 수신하도록 구성되는 국소화 신호 입력부 - 상기 국소화 정보는 제1 방위 파라미터를 포함함 - ;
    하나 이상의 가상 높이 필터를 포함하는 메모리 회로 - 상기 가상 높이 필터 각각은 하나 이상의 방위 파라미터와 관련됨 - ; 및
    오디오 신호 프로세서 회로
    를 포함하고,
    상기 오디오 신호 프로세서 회로는,
    상기 제1 방위 파라미터를 사용하여 상기 메모리 회로로부터 제1 가상 높이 필터를 리트리빙(retrieving)하도록; 그리고
    상기 적어도 하나의 높이 오디오 신호에 상기 제1 가상 높이 필터를 적용함으로써 가상화된 오디오 신호를 생성하도록
    구성되며,
    상기 가상화된 오디오 신호가 상기 수평 평면에서의 하나 이상의 라우드스피커를 사용하여 재생될 때, 상기 가상화된 오디오 신호는 상기 수평 평면 이외에서의 가청 정보를 포함하는 것으로 상기 청취자에 의해 인식되고,
    상기 적어도 하나의 높이 오디오 신호를 수신하는 것은, 상기 수평 평면에 대해 상승된 상이한 라우드스피커를 사용한 재생을 위해 의도되는 제1 및 제2 높이 오디오 채널에 관한 정보를 수신하는 것을 포함하고,
    상기 국소화 정보를 수신하는 것은, 상기 제1 및 제2 높이 오디오 채널에 대한 각각의 방위 파라미터를 수신하는 것을 포함하고,
    상기 오디오 신호 프로세서 회로는 또한, 상기 각각의 방위 파라미터에 관한 정보를 사용하여 상이한 각각의 제1 및 제2 가상 높이 필터를 선택하도록 구성되며,
    상기 생성하는 것은, 각각의 제1 및 제2 가상화된 오디오 신호를 제공하기 위해, 상기 제1 및 제2 높이 오디오 채널에 상기 제1 및 제2 가상 높이 필터를 각각 적용하는 것을 포함하고, 상기 제1 및 제2 가상화된 오디오 신호가 상기 수평 평면에서의 라우드스피커를 사용하여 재생될 때, 상기 재생되는 신호는, 상기 수평 평면 이외에서의 가청 정보를 포함하는 것으로 상기 청취자에 의해 인식되고,
    상기 오디오 신호 프로세싱 시스템은, 상기 오디오 신호 입력부에 커플링되며 상기 적어도 하나의 높이 오디오 신호를 수신하도록 구성되는 상관 해제 회로를 더 포함하고, 상기 상관 해제 회로는, 상기 제1 및 제2 가상 높이 필터를 적용하기 이전에, 상기 적어도 하나의 높이 오디오 신호에 포함되는 상기 제1 및 제2 높이 오디오 채널에 상관 해제 필터를 적용하도록 구성되는 것인, 오디오 신호 프로세싱 시스템.
  13. 제12항에 있어서,
    상기 적어도 하나의 높이 오디오 신호 및 상기 제1 및 제2 가상화된 오디오 신호 중 적어도 하나에 수평 평면 가상화를 적용하도록 구성되는 수평 평면 가상화 프로세서 회로를 더 포함하는, 오디오 신호 프로세싱 시스템.
  14. 제12항에 있어서,
    상기 제1 및 제2 가상화된 오디오 신호를, 동일한 라우드스피커를 사용하여 동시적으로 재생될 하나 이상의 다른 신호와 결합하도록 구성되는 믹서 회로를 더 포함하는, 오디오 신호 프로세싱 시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
KR1020187035306A 2016-05-06 2017-05-05 몰입형 오디오 재생 시스템 KR102358283B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662332872P 2016-05-06 2016-05-06
US62/332,872 2016-05-06
PCT/US2017/031269 WO2017192972A1 (en) 2016-05-06 2017-05-05 Immersive audio reproduction systems

Publications (2)

Publication Number Publication Date
KR20190005206A KR20190005206A (ko) 2019-01-15
KR102358283B1 true KR102358283B1 (ko) 2022-02-04

Family

ID=60203698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035306A KR102358283B1 (ko) 2016-05-06 2017-05-05 몰입형 오디오 재생 시스템

Country Status (5)

Country Link
US (2) US20170325043A1 (ko)
EP (1) EP3453190A4 (ko)
JP (2) JP2019518373A (ko)
KR (1) KR102358283B1 (ko)
WO (1) WO2017192972A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102358283B1 (ko) 2016-05-06 2022-02-04 디티에스, 인코포레이티드 몰입형 오디오 재생 시스템
US10979844B2 (en) * 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US10397724B2 (en) 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
GB2569214B (en) * 2017-10-13 2021-11-24 Dolby Laboratories Licensing Corp Systems and methods for providing an immersive listening experience in a limited area using a rear sound bar
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
CN116781827A (zh) 2018-02-15 2023-09-19 奇跃公司 混合现实虚拟混响
JP2021525980A (ja) 2018-05-30 2021-09-27 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． フィルタパラメータに関するインデックススキーミング
JP7402185B2 (ja) * 2018-06-12 2023-12-20 マジック リープ， インコーポレイテッド 低周波数チャネル間コヒーレンス制御
CN108848267B (zh) * 2018-06-27 2020-11-13 维沃移动通信有限公司 音频播放方法及移动终端
CN111107481B (zh) 2018-10-26 2021-06-22 华为技术有限公司 一种音频渲染方法及装置
US10575094B1 (en) * 2018-12-13 2020-02-25 Dts, Inc. Combination of immersive and binaural sound
CN113615210A (zh) * 2019-03-06 2021-11-05 哈曼国际工业有限公司 无上发和环绕扬声器的条形音箱中的虚拟高度和环绕效果
EP3949446A1 (en) 2019-03-29 2022-02-09 Sony Group Corporation Apparatus, method, sound system
WO2020206177A1 (en) 2019-04-02 2020-10-08 Syng, Inc. Systems and methods for spatial audio rendering
US11212631B2 (en) * 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
CN112653985B (zh) * 2019-10-10 2022-09-27 高迪奥实验室公司 使用2声道立体声扬声器处理音频信号的方法和设备
EP4049466A4 (en) 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
US11163021B2 (en) * 2020-03-05 2021-11-02 Allegro Microsystems, Llc Sensors having signal redundancy
US11277706B2 (en) * 2020-06-05 2022-03-15 Sony Corporation Angular sensing for optimizing speaker listening experience
BE1029638B1 (nl) * 2021-07-30 2023-02-27 Areal Werkwijze voor het verwerken van een audiosignaal
WO2023059838A1 (en) * 2021-10-08 2023-04-13 Dolby Laboratories Licensing Corporation Headtracking adjusted binaural audio
CN113873421B (zh) * 2021-12-01 2022-03-22 杭州当贝网络科技有限公司 一种基于投屏设备实现天空声音效的方法和***
WO2023122547A1 (en) * 2021-12-20 2023-06-29 Dolby Laboratories Licensing Corporation A method of processing audio for playback of immersive audio
WO2024081957A1 (en) * 2022-10-14 2024-04-18 Virtuel Works Llc Binaural externalization processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110243338A1 (en) * 2008-12-15 2011-10-06 Dolby Laboratories Licensing Corporation Surround sound virtualizer and method with dynamic range compression
KR101202368B1 (ko) * 2004-10-14 2012-11-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수
US20130202117A1 (en) * 2009-05-20 2013-08-08 Government Of The United States As Represented By The Secretary Of The Air Force Methods of using head related transfer function (hrtf) enhancement for improved vertical- polar localization in spatial audio systems

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4817149A (en) * 1987-01-22 1989-03-28 American Natural Sound Company Three-dimensional auditory display apparatus and method utilizing enhanced bionic emulation of human binaural sound localization
US5943427A (en) 1995-04-21 1999-08-24 Creative Technology Ltd. Method and apparatus for three dimensional audio spatialization
US5809150A (en) 1995-06-28 1998-09-15 Eberbach; Steven J. Surround sound loudspeaker system
US5742689A (en) * 1996-01-04 1998-04-21 Virtual Listening Systems, Inc. Method and device for processing a multichannel signal for use with a headphone
US6421446B1 (en) 1996-09-25 2002-07-16 Qsound Labs, Inc. Apparatus for creating 3D audio imaging over headphones using binaural synthesis including elevation
JP3266020B2 (ja) * 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
US6078669A (en) 1997-07-14 2000-06-20 Euphonics, Incorporated Audio spatial localization apparatus and methods
AUPP271598A0 (en) 1998-03-31 1998-04-23 Lake Dsp Pty Limited Headtracked processing for headtracked playback of audio signals
GB2343347B (en) * 1998-06-20 2002-12-31 Central Research Lab Ltd A method of synthesising an audio signal
WO2000024226A1 (fr) * 1998-10-19 2000-04-27 Onkyo Corporation Systeme d'ambiophonie
US6175631B1 (en) * 1999-07-09 2001-01-16 Stephen A. Davis Method and apparatus for decorrelating audio signals
WO2002073435A1 (en) 2001-03-07 2002-09-19 Harman International Industries, Inc. Sound direction system
US7415123B2 (en) 2001-09-26 2008-08-19 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
US6961439B2 (en) 2001-09-26 2005-11-01 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for producing spatialized audio signals
EP1695335A1 (fr) 2003-12-15 2006-08-30 France Telecom Procede de synthese et de spatialisation sonores
US8638946B1 (en) 2004-03-16 2014-01-28 Genaudio, Inc. Method and apparatus for creating spatialized sound
GB2414369B (en) 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
JP4629388B2 (ja) 2004-08-27 2011-02-09 ソニー株式会社 音響生成方法、音響生成装置、音響再生方法及び音響再生装置
CA2578797A1 (en) * 2004-09-03 2006-03-16 Parker Tsuhako Method and apparatus for producing a phantom three-dimensional sound space with recorded sound
KR100608025B1 (ko) * 2005-03-03 2006-08-02 삼성전자주식회사 2채널 헤드폰용 입체 음향 생성 방법 및 장치
DE102005043641A1 (de) 2005-05-04 2006-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Generierung und Bearbeitung von Toneffekten in räumlichen Tonwiedergabesystemen mittels einer graphischen Benutzerschnittstelle
US7702116B2 (en) 2005-08-22 2010-04-20 Stone Christopher L Microphone bleed simulator
KR101304797B1 (ko) * 2005-09-13 2013-09-05 디티에스 엘엘씨 오디오 처리 시스템 및 방법
ATE456261T1 (de) 2006-02-21 2010-02-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
US7606377B2 (en) 2006-05-12 2009-10-20 Cirrus Logic, Inc. Method and system for surround sound beam-forming using vertically displaced drivers
US8712061B2 (en) 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US9697844B2 (en) 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US8374365B2 (en) 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080004729A1 (en) 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
US8488796B2 (en) * 2006-08-08 2013-07-16 Creative Technology Ltd 3D audio renderer
KR101368859B1 (ko) 2006-12-27 2014-02-27 삼성전자주식회사 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
CN103716748A (zh) * 2007-03-01 2014-04-09 杰里·马哈布比 音频空间化及环境模拟
EP3712888B1 (en) * 2007-03-30 2024-05-08 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US8126172B2 (en) 2007-12-06 2012-02-28 Harman International Industries, Incorporated Spatial processing stereo system
EP2258120B1 (en) 2008-03-07 2019-08-07 Sennheiser Electronic GmbH & Co. KG Methods and devices for reproducing surround audio signals via headphones
US8023660B2 (en) 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
JP5611970B2 (ja) 2008-11-21 2014-10-22 アウロ テクノロジーズ オーディオ信号を変換するためのコンバータ及び方法
JP5499513B2 (ja) * 2009-04-21 2014-05-21 ソニー株式会社 音響処理装置、音像定位処理方法および音像定位処理プログラム
US20100303245A1 (en) 2009-05-29 2010-12-02 Stmicroelectronics, Inc. Diffusing acoustical crosstalk
US8000485B2 (en) * 2009-06-01 2011-08-16 Dts, Inc. Virtual audio processing for loudspeaker or headphone playback
US8442244B1 (en) * 2009-08-22 2013-05-14 Marshall Long, Jr. Surround sound system
KR20140010468A (ko) 2009-10-05 2014-01-24 하만인터내셔날인더스트리스인코포레이티드 오디오 신호의 공간 추출 시스템
WO2011045506A1 (fr) * 2009-10-12 2011-04-21 France Telecom Traitement de donnees sonores encodees dans un domaine de sous-bandes
KR101673232B1 (ko) * 2010-03-11 2016-11-07 삼성전자주식회사 수직 방향 가상 채널을 생성하는 장치 및 그 방법
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
WO2012094338A1 (en) * 2011-01-04 2012-07-12 Srs Labs, Inc. Immersive audio rendering system
CN103563403B (zh) 2011-05-26 2016-10-26 皇家飞利浦有限公司 音频***及方法
JP5640911B2 (ja) 2011-06-30 2014-12-17 ヤマハ株式会社 スピーカアレイ装置
US9179237B2 (en) 2011-12-16 2015-11-03 Bose Corporation Virtual audio system tuning
WO2013103256A1 (ko) 2012-01-05 2013-07-11 삼성전자 주식회사 다채널 음향 신호의 정위 방법 및 장치
WO2013149867A1 (en) 2012-04-02 2013-10-10 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US20130308800A1 (en) 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
EP2862370B1 (en) 2012-06-19 2017-08-30 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9479886B2 (en) * 2012-07-20 2016-10-25 Qualcomm Incorporated Scalable downmix design with feedback for object-based surround codec
JP6186436B2 (ja) * 2012-08-31 2017-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング
EP4207817A1 (en) 2012-08-31 2023-07-05 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
MY172402A (en) * 2012-12-04 2019-11-23 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method
US9264838B2 (en) * 2012-12-27 2016-02-16 Dts, Inc. System and method for variable decorrelation of audio signals
TWI635753B (zh) * 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
JP2014168228A (ja) 2013-01-30 2014-09-11 Yamaha Corp 放音装置
WO2014126689A1 (en) * 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for controlling the inter-channel coherence of upmixed audio signals
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
WO2014164361A1 (en) 2013-03-13 2014-10-09 Dts Llc System and methods for processing stereo audio content
KR101859453B1 (ko) * 2013-03-29 2018-05-21 삼성전자주식회사 오디오 장치 및 이의 오디오 제공 방법
JP2016518067A (ja) 2013-04-05 2016-06-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 没入型オーディオの残響音場を管理する方法
US9905231B2 (en) * 2013-04-27 2018-02-27 Intellectual Discovery Co., Ltd. Audio signal processing method
EP2830335A3 (en) * 2013-07-22 2015-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, and computer program for mapping first and second input channels to at least one output channel
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
MX357405B (es) 2014-03-24 2018-07-09 Samsung Electronics Co Ltd Metodo y aparato de reproduccion de señal acustica y medio de grabacion susceptible de ser leido en computadora.
EP2928216A1 (en) * 2014-03-26 2015-10-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for screen related audio object remapping
EP3668125B1 (en) * 2014-03-28 2023-04-26 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal
CA3041710C (en) * 2014-06-26 2021-06-01 Samsung Electronics Co., Ltd. Method and device for rendering acoustic signal, and computer-readable recording medium
CN110636415B (zh) 2014-08-29 2021-07-23 杜比实验室特许公司 用于处理音频的方法、***和存储介质
US20170289724A1 (en) * 2014-09-12 2017-10-05 Dolby Laboratories Licensing Corporation Rendering audio objects in a reproduction environment that includes surround and/or height speakers
WO2016114432A1 (ko) * 2015-01-16 2016-07-21 삼성전자 주식회사 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스
EP4002888A1 (en) 2015-02-12 2022-05-25 Dolby Laboratories Licensing Corporation Headphone virtualization
KR102172051B1 (ko) * 2015-12-07 2020-11-02 후아웨이 테크놀러지 컴퍼니 리미티드 오디오 신호 처리 장치 및 방법
KR102358283B1 (ko) 2016-05-06 2022-02-04 디티에스, 인코포레이티드 몰입형 오디오 재생 시스템
US10979844B2 (en) 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101202368B1 (ko) * 2004-10-14 2012-11-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 패닝된 스테레오 오디오 콘텐츠를 위한 개선된 헤드 관련전달함수
US20110243338A1 (en) * 2008-12-15 2011-10-06 Dolby Laboratories Licensing Corporation Surround sound virtualizer and method with dynamic range compression
US20130202117A1 (en) * 2009-05-20 2013-08-08 Government Of The United States As Represented By The Secretary Of The Air Force Methods of using head related transfer function (hrtf) enhancement for improved vertical- polar localization in spatial audio systems

Also Published As

Publication number Publication date
WO2017192972A1 (en) 2017-11-09
JP7502377B2 (ja) 2024-06-18
EP3453190A4 (en) 2020-01-15
US11304020B2 (en) 2022-04-12
US20200213800A1 (en) 2020-07-02
JP2022167932A (ja) 2022-11-04
JP2019518373A (ja) 2019-06-27
EP3453190A1 (en) 2019-03-13
US20170325043A1 (en) 2017-11-09
KR20190005206A (ko) 2019-01-15

Similar Documents

Publication Publication Date Title
KR102358283B1 (ko) 몰입형 오디오 재생 시스템
US10979844B2 (en) Distributed audio virtualization systems
EP3412039B1 (en) Augmented reality headphone environment rendering
US10313814B2 (en) Apparatus and method for sound stage enhancement
US20190349705A9 (en) Graphical user interface to adapt virtualizer sweet spot
US20190075418A1 (en) Sweet spot adaptation for virtualized audio
WO2016130834A1 (en) Reverberation generation for headphone virtualization
US10397730B2 (en) Methods and systems for providing virtual surround sound on headphones
US11962991B2 (en) Non-coincident audio-visual capture system
US9510124B2 (en) Parametric binaural headphone rendering
JP2020508590A (ja) マルチチャネル・オーディオ信号をダウンミックスするための装置及び方法
US8615090B2 (en) Method and apparatus of generating sound field effect in frequency domain
CN118235432A (zh) 经头部跟踪调整的双耳音频

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant