KR20010034650A - 청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템 - Google Patents

청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20010034650A
KR20010034650A KR1020007010576A KR20007010576A KR20010034650A KR 20010034650 A KR20010034650 A KR 20010034650A KR 1020007010576 A KR1020007010576 A KR 1020007010576A KR 20007010576 A KR20007010576 A KR 20007010576A KR 20010034650 A KR20010034650 A KR 20010034650A
Authority
KR
South Korea
Prior art keywords
sound
filter
filters
sound source
virtual environment
Prior art date
Application number
KR1020007010576A
Other languages
English (en)
Other versions
KR100662673B1 (ko
Inventor
후오파니에미이이리
배애내넨리이타
Original Assignee
다니엘 태그리아페리
노키아 모빌 폰즈 리미티드
라이조 캐르키
모링 헬레나
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다니엘 태그리아페리, 노키아 모빌 폰즈 리미티드, 라이조 캐르키, 모링 헬레나 filed Critical 다니엘 태그리아페리
Publication of KR20010034650A publication Critical patent/KR20010034650A/ko
Application granted granted Critical
Publication of KR100662673B1 publication Critical patent/KR100662673B1/ko

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves

Landscapes

  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Steroid Compounds (AREA)
  • Complex Calculations (AREA)
  • Executing Machine-Instructions (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

청각 가상환경이 전자 장치에서 처리된다. 상기 청각 가상환경은 적어도 하나의 음원(300)을 포함한다. 상기 음향이 향하는 방법을 모델링하기 위하여, 방향 종속 필터링 장치(306 내지 309)가 상기 음원에 부착되어, 상기 음향에 대한 상기 필터링 장치의 영향은 소정 파라미터들에 의존한다. 방향성은 상기 음향의 주파수에 의존할 수 있다.

Description

청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템{A method and a system for processing directed sound in an acoustic virtual environment}
청각 가상환경이란 청취자가 전기적으로 재생된 음향에 대해 그가 특정 공간에 있다고 상상할 수 있게 도움을 주는 청감을 의미한다. 복잡한 청각 가상환경은 종종 실제 공간을 모방하는 것을 목적으로 하는데, 이는 상기 공간의 청각화(Auralization)라고 불린다. 이러한 개념은 예를 들어 M. Kleiner, B.-I. Dalenback, P.Svensson:"청각화-개관", 1993, J.음향공학 협회, vol 41, No. 11, pp.861 - 875 논문에서 설명된다. 상기 청각화는 시각 가상 환경의 생성과 중립적인 방법으로 조합될 수 있으며, 여기에서 적절한 디스플레이와 스피커 혹은 헤드셋을 구비한 사용자는 원하는 실제 혹은 상상의 공간을 조사할 수 있으며, 심지어 상기 공간을 "돌아다닐" 수 있고, 여기에서 사용자는 조사 지점으로 선택한 상기 환경에서의 지점에 따라 상이한 시각 및 청각 감을 얻을 수 있다.
청각 가상 공간의 생성은 음원의 모델링, 공간의 모델링, 및 청취자의 모델링 이렇게 세 개의 인자들로 구분될 수 있다. 본 발명은 음원의 모델링 및 상기 음향의 조기 반향음에 특히 관련된다.
VRML97(Vritual reality modeling language 97)언어는 시각 및 청각 가상 환경을 모델링하고 프로세싱하기 위하여 종종 사용되며, 상기 언어는 ISO/IEC JTC/SC24 IS 14772-1, 1997, 정보기술-컴퓨터 그래픽스와 이미지 프로세싱-가상 현실 모델링 언어(VRML97), 1997년 4월 간행물; 및 인터넷 주소 http://www.vrml.org/Specfication/VRML97/ 의 상응하는 페이지에서 다루어진다. 본 특허 출원서가 작성되는 동안 개발되고 있는 다른 규칙세트는 JAVA3D와 관련하며, 상기 JAVA3D는 VRML의 제어 및 프로세싱 환경이 될 것이며 예를 들어 간행물 SUN Inc. 1997: JAVA3D API 명세 1.0과; 인터넷 주소 http://www.javasoft.com/-products/java-media/3D/forDevelopers/3Dguide/- 에서 설명된다. 더욱이 개발중인 MPEG-4(Motion picture expert group 4) 표준은 디지털 통신 링크를 거쳐 전달되는 멀티미디어 프레젠테이션이 특정 시청각 환경을 함께 형성하는 현실 및 가상 객체들을 담을 수 있도록 하는 목표를 가진다. 상기 MPEG-4 표준은 간행물 ISO/IEC JTC/SC29 WG11 CD 14496, 1997: 정보 기술-- 시청각 객체들의 코딩.1997년 11월; 및 인터넷 주소 http://www.cselt.it/mpeg/public/mpeg-4_cd.htm의 상응하는 페이지에서 설명된다.
도 1은 VRML97 및 MPEG-4에서 사용되는 알려진 유향음 모델을 도시한다. 음원은 지점(101)에 위치하고 그 주위로 각각 내부에 두개의 가상 타원체(102 및 103)가 있으며, 여기서 타원체 하나의 촛점은 음원의 위치와 공통이고 상기 타원체의 주축은 평행하다. 상기 타원체(102 및 104)의 크기는 주축의 방향으로 측정된 최대후방(maxBack), 최대전방(maxFront), 최소후방(minBack) 및 최소전방(minFront) 거리로 나타난다. 상기 거리의 함수로서 상기 음향의 감쇄는 곡선(104)에 의해 표시된다. 상기 안쪽의 타원체(102) 내부에서 상기 음향 강도는 일정하고, 상기 바깥쪽 타원체(103) 외부에서 음향 강도는 0 이다. 상기 점(101)을 지나 점(101)으로부터 멀어지는 임의의 직선을 따라 갈 때, 상기 음향 강도는 안쪽 및 바깥쪽 타원체 사이에서 선형적으로 20dB 감소한다. 즉, 상기 타원체들 사이에 위치한 점(105)에서 관측된 감쇄 A는 다음 식으로부터 계산될 수 있다.
A = -20 dB ·(d'/d'')
여기서 d'는 안쪽 타원체의 표면으로부터 관측 점까지 점들(101 및 105)을 결합하는 직선을 따라 측정된 거리이며, d''는 동일한 직선을 따라 측정된, 안쪽 및 바깥쪽 타원체들간의 거리이다.
JAVA3D에서 유향음은 도 2에 도시된 콘사운드(Conesound) 개념으로 모델링된다. 상기 도면은 원뿔의 공통 세로축을 포함하는 평면을 따라 특정 이중 원뿔 구조의 단면을 보여준다. 음원은 원뿔들(201 및 202)의 공통 꼭지점(203)에 위치한다. 전방 원뿔(201) 및 후방 원뿔(202)의 양 영역에서 상기 음향은 균일하게 감쇄한다. 선형 보간법이 원뿔들 사이 영역에 적용된다. 관측점(204)에서 검출되는 감쇄를 계산하기 위하여 감쇄가 없는 음향 강도, 전방 및 후방 원뿔의 폭, 및 상기 전방 원뿔의 세로축과 상기 점들(203 및 204)을 결합하는 직선간의 각도를 알아야만 한다.
표면을 포함하는 공간의 음향상태를 모델링하기 위한 알려진 방법은 이미지원(Image source) 방법으로, 여기서 원래 음원은 관측되는 반사면에 대하여 음원의 반사 이미지인 가공의 이미지원들 집합으로 주어진다: 하나의 이미지원은 상기 이미지원으로부터 관측점까지 일직선으로 측정된 거리가 원래 음원으로부터 반사를 거쳐 상기 관측점까지 거리와 동일하게 각 반사면의 뒤에 위치한다. 더욱이, 상기 이미지원으로부터의 음향은 상기 실제 반사된 음향과 동일한 방향으로 상기 관측점에 도착한다. 상기 청감은 상기 이미지원들에 의해 발생된 음향들을 더함으로써 얻어진다.
종래 기술의 방법은 계산과 관련하여 매우 가중하다. 만약 상기 가상 환경이 예를 들어 방송이나 혹은 데이터 네트워크를 통해 사용자에게 전달된다고 가정하면, 상기 사용자의 수신기는 심지어 수천 개의 이미지원들에 의해 발생되는 음향을 계속하여 더해야 한다. 게다가, 계산의 기반은 상기 사용자가 관측점의 위치를 변경하기로 결정할 때마다 항상 변경된다. 더욱이 알려진 해법은 방향각에 더하여 음향의 방향성(Directivity)은 그것의 파장에 강하게 의존한다는 사실을, 즉 상이한 피치의 음향은 다른 방향을 향한다는 사실을 완전히 무시한다.
핀란드 특허출원 번호 974006(Nokia Corp.)으로 부터 청각 가상환경을 처리하기 위한 방법 및 시스템이 알려져 있다. 거기서 모델링될 상기 환경의 표면은 특정 주파수 응답을 가지는 필터들로써 나타난다. 상기 모델링된 환경을 디지털 전송 형태로 전송하기 위하여 상기 환경에 속하는 모든 필수적인 표면들의 전달함수 방법으로 나타내는 것은 충분하다. 그러나, 이것도 도착 방향 혹은 상기 음향의 피치가 상기 음향의 방향에 대하여 가지는 영향을 고려하지 않고 있다.
본 발명은 특정 공간에 상응하는 인위적인 청감이 청취자에게 생성될 수 있는 방법 및 시스템과 관련한다. 상세하게는, 본 발명은 그러한 청감에서 유향음의 처리 및 사용자에게 제공되는 정보가 디지털 형태로 전달되고, 처리되며 그리고/혹은 압축되는 시스템에서 결과적인 청감의 전송과 관련한다.
도 1은 알려진 유향음 모델을 도시한다.
도 2는 다른 알려진 유향음 모델을 도시한다.
도 3은 본 발명에 따른 유향음 모델을 개략적으로 도시한다.
도 4는 본 발명에 따른 모델에 의해 발생된 음향이 방향을 정하는 방식의 도표를 도시한다.
도 5는 본 발명이 청각 가상환경에 적용되는 방식을 도시한다.
도 6은 본 발명에 따른 시스템을 도시한다.
도 7a는 본 발명에 따른 시스템의 부분을 보다 상세하게 도시한다.
도 7b는 도 7a의 상세부위를 도시한다.
본 발명의 목적은 청각 가상환경이 적절한 계산부하로 사용자에게 전달될 수 있는 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 상기 음향의 피치 및 도착 방향이 상기 음향의 방향에 영향을 미치는 방법을 고려할 수 있는 방법 및시스템을 제공하는 것이다.
본 발명의 목적은 상기 음원 혹은 상이한 파라미터들의 도움으로 상기 음향의 원하는 방향을 설정하고 상기 방향이 주파수 및 방향각에 의존하는 방식을 고려하는 것이 가능한 파라미터화된 시스템 함수에 의해 그것의 초기 반사를 모델링함으로서 달성된다.
본 발명에 따른 방법은 상기 음향이 방향을 정하는 방식을 모델링하기 위하여 방향 종속 필터링 장치가 청각 가상환경의 음원에 부착되어 상기 음향에 대한 필터링 구성의 영향이 소정 파라미터들에 의존하는 것을 특징으로 한다.
본 발명은 청각 가상환경에 속하는 음원들로부터 방향을 정하는 방식을 모델링하기 위하여 파라미터화된 필터들을 포함하는 필터뱅크를 생성하기 위한 수단을 포함하는 것을 특징으로 하는 시스템과 또한 관련한다.
본 발명에 따르면 음원 혹은 그것으로부터 계산된 반향음의 모델은 방향 종속 디지털 필터들을 포함한다. 영방위(Zero azimuth)로 불리는 특정 기준 방향이 상기 음향을 위해 선택된다. 본 방향은 청각 가상환경에서 임의의 방향으로 향할 수 있다. 여기에 부가하여, 수많은 다른 방향들이 선택되어, 여기에서 상기 음향이 방향을 정하는 방식을 모델링하는 것이 필요하다. 또한 본 방향들은 임의로 선택될 수 있다. 각 선택된 다른 방향들은 주파수 종속적이거나 주파수 독립적으로 선택될 수 있는 전달 함수를 가지는 고유한 디지털 필터로써 모델링된다. 상기 관측점이 필터에 의해 표시되는 방향과 정확하지 않게 그 밖의 다른 지점에 위치하는 경우에, 상기 필터 전달함수 사이에서 상이한 보간법을 형성하는 것이 가능하다.
정보가 디지털 형태로 전송되어야만 하는 시스템에서 음향 및 방향을 정하는 방식을 모델링하고 싶으면, 각 전달 함수에 대하여 데이터만을 전송하는 것이 필요하다. 원하는 관측점을 알고있는 수신 장치는 손상이 재구성된 전달 함수들의 도움으로 음원의 위치에서 관측점 쪽으로 향하는 것을 결정한다. 만약 상기 관측점의 위치가 영방위와 관련하여 변한다면, 상기 수신장치는 상기 음향이 새로운 관측점으로 향하는 방식을 검사한다. 상기 수신장치가 각 음원으로부터 상기 관측점으로 향하는 방식을 계산하고 이에 상응하여 수신장치가 재생성한 음향을 수신장치가 수정하는 다수의 음원들이 있을 수 있다. 다음에 청취자는, 예를 들어 악기들이 상이한 장소에 위치하고 다른 경로로 향하는 가상 오케스트라와 관련하여, 정확하게 위치 선정된 청취장소의 느낌을 얻는다.
방향 종속 디지털 필터링을 실현하는 가장 간단한 대안은 각 선택된 방향에 특정 증폭도를 덧붙이는 것이다. 그러나, 그러면 상기 음향의 피치는 고려되지 않는다. 보다 진보된 대안에서, 상기 관측된 주파수 대역은 하부대역으로 분할되고, 각 하부 대역에 대하여 상기 선택된 방향에서 고유의 증폭도들이 제공된다. 보다 진보된 변형에서, 각 관측방향은 동일한 전달 함수들의 재구성을 가능하게 하는 특정 계수들이 표시되는 일반 특성함수로써 모델링된다.
아래에서 본 발명은 예시로서 제공되는 바람직한 실시예 및 첨부된 도면들을 참조하여 보다 상세하게 설명된다.
도 1 및 도 2에 대한 참조는 상기 종래 기술의 설명과 관련하여 이루어졌으므로, 본 발명의 다음 설명 및 바람직한 실시예에서 참조는 주로 도 3 내지 7b로 이루어진다.
도 3은 점(300)에서의 음원 위치 및 영방위의 방향(301)을 도시한다. 상기 도면에서 점(300)에 위치한 음원을 네 개의 필터들로 나타내기를 원한다고 가정한다. 상기 네 개 필터의 제1 필터는 방향(302)에서 음원으로부터 전달하는 음향을 나타내고, 제2 필터는 방향(303)에서 음원으로부터 전달하는 음향을 나타내며, 제3 필터는 방향(304)에서 음원으로부터 전달하는 음향을 나타내고, 제4 필터는 방향(305)에서 음원으로부터 전달하는 음향을 나타낸다. 더욱이 도면에서 상기 음향은 영방위의 방향(301)과 관련하여 대칭적으로 전달되어 사실 각각의 방향들(302 내지 305)은 관측 방향을 나타내는 반지름을 영방위 방향(301) 둘레로 회전시킴으로써 얻어지는 원뿔형의 표면에서 상응하는 임의의 방향을 나타낸다고 가정된다. 본 발명은 본 가정들에 한정되지 않지만, 본 발명의 어떤 특징들은 먼저 본 발명의 단순화된 실시예를 고찰함으로써 보다 쉽게 이해된다. 도면에서 상기 방향들(302 내지 305)은 동일한 평면에서 등거리의 선들로 표시되지만, 상기 방향들은 또한 임의로 선택될 수 있다.
도 3에 도시되고 영방위 방향과 상이한 방향으로 전달하는 음향을 나타내는 각 필터가 블록(306 내지 309)에 의해 부호적으로 도시된다. 각 필터는 특정 전달함수 Hi, i∈ {1, 2, 3, 4}를 특징으로 한다. 상기 필터들의 전달함수들은 영방위와 관련하여 전달하는 음향이 상기 음원에 의해 생성되는 것과 같은 음향과 동일하도록 정규화된다. 음향은 일반적으로 시간의 함수이므로, 음원에 의해 생성된 음향은 X(t)와 같이 표시된다. 각 필터(306 내지 309)는 다음 수학식 1에 따라 응답 Y(i), i∈ {1, 2, 3, 4}를 생성한다.
여기서 * 는 시간에 대한 컨볼루션을 나타낸다. 상기 응답 Yi(t)는 당해 방향으로 향하는 음향이다.
여기서 전달 함수의 가장 간단한 형태는 임펄스 X(t)가 실수로 곱해지는 것을 의미한다. 가장 강한 음향이 향하는 방향으로 영방위를 선택하는 것이 자연스럽고, 다음에 필터들(306 내지 309)의 가장 간단한 전달 함수는 0과 1 사이의 실수이므로, 이러한 제한들은 포함된다.
실수에 의한 단순한 곱셈은 상기 음향의 방향성에 대한 피치의 중요성을 고려하지 않는다. 보다 다용도의 전달 함수는 상기 임펄스가 소정 주파수 대역들로 분할되고, 각 주파수 대역이 실수인 고유의 증폭도로 곱해지는 것들이다. 상기 주파수 대역은 주파수 대역의 최고 주파수를 나타내는 하나의 숫자로써 정의될 수 있다. 대안으로 특정 실수 계수들이 견본 주파수들로 이제 나타날 수 있으며, 적절한 보간법이 상기 주파수들 사이에 적용된다. (예를 들어, 만약 400Hz의 주파수와 인자 0.6; 및 1000Hz의 주파수와 인자 0.2가 주어진다면, 직접(Straightforward) 보간법으로 주파수 700Hz에 대하여 인자 0.4를 얻는다.
보통 각 필터(306 내지 309)는 Z-변환(Z-transform) H(z)의 도움으로 표현될 수 있는 전달함수 H를 가지는 특정 IIR 혹은 FIR 필터(무한 임펄스 응답:유한 임펄스 응답)라고 말할 수 있다. 임펄스 X(t)의 Z-변환 X(t) 및 임펄스 Y(t)의 Z-변환 Y(t)를 취하면, 다음에 수학식 2의 정의를 얻는다.
여기서 임의의 전달 함수를 표현하기 위하여 Z-변환을 모델링하는데 사용되는 계수들 {b0b1a1b2a2...}를 표현하는 것으로 충분하다. 합계에서 사용되는 상한들 N 및 M은 전달 함수를 정의하는데 요구되는 정밀도를 나타낸다. 실제로 그것들은 각각의 단일 전달 함수에서 사용되는 계수들을 저장하며 그리고/혹은 전송 시스템에서 전송하기 위하여 얼마나 큰 용량이 이용될 수 있는지에 의해 결정된다.
도 4는 영방위 및 본 발명에 따라서 또한 8개의 주파수 종속 전달 함수들과 그들 사이의 보간법에 의해 표현됨으로써, 트럼펫에 의해 생성된 음향이 향하는 방법을 도시한다. 음향이 향하는 방법은 수직축이 음향의 음량을 데시벨로 나타내고, 제1 가로축이 영방위에 대하여 방향각을 도로 나타내며, 제2 가로축이 음향의 주파수를 kHz로 나타내는 삼차원 좌표 시스템에서 모델링된다. 보간법으로 인하여 상기 음향은 표면(400)으로 나타난다. 도면의 좌측 상단 가장자리에서 상기 표면(400)은 수평선(401)에 의해 제한되며, 상기 수평선(401)은 음량이 영방위 방향에서 주파수 독립적이라는 것을 나타낸다. 우측 상단 가장자리에서 상기 표면(400)은 거의 수평선(402)에 의해 제한되며, 상기 수평선(402)은 음량이 아주 낮은 주파수에서(0 Hz에 근접한 주파수) 방향각에 의존하지 않는다는 것을 나타낸다. 상이한 방향각들을 나타내는 필터들의 주파수 응답들은 도면에서 직선(402)으로부터 시작해서 왼쪽으로 비스듬하게 아래로 연장되는 곡선들이다. 상기 방향각들은 등거리이며 그것들의 크기는 22.5°, 45°, 67.5°, 90°, 112.5°, 135°, 157.5° 및 180° 이다. 예를 들어, 곡선(403)은 영방위로부터 측정된 각도 157.5°에서 전달하는 음향에 관하여 주파수의 함수로서 음량을 나타내며, 상기 곡선은 상기 방향에서 최대 주파수는 낮은 주파수보다 더욱 감쇄한다는것을 보여준다.
본 발명은 청각 가상환경이 컴퓨터 메모리에서 생성되고 동일한 연결에서 처리되는 국부 장비(local equipment)에서 재생하는 데 적합하거나, 혹은 상기 청각 가상환경은 DVD(Digital versatile disc) 디스크와 같은 저장 매체로부터 읽혀지고 시청각 표시 수단(디스플레이, 스피커)을 거쳐 사용자에게 재생된다. 본 발명은 청각 가상환경이 소위 서비스 제공자의 장비에서 발생하여 전송 시스템을 거쳐 사용자에게 전송되는 시스템에 더욱 적용가능하다. 본 발명에 따른 방법으로 처리되는 유향음을 사용자에게 재생하고 일반적으로 상기 사용자가 상기 재생된 음향을 청취하기를 원하는 청각 가상환경의 위치를 선택할 수 있도록 하는 장치는 보통 수신 장치라고 불린다. 본 용어는 본 발명에 관련하여 제한하는 것을 의도하지 않는다.
상기 사용자가 자신이 재생된 음향을 청취하기를 원하는 청각 가상환경의 지점에 대한 정보를 수신 장치로 주면, 상기 수신 장치는 상기 음향이 음원으로부터 상기 지점으로 향하는 경로를 결정한다. 도 4에서 이것은, 도식적으로 관측되어, 수신 장치가 음원의 영방위와 관측점의 방향 사이의 각도를 결정하면, 다음에 상기 표면(400)을 주파수 축과 평행한 수직 평면으로 절단하고 영방위와 관측점 사이의 각도를 나타내는 그 값으로 방향각 축을 절단한다는 것을 의미한다. 상기 표면(400)과 상기 수직 평면간의 절단면은 주파수의 함수로 관측점의 방향에서 검출되는 음향의 상대 음량을 나타내는 곡선이다. 상기 수신 장치는 상기 곡선에 따른 주파수 응답을 실현하는 필터를 형성하고, 그것이 사용자에게 재생되기 전에, 상기 형성된 필터를 통하여 상기 음원에 의해 생성된 음향으로 향하게 한다. 만약 상기 사용자가 상기 관측점의 위치를 변경하기로 결정하면, 상기 수신 장치는 새로운 곡선을 결정하고 상기 설명된 방식으로 새로운 필터를 생성한다.
도 5는 상이하게 방향을 향하는 세 개의 가상 음원(501, 502 및 503)을 가지는 청각 가상환경(500)을 도시한다. 점(504)는 사용자에 의해 선택된 관측점을 나타낸다. 도 5에 도시된 상황을 설명하기 위하여, 상기 음향이 방향을 향하는 방법을 나타내는 고유의 모델이 각 음원(501, 502 및 503)에 대하여 본 발명에 따라 생성되며, 여기서 각 경우의 모델은 대략 도 3 및 도 4에 따를 수 있으나, 영방위가 상기 모델에서 각 가상 음원에 대하여 상이한 방향을 가지는 것을 고려한다. 이 경우에 상기 수신 장치는 상기 음향이 방향을 향하게 되는 방법을 고려하기 위하여 세 개의 분리된 필터들을 생성해야만 한다. 제1 필터를 생성하기 위하여 제1 음원에 의해 전송된 음향이 방향을 향하게 되는 방법을 모델링하는 상기 전달함수들이 결정되어 있고, 이들 및 보간법의 도움으로 도 4에 따른 표면이 생성되어 있다. 더욱이, 상기 관측점의 방향과 음원(501)의 영방위(505)간 각도가 결정되어 있고, 상기 각도의 도움으로 상기 언급한 표면상에서 상기 방향으로 주파수 응답을 읽을 수 있다. 동일한 동작이 각 음원에 대하여 분리되어 반복된다. 사용자에게 재생되는 음향은 세 개 모든 음원들로부터의 음향의 합계이며, 상기 합계에서 각 음향은 상기 음향이 방향을 향하는 방법을 모델링하는 필터로 필터링된다.
본 발명에 따라, 실제 음원에 부가하여, 음향 반사, 특히 초기 반사를 또한 모델링할 수 있다. 도 5에서 본질적으로 알려진 이미지원 방법에 의해 상기 음원(503)에 의해 전송되는 음향이 인접한 벽으로부터 반사되는 방법을 나타내는 이미지원(506)이 형성되어 있다. 상기 이미지원은 실제 음원들과 완전히 동일한 방법으로 본 발명에 따라 처리될 수 있으며, 즉, 영방위의 방향 및 영방위 방향과 상이한 방향에서 (필요한 경우 주파수 의존적인)음향 방향성을 결정할 수 있다. 상기 수신 장치는 실제 음원들에 의해 생성되는 음향에 사용하는 것과 동일한 원리로 상기 이미지원에 의해 "생성된" 음향을 재생한다.
도 6은 전송 장치(601) 및 수신장치(602)를 가지는 시스템을 도시한다. 상기 전송 장치(601)는 적어도 하나의 음원 및 적어도 하나의 공간의 청각 특징을 포함하는 특정 청각 가상환경을 발생하고, 상기 환경을 어떤 형태로 상기 수신 장치(602)에 전송한다. 상기 전송은 예를 들어 디지털 라디오 혹은 텔레비전 방송, 혹은 데이터 네트워크를 거쳐 이루어질 수 있다. 상기 전송은 생성된 청각 가상환경에 기반하여 상기 전송 장치(601)가 DVD 디스크와 같은 녹음을 생성한다는 것을 또한 의미할 수 있고, 상기 수신 장치의 사용자는 자신의 사용을 위해서 상기 녹음을 취득한다. 녹음으로 배달되는 전형적인 실시예는 음원이 가상 악기를 포함하는 오케스트라이고 공간은 전기적으로 모델링된 가공의 혹은 실제 콘서트 홀인 콘서트일 수 있으며, 여기서 상기 수신 장치의 사용자는 자신의 장비로 홀의 상이한 장소에서 공연이 어떻게 소리가 나는가를 청취할 수 있다. 만약 상기 가상 환경이 시청각적이라면, 컴퓨터 그래픽으로 실현된 시각적 분야를 또한 포함한다. 본 발명은 상기 전송 장치 및 상기 수신 장치가 상이한 장치임을 요구하지 않고, 사용자는 하나의 장치에서 특정 시청각 환경을 생성하고 자신의 생성물을 검사하기 위해 동일한 장치를 사용할 수 있다.
도 6에 나타나는 실시예에서, 상기 전송 장치의 사용자는 컴퓨터 그래픽 툴(603) 및 비디오 에니메이션의 도움으로 콘서트 홀과 같은, 상응하는 툴들(604)로 가상 오케스트라의 연주자 및 악기와 같은 특정 시각 환경을 생성한다. 더욱이, 가장 바람직하기로는 어떻게 음향이 주파수에 따라 향하는지를 나타내는 전달함수로 사용자는 키보드(605)를 통해 그가 창조한 환경의 음원들에 대해 특정 방향성을 입력한다. 상기 음향이 어떻게 향하는지의 모델링은 실제 음원들에 대해 만들어진 측정들에 또한 기반할 수 있다; 다음에 방향성 정보는 전형적으로 데이터베이스(606)으로부터 독출된다. 상기 가상 악기들의 음향은 데이터베이스(606)으로부터 로드된다. 상기 전송 장치는 상기 사용자에 의해 입력된 정보를 블록(607 내지 610)에서 비트 스트림으로 처리하고, 상기 비트 스트림을 멀티플렉서(611)에서 하나의 데이타 스트림으로 연결한다. 상기 데이타 스트림은 디멀티플렉서(612)가 상기 데이타 스트림으로부터 정적인 환경을 블록(613)으로 나타내는 이미지 부분, 블록(614)의 시간 종속적 이미지 부분 혹은 에니메이션, 블록(615)의 시간 종속적 음향, 및 블록(616)의 표면을 나타내는 계수들을 분리하는 수신 장치(602)에 어떠한 형태로 공급된다. 상기 이미지 부분들은 디스플레이 구동 블록(617)에 연결되어 디스플레이(618)에 공급된다. 상기 음원들에 의해 전송되는 음향을 나타내는 신호들은 블록(615)로부터 블록(616)으로부터 얻어진 a 및 b 파라미터들의 도움으로 재구성된 전달 함수를 지닌 필터들을 가지는 필터뱅크(619)로 공급된다. 상기 필터 뱅크에 의해 생성된 음향은 헤드셋(620)으로 공급된다.
도 7a 및 7b는 본 발명에 따른 방식으로 청각 가상환경을 실현하는 것이 가능한 수신 장치의 필터 구성을 보다 상세하게 보여준다. 또한 본 발명에 따른 음향 방향성뿐 아니라, 음향 처리와 관련한 다른 인자들도 상기 도면에서 고려된다. 지연 수단(721)은 상이한 음향 요소들의 상호 시간 차이들을 생성한다 (예를 들어 상이한 경로를 따라 반사된 음향, 혹은 상이한 거리에 위치한 가상 음원들의 상호 시간 차이). 동시에 상기 지연 수단(721)은 정확한 음향을 정확한 필터들(722 내지 724)로 향하게 하는 디멀티플렉서로서 동작한다. 상기 필터들(722 내지 724)은 도 7b에서 더욱 상세히 설명되는 파라미터화된 필터들이다. 그것들에 의해 공급되는 신호들은 한편으로는 필터들(701 내지 703)로 분기되며, 다른 한편으로는 가산기 및 증폭기(704)를 거쳐 가산기(705)로 분기되며, 상기 가산기(705)는 에코(echo)와 함께 706 내지 709로 분기하고 상기 가산기(710) 및 증폭기들(711 내지 714)은 포스트 에코(post-echo) 가 특정 신호에 대해 생성될 수 있는 본질적으로 알려진 커플링을 형성한다. 상기 필터들(701 내지 703)은 예를 들어 HRTF(Head-Related Transfer Function)모델에 따라 상이한 방향에서 청취자의 청각적 인식의 차이들을 고려하는 본질적으로 알려진 지향성 필터들이다. 가장 바람직하기로는 상기 필터들(701 내지 703)은 상이한 방향으로부터 청취자의 귀로 도착하는 음향 요소의 상호 시간 차이를 모델링하는 소위 ITD(Interaural Time Difference) 디스플레이를 또한 포함한다.
상기 필터들(701 내지 703)에서 각 신호 요소들은 오른쪽 및 왼쪽 채널로, 혹은 다중채널 시스템에서 일반적으로 N 채널로 분할된다. 특정 신호에 관련된 모든 신호들은 가산기(715 내지 716)에서 연결되고 각 신호에 속하는 포스트에코가 상기 신호에 더해지는 가산기(717 내지 718)로 향한다. 직선(719 내지 720)은 스피커 혹은 헤드셋으로 연결된다. 도 7a에서 필터들(723 내지 724)사이 및 필터들(702 내지 703)사이의 점들은 본 발명이 수신 장치의 필터 뱅크에 얼마나 많은 필터가 있는지를 제한하지 않는다는 것을 의미한다. 모델링된 청각 가상환경의 복잡도에 따라, 심지어 수백 혹은 수천 개의 필터들이 있을 수 있다.
도 7b는 도 7a에 도시된 파라미터화된 필터(722)를 실현하기 위한 가능성을 보다 상세히 보여준다. 도 7b에서, 상기 필터(722)는 세 가지 연속적인 필터 단계들(730 내지 732)을 포함하며, 세 가지 단계의 제1 필터 단계(730)는 매체(일반적으로 공기)에서의 전달 감쇄를 나타내고, 제2 필터 단계(731)는 반사 물질(반사를 모델링하는데 특히 적용된다)에서 일어나는 흡수를 나타내며, 제3 필터 단계(732)는 음향이 음원으로부터 관측점으로 매체에서 전달(반사면을 거치는것이 가능)하는 거리와 습도, 압력 및 공기의 온도와 같은 매체의 특징 모두를 고려한다. 상기 거리를 계산하기 위하여 제1 단계(730)는 전송 장치로부터 모델링되는 공간의 좌표 시스템에서 상기 음원의 위치에 대한 정보 및 수신 장치로부터 관측점으로 사용자가 선택한 지점의 좌표에 대한 정보를 얻는다. 상기 제1 단계(730)는 전송 장치 혹은 수신 장치중 하나로부터 매체의 특징을 설명하는 데이터를 얻는다(상기 수신장치의 사용자는 원하는 매체 특징을 설정 가능하도록 될 수 있다). 기본적으로 상기 제2 단계(731)는, 비록 또한 이 경우에 상기 수신 장치의 사용자는 모델링된 공간의 특징을 변화시키는 가능성이 주어질 수 있지만, 전송 장치로부터 반사면의 흡수를 설명하는 계수를 얻는다. 상기 제3 단계(732)는 상기 음원에 의해 전송된 음향이 모델링된 공간에서 어떻게 음원으로부터 상이한 방향으로 향하는지를 고려한다 : 이렇게 상기 제3 단계(732)는 본 특허출원서에서 제시된 본 발명을 실현한다.
위에서 청각 가상환경의 특징이 파라미터들을 사용하여 하나의 장치에서 다른 하나의 장치로 어떻게 처리되고 전송될 수 있는지에 대해 일반적으로 논의했다. 다음에서 본 발명이 특정 데이터 전송 형태에 어떻게 적용되는지를 논의한다. 멀티미디어는 사용자에 대하여 시청각 객체들의 상호 동기화된 표현을 의미한다. 대화식의 멀티미디어 표현은 예를 들어 연예나 원격지간 회의의 형태로, 미래에 광범위하게 사용될 것으로 생각된다. 종래 기술로부터 멀티미디어 프로그램을 전기적인 형태로 전송하는 상이한 방법들을 정의하는 알려진 수많은 표준들이 있다. 본 특허출원서에서는 소위 MPEG(Motion Picture Experts Group) 표준을 특히 논의하며, 본 특허 출원서가 출원되는 때에 준비중인 상기 MEPG 표준의 MPEG-4 표준은 상기 전송된 멀티미디어 표현이 함께 특정 시청각 환경을 형성하는 실제 및 가상의 객체들을 담을 수 있는 것을 목적으로 한다. 본 발명은 MPEG-4 표준에 연관되어서만 사용되는 것에 어떠한 방법으로라도 한정되지 않고, 예를 들어 VRML97 표준의 확장 혹은 심지어 현재는 모르는 미래의 시청각 표준에 적용될 수 있다.
MPEG-4 표준에 따른 데이터 스트림은 (합성된 음향과 같이)시간에 연속적인 부분 및 (모델링될 공간에서 음원의 위치와 같은)파라미터들을 포함할 수 있는 시청각 객체들을 포함한다. 상기 객체들은 계층적인 것으로 정의될 수 있으며, 소위 기초 객체들은 상기 계층의 가장 낮은 수준에 있다. 객체들에 더하여, MPEG-4 표준에 따른 멀티미디어 프로그램은 상기 객체의 상호 관계 및 상기 프로그램의 일반적 설정의 구성과 관련한 그런 정보를 포함하는 소위 정경(scene) 설명을 포함하며, 상기 정보는 가장 바람직하기로는 실제 객체들로부터 별도로 인코드되고 디코드된다. 상기 정경 설명은 또한 BIFS(Binary format for scene description)부분으로 불린다. 본 발명에 따른 청각 가상환경의 전송은 바람직하기로는 MPEG-4 표준에서 정의된 구조화된 오디오 언어(SAOL/SASL : Structured Audio Orchestra Language/Structured Audio Score Language) 혹은 VRML97 언어를 사용함으로써 실현된다.
상기 언급된 언어들에서 요즈음 음원을 모델링하는 음향 노드를 정의하고 있다. 본 발명에 따르면 본 특허출원서에서는 직접음향 노드(DirectiveSound node)로 불리는, 알려진 음향 노드의 확장을 정의하는 것이 가능하다. 알려진 음향 노드에 부가하여, 여기서 방향성 필드라고 불리고, 상기 음향 방향성을 나타내는 필터들을 재구성하기 위해 필요한 정보를 제공하는 필드를 더 포함한다. 필터들을 모델링하기 위한 세 개의 상이한 대안들이 위에서 제공되었고, 아래에서는 상기 대안들이 본 발명에 따라서 어떻게 직접음향 노드의 방향성 필드에 나타나는가를 설명한다.
상기 제1 대안에 따르면 특정 영방위로부터 상이한 방향을 모델링하는 각 필터는 0 및 1 사이의 표준화된 실수인 증폭도에 의한 단순 곱셈에 상응한다. 다음에 상기 방향성 필드의 내용은 예를 들어 다음과 같이 될 수 있다.
((0.79 0.8)(1.57 036)(2.36 0.4)(2.36 0.4)(3.14 0.2))
상기 대안에서 상기 방향성 필드는 음원 모델에서 영방위와 상이한 방향만큼의 숫자 쌍을 포함한다. 숫자 쌍의 처음 숫자는 당해 방향과 영방위간의 각도를 라디안으로 나타내고 두 번째 숫자는 상기 방향에서 증폭도를 나타낸다.
제2 대안에 따르면 영방위 방향과 상이한 각 방향에서 상기 음향은 각각 고유의 증폭도를 가지는 주파수 대역으로 분할된다. 상기 방향성 필드의 내용은 예를 들어 다음과 같을 수 있다.
((0.79 125.0 0.8 1000.0 0.6 4000.0 0.4)
(1.57 125.0 0.7 1000.0 0.5 4000.0 0.3)
(2.36 125.0 0.6 1000.0 0.4 4000.0 0.2)
(3.14 125.0 0.5 1000.0 0.3 4000.0 0.1))
상기 대안에서 상기 방향성 필드는 음원 모델에서 영방위 방향과 상이한 방향들 만큼의, 내부의 괄호에 의해 서로 분리되는 숫자집합을 포함한다. 각 숫자 집합에서 처음 숫자는 당해 방향과 영방위간의 각도를 라디안으로 나타낸다. 처음 숫자 뒤로 숫자 쌍이 있는데, 이 중 처음 것은 특정 주파수를 헤르쯔(hertz)로 나타내고 두 번째는 증폭도이다. 예를 들어 숫자집합 (0.79 125.0 0.8 1000.0 0.6 4000.0 0.6)는 0.79 라디안 방향으로 0.8의 증폭도가 주파수 0에서 125 Hz까지 사용되고, 0.6의 증폭도가 주파수 125에서 1000 Hz까지 사용되며, 0.4의 증폭도가 1000에서 4000 Hz까지 사용되는 것으로 해석될 수 있다. 다른 방안으로 상기 언급된 숫자집합이 0.79 라디안 방향으로 주파수 125 Hz에서 증폭도는 0.8이고, 주파수 1000 Hz에서 증폭도는 0.6이며, 주파수 4000 Hz에서 증폭도는 0.4이고, 다른 주파수들에서의 증폭도는 보간법 및 보외법에 의해 그것들로부터 계산되는 것을 의미하는 개념을 사용하는 것이 가능하다. 본 발명에 관련하여 사용된 개념이 전송 장치 및 수신 장치 양쪽에 모두 알려져 있는 한, 어떤 개념이 사용되느냐는 본질적이지 않다.
제3 대안에 따르면 전달 함수가 영방위와 상이한 각 방향에 적용되고, 상기 전달 함수를 정의하기 위하여 상기 전달함수 Z-변환의 a 및 b 계수들이 주어진다. 방향성 필드의 내용은 예를 들어 다음과 같을 수 있다.
((45 b45,0b45,1a45,1b45,2a45,2...)
(90 b90,0b90,1a90,1b90,2a90,2...)
(135 b135,0b135,1a135,1b135,2a135,2...)
(180 b180,0b180,1a180,1b180,2a180,2...)
상기 대안에서 상기 방향성 필드는 음원 모델에서 영방위 방향과 상이한 방향들 만큼의, 내부의 괄호에 의해 서로 분리되는 숫자집합을 또한 포함한다. 각 숫자집합에서 처음 숫자는 당해 방향과 영바위 간의 각도를, 이번에는 도(degree)로, 나타내고; 이 경우에, 또한 상기 경우에서처럼, 알려진 임의의 다른 각도 단위를 사용하는 것도 가능하다. 첫 번째 숫자 뒤로 당해 방향에서 사용되는 전달 함수의 Z-변환을 결정하는 a 및 b 계수들이 있다. 각 숫자집합 뒤의 점들은 얼마나 많은 a 및 b 계수들이 상기 전달 함수의 Z-변환을 정의하는 지에 대해 본 발명이 어떠한 제한도 부과하지 않는다는 것을 의미한다. 상이한 숫자집합에서 상이한 수량의 a 및 b 계수들이 있을 수 있다. 상기 제3 대안에서 상기 a 및 b계수들은 그들 자신의 벡터들로 또한 주어질 수 있어서, FIR 혹은 all-pole-IIR 필터들의 효율적인 모델링은 간행물 Ellis. S. 1998: "VRML에서 보다 현실적인 음향을 향하여" , Proc. VRML'98 Monterey, USA, 1998년 2월 16-19, pp.95-100 에서와 동일한 방법으로 가능할 것이다.
상기 제공된 본 발명의 실시예는 물론 예시로서 제공된 것이며, 그것들은 본 발명을 제한하는 어떠한 영향도 가지지 않는다. 특히 상기 필터들을 나타내는 파라미터들이 직접음향 노드의 방향성 필드에서 배열되는 방식은 무척 많은 방법들로 선택될 수 있다.

Claims (14)

  1. 전자 장치에서 청각 가상환경을 처리하기 위한 방법으로, 상기 청각 가상환경은 적어도 하나의 음원(300)을 포함하는 방법에 있어서, 상기 음향이 향하는 방법을 모델링하기 위하여 방향 종속 필터링 장치(306 내지 309)가 상기 음원에 부착되어 상기 음향에 대한 상기 필터링 장치의 영향이 소정 파라미터들에 의존하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 특정 기준방향(301) 및 상기 기준방향(301)과 상이한 방향 집합(302 내지 305)이 음원에 대하여 정의되고, 필터(306 내지 309)가 소정 기준 방향과 상이한 각 방향에 부착되어 상기 음향에 대한 상기 필터의 영향이 각 필터에 관련한 파라미터들에 의존함을 특징으로 하는 방법.
  3. 제2항에 있어서, 각 필터에 관련한 상기 파라미터들은 음원으로부터 상이한 방향들로 향하는 음향의 상대적인 증폭을 결정하기 위한 증폭도들임을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 증폭도들은 기준 방향과 상이한 적어도 하나의 소정 방향에서 상기 음향의 상이한 주파수들을 위해 분리된 증폭도들을 포함하는 것을 특징으로 하는 방법.
  5. 제2항에 있어서, 각 필터에 관련된 상기 파라미터들은 비율 표현식의 계수들 [b0b1a1b2a2...] 이고
    상기 계수들은 상기 필터들의 전달함수를 Z-변환한 비율 표현식의 계수들임을 특징으로 하는 방법.
  6. 제2항에 있어서, 상기 음향이 상기 기준 방향보다 다른 방향들, 및 상기 기준 방향과 상이한 결정된 방향들로 향하는 방법을 모델링하기 위하여 상기 기준 방향들과 상이한 결정된 방향들에 부착된 필터들 사이에서 보간법(400)을 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 전송 장치는 음원들(501 내지 504)을 포함하는 특정 청각 가상환경(500)을 생성하고, 상기 음향이 상기 음원들로부터 향하는 방법은 상기 음향에 대한 영향이 각 필터에 관련된 파라미터들에 의존하는 필터들에 의해 모델링되는 단계,
    상기 전송장치는 수신 장치로 각 필터에 관련된 상기 파라미터들에 대한 정보를 전송하는 단계, 및
    상기 청각 가상환경을 재구성하기 위하여 상기 수신 장치는 청각 신호에 대한 영향이 각 필터에 관련된 파라미터들에 의존하는 필터들을 포함하는 필터 뱅크를 생성하고, 상기 전송 장치에 의해 전송된 정보에 기반하여 각 필터에 관련된 파라미터들을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제7항에 있어서, 상기 전송 장치는 상기 수신 장치로 MPEG-4 표준에 따른 데이터 스트림의 일부로서 각 필터에 관련된 상기 파라미터들에 대한 정보를 전송하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 음원은 실제 음원(501 내지 503)임을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 음원은 반향음(504)임을 특징으로 하는 방법.
  11. 적어도 하나의 음원을 포함하는 청각 가상환경을 처리하기 위한 시스템에 있어서, 상기 청각 가상환경에 속하는 상기 음원들로부터 상기 음향이 향하는 방법을 모델링하기 위하여 파라미터화된 필터들을 포함하는 필터뱅크(619)를 생성하기 위한 수단을 포함하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서, 전송 장치(601)와 수신장치(602) 및 상기 전송장치와 수신장치 사이에 전기적 통신을 실현하기 위한 수단을 포함하는 것을 특징으로 하는 시스템
  13. 제11항에 있어서, MPEG-4 표준에 따른 데이터 스트림에 파라미터화된 필터들을 나타내는 파라미터들을 추가하기 위한 전송 장치 내의 멀티플렉싱 수단(611), 및 MPEG-4 표준에 따른 데이터 스트림으로부터 파라미터화된 필터들을 나타내는 파라미터들을 검출하기 위한 수신 장치 내의 디멀티플렉싱 수단(612)을 포함하는 것을 특징으로 하는 시스템.
  14. 제11항에 있어서, 확장된 VRML97 표준에 따른 데이터 스트림에 파라미터화된 필터들을 나타내는 파라미터들을 추가하기 위한 전송 장치 내의 멀티플렉싱 수단(611), 및 확장된 VRML97 표준에 따른 데이터 스트림으로부터 파라미터화된 필터들을 나타내는 파라미터들을 검출하기 위한 수신 장치 내의 디멀티플렉싱 수단(612)을 포함하는 것을 특징으로 하는 시스템.
KR1020007010576A 1998-03-23 1999-03-23 청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템 KR100662673B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI980649 1998-03-23
FI980649A FI116505B (fi) 1998-03-23 1998-03-23 Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä

Publications (2)

Publication Number Publication Date
KR20010034650A true KR20010034650A (ko) 2001-04-25
KR100662673B1 KR100662673B1 (ko) 2006-12-28

Family

ID=8551352

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007010576A KR100662673B1 (ko) 1998-03-23 1999-03-23 청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템

Country Status (11)

Country Link
US (1) US7369668B1 (ko)
EP (1) EP1064647B1 (ko)
JP (2) JP4573433B2 (ko)
KR (1) KR100662673B1 (ko)
CN (1) CN1132145C (ko)
AT (1) ATE361522T1 (ko)
AU (1) AU2936999A (ko)
DE (1) DE69935974T2 (ko)
ES (1) ES2285834T3 (ko)
FI (1) FI116505B (ko)
WO (1) WO1999049453A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä
US6668177B2 (en) 2001-04-26 2003-12-23 Nokia Corporation Method and apparatus for displaying prioritized icons in a mobile terminal
US7032188B2 (en) 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
US6996777B2 (en) 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
US6934911B2 (en) 2002-01-25 2005-08-23 Nokia Corporation Grouping and displaying of contextual objects
JP2005094271A (ja) * 2003-09-16 2005-04-07 Nippon Hoso Kyokai <Nhk> 仮想空間音響再生プログラムおよび仮想空間音響再生装置
DE602004021716D1 (de) * 2003-11-12 2009-08-06 Honda Motor Co Ltd Spracherkennungssystem
WO2005101897A1 (en) * 2004-04-16 2005-10-27 Smart Internet Technology Crc Pty Ltd Apparatuses and methods for use in creating an audio scene
JP4789145B2 (ja) * 2006-01-06 2011-10-12 サミー株式会社 コンテンツ再生装置及びコンテンツ再生プログラム
JP4894386B2 (ja) * 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP5082327B2 (ja) * 2006-08-09 2012-11-28 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
GB0724366D0 (en) * 2007-12-14 2008-01-23 Univ York Environment modelling
JP5397131B2 (ja) * 2009-09-29 2014-01-22 沖電気工業株式会社 音源方向推定装置及びプログラム
JP5141738B2 (ja) * 2010-09-17 2013-02-13 株式会社デンソー 立体音場生成装置
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
WO2012168765A1 (en) * 2011-06-09 2012-12-13 Sony Ericsson Mobile Communications Ab Reducing head-related transfer function data volume
CN103152500B (zh) * 2013-02-21 2015-06-24 黄文明 多方通话中回音消除方法
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN109891503B (zh) * 2016-10-25 2021-02-23 华为技术有限公司 声学场景回放方法和装置
KR102113542B1 (ko) 2017-11-30 2020-05-21 서울과학기술대학교 산학협력단 심층신경망을 이용하여 음향 신호를 정규화하는 방법
US10705790B2 (en) 2018-11-07 2020-07-07 Nvidia Corporation Application of geometric acoustics for immersive virtual reality (VR)
CN114630240B (zh) * 2022-03-16 2024-01-16 北京小米移动软件有限公司 方向滤波器的生成方法、音频处理方法、装置及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731848A (en) 1984-10-22 1988-03-15 Northwestern University Spatial reverberator
US5285165A (en) 1988-05-26 1994-02-08 Renfors Markku K Noise elimination method
FI90166C (fi) 1991-10-16 1993-12-27 Nokia Mobile Phones Ltd Cmos-kompander
FI89846C (fi) 1991-11-29 1993-11-25 Nokia Mobile Phones Ltd En deviationsbegraensare foer en fraon en radiotelefon utsaend signal
FI92535C (fi) 1992-02-14 1994-11-25 Nokia Mobile Phones Ltd Kohinan vaimennusjärjestelmä puhesignaaleille
EP0563929B1 (en) 1992-04-03 1998-12-30 Yamaha Corporation Sound-image position control apparatus
EP1304797A3 (en) 1992-07-07 2007-11-28 Dolby Laboratories Licensing Corporation Digital filter having high accuracy and efficiency
JPH06292298A (ja) * 1993-03-31 1994-10-18 Sega Enterp Ltd 聴覚特性及びモニター環境を考慮した三次元仮想音像形成装置
JP3552244B2 (ja) * 1993-05-21 2004-08-11 ソニー株式会社 音場再生装置
JP3578783B2 (ja) 1993-09-24 2004-10-20 ヤマハ株式会社 電子楽器の音像定位装置
JPH0793367A (ja) * 1993-09-28 1995-04-07 Atsushi Matsushita 音声情報検索システム及び装置
US5485514A (en) 1994-03-31 1996-01-16 Northern Telecom Limited Telephone instrument and method for altering audible characteristics
US5659619A (en) 1994-05-11 1997-08-19 Aureal Semiconductor, Inc. Three-dimensional virtual audio display employing reduced complexity imaging filters
US5684881A (en) 1994-05-23 1997-11-04 Matsushita Electric Industrial Co., Ltd. Sound field and sound image control apparatus and method
JP3258195B2 (ja) * 1995-03-27 2002-02-18 シャープ株式会社 音像定位制御装置
JPH08272380A (ja) * 1995-03-30 1996-10-18 Taimuuea:Kk 仮想３次元空間音響の再生方法および装置
US5831518A (en) * 1995-06-16 1998-11-03 Sony Corporation Sound producing method and sound producing apparatus
FR2736499B1 (fr) 1995-07-03 1997-09-12 France Telecom Procede de diffusion d'un son avec une directivite donnee
FR2738099B1 (fr) 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US5790957A (en) 1995-09-12 1998-08-04 Nokia Mobile Phones Ltd. Speech recall in cellular telephone
FI102337B1 (fi) 1995-09-13 1998-11-13 Nokia Mobile Phones Ltd Menetelmä ja piirijärjestely audiosignaalin käsittelemiseksi
JP3296471B2 (ja) * 1995-10-09 2002-07-02 日本電信電話株式会社 音場制御方法および装置
FI100840B (fi) 1995-12-12 1998-02-27 Nokia Mobile Phones Ltd Kohinanvaimennin ja menetelmä taustakohinan vaimentamiseksi kohinaises ta puheesta sekä matkaviestin
JP3976360B2 (ja) * 1996-08-29 2007-09-19 富士通株式会社 立体音響処理装置
DE19646055A1 (de) 1996-11-07 1998-05-14 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Abbildung von Schallquellen auf Lautsprecher
JP3266020B2 (ja) * 1996-12-12 2002-03-18 ヤマハ株式会社 音像定位方法及び装置
FI116990B (fi) 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
FI116505B (fi) * 1998-03-23 2005-11-30 Nokia Corp Menetelmä ja järjestelmä suunnatun äänen käsittelemiseksi akustisessa virtuaaliympäristössä

Also Published As

Publication number Publication date
CN1132145C (zh) 2003-12-24
JP2002508609A (ja) 2002-03-19
FI980649A (fi) 1999-09-24
AU2936999A (en) 1999-10-18
EP1064647B1 (en) 2007-05-02
ATE361522T1 (de) 2007-05-15
CN1302426A (zh) 2001-07-04
FI980649A0 (fi) 1998-03-23
DE69935974T2 (de) 2007-09-06
JP2009055621A (ja) 2009-03-12
FI116505B (fi) 2005-11-30
ES2285834T3 (es) 2007-11-16
EP1064647A1 (en) 2001-01-03
DE69935974D1 (de) 2007-06-14
US7369668B1 (en) 2008-05-06
JP4573433B2 (ja) 2010-11-04
WO1999049453A1 (en) 1999-09-30
KR100662673B1 (ko) 2006-12-28

Similar Documents

Publication Publication Date Title
KR100662673B1 (ko) 청각 가상환경에서 유향음을 처리하기 위한 방법 및 시스템
KR100440454B1 (ko) 가상 음향 환경을 처리하는 방법 및 시스템
Jot et al. Rendering spatial sound for interoperable experiences in the audio metaverse
JP4597275B2 (ja) 音源をスピーカへ投射する方法及び装置
JP7453248B2 (ja) オーディオ装置およびその処理の方法
US20240089694A1 (en) A Method and Apparatus for Fusion of Virtual Scene Description and Listener Space Description
WO2019193244A1 (en) An apparatus, a method and a computer program for controlling playback of spatial audio
JP2003061200A (ja) 音声処理装置及び音声処理方法、並びに制御プログラム
CN114915874A (zh) 音频处理方法、装置、设备、介质及程序产品
Huopaniemi et al. DIVA virtual audio reality system
Horbach et al. Future transmission and rendering formats for multichannel sound
Jot Synthesizing three-dimensional sound scenes in audio or multimedia production and interactive human-computer interfaces
CA3044260A1 (en) Augmented reality platform for navigable, immersive audio experience
RU2804014C2 (ru) Аудиоустройство и способ для него
JP2005086537A (ja) 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
Väänänen Parametrization, auralization, and authoring of room acoustics for virtual reality applications
Faria et al. Audience-audio immersion experiences in the caverna digital
KR102559015B1 (ko) 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템
Gutiérrez A et al. Audition
Stewart Spatial auditory display for acoustics and music collections
JPH1083190A (ja) 過渡応答信号生成と設定方法及びその装置
KR20030002868A (ko) 삼차원 입체음향 구현방법 및 시스템
Koutsivitis et al. Reproduction of audiovisual interactive events in virtual ancient Greek spaces

Legal Events

Date Code Title Description
G170 Re-publication after modification of scope of protection [patent]
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
N231 Notification of change of applicant
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 13

EXPY Expiration of term