KR20220154192A

KR20220154192A - 유효한 중간 회절 경로를 사용하여 오디오 장면을 렌더링하는 장치 및 방법

Info

Publication number: KR20220154192A
Application number: KR1020227035579A
Authority: KR
Inventors: 이상문; 프랑크 베퍼스
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date: 2020-03-13
Filing date: 2021-03-12
Publication date: 2022-11-21
Also published as: ZA202209785B; TW202139730A; US20230019204A1; WO2021180940A1; JP2023518200A; BR112022017928A2; CA3175059A1; AU2021236363A1; MX2022011151A; CN115380542A; EP4118846A1; TWI830989B; AU2021236363B2

Abstract

오디오 소스 위치의 오디오 소스 및 복수의 회절 물체를 포함하는 오디오 장면(50)을 렌더링하기 위한 장치로서, 복수의 회절 물체를 통해 복수의 중간 회절 경로(300, 400)를 제공하기 위한 회절 경로 제공기(100) - 중간 회절 경로는 복수의 회절 물체의 시작 포인트와 출력 에지 및 중간 회절 경로에 대한 연관된 필터 정보를 가짐 - 와, 청취자 위치에서 오디오 소스를 렌더링하기 위한 렌더러(200) - 렌더러(200)는 중간 회절 경로의 출력 에지 및 청취자 위치에 기초하여, 오디오 소스 위치로부터 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정(216)하도록, 하나 이상의 유효한 중간 회절 경로 중 각각의 유효한 중간 회절 경로에 대해, 유효한 중간 회절 경로의 연관된 필터 정보와 유효한 중간 회절 경로의 출력 에지로부터 청취자 위치까지의 오디오 신호 전파를 설명하는 필터 정보의 조합을 사용하여, 하나 이상의 유효한 중간 회절 경로 중 유효한 중간 회절 경로에 대응하는, 오디오 소스 위치로부터 청취자 위치까지의 전체 회절 경로에 대한 필터 표현을 결정(218)하도록, 오디오 소스와 연관된 오디오 신호 및 각각의 전체 회절 경로에 대한 필터 표현을 사용하여 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)하도록 구성됨 - 를 포함한다.

Description

유효한 중간 회절 경로를 사용하여 오디오 장면을 렌더링하는 장치 및 방법

본 발명은 오디오 신호 처리에 관한 것으로, 특히, 예를 들어 가상 현실 또는 증강 현실 애플리케이션에서 사용될 수 있는 기하학적 음향의 맥락에서의 오디오 신호 처리에 관한 것이다.

가상 음향이라는 용어는 사운드 신호가 시뮬레이션된 음향 공간의 특징을 포함하도록 처리되고 사운드가 바이노럴 또는 다중 채널 기술을 사용하여 공간적으로 재생될 때 종종 적용된다. 따라서, 가상 음향은 공간 사운드 재생과 실내 음향 모델링 [1]으로 구성된다.

룸 모델링 기술 측면에서, 전파 모델링을 위한 가장 정확한 방법은 경계 조건 세트에 따라 이론적인 파동 방정식을 푸는 것이다. 그러나, 수치 솔버에 기반한 대부분의 접근 방식은 계산 복잡성으로 인해 임펄스 응답을 근사화하기 위해 파라미터 모델과 같은 관련 음향 특성을 미리 계산하는 것으로 제한된다. 관심 주파수 및/또는 장면 공간(부피/표면)의 크기가 증가하고 동적으로 움직이는 물체도 존재할 때 진짜 난리가 난다. 최근 가상 장면이 플레이어와 물체 간 또는 장면 내 플레이어 간의 매우 상세하고 민감한 상호 작용을 가능하게 하기 위해 점점 더 커지고 정교해지고 있다는 사실을 감안할 때, 현재의 수치적 접근 방식은 대화형, 동적 및 대규모 가상 장면을 처리하는 데 적합하지 않다. 몇 가지 알고리즘은 미리 계산된 사운드 전파 [2, 3]에 대한 파라미터 방향성 코딩 및 음향파 방정식 [4]에 대한 효율적인 GPU 기반 시간 도메인 솔버를 사용하여 관련 음향 특징을 미리 계산하여 렌더링 능력을 보여주었다. 그러나, 이들 접근 방식은 그래픽 카드, 멀티 코어 컴퓨팅 시스템과 같은 고품질 시스템 리소스를 요구한다.

기하학적 음향(GA) 기술은 대화형 사운드 전파 환경에 대해 실질적으로 신뢰할 수 있는 접근 방식이다. 일반적으로 사용되는 GA 기술에는 이미지 소스 방법(ISM)과 광선 추적 방법(RTM)[5, 6]이 포함되며 빔 추적 및 절두체 추적을 사용하는 수정된 접근 방식이 대화식 환경 [7, 8]을 위해 개발되었다. 회절 사운드 모델링의 경우, Kouryoumjian[9]은 균일한 회절 이론(UTD)을 제안했고 Svensson[10]은 수치적 의미에서 회절된 사운드의 더 나은 근사를 위해 Biot-Tolstoy-Medwin(BTM) 모델을 제안했다. 그러나, 현재의 대화형 알고리즘은 정적 장면 [11] 또는 동적 장면 [12]의 1차 회절로 제한되었다.

하이브리드 접근 방식은 저주파에 대한 수치적 방법과 고주파에 대한 GA 방법이라는 2개의 카테고리를 결합함으로써 가능하다[13].

특히 여러 개의 회절 물체가 있는 복잡한 사운드 장면에서, 에지 주변의 사운드 회절을 모델링하기 위한 처리 요건이 높아진다. 따라서 복수의 회절 물체가 있는 오디오 장면에서 사운드의 회절 효과를 적절하게 모델링하려면 매우 강력한 계산 자원이 필요하다.

본 발명의 목적은 오디오 장면을 렌더링하기 위한 개선된 개념을 제공하는 것이다.

이 목적은 청구항 1의 오디오 장면을 렌더링하기 위한 장치 또는 청구항 19의 오디오 장면을 렌더링하는 방법, 또는 청구항 20의 컴퓨터 프로그램에 의해 달성된다.

본 발명은 이미 연관된 필터 정보를 갖고 있는 사운드 장면의 시작 또는 입 력 에지와 최종 또는 출력 에지 사이의 중간 회절 경로를 사용함으로써 사운드 회절의 처리가 상당히 향상될 수 있다는 발견에 기초한다. 이 연관된 필터 정보는 시 작 에지와 최종 에지 사이에 단일 또는 여러 회절이 있는지 여부에 관계없이 시작 에지와 최종 에지 사이의 전체 경로를 이미 커버한다. 절차는 시작 에지와 마지막 에지 사이의 길, 즉 회절 효과로 인해 음파가 가야 하는 경로가 일반적으로 가변적인 청취자 위치에 의존하지 않고 오디오 소스 위치에도 의존하지 않는다는 사실에 의존한다. 오디오 소스에도 가변 위치가 있는 경우에도 가변 소스 위치 또는 가변 청취자 위치만 수시로 변경되지만 회절 물체의 시작 에지와 최종 에지 사이의 중간 회절 경로는 다른 것에 의존하지 않고 기하학 형태에 의존한다. 이 회절 경로는 오디오 장면 기하학 형태에 의해 제공되는 회절 물체에 의해서만 정의되기 때문에 일정하다. 이러한 경로는 시간이 지남에 따라 가변적이며, 복수의 회절 물체 중 하나가 자신의 형상을 변경하고 이는 이동 가능한 강체 기하학 형태에 대해 이러한 경로가 변경되지 않음을 의미한다. 또한, 오디오 장면의 복수의 물체는 정적이며, 즉 움직일 수 없다. 전체 중간 회절 경로에 대한 전체 필터 정보를 제공하면 특히 런타임에서 처리 효율성이 높아진다. 긍정적으로 검증되지 않아 최종적으로 사용되지 않는 중간 회절 경로에 대한 필터 정보도 함께 계산해야 하지만 이 계산은 초기화/인코딩 단계에서 수행할 수 있으며 런타임에 수행할 필요가 없다. 다시 말해, 필터 정보 또는 중간 회절 경로에 대한 런타임 처리는 일반적으로 드물게 발생하는 동적 물체에 대해서만 수행되어야 하지만, 일반적으로 발생하는 정적 물체에 대해서는 특정 중간 회절 경로와 연관된 필터 정보가 움직이는 청취자의 움직이는 오디오 소스에 관계없이 항상 동일하게 유지된다.

오디오 소스 위치에 있는 오디오 소스 및 복수의 회절 물체를 포함하는 오디오 장면을 렌더링하기 위한 장치는 복수의 회절 물체를 통해 복수의 중간 회절 경로를 제공하기 위한 회절 경로 제공기를 포함하며, 여기서 중간 회절 경로는 시작 포인트 또는 시작 에지에서 출력 에지 또는 출력 포인트까지의 회절로 인한 전체 사운드 전파를 설명하는 중간 회절 경로에 대한 관련 필터 정보 및 복수의 회절 물체의 시작 포인트 또는 시작 에지 및 출력 에지 또는 최종 에지를 갖는다. 일반적으로, 복수의 중간 회절 경로는 예를 들어 가상 현실 환경에서 실제 런타임 처리 전에 발생하는 초기화 단계 또는 사전 계산 단계에서 전처리기에 의해 제공된다. 회절 경로 제공기는 런타임에 이 모든 정보를 계산할 필요는 없지만, 예를 들어 이 정보를 런타임 처리 중에 렌더러가 액세스할 수 있는 중간 회절 경로 리스트로 제공할 수 있다.

렌더러는 청취자 위치에서 오디오 소스를 렌더링하도록 구성되며, 여기서 렌 더러는 중간 회절 경로의 출력 에지 및 청취자 위치에 기초하여 오디오 소스 위치 로부터 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정하도록 구성된다. 렌더러는 하나 이상의 유효한 중간 회절 경로의 각각의 유효한 중간 회절 경로에 대해, 유효한 중간 회절 경로에 대한 연관된 필터 정보와 유효한 중간 회절 경로의 출력 에지로부터 또는 최종 에지로부터 청취자 위치까지의 오디오 신호 전파를 설명하는 필터 정보의 조합을 사용하여 하나 이상의 유효한 중간 회절 경로 중 유효한 중간 회로 경로에 대응하는 오디오 소스 위치에서 청취자 위치까지의 전체 회절 경로에 대한 필터 표현을 결정하도록 구성된다. 오디오 장면에 대한 오디오 출력 신호는 오디오 소스와 연관된 오디오 신호와 각 전체 회절 경로에 대한 전체 필터 표현을 사용하여 계산할 수 있다.

애플리케이션에 따라, 오디오 소스 위치가 고정된 다음, 회절 경로 제공기가 각각의 유효한 중간 회절 경로를 결정하여 각 유효한 중간 회절 경로의 시작 포인트가 고정된 오디오 소스 위치에 대응하게 한다. 대안적으로, 오디오 소스 위치가 가변적일 때, 회절 경로 제공기는 중간 회절 경로의 시작 포인트로서 복수의 회절 물체의 입력 또는 시작 에지를 결정한다. 렌더러는 추가로 하나 이상의 중간 회절 경로의 입력 에지 및 오디오 소스의 오디오 소스 위치에 기초하여 하나 이상의 유효한 중간 회절 경로를 결정하도록, 즉, 소스에서 입력 에지까지의 추가 필터 정보에 추가로 기초하여 전체 회절 경로에 대한 최종 필터 표현을 결정하기 위해 특정 오디오 소스 위치에 속할 수 있는 경로를 결정하여 이 경우 전체 필터 표현이 세 부분에 의해 결정되도록 구성된다. 제 1 부분은 사운드 소스 위치에서 입력 에지까지의 사운드 전파에 대한 필터 정보이다. 제 2 부분은 유효한 중간 회절 경로에 속하는 관련 정보이고, 제 3 부분은 출력 또는 최종 에지에서 실제 청취자 위치까지의 사운드 전파이다.

본 발명은 복잡한 가상 현실 장면에서 회절된 사운드를 시뮬레이션하는 효율적인 방법 및 시스템을 제공하기 때문에 유리하다. 본 발명은 정적 및 동적 기하학적 물체를 통한 사운드 전파의 모델링을 허용하기 때문에 유리하다. 특히, 본 발명은 미리 알려진 기하학적 프리미티브의 세트에 기초하여 회절 경로 정보를 계산하고 저장하는 방법 및 시스템을 제공한다는 점에서 유리하다. 특히, 회절 사운드 경로는 잠재적인 회절 에지, 회절 각도 및 회절 에지 사이 등에 대한 기하학적 프리미티브 그룹과 같은 속성 세트를 포함한다.

본 발명은 실시간으로 사운드의 렌더링 속도를 향상시키기 위해 주어진 프리미티브의 기하학적 정보를 분석하고 전처리기를 통해 유용한 데이터베이스를 추출할 수 있기 때문에 유리하다. 특히, 예를 들어 미국 출원 2015/0378019 A1에 개시된 절차 또는 나중에 설명되는 다른 절차는 런타임에 고려되어야 하는 회절 에지의 수를 최소화하는 구조를 갖는 에지 사이의 가시성 그래프를 미리 계산할 수 있게 한다. 두 에지 사이의 가시성은 사전 계산 단계에서 소스와 청취자의 위치는 일반적으로 알 수 없기 때문에, 반드시 소스에서 청취자까지의 정확한 경로가 지정된다는 것을 의미하지는 않는다. 대신에 가능한 모든 에지 쌍 사이의 가시성 그래프는 소스의 가시적 에지 세트에서 청취자의 가시적 에지 세트까지 탐색하는 맵이다.

본 발명의 바람직한 실시형태는 첨부된 도면과 관련하여 후속적으로 논의되며, 여기서:
도 1은 4개의 정적 물체가 있는 예시 장면의 평면도이다.
도 2a는 4개의 정적 물체와 단일 동적 물체가 있는 예시 장면의 평면도이다.
도 2b는 동적 물체(DO)가 있거나 없는 회절 경로를 설명하기 위한 리스트이다.
도 3은 6개의 정적 물체가 있는 예시 장면의 평면도이다.
도 4는 제 1 또는 입력 에지로부터 고차 회절 경로를 계산하는 방법을 설명하는 6개의 정적 물체가 있는 예시적인 장면의 평면도이다.
도 5는 중간 회절 경로(고차 경로 포함)를 미리 계산하고 회절된 사운드를 실시간으로 렌더링하는 알고리즘의 블록도를 예시한다.
도 6은 중간 회절 경로(고차 경로 포함)를 미리 계산하고 실시간으로 동적 물체를 고려하여 회절된 사운드를 렌더링하는 바람직한 제 3 실시형태에 따른 알고 리즘의 블록도를 예시한다.
도 7은 바람직한 실시형태에 따른 사운드 장면을 렌더링하기 위한 장치를 예시한다.
도 8은 도 4 및 도 3에 예시된 2개의 중간 회절 경로를 갖는 예시적인 경로 리스트를 예시한다.
도 9는 전체 회절 경로에 대한 필터 표현을 계산하기 위한 절차를 예시한다.
도 10은 유효한 중간 회절 경로와 연관된 필터 정보를 검색하기 위한 바람직한 구현을 예시한다.
도 11은 유효한 중간 회절 경로를 얻기 위해 하나 이상의 잠재적으로 유효한 중간 회절 경로를 검증하는 절차를 예시한다.
도 12는 렌더링된 오디오 장면의 오디오 품질을 향상시키기 위해 회전되지 않은 또는 원래의 소스 위치에 수행되는 회전을 예시한다.

도 7은 오디오 소스 위치의 오디오 소스 신호를 갖는 오디오 신호 및 복수의 회절 물체를 포함하는 오디오 장면을 렌더링하기 위한 장치를 예시한다. 회절 경로 제공기(100)는 예를 들어 초기화 단계에서, 즉 렌더러(200)에 의해 수행되는 런 타임 처리 동작 전에 중간 회절 경로의 계산을 수행한 전처리기에 의해 채워진 저장소를 포함한다. 회절 경로 제공기(100)에 의해 획득된 중간 회절 경로 리스트의 정보에 따라, 렌더러는 헤드폰의 스피커 또는 확성기에 또는 단지 저장 또는 전송을 위한 바이노럴 형식, 스테레오 형식, 5.1 형식 또는 다른 출력 형식과 같은 원하는 출력 형식의 오디오 출력 신호를 계산하도록 구성된다. 이를 위해, 렌더러(200)는 중간 회절 경로의 리스트를 수신할 뿐만 아니라, 한편으로는 청취자 위치 및 오디오 소스 신호를 수신하고 다른 한편으로는 오디오 소스 위치를 수신한다.

특히, 렌더러(200)는 청취자 위치에 도달하는 사운드 신호를 계산하도록 청취자 위치에서 오디오 소스를 렌더링하도록 구성된다. 이 사운드 신호는 오디오 소스가 오디오 소스 위치에 있기 때문에 존재한다. 이를 위해, 렌더는 중간 회절 경로의 출력 에지 및 실제 청취자 위치에 기초하여 오디오 소스 위치로부터 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정하도록 구성된다. 렌더러는 또한 하나 이상의 유효한 중간 회절 경로 중 각각의 유효한 중간 회절 경로에 대해, 유효한 중간 회절 경로에 대한 연관된 필터 정보와 유효한 중간 회절 경로의 출력 에지로부터 청취자 위치까지의 오디오 신호 전파를 설명하는 필터 정보의 조합을 사용하여 하나 이상의 유효한 중간 회절 경로 중 유효한 중간 회절 경로에 대응하는 오디오 소스 위치에서 청취자 위치까지의 전체 회절 경로에 대한 필터 표현을 결정하도록 구성된다.

렌더러는 오디오 소스와 연관된 오디오 신호를 사용하여 그리고 각 전체 회절 경로에 대한 필터 표현을 사용하여 오디오 장면에 대한 오디오 출력 신호를 계산한다. 구현에 따라, 렌더러는 회절 계산 외에 1차, 2차 또는 고차 반사를 추가로 계산하도록 구성할 수 있으며, 추가로 렌더러는 사운드 장면에 존재하는 경우 하나 이상의 추가 오디오 소스로부터의 기여 및 회절 물체에 의해 차단되지 않는 직접 사운드 전파 경로를 갖는 소스로부터의 직접 사운드 전파의 기여를 계산하도록 구성할 수도 있다.

이어서, 본 발명의 바람직한 실시형태를 보다 상세하게 설명한다. 특히, 필 요한 경우 1차 회절 경로는 실제로 실시간으로 계산될 수 있지만, 이는 여러 개의 회절 물체가 있는 복잡한 장면의 경우에도 매우 문제가 된다.

특히 고차 회절 경로의 경우, 실시간으로 이러한 회절 경로를 계산하는 것은 US 2015/0378019 A1에 예시된 것과 같이 가시성 맵에서 상당한 양의 중복 정보로 인해 문제가 된다. 예를 들어, 도 1과 같은 장면에서, 소스가 제 1 에지의 우측에 있고 청취자가 제 5 에지의 좌측에 있을 때, 회절된 사운드가 제 1 및 제 5 에지를 통해 소스에서 청취자로 이동하는 것을 상상할 수 있다. 그러나, 가시성 그래프를 기초하여 실시간으로 에지별로 회절 경로를 작성하는 방법은 특히 가시적인 에지의 평균 수가 증가하고 회절 차수가 높아질 때 계산적으로 복잡해진다. 또한, 런타임 에지 투 에지 가시성 검사가 수행되지 않아, 동적 물체 간, 하나의 정적 물체와 하나의 동적 물체 간의 회절 효과가 제한된다. 정적 물체 또는 단일 동적 물체에 대한 회절 효과만 관리하는 것이 가능하다. 동적 물체에 의한 회절 효과와 정적 물체와 관련된 효과를 결합하는 유일한 방법은 동적 물체의 재배치된 프리미티브로 모든 가시성 그래프를 업데이트하는 것이다. 그러나, 런타임에는 거의 불가능하다.

본 발명의 방법은 소스에서 청취자까지의 정적 및 동적 물체의 에지를 통한 가능한 (1차/고차) 회절 경로를 지정하기 위해 필요한 런타임 계산을 줄이는 것을 목표로 한다. 결과적으로, 여러 회절 사운드/오디오 스트림 세트가 적절한 지연으로 렌더링된다. 바람직한 개념의 실시형태는 UTD 모델을 사용하여 새롭게 설계된 시스템 계층 구조를 가진 다수의 가시적이고 적절하게 배향된 에지에 적용된다. 그 결과, 실시 형태는 정적 기하학에 의한, 동적 물체에 의한, 정적 기하학과 동적 물체의 조합에 의한, 또는 다수의 동적 물체의 조합에 의한 고차 회절 효과를 렌더링할 수 있다. 바람직한 개념에 대한 자세한 정보는 이하의 하위 섹션에서 제공된다.

이 구현을 시작한 주된 아이디어는 "중간 회절 경로를 계속 계산해야 하나요?"라는 질문에서 시작되었다. 예를 들어 도 3에 도시된 바와 같이, 소스에서 청취자까지, 3개의 가능한 회절 경로: (소스)-(1)-(5)-(청취자), (소스)-(9)-(13)-(청취자) 및 (소스)-(1)-(7)-(11)-(청취자)가 있다고 말할 수 있다. 설명의 편의를 위해 (1), (7), (11)을 포함한 3개의 중간 에지를 통한 마지막 경로가 좋은 예이다. 대화형 환경에서는, 소스가 이동할 수 있고 청취자도 이동할 수 있다. 그러나, 어떤 상황에서도 (1)-(7), (7)-(11), (11)-(13)을 포함하는 중간 경로는 이러한 중간 경로를 차단하는 동적 물체가 없는 한 변경되지 않는다. (동적 물체에 의한 회절 효과를 처리/결합하는 방법은 이 섹션의 끝에 제시된다.) 따라서, 중간 경로 내의 에지, 인접한 다각형(예를 들어, 삼각형 메쉬) 및 회절 각도에 의해 1차에서 허용되는 고차까지의 중간 경로를 미리 계산할 수 있으면, 런타임에 필요한 계산을 최소화할 수 있다.

예를 들어, 도 4는 에지로부터 고차 회절 경로를 계산하는 방법을 예시하는 6개의 정적 물체가 있는 예시 장면을 도시한다. 이 경우, 제 1 에지에서 시작하며 에지는 아래와 같이 여러 상관 정보를 포함할 수 있다.

예를 들어, parentGeometry 또는 meshID는 선택한 에지가 속한 기하학 형상을 나타낸다. 또한, 에지는 물리적으로 (그들의 좌표 또는 정점 ID에 의해) 두 정점의 선으로 정의될 수 있으며 인접한 삼각형은 에지, 소스 또는 청취자로부터 각도를 계산하는 데 도움이 된다. internalAngle은 이 에지 주변의 최대 가능한 회절 각도를 나타내는 2개의 인접한 삼각형 사이의 각도이다. 또한 이것은 이 에지가 잠재적인 회절 에지인지 여부를 결정할 수 있는 표시자이다.

선택된 에지(이 경우 도 4에 도시된 제 1 에지)로부터, 삼각형 메쉬 중 하나로부터 열린 공간으로 그리고 다른 하나로부터 2개의 가능한 회절 방향을 상상할 수 있다. 이러한 방향은 빨간색과 파란색 화살표로 표시된 인접 삼각형의 법선 벡터로 시각화된다. 예를 들어, 빨간색 표면 법선을 따라(반시계 방향으로), 에지 번호 2, 번호 4, 번호 5, 번호 7은 회절될 파동에 대해 한계 공간(즉, 다크 존)이 있는지 확인함으로써 회절을 위한 다음 에지가 될 것이다. 예를 들어, 음파는 에지 번호 6에서 에지 번호 6의 양쪽이 에지 번호 1로부터 볼 수 있기 때문에 에지 번호 1에서 에지 번호 6까지 회절할 수 없고, 이는 에지 번호 1로부터 오는 음파에 대하여 에지 번호 6에 의한 다크존이 존재하지 않는다는 것을 의미한다. 그리고 다음 단계로서, 에지 번호 7, 번호 10 및 번호 11로부터 다음 가능한 회절 에지를 찾을 수 있다. 예를 들어, 에지 번호 11로 이동하는 경우, 그러면 코너 번호 1, 번호 7 내지 번호 11로부터 중간 각도를 계산할 수 있다. 이 중간 각도는 내향파와 외향파 사이의 각도로 정의되며, 이 경우에는 에지 번호 7까지의 내향파는 에지 번호 1 내지 번호 7로부터의 벡터이고 외향파는 번호 7 내지 번호 11로부터의 벡터이다. 그리고

_1-7-11로 표현될 수 있다. 그러나, 경로의 시작이나 끝에서, 이러한 중간 각도는 존재하지 않는다. 대신에, 소스에 대한 최대 허용 각도(MAAS)와 청취자에 대한 최소 허용 각도(MAAL)를 지정할 수 있다. 이것은 연관된 표면 법선에 대한 소스 각도(이 경우 에지 번호 1에서 빨간색)가 MAAS보다 크면 소스는 제 2 에지(예를 들어, 번호 7)를 볼 수 있다는 것을 의미한다. 같은 개념에서, 청취자가 주어진 MAAL보다 낮은 각도를 가지고 있으면, 청취자는 경로의 마지막 에지 이전의 에지를 볼 수 있다. 실시간으로 MAAL 및 MAAS 값을 기초하여, 연관된 표면 법선에 대한 소스 및 청취자의 각도를 계산한 다음, 이 경로를 검증할 수 있다. 따라서, 도 4의 장면에서 미리 계산된 4차 경로(400)는 도 8의 위쪽 부분에 도시된 바와 같이 코너, 삼각형 및 각도의 벡터로 정의될 수 있다.

중간 경로 및 관련 실시간 렌더링 알고리즘의 바람직한 사전 계산의 전체 절차는 도 5에 나와 있다. 장면 내의 모든 가능한 회절 경로를 미리 계산하면, 소스와 청취자 사이의 직접 경로가 차단되는 경우만 회절의 시작 포인트로서 소스 위치로부터 가시 에지 리스트를 찾고 최종 포인트로서 청취자 위치로부터 리스트 찾아야 한다. 그 다음, 연관된 삼각형(예를 들어, 표 1의 1-R)에 대한 소스의 각도와 삼각형(예를 들어, 표 1의 12-B)에 대한 청취자의 각도를 계산해야 한다. 소스 각도가 MAAS보다 작고 청취자 각도가 MAAL보다 크면, 사운드 소스 신호가 전파되는 유효한 경로가 될 수 있다. 그 다음, 에지 정점 정보 및 연관 각도를 사용하여 소스 위치 및 회절 필터를 업데이트할 수 있다. 바이노럴 렌더링 모듈은 HRTF(헤드 관련 전달 함수, Head-Related Transfer Functions)와 같은 적절한 방향성 필터를 사용하여 회절된 소스 정보(회전 및 필터링)를 합성할 수 있다. 지향성 또는 거리 효과와 같은 회절 프레임워크에 더 많은 기능을 추가할 수 있다.

도 1은 에지 1과 에지 5 사이에 1차 회절 경로가 있는 4개의 회절 물체가 있는 오디오 장면을 예시한다. 도 2b의 위쪽 부분은 시작 또는 입력 에지 1에 대한 소스 각도가 소스에 대한 최대 허용 각도보다 작아야 한다는 각도 기준을 갖는 에지 1에서 에지 5까지의 1차 회절 경로를 예시한다. 이것은 도 1의 경우이다. 청취자에게 허용되는 최소 각도(MAAL)도 마찬가지이다. 특히, 도 1의 정점 5와 정점 6 사이의 에지로부터 계산된 출력 또는 최종 에지에 대한 청취자 위치의 각도는 청취자에 대한 최소 허용 각도(MAAL)보다 크다. 도 1의 현재 소스 위치와 도 1의 현재 청취자 위치에 대해, 도 2b의 위쪽 부분에 예시된 회절 경로는 활성화되고 관련 필터 정보인 에지 1과 에지 5 사이의 회절 특성은 동적 물체 없이 회절 경로와 관련하여 사전에 저장될 수 있거나 도 2b의 에지 리스트를 사용하여 간단히 계산될 수 있다.

도 4는 입력 또는 시작 에지에서 출력 또는 최종 에지 12로 가는 중간 회절 경로(400)를 예시한다. 도 3은 시작 에지 1에서 최종 에지 13로 가는 다른 중간 회절 경로(300)를 예시한다. 도 3과 도 4의 오디오 장면에는 소스에서 에지 9, 그 다음 에지 13, 청취자까지 또는 소스에서 에지 1까지, 거기에서 에지 5까지, 이 에지에서 청취자까지의 추가 회절 경로가 있다. 그러나, 도 3의 경로(300)는 청취자에 대한 최소 허용 각도, 즉 각도 기준 MAAL을 충족하는 도 3에 표시된 청취자 위치에 대한 유효한 중간 회절 경로인 것으로만 결정된다. 그러나, 도 4에 예시된 청취자 위치는 경로(300)에 대한 이 MAAL 기준을 충족하지 않는다.

한편, 도 3의 청취자 위치는 도 4에 예시된 경로(400)의 MAAL 기준을 충족하지 않을 것이다. 따라서, 회절 경로 제공기(100) 또는 전처리기는 제 1 리스트 엔트리로서 도 4에 예시된 중간 회절 경로(400)를 포함하고 도 3에 예시된 다른 중간 회절 경로(300)를 제공하는 도 8에 예시된 복수의 중간 회절 경로를 전달할 것이 다. 이 중간 회절 경로 리스트는 렌더러에 제공될 수 있고 렌더러는 오디오 소스 위치에서 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정한다. 도 3에 예시된 청취자 위치의 경우, 도 8의 리스트의 경로(300)만이 유효한 중간 회절 경로로서 결정되는 반면, 도 4에 예시된 청취자 위치에 대해서는 경로(400)만이 유효한 중간 회절 경로로 결정될 것이다.

도 3 또는 도 4의 시나리오를 참조하면, 최종 코너 또는 출력 코너 15, 10, 7 또는 2를 갖는 중간 회절 경로는 이들 에지가 전혀 청취자로부터 볼 수 없기 때문에 유효한 중간 회절 경로인 것으로 결정되지 않는다. 도 7의 렌더러(200)는 도 4의 오디오 장면을 통해 이론적으로 가능한 모든 중간 회절 경로 중에서 청취자에게 보이는 최종 에지 또는 출력 에지, 즉 이 예에서는 에지 4, 5, 12, 13를 갖는 중간 회절 경로만을 선택할 수 있다. 이것은 edgelist(lis)에 대응할 것이다.

유사하게, 소스 위치와 관련하여, 시작 에지로서 예를 들어 에지 3, 6, 11 또는 14를 갖는 도 7의 회절 경로 제공기(100)로부터 오는 중간 회절 경로의 리스트에 제공된 임의의 사전 계산된 중간 회절 경로는 전혀 선택되지 않는다. MAAS 각도 기준을 사용하여 특정 유효성을 위해 시작 에지 1, 8, 9, 16을 갖는 회절 경로만 선택된다. 이러한 에지는 edgelist(src)에 있을 것이다.

요약하면, 사운드 소스에서 청취자까지의 사운드 전파에 대한 필터 표현이 최종적으로 결정되는 실제 유효한 중간 회절 경로의 결정은 3 스테이지 절차에서 선택된다. 제 1 스테이지에서는, 소스 위치와 일치하는 시작 에지를 가진 사전 저장된 회절 경로만 선택된다. 제 2 스테이지에서는, 청취자 위치와 일치하는 출력 에지를 가진 중간 회절 경로만 선택되고, 제 3 스테이지에서는, 선택된 경로 각각이 한편으로는 소스에 대한 다른 한편으로는 청취자에 대한 각도 기준을 사용하여 검증된다. 3개의 스테이지 모두에서 살아남은 중간 회절 경로만 렌더러에 의해 오디오 출력 신호를 계산하는 데 사용된다.

도 10은 선택 정보의 바람직한 구현을 예시한다. 단계 102에서, 특정 소스 위치에 대한 잠재적인 시작 에지가 오디오 장면의 기하학적 정보를 사용하여, 소스 위치를 사용하여, 특히, 전처리기에 의해 이미 사전 계산된 복수의 중간 회절 경로를 사용하여 결정된다. 단계 104에서, 특정 청취자 위치에 대한 잠재적인 최종 에 지가 결정된다. 단계 102에서, 잠재적인 중간 회절 경로는 단계 102의 결과 및 전술한 제 1 및 제 2 스테이지에 대응하는 블록 104의 결과에 기초하여 결정된다. 단 계 108에서, 잠재적인 중간 회절 경로는 각도 조건 MAAS 또는 MAAL을 사용하여, 또는 일반적으로 특정 에지가 회절 에지인지 여부를 결정하는 가시성 결정에 의해 검증된다. 단계 108은 위의 제 3 스테이지를 예시한다. 입력 데이터 MAAS 및 MAALS는 예를 들어 도 8에 예시된 중간 회절 경로 리스트로부터 얻게 된다.

도 11은 잠재적인 중간 회절 경로의 유효성을 위해 블록 108에서 수행되는 단계의 수집을 위한 추가 절차를 예시한다. 단계 112에서, 시작 에지에 대하여 소스 위치 각도가 계산된다. 이는 예를 들어 도 1의 각도(113) 계산에 대응한다. 단계 114에서, 최종 에지에 대한 청취자 위치 각도가 계산된다. 이것은 도 1의 각도(115) 계산에 대응한다. 단계 116에서, 소스 위치 각도는 소스 MAAS에 대한 최대 허용 각도와 비교되고, 비교 결과 각도가 MAAS보다 큰 상황으로 결정되면 블록 120에 표시된 대로 테스트가 실패한 것이다. 그러나, 각도(113)가 MAAS보다 작다고 판단되면 제 1 유효성 테스트를 통과한 것이다.

그럼에도 불구하고 중간 회절 경로는 제 2 유효성도 통과할 때 유효한 중간 회절 경로일 뿐이다. 이것은 블록 118의 결과에 의해 획득되는데, 즉 MAAL이 청취자 위치 각도(115)와 비교된다. 각도(115)가 MAAL보다 클 때, 유효성 테스트 통과를 위한 제 2 기여는 블록(122)에 표시된 대로 획득되고 필터 정보는 단계 126에 표시된 중간 회절 경로 리스트로부터 검색되거나 필터 정보는 예를 들어 도 8의 리스트에 표시된 중간 각도에 따라 파라미터 표현의 경우 리스트의 데이터에 따라 계산된다.

유효한 중간 회절 경로와 연관된 필터 정보가 도 11의 단계 126 이후의 경우와 같이 획득되자마자, 도 7의 오디오 렌더러(200)는 도 9에 예시된 바와 같이 최종 필터 정보를 계산해야 한다. 특히, 도 9의 단계 126은 도 11의 단계 126에 대응 한다. 단계 128에서, 소스 위치로부터 유효한 중간 회절 경로의 시작 에지까지의 시작 필터 정보가 결정된다. 특히, 이것은 예를 들어 도 1에서 에지(1)의 정점까지의 소스의 오디오 전파를 설명하는 필터 정보이다. 이 전파 정보는 거리로 인한 감쇠뿐만 아니라 각도에 따라 달라진다. 기하학적 회절 이론(GTD) 또는 균일 회절 이 론(UTD) 또는 본 발명에서 가능한 사운드 회절에 대한 임의의 다른 모델로부터 알려진 바와 같이, 회절된 사운드의 주파수 특성은 회절 각도에 의존한다. 소스 각 도(113)가 매우 작은 경우, 소스 각도(113)가 도 1의 MAAS 각도에 더 가까워지는 상황에 비해 일반적으로 사운드의 저주파 부분만 회절되고 고주파수 부분은 더 강하게 감쇠된다. 이러한 상황에서는 소스 각도가 0에 가깝거나 매우 작은 경우에 비해 고주파 감쇠가 감소한다.

유사하게, 최종 또는 출력 에지(5)로부터 청취자 위치까지의 최종 필터 정보는 MAAL에 대한 청취자 각도(115)에 기초하여 다시 결정된다. 그 다음, 이들 3개의 필터 정보 아이템 또는 필터 기여가 결정되자마자, 그들은 전체 회절 경로에 대한 필터 표현을 얻기 위해 단계 132에서 조합되며, 여기서 전체 회절 경로는 소스에서 시작 에지까지의 경로, 중간 회절 경로 및 출력 또는 최종 에지에서 청취자 위치까지의 경로를 포함한다. 조합은 여러 방식으로 수행될 수 있으며, 하나의 효과적인 방법은 단계 128, 126 및 130에서 얻은 3개의 필터 표현 각각을 스펙트럼 표현으로 변환하여 해당 전달 함수를 얻은 다음, 주파수 영역에서 작동하는 오디오 렌더러의 경우 그대로 사용될 수 있는 최종 필터 표현을 얻기 위해 스펙트럼 영역에서 3개의 전달 함수를 곱하는 것이다. 대안적으로, 오디오 렌더러가 시간 영역에서 동작하는 경우 주파수 영역 필터 정보를 시간 영역으로 변환할 수 있다. 대안적으로, 3개의 필터 아이템은 개별 필터 기여도를 나타내는 시간 도메인 필터 임펄스 응답을 사용하여 컨볼루션 연산을 수행할 수 있고 그 다음 결과적인 시간 도메인 필터 임펄스 응답은 렌더링을 위해 오디오 렌더러에 의해 사용될 수 있다. 이 경우, 렌더러는 한편으로는 오디오 소스 신호와 다른 한편으로는 전체 필터 표현 사이에서 컨볼루션 연산을 수행할 수 있다.

이어서, 정적 차별화 물체의 렌더링의 바람직한 구현을 위한 흐름도를 제공하기 위해 도 5가 예시된다. 절차는 블록 202에서 시작된다. 그 다음, 도 7의 회절 경로 제공기(100)에 의해 제공되는 리스트를 생성하기 위해 사전 계산 단계가 제공된다. 단계 204에서, 차단 테스트(occlusion test)를 위한 메쉬로 트레이서가 설정된다. 이 단계는 2개의 인접하지 않은 에지 사이의 직접 경로가 차단될 때 정의에 따라 회절 경로만 발생할 수 있는 에지 사이의 모든 다른 회절 경로를 결정한다. 예를 들어 도 3을 고려할 때 에지 1과 에지 11 사이의 경로는 에지 7에 의해 차단되기에 회절이 발생할 수 있다. 이러한 상황은 예를 들어 블록 204에 의해 결정된다. 블록 206에서, 잠재적인 회절 에지 리스트는 2개의 인접한 삼각형 사이의 내각을 사용하여 계산된다. 이 절차는 이러한 회절 경로 부분, 즉 예를 들어 에지 1과 에지 11 사이의 부분에 대한 중간 또는 내부 각도를 결정한다. 이 단계 206은 에지 7에서 에지 11를 지나 에지 12까지 또는 에지 7에서 에지 11를 지나 에지 l3까지의 추가 회절 경로 부분을 또한 결정할 것이다. 대응하는 회절 경로는 예를 들어 도 3의 경로(300) 또는 예를 들어 도 4의 경로(400)가 경로(300)의 경우 에지 1에서 에지 13까지의 또는 도 4의 경로(400)의 경우 에지 1에서 에지 12까지의 전체 사운드 전파를 설명하는 관련 필터 정보와 함께 미리 계산되도록 도 8에 예시된 바와 같이 미리 계산된다. 사전 계산 절차가 완료되고 런타임 단계가 수행된다. 단계 210에서, 렌더러(200)는 소스 및 청취자 위치 데이터를 획득한다. 단계 212에서, 소스와 청취자 사이의 방향 경로 차단 테스트가 수행된다. 절차는 블록 212의 테스트 결과가 방향 경로가 차단된 경우에만 계속된다. 직접 경로가 차단되지 않으면 직접 전파가 발생하고 회절은 이 경로에서 문제가 되지 않는다.

단계 214에서, 한편으로는 소스로부터 및 다른 한편으로는 청취자로부터의 가시적 에지 리스트가 결정된다. 이 절차는 도 6의 단계 102 및 104 및 106에 대응한다. 단계 216에서, 에지 리스트의 입력 에지에서 시작하여 청취자에 대한 에지 리스트의 출력 에지에서 끝나는 경로가 검증된다. 이는 도 10의 블록 108에서 수행된 절차에 대응한다. 단계 218에서, 소스 위치가 연관된 에지에 대한 회전에 의해 업데이트될 수 있고, 예를 들어 UTD 모델 데이터베이스로부터의 회절 필터가 업데이트될 수 있도록 필터 표현이 결정된다. 그러나, 일반적으로, 본 발명은 UTD 모델 데이터베이스 응용에 제한되지 않지만, 본 발명은 회절 경로로부터의 필터 정보의 임의의 특정 계산 및 응용을 사용하여 적용될 수 있다. 단계 220에서, 오디오 장면에 대한 오디오 출력 신호는 거리 효과가 특정 HRTF 필터와 같은 바이노럴 렌더링 방향성 필터 내에 포함되지 않은 경우 거리 효과를 렌더링하기 위해 존재하는 연관된 지연 라인 모듈을 사용하는 바이노럴 렌더링에 의해 계산된다.

도 12는 렌더링된 오디오 장면의 오디오 품질을 향상시키기 위해 회전되지 않은 소스 위치에 수행되는 회전을 예시한다. 이 회전은 도 5의 단계 218 또는 도 6의 단계 218에서 적용되는 것이 바람직하다. 렌더링 또는 공간화를 위한 소스 위치의 회전은 원래 소스 위치에 대한 공간 인식을 향상시키는 데 유용하다. 따라 서, 도 12와 관련하여, 사운드 소스는 각도 DA_9를 통해 에지 9 주위의 중간 위 치(141)로 원래 사운드 소스 위치(143)로부터 회전함으로써 획득되는 새로운 위 치(142)에서 렌더링된다. 이 각도는 에지 13 및 9를 연결하는 선에 의해 결정되어 직선이 얻어진다. 중간 위치(141)는 청취자로부터 최종 회전된 소스 위치(142)까지 의 직선을 갖기 위해 각도 DA_13을 통해 에지 13 주위에서 회전된다. 따라서, 주파 수 종속 등화 또는 감쇠 값뿐만 아니라 회전된 소스 위치(142)에서 원래 소스의 인지된 방향도 공간화된다. 이 최종 회전된 소스 위치는 각 회절 프로세스에서 사운드 전파 각도를 변경하는 사운드 회절 효과로 인한 감지된 소스 위치이다.

소스에서 청취자까지의 하나의 예시적인 회절 경로 "소스-(9)-(13)-청취자"가 참조된다. 회전된 소스(142)의 위치를 이용하여 공간 사운드 재생을 위한 추가 phi,theta 정보가 생성된다.

정확한 소스/청취자 위치를 고려한 전체 관련 필터 정보는 주파수별 정확한 EQ 정보, 즉 회절 효과에 의한 감쇠 효과를 이미 제공한다. 원래 소스 위치와 원래 소스까지의 거리를 사용하는 것은 낮은 레벨의 구현을 이미 구성한다. 이 낮은 레벨의 구현은 적절한 HRTF 필터를 선택하는 데 필요한 정보를 추가로 생성하여 향상된다. 이를 위해, 회절 사운드 소스의 위치를 생성하도록 원래 사운드 소스는 관련 에지에 대하여 회절 각도만큼 회전된다. 그 다음, 방위각과 고도각은 청취자에 대한 이 위치로부터 도출될 수 있으며 경로를 따르는 총 전파 거리를 얻을 수 있다.

도 12는 최종적으로 렌더링된 사운드 소스 위치(142)와 회전 과정에 의해 획득된 청취자 위치 사이의 거리의 계산을 또한 예시한다. 소스의 렌더링을 위해 둘 다의 거리 의존 감쇠의 지연을 결정하기 위해 이 거리를 추가로 사용하는 것이 바람직하다.

이어서, 원래 소스 위치(143)의 회전된 위치(143)의 사용 및 결정에 관한 추 가 설명이 제공된다. 유효한 경로를 얻기 위한 계산의 모든 단계는 원래 소스 위치(143)를 다룬다. 그러나, 헤드폰을 장착한 사용자가 VR 공간에서 보다 나은 몰입 사운드를 느낄 수 있게 하기 위해, 바이노럴라이저가 예를 들어 https://www.ece.ucdavis.edu/cipic/spatial-sound/tutorial/hrtf/에 설명된 것처럼 H_L/H_R이 HRTF(머리 관련 전달 함수)라고 하는 원래 오디오 신호에 적절한 공간 필터링(H_L 및 H_R)을 적용할 수 있도록 사운드 소스의 위치를 바이노럴라이저에 부여하는 것이 바람직하다.

Filterd_S_L = H_L(phi, theta, w)*S(w)

Filterd_S_R = H_R(phi, theta, w)*S(w)

모노 신호 S(w)는 공간 사운드를 생성하는 데 사용할 로컬화 신호를 갖지 않는다. 그러나 HRTF에 의한 필터링된 사운드는 공간적 느낌을 재현할 수 있다. 이를 위해서는 phi와 theta(즉, 회절된 광원의 상대 방위각과 고도각)가 과정을 통해 주어져야 한다. 이것이 원래 사운드 소스를 회전시키는 이유이다. 따라서, 렌더러는 필터 정보에 추가하여 도 12의 최종 소스 위치(142)의 정보를 수신한다. 사운드 소스 회전에 대한 복잡성을 피할 수 있도록 원래 사운드 소스(143)의 방향을 사용하는 낮은 수준의 구현이 일반적으로 가능하지만, 이 절차는 도 12에서 볼 수 있는 방향 오류를 겪는다. 그러나, 낮은 수준의 구현의 경우 이 오류가 허용된다. 거리 느낌도 마찬가지이다. 도 12에 도시된 바와 같이, 회전된 소스(142)로부터 청취자까지의 거리는 원래의 소스(143)로부터 청취자까지의 거리보다 다소 길다. 이 거리 오차는 복잡성 감소를 위해 낮은 수준의 주입에 대해 허용될 수 있다. 그러나, 높은 수준의 애플리케이션의 경우 이 오류를 피할 수 있다.

따라서, 관련 에지에 대해 원래 사운드 소스를 회전시켜 회절 사운드 소스의 위치를 생성하는 것은 사운드 소스와 청취자로부터의 전파 거리를 제공할 수 있으며, 이 거리가 거리에 의한 감쇠에 사용된다.

phi, theta 및 거리에 대한 추가 정보를 생성하는 이 프로세스는 다채널 재 생 시스템에서도 유용하다. 유일한 차이점은 다중 채널 재생 시스템의 경우, 상이한 공간적 필터 세트가 "Filterd_S_i = H_i(phi, theta, w, other parameters) * S(w)"로서 Filtered_S_i를 제 i 스피커에 공급한다는 점이다.

바람직한 실시형태는 유효한 중간 회절 경로에 따라 또는 전체 회절 경로에 따라, 유효한 중간 회절 경로에 의해 또는 전체 회절 경로에 따라 발생된 회절 효과로 인한 오디오 소스 위치와는 다르게 된 회전된 오디오 소스 위치를 계산하도록 그리고 오디오 장면에 대한 오디오 출력 신호를 계산(220)할 때 오디오 소스의 회전된 위치를 사용하도록 구성되거나, 또는 필터 표현에 추가하여 전체 회절 경로와 연관된 에지 시퀀스 및 전체 회절 경로와 연관된 회절 각도 시퀀스를 사용하여 오디오에 대한 오디오 출력 신호를 계산하도록 구성된 렌더러의 동작에 관한 것이다.

다른 실시형태에서, 렌더러는 청취자 위치로부터 회전된 소스 위치까지의 거 리를 결정하도록 그리고 오디오 장면에 대한 오디오 출력 신호를 계산할 때 거리를 사용하도록 구성된다.

다른 실시형태에서, 렌더러는 회전된 소스 위치 및 오디오 출력 신호에 대한 미리 결정된 출력 형식에 따라 하나 이상의 방향성 필터를 선택하도록 그리고 오디오 출력 신호를 계산할 때 하나 이상의 방향성 필터 및 필터 표현을 오디오 신호에 적용하도록 구성된다.

다른 실시형태에서, 렌더러는 회전된 소스 위치와 청취자 위치 사이의 거리 에 따라 감쇠 값을 결정하도록 그리고 오디오 소스 위치 및 회전된 오디오 소스 위치에 따라 필터 표현 또는 하나 이상의 방향성 필터에 추가하여 이를 오디오 신호에 적용하도록 구성된다.

다른 실시형태에서, 렌더러는 적어도 하나의 회전 동작을 포함하는 회전 동작의 시퀀스에서 회전된 소스 위치를 결정하도록 구성된다.

시퀀스의 제 1 단계에서, 전체 회절 경로의 제 1 회절 에지에서 시작하여, 제 1 회절 에지에서 소스 위치까지의 경로 부분이 제 1 회전 동작에서 회전되어 제 2 회절 에지로부터 또는 전체 회절 경로가 제 1 회절 에지만 갖는 경우 청취자 위치로부터 제 1 중간 회전된 소스 위치까지의 직선을 얻고, 여기서 제 1 중간 회전된 소스 위치는 전체 회절 경로가 제 1 회절 에지를 가질 때 회전 소스 위치이다. 시퀀스는 단일 회절 에지에 대해 완료된다. 2개의 회절 에지가 있는 경우, 제 1 에지는 도 12의 에지 9이고 제 1 중간 위치는 아이템 141이다.

하나 이상의 회절 에지의 경우, 제 1 회전 동작의 결과는 제 2 회전 동작에서 제 2 회절 에지를 중심으로 회전되어 제 3 회절 에지로부터 또는 전체 회절 경로가 제 1 및 제 2 회절 에지만 갖는 경우 청취자 위치로부터 제 2 중간 회전된 소스 위치까지의 직선을 얻고, 여기서 제 2 중간 회전된 소스 위치는 전체 회절 경로가 제 1 및 제 2 회절 에지만 가질 경우는 회전된 소스 위치이다. 시퀀스는 2개의 회절 에지에 대해 완료된다. 2개의 회절 에지가 있는 경우, 제 1 에지는 도 12의 에지 9이고 제 2 에지는 에지 13이다.

도 3의 경로(300)와 같이 2개 이상의 회절 에지를 갖는 경로의 경우, 하나 이상의 회전 동작이 도 3의 제 3 회절 에지 11에 이어서 도 3의 에지 13을 이용하여 추가로 수행되는 절차가 일반적으로, 전체 회절 경로가 처리되고 청취자 위치로부터 그 다음에 얻어진 회전된 소스 위치까지의 직선이 얻어질 때까지 계속된다.

그 후, 동적 물체(DO)의 처리를 위한 바람직한 구현이 설명된다. 이를 위해, 도 1의 상황과 관련하여 한 순간에서 다른 순간으로 오디오 장면의 중앙 위치에 배치된 동적 물체(DO)를 도시하는 도 2b를 참조한다. 이것은 도 2d 상단 라인에 예시된 에지 1에서 에지 5까지의 중간 회절 경로가 회절 물체(DO)에 의해 차단되고 2개의 새로운 회절 경로 즉 에지 1에서 에지 7 그리고 에지 5까지의 새로운 회절 경로와 에지 1에서 에지 3 그리고 에지 5까지의 새로운 회절 경로가 생성되었다는 것을 의미한다. 이들 회절 경로는 도 2a의 좌측에 있는 청취자의 경우에 적합하다. 동적 물체가 사운드 장면에 배치되었다는 사실 때문에, 동적 물체가 없는 상황과 관련하여 MAAS 및 MAAL 조건도 변경되었다. 도 1의 중간 회절 경로 리스트는 예를 들어 도 2b의 아래 부분에 예시된 2개의 추가 중간 회절 경로에 의해 도 6의 아이템 226에 예시된 바와 같이 증대된다. 특히, 도 5의 에지 1에서 에지 5까지의 원래 경로가 소스가 에지 1에 가깝지 않고 예를 들어 하나 또는 물체 사이에 하나 이상의 더 많은 반사 경로가 있고 청취자와 관련하여 유사한 상황이 있는 더 많은 반사 상황의 일부이다고 가정할 때, 동적 물체가 없는 도 1에 대해 존재하는 사전 계산된 회절 경로는 2개의 추가 경로에 의해 그리고 그럼에도 불구하고 에지 1에서 회절 경로의 시작 에지까지의 이전 부분을 그대로 남겨둠으로써 그리고 에지 5에서 임의의 출력 에지 또는 최종 에지까지의 경로 부분도 그대로 남겨둠으로써, 도 1에서 1에서 5까지의 회절 경로를 교체하기만 하면 런타임에 쉽게 업데이트될 수 있다.

도 6은 동적 물체로 수행되는 절차의 상황을 예시한다. 단계 222에서, 동적 물체(DO)가 예를 들어 이동 및 회전에 의해 그 위치를 변경했는지 여부가 결정된다. 동적 물체에 연결된 에지가 업데이트된다. 도 2a의 예에서, 단계 222는 도 1에 예시된 이전 순간과 대조적으로, 동적 물체가 특정 에지(70, 60, 20, 30)를 갖는 거기에 있다고 결정할 것이다. 단계 214에서, 에지 1 및 5를 포함하는 중간 회절 경로가 발견될 것이다. 단계 224에서, 에지 1과 5 사이의 경로에 배치된 동적 물체로 인해 중단이 있는 것으로 결정된다. 단계 224에서, 한편으로는 에지 1에서 동적 물체 에지 30을 지나 에지 5까지 및 에지 1에서 동적 물체 에지 60를 지나 에지 5까지의 도 2b의 아래 부분에 예시된 추가 경로가 발견될 것이다. 단계 226에서, 중단되지 않은 경로는 2개의 추가 경로에 의해 증가될 것이다. 이것은 (예시되지 않은) 입력 에지에서 에지 1로 가는 (도면에 도시되지 않은) 경로와 에지 5에서 (예시되지 않은) 출력 에지로 오는 경로가 에지 1과 에지 5 사이의 경로를 도 2b에 표시된 2개의 다른 경로 부분으로 교체함으로써 수정될 수 있다는 것을 의미한다. 입력 에지에서 에지 1까지의 제 1 경로 부분은 이 두 경로 부분과 함께 스티칭되어 2개의 추가 중간 회절 경로를 얻을 수 있으며 에지 5에서 출력 에지로 연장되는 원래 경로의 출력 부분도 2개의 대응하는 증대된 중간 회절 경로에 스티칭되어, 동적 물체로 인해 (동적 물체가 없는) 하나의 초기 중간 회절 경로로부터 2개의 새로운 증가된 초기 회절 경로가 생성된다. 도 6에 예시된 다른 단계는 도 5에 설명된 것과 유사하게 수행된다.

(런타임 시) 동적 물체에 의한 회절 효과 렌더링은 몰입형 미디어를 갖는 엔터테인먼트에 대해 인터랙티브한 느낌을 제공하는 가장 좋은 방법 중 하나이다. 동적 물체에 의한 회절을 고려하는 바람직한 전략은 다음과 같다.

1) 사전 계산 단계에서:

A. 동적 물체/기하학이 있는 경우, 주어진 동적 물체 주위의 가능한 (중간) 회절 경로를 미리 계산한다.

B. 다수의 동적 물체/기하학이 있는 경우, 서로 다른 동적 물체 간에 회절이 허용되지 않는다는 가정에 기초하여 단일 물체 주위의 가능한 (중간) 회절 경로를 미리 계산한다.

C. 동적/기하학 및 정적 물체/기하학이 있는 경우, 정적 물체와 동적 물체 간에 회절이 허용되지 않는다는 가정에 기초하여 동적 또는 정적 물체 주위의 가능한 경로를 미리 계산한다.

2) 런타임 단계에서:

A. 동적 메쉬가 (이동 및 회전 측면에서) 재배치된 경우에만, 재배치된 동적 메쉬에 속하는 잠재적 에지를 업데이트한다.

B. 소스와 청취자로부터 가시적 에지 리스트를 찾는다.

C. 소스의 에지 리스트에서 시작하여 청취자의 에지 리스트에서 끝나는 경로를 검증한다.

D. 중간 에지 쌍 사이의 가시성을 테스트하고 동적 물체 또는 정적 물체일 수 있는 방해 물체에 의한 침입이 있는 경우, 에지, 삼각형 및 각도만큼 검증된 경로 내의 경로를 확장한다.

동적 물체/기하학을 처리하기 위한 확장된 알고리즘은 정적 장면에 대한 단계와 비교하여 추가 단계와 함께 도 6에 도시되어 있다.

바람직한 방법이 특별한 경우를 제 외하고는 재검토할 필요가 없는 (중간) 회절 경로 정보를 미리 계산한다는 것을 고려할 때, 미리 계산된 데이터의 업데이트를 허용하지 않는 최신 기술에 비해 많은 실용적인 이점이 있다. 또한, 다수의 회절 경로를 조합하여 증대된 경로를 생성하는 유연한 기능을 통해 정적 및 동적 물체를 함께 고려할 수 있다.

(1) 낮은 계산 복잡성: 바람직한 방법은 런타임에 주어진 소스 위치에서 청취자의 위치까지 전체 경로를 구축할 필요가 없다. 대신에, 두 점 사이의 유효한 중간 경로만 찾으면 된다.

(2) 정적 및 동적 물체 또는 다수의 동적 물체 조합의 회절 효과를 렌더링하는 능력: 최신 기술은 정적 및 동적 물체에 의한 회절 효과를 동시에 고려하기 위해 런타임에 (정적 또는 동적) 에지 사이의 전체 가시성 그래프를 업데이트해야 한다. 바람직한 방법은 2개의 유효한 경로/경로 부분의 효율적인 스티칭 프로세스가 필요하다.

반면에, (중간) 회절 경로를 미리 계산하는 것은 최신 기술에 비해 더 많은 시간이 필요하다. 그러나, 하나의 전체 경로에서의 최대 허용 감쇠 레벨, 최대 전파 거리, 최대 회절 차수 등과 같은 합리적인 조건을 적용함으로써 미리 계산된 경로 데이터의 크기를 제어할 수 있다.

1) [기하학 음향-기반 접근 방식] 미리 계산된(중간) 경로 정보에 기초하여 UTD 모델을 다수의 가시적/적절하게 방향 지정된 에지에 적용하는 바람직한 방법이 발명되었다. 이 미리 계산된 데이터는 동적 물체에 의한 중단과 같은 매우 드문 경우를 제외하고는 실시간(대부분의 시간)으로 모니터링할 필요가 없다. 따라서, 본 발명은 실시간으로 계산을 최소화한다.

2) [모듈화] 각각 및 모든 미리 계산된 경로는 모듈로서 작동한다.

A. 정적 장면의 경우, 실시간 단계에서 두 공간 점 사이에서 유효한 모듈만 찾으면 된다.

B. 동적 장면의 경우, 물체(B)에 의한 유효한 경로 내에서 다른 물체(A)에 의한 중단이 존재하더라도, A를 통한 유효한 경로로 B를 통한 경로를 증대해야 한다.(2개의 다른 이미지를 연결하는 것을 상상)

3) [전체 동적 상호 작용의 지원] 정적 및 동적 물체 또는 다수의 동적 물체의 조합을 포함한 실시간 렌더링 회절 효과가 실현 가능하다.

이전에 논의된 바와 같은 모든 대안 또는 양태 및 다음의 청구항 중 독립 청구항에 의해 정의된 모든 양태가 개별적으로, 즉 고려된 대안, 대상 또는 독립 청구항 이외의 다른 대안 또는 대상 없이 사용될 수 있다는 것이 여기에서 언급되어야 한다. 그러나, 다른 실시형태에서, 대안 또는 양태 또는 독립 청구항 중 둘 이상이 서로 조합될 수 있고, 다른 실시형태에서 모든 양태, 또는 대안 및 모든 독 립 청구항이 서로 조합될 수 있다.

본 발명에 따라 인코딩된 신호는 디지털 저장 매체 또는 비일시적 저장 매체에 저장되거나 인터넷과 같은 유선 전송 매체 또는 무선 전송 매체와 같은 전송 매체를 통해 전송될 수 있다.

일부 양태는 장치의 맥락에서 설명되었지만, 이러한 양태는 대응하는 방법의 설명을 또한 나타내며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특 징에 대응한다. 유사하게, 방법 단계의 맥락에서 설명된 양태는 대응하는 장치의 대응 블록 또는 아이템 또는 특징의 설명을 또한 나타낸다.

특정 구현 요건에 따라, 본 발명의 실시형태는 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 전자적으로 판독 가능한 제어 신호가 저장되어 있고 각각의 방법이 수행되도록 프로그래밍 가능한 컴퓨터 시스템과 협력할 수 있는 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 FLASH 메모리와 같은 디지털 저장 매체를 사용하여 수행할 수 있다.

본 발명에 따른 일부 실시형태는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템과 협력할 수 있는 전자적으로 판독 가능한 제어 신호를 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시형태는 프로그램 코드를 갖는 컴퓨터 프로그램 제품으로서 구현될 수 있으며, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상 에서 실행될 때 방법 중 하나를 수행하기 위해 동작한다. 프로그램 코드는 예를 들 어 기계 판독 가능한 캐리어에 저장될 수 있다.

다른 실시형태는 기계 판독 가능 캐리어 또는 비일시적 저장 매체에 저장된, 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

즉, 본 발명의 방법의 실시형태는 따라서 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때 본 명세서에 설명된 방법 중 하나를 수행하기 위한 프로그램 코드를 갖는 컴퓨터 프로그램이다.

따라서, 본 발명의 방법의 추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체, 또는 컴퓨터 판독 가능 매체)이다.

따라서, 본 발명의 방법의 추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램을 나타내는 데이터 스트림 또는 신호의 시퀀스이다. 데이터 스트림 또는 신호의 시퀀스는 예를 들어 인터넷을 통해 데이터 통신 연결을 통해 전송되도록 구성될 수 있다.

추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하도록 구성되거나 적응된 처리 수단, 예를 들어 컴퓨터, 또는 프로그램 가능한 논리 장치를 포함한다.

추가 실시형태는 본 명세서에 설명된 방법 중 하나를 수행하기 위한 컴퓨터 프로그램이 설치된 컴퓨터를 포함한다.

일부 실시형태에서, 프로그램 가능 논리 장치(예를 들어, 필드 프로그램 가능 게이트 어레이)는 본 명세서에 설명된 방법의 기능 중 일부 또는 전부를 수행하는 데 사용될 수 있다. 일부 실시형태에서, 필드 프로그램 가능 게이트 어레이는 본 명세서에 설명된 방법 중 하나를 수행하기 위해 마이크로프로세서와 협력할 수 있다. 일반적으로, 방법은 바람직하게는 임의의 하드웨어 장치에 의해 수행된다.

위에서 설명한 실시형태는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 기술된 배열 및 세부사항의 수정 및 변형이 당업자에게 명백할 것임을 이해해야 한다. 따라서, 본 명세서의 실시형태의 설명 및 설명을 통해 제시된 특정 세부사항이 아니라 특허 청구범위의 범위에 의해서만 제한하고자 한다.

참고문헌

[1] L. Savioja 및 V. Valimaki. 주파수 워핑이 있는 보간된 직사각형 3D 디지털 도파관 메쉬 알고리즘. IEEE 트랜스. 음성 오디오 프로세스., 11(6) 783-790, 2003

[2] Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S., 및 Manocha, D. 등가의 소스 공식을 이용한 대규모 공개 장면에서의 파형 기반 사운드 전파, ACM Trans. on Graphics 32(2) 19:1-19:13, 2013

[3] Mehra, R., Antani, L., Kim, S., 및 Manocha, D. 양방향 웨이브 기반 사운드 전파를 위한 소스 및 청취자 지향성, 시각화 및 컴퓨터 그래픽에 대한 IEEE 트랜잭션, 20(4) 495-503, 2014

[4] Nikunj Raghuvanshi 및 John M. Snyder, 사전 계산된 사운드 전파를 위한 파라메트릭 방향성 코딩, ACM Trans. on Graphics 37(4) 108:1-108:14, 2018

[5] J.B. Allen 및 D.A. Berkley, 소규모 공간 음향을 효율적으로 시뮬레이션하기 위한 이미지 방법. 미국 음향 학회 저널 65(4) 943-950, 1979

[6] M. Vorlander, 새로운 결합 광선 추적/이미지 소스 알고리즘을 사용하 여 방의 과도 및 정상 상태 사운드 전파 시뮬레이션, 미국 음향 학회 저널 86(1) 172-178, 1989

[7] T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi 및 J. West, 대화형 가상 환경을 위한 음향 모델링에 대한 빔 추적 접근 방식, In Proc. ACM SIGGRAPH, 1998년 21~32일

[8] M. Taylor, A. Chandak, L. Antani 및 D. Manocha, Resound: 동적 가상 환경을 위한 대화형 사운드 렌더링, In Proc. 멀티미디어에 관한 17개의 ACM 국제 회의 중, 271-280, 2009

[9] RG Kouyoumjian 및 P.H. Pathak, 완전 전도성 표면의 에지에 대한 균일한 기하학적 회절 이론, In Proc. IEEE 62, 11, 1448-1461, 1974

[10] U.P. Svensson, R.I. Fred, 및 J. V anderkooy, 에지 회절 임펄스 응답의 분석 2차 소스 모델, 미국 음향 협회 저널 106 2331-2344, 1999

[11] N. Tsingos, T. Funkhouser, A. Ngan 및 I. Carlbom, 균일한 회절 이론을 사용한 가상 환경에서의 음향 모델링, In Proc. SIGGRAPH, 545-552, 2001

[12] M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schiss ler 및 D. Manocha, 빠른 청각화를 위한 다중 뷰 광선 추적 유도. 시각화 및 컴퓨터 그래픽에 대한 IEEE 트랜잭션 18, 1797-1810, 2012

[13] H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha 및 M. Lin, 크고 복 잡한 장면에서의 대화식 사운드 전파를 위한 웨이브-레이 커플링, ACM Trans. 그래프. 32, 6, 165:1-165:11, 2013

Claims

오디오 소스 위치의 오디오 소스 및 복수의 회절 물체를 포함하는 오디오 장면(50)을 렌더링하기 위한 장치로서,
상기 복수의 회절 물체를 통해 복수의 중간 회절 경로(300, 400)를 제공하기 위한 회절 경로 제공기(100) - 중간 회절 경로는 상기 복수의 회절 물체의 시작 포인트와 출력 에지 및 상기 중간 회절 경로에 대한 연관된 필터 정보를 가짐 - 와,
청취자 위치에서 상기 오디오 소스를 렌더링하기 위한 렌더러(200) - 상기 렌더러(200)는
상기 중간 회절 경로의 출력 에지 및 상기 청취자 위치에 기초하여, 상기 오디오 소스 위치로부터 상기 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정(216)하고,
상기 하나 이상의 유효한 중간 회절 경로 중 각각의 유효한 중간 회절 경로에 대해, 상기 유효한 중간 회절 경로의 연관된 필터 정보와 상기 유효한 중간 회절 경로의 출력 에지로부터 상기 청취자 위치까지의 오디오 신호 전파를 설명하는 필터 정보의 조합을 사용하여, 상기 하나 이상의 유효한 중간 회절 경로 중 유효한 중간 회절 경로에 대응하는, 상기 오디오 소스 위치로부터 상기 청취자 위치까지의 전체 회절 경로에 대한 필터 표현을 결정(218)하고,
상기 오디오 소스와 연관된 오디오 신호 및 각각의 전체 회절 경로에 대한 필터 표현을 사용하여 상기 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)하도록 구성됨 - 를 포함하는,
장치.
제1항에 있어서,
상기 오디오 소스 위치는 고정되고, 전처리기는 각각의 유효한 중간 회절 경로의 시작 포인트가 상기 오디오 소스 위치에 대응하도록 각각의 유효한 중간 회절 경로를 결정하도록 구성되거나,
상기 오디오 소스 위치는 가변적이며, 전처리기는 중간 회절 경로의 시작 포인트로서 상기 복수의 회절 물체의 입력 에지를 결정하도록 구성되고,
상기 렌더러(200)는 상기 하나 이상의 중간 회절 경로의 입력 에지 및 상기 오디오 소스의 오디오 소스 위치에 추가로 기초하여, 상기 하나 이상의 유효한 중간 회절 경로를 결정하고, 그리고 상기 오디오 소스 위치로부터 전체 회절 경로와 연관된 상기 유효한 중간 회절 경로의 입력 에지까지의 오디오 신호 전파를 설명하는 추가 필터 정보에 추가로 기초하여 전체 회절 경로에 대한 필터 표현을 결정하도록 구성되는,
장치.
제1항 또는 제2항에 있어서,
상기 렌더러(200)는 상기 소스 위치로부터 상기 청취자 위치까지의 직접 경로에 대한 차단 테스트(212)를 수행하고, 그리고 상기 차단 테스트가 상기 직접 경로가 차단되었음을 나타낼 때 상기 하나 이상의 유효한 중간 회절 경로를 단지 결정하도록 구성되는,
장치.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 렌더러(200)는 상기 연관된 필터 정보의 주파수 도메인 표현과 상기 유효한 중간 회절 경로의 출력 에지로부터 상기 청취자 위치까지의 오디오 신호 전파에 대한 필터 정보의 주파수 도메인 표현 또는 상기 오디오 위치로부터 상기 유효한 중간 회절 경로의 입력 에지까지의 오디오 신호 전파를 설명하는 추가 필터 정보의 주파수 도메인 표현을 곱함으로써 상기 전체 회절 경로에 대한 필터 표현을 결정(132)하도록 구성되는,
장치.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 렌더러(200)는
상기 오디오 소스 위치에 따라 잠재적인 입력 에지의 시작 그룹을 결정(102)하거나 또는 상기 청취자 위치에 따라 잠재적인 출력 에지의 최종 그룹을 결정(104)하고,
상기 시작 그룹 또는 최종 그룹을 사용하여 미리 저장된 중간 회절 경로 리스트로부터 하나 이상의 잠재적인 유효한 중간 회절 경로를 검색(106)하고,
소스 각도 기준(116) 및 상기 소스 위치와 상기 대응하는 입력 에지 사이의 소스 각도를 사용하여 또는 최종 각도 기준(118) 및 상기 청취자 위치와 상기 대응하는 출력 에지 사이의 청취자 각도를 사용하여 상기 하나 이상의 잠재적인 유효한 중간 회절 경로를 검증(108)하도록 구성되는,
장치.
제5항에 있어서,
상기 렌더러(200)는 소스 각도를 계산(112)하고, 상기 소스 각도를 상기 소스 각도 기준으로서의 소스 각도에 대한 최대 허용 각도(MAAS)와 비교(116)하고, 상기 소스 각도가 상기 소스에 대한 최대 허용 각도보다 낮을 때 상기 유효한 중간 회절 경로가 되는 잠재적인 중간 회절 경로를 검증(116)하도록 구성되거나,
상기 렌더러(200)는 청취자 각도(114)를 계산하고, 상기 청취자 각도를 청취자 각도 기준으로서의 청취자에 대한 최소 허용 각도(MAAL)와 비교(118)하고, 청취자 각도가 청취자에 대한 최소 허용 각도보다 클 때 상기 유효한 중간 회절 경로가 되는 잠재적인 중간 회절 경로를 검증(122)하도록 구성되는,
장치.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 회절 경로 제공기(100)는 상기 복수의 중간 회절 경로(300, 400)에 대한 엔트리를 포함하는 리스트를 저장한 메모리에 액세스하도록 구성되고, 각각의 중간 회절 경로 엔트리는 입력 에지로부터 출력 에지까지 연장되는 에지의 시퀀스 또는 입력 삼각형으로부터 출력 삼각형까지 연장되는 삼각형의 시퀀스 또는 하나 이상의 중간 각도를 포함하고 청취자 각도 기준을 포함하는 소스 각도 기준으로부터 시작하는 아이템의 시퀀스를 포함하는,
장치.
제7항에 있어서,
상기 리스트 엔트리는 상기 연관된 필터 정보 또는 상기 연관된 필터 정보에 대한 레퍼런스를 포함하거나,
상기 렌더러(200)는 상기 리스트 엔트리의 데이터로부터 상기 연관된 필터 정보를 도출하도록 구성되는,
장치.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 사운드 장면의 복수의 회절 물체는 동적 물체를 포함하고, 상기 회절 경로 제공기(100)는 상기 동적 물체 주위에 적어도 하나의 중간 회절 경로를 제공하도록 구성되는,
장치.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 사운드 장면의 복수의 회절 물체는 2 이상의 동적 회절 물체를 포함하고, 상기 회절 경로 제공기(100)는 회절이 2개의 상이한 동적 물체 사이에서 허용되지 않는다는 가정에 기초하여 단일 동적 물체 주위에 중간 회절 경로를 제공하도록 구성되는,
장치.
제1항 내지 제8항 중 어느 한 항에 있어서,
상기 사운드 장면의 복수의 회절 물체는 하나 이상의 동적 물체 및 하나 이상의 정적 물체를 포함하고, 상기 회절 경로 제공기(100)는 회절이 정적 물체와 동적 물체 사이에서 허용되지 않는다는 가정에 기초하여 동적 또는 정적 물체 주위에 중간 회절 경로를 제공하도록 구성되는,
장치.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 복수의 회절 물체는 적어도 하나의 동적 회절 물체를 포함하고,
상기 렌더러(200)는
상기 적어도 하나의 동적 물체가 이동 및 회전 중 적어도 하나에 대해 재배치되었는지 여부를 결정(222)하고,
재배치된 동적 물체에 부착된 에지를 업데이트(222)하고,
상기 하나 이상의 유효한 중간 회절 경로를 결정하는 단계에서 내부 에지 쌍 사이의 가시성에 관한 잠재적인 유효 중간 경로를 조사(216)하도록 - 재배치된 동적 물체의 재배치로 인해 가시성이 중단되는 경우, 상기 잠재적인 유효한 중간 회절 경로는 상기 유효한 중간 회절 경로를 얻기 위해 재배치 물체로 인해 발생하는 추가 경로만큼 증대(226)됨 - 구성되는,
장치.
제1항 내지 제12항 중 어느 한 항에 있어서,
상기 렌더러(200)는 균일 회절 이론(UTD)을 적용하여 상기 연관된 필터 정보를 결정하도록 구성되거나, 상기 렌더러(200)는 주파수 의존 방식으로 상기 연관된 필터 정보를 결정하도록 구성되는,
장치.
제1항 내지 제13항 중 어느 한 항에 있어서,
상기 렌더러(200)는 상기 유효한 중간 회절 경로에 따라 또는 상기 전체 회절 경로에 따라 상기 유효한 중간 회절 경로 또는 상기 전체 회절 경로에 의해 발생되는 회절 효과로 인해 상기 오디오 소스 위치와는 다른 회전된 오디오 소스 위치를 계산하고, 그리고 상기 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)할 때 상기 오디오 소스의 회전된 위치를 사용하도록 구성되거나,
상기 렌더러(200)는 상기 필터 표현 외에 상기 전체 회절 경로와 연관된 에지 시퀀스 및 상기 전체 회절 경로와 연관된 회절 각도 시퀀스를 사용하여 상기 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)하도록 구성되는,
장치.
제14항에 있어서,
상기 렌더러(200)는 상기 청취자 위치로부터 상기 회전된 소스 위치까지의 거리를 결정하고, 그리고 상기 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)할 때 상기 거리를 사용하도록 구성되는,
장치.
제14항 또는 제15항에 있어서,
상기 렌더러(200)는 상기 회전된 소스 위치 및 상기 오디오 출력 신호에 대한 미리 결정된 출력 형식에 따라 하나 이상의 방향성 필터를 선택하고, 그리고 상기 오디오 출력 신호를 계산할 때 상기 하나 이상의 방향성 필터 및 상기 필터 표현을 상기 오디오 신호에 적용하도록 구성되는,
장치.
제14항, 제15항 또는 제16항에 있어서,
상기 렌더러(200)는 상기 회전된 소스 위치와 상기 청취자 위치 사이의 거리에 따라 감쇠 값을 결정하고, 그리고 상기 오디오 신호 위치 또는 상기 회전된 오디오 소스 위치에 따라 상기 필터 표현 또는 상기 하나 이상의 방향성 필터 외에 상기 감쇠 값을 상기 오디오 신호에 적용하도록 구성되는,
장치.
제14항 내지 제17항 중 어느 한 항에 있어서,
상기 렌더러(200)는 적어도 하나의 회전 동작을 포함하는 회전 동작의 시퀀스에서 상기 회전된 소스 위치를 결정하도록 구성되고,
상기 전체 회절 경로의 제 1 회절 에지에서 시작하여, 상기 제 1 회절 에지로부터 상기 소스 위치까지의 경로 부분은 상기 제 1 회전 동작에서 회전되어 제 2 회절 에지로부터 또는 상기 전체 회절 경로가 상기 제 1 회절 에지만을 갖는 경우에는 상기 청취자 위치로부터 제 1 중간 회전된 소스 위치까지의 직선을 얻고, 여기서 상기 전체 회절 경로가 제 1 회절 에지만을 갖는 경우 상기 제 1 중간 회전된 소스 위치는 상기 회전된 소스 위치이고, 또는
상기 제 1 회전 동작의 결과는 제 2 회전 동작에서 상기 제 2 회절 에지 주위에서 회전되어 제 3 회절 에지로부터 또는 상기 전체 회절 경로가 상기 제 1 및 제 2 회절 에지만을 갖는 경우에는 상기 청취자 위치로부터 제 2 중간 회전된 소스 위치까지의 직선을 얻고, 여기서 상기 전체 회절 경로가 상기 제 1 및 제 2 회절 에지만을 갖는 경우 상기 제 2 중간 회전된 소스 위치는 상기 회전된 소스 위치이고,
하나 이상의 회전 동작은 상기 전체 회절 경로가 처리되고 상기 청취자 위치로부터 상기 획득된 회전된 소스 위치까지의 직선이 얻어질 때까지 추가로 수행되는,
장치.
오디오 소스 위치의 오디오 소스 및 복수의 회절 물체를 포함하는 오디오 장면(50)을 렌더링하는 방법으로서,
상기 복수의 회절 물체를 통해 복수의 중간 회절 경로(300, 400)를 제공하는 단계 - 중간 회절 경로는 상기 복수의 회절 물체의 시작 포인트와 출력 에지 및 상기 중간 회절 경로에 대한 연관된 필터 정보를 가짐 - 와,
청취자 위치에서 상기 오디오 소스를 렌더링하는 단계 - 상기 렌더링하는 단계는
상기 중간 회절 경로의 출력 에지 및 상기 청취자 위치에 기초하여, 상기 오디오 소스 위치로부터 상기 청취자 위치까지의 하나 이상의 유효한 중간 회절 경로를 결정(216)하는 단계,
상기 하나 이상의 유효한 중간 회절 경로 중 각각의 유효한 중간 회절 경로에 대해, 상기 유효한 중간 회절 경로의 연관된 필터 정보와 상기 유효한 중간 회절 경로의 출력 에지로부터 상기 청취자 위치까지의 오디오 신호 전파를 설명하는 필터 정보의 조합을 사용하여, 상기 하나 이상의 유효한 중간 회절 경로 중 유효한 중간 회절 경로에 대응하는, 상기 오디오 소스 위치로부터 상기 청취자 위치까지의 전체 회절 경로에 대한 필터 표현을 결정(218)하는 단계, 및
상기 오디오 소스와 연관된 오디오 신호 및 각각의 전체 회절 경로에 대한 필터 표현을 사용하여 상기 오디오 장면(50)에 대한 오디오 출력 신호를 계산(220)하는 단계를 포함함 - 를 포함하는,
방법.
컴퓨터 또는 프로세서에서 실행될 때 제19항의 방법을 수행하기 위한 컴퓨터 프로그램.