KR101588040B1 - 이동 애플리케이션을 위한 헤드 트래킹 - Google Patents

Abstract

본 발명에서는 사용자(100)의 움직임에 의존하여 기준 방향(310)에 대한 사용자(100)의 머리(100b)의 회전각(300)을 결정하는 헤드 트래킹 시스템(400)이 제안된다. 여기서, 사용자의 움직임은 장소, 위치, 또는, 예를 들어, 누워 있거나 안락 의자에 앉아 있는 것과 같은 자세의 변화들을 포함하는 움직임의 과정 또는 행동으로서 이해되어야 한다. 본 발명에 따른 헤드 트래킹 시스템은 머리 움직임을 나타내는 측정치(401)를 제공하기 위해 머리 움직임을 측정하기 위한 감지 디바이스(410), 및 측정치로부터 기준 방향에 대한 사용자의 머리의 회전각을 유도하기 위한 처리 회로(420)를 포함한다. 처리 회로(420)에서 사용되는 기준 방향(310)은 사용자의 움직임에 의존한다. 사용자의 움직임에 의존하여 기준 방향(310)을 구성하는 이점은, 머리(100b)의 회전각(300)을 결정하는 것이 환경과 무관하게, 즉, 환경에 대해 고정되어 있지 않는다는 것이다. 따라서, 사용자(100)가, 예를 들어, 분주하게 그의 신체 부위들을 움직일 때마다, 기준 방향이 이 움직임에 적응된다.

Description

이동 애플리케이션을 위한 헤드 트래킹{HEAD TRACKING FOR MOBILE APPLICATIONS}

본 발명은 헤드 트래킹 시스템에 관한 것이다. 본 발명은 또한 헤드 트래킹 방법에 관한 것이다. 또한, 본 발명은 오디오 재생 시스템에 관한 것이다.

일반적으로, 사운드의 헤드폰 재생은 사운드가 '머리 내에서' 자각되는 경험을 제공한다. 특정 거리 및 특정 방향에 위치되어 있는 사운드 소스들의 일루전(illusion)을 생성하는 다양한 가상 현실화 알고리즘들이 개발되어 있다. 일반적으로, 이들 알고리즘들은 인간의 귀에 대한 사운드 소스들(예를 들어, 스테레오 오디오의 경우에는 사용자 앞에 있는 2개의 라우드스피커들)의 전달 기능을 비슷하게 하기 위한 목적을 갖는다. 따라서, 가상 현실화는 또한 입체 음향 사운드 재생과 관련된다.

그러나, 단지 고정된 가상 현실화를 적용하는 것은 사실적인 머리-밖 일루전을 생성하기에는 충분하지 않다. 인간의 방향성 자각은 머리 움직임들에 매우 민감한 것으로 나타난다. 가상 사운드 소스들이 머리의 움직임들에 따라 이동하면, 고정된 가상 현실화의 경우에서와 같이, 머리-밖 경험은 상당히 저하된다. 자각된 사운드 필드 및 머리 위치 간의 관계가 고정된 사운드 소스 배치에서 예측된 것과 다르다면, 사운드 소스 위치 결정 일루전/자각은 크게 저하된다.

이 문제에 대한 해결책은, 예를 들어, 2001년 7월 29일 - 8월 1일, 핀란드 에스포, 청각 디스플레이에 관한 2001년 국제 컨퍼런스의 회보, P. Minnaar, S. K. Olesen, F. Christensen, H. Moller에 의한 'The importance of head movements for binaural room synthesis'에 제안되어 있는 것과 같은 헤드 트래킹을 적용하는 것으로, 여기서, 머리 움직임은 센서들에 의해 측정된다. 가상 현실화 알고리즘은, 가상 사운드 소스로부터 귀들로의 변화된 전달 기능을 고려하기 위해, 머리 위치에 따라서 적응된다.

P. Mackensen의 'Auditive Localization, Head movements, an additional cue in Localization', Von der Fakultat I - Geisteswissenschaften der Technischen Universitat Berlin에서 알 수 있는 바와 같이, 머리의 미세-움직임들이 가장 중요한 머리-밖 일루전에 대해서 공지되어 있다. 머리가 한쪽으로 기울어지는 것은 머리의 상하 움직임 및 앞뒤 흔들림(pitch and roll)보다 사운드 소스 위치 결정에 있어서 훨씬 더 중요하다. 종종 방위각이라고도 하는 옆으로 기울어짐은 머리의 중립 위치에 대해 규정된 방위이고, 머리의 회전과 관련된다.

오늘날, 예를 들어, 초음파 기술(예를 들어, BeyerDynamic HeadZone PRO headphones), 적외선 기술(예를 들어, NaturalPoint TrackIR plus TrackClip), 송신기들/수신기들, 자이로스코프들(예를 들어, 소니 MDR-IF8000/MFR-DS8000), 또는 다수의 센서들(예를 들어, Polhemus FASTRAK 6DOF)을 사용하는 다수의 헤드 트래킹 시스템들(주로 소비자 헤드폰들 또는 게임 애플리케이션들)을 이용할 수 있다. 일반적으로, 이들 헤드 트래킹 시스템들은, 환경에 대해 안정된(변함없는) 위치를 갖는(예를 들어, 적외선 비콘 또는 지구 자기장을 사용하는) 고정된 기준을 사용함으로써, 또는 한번 조정되면 (예를 들어, 고-정확도 자이로스코프들을 사용하여) 청취 세션 동안 크게 움직이지 않는 센서 기술을 사용함으로써, 환경에 대한 머리 위치를 결정한다.

그러나, 공지된 헤드 트래킹 시스템들은 사용자가 움직이는 이동 애플리케이션들에 대해서는 쉽게 사용될 수 없다. 이러한 응용들에 있어서, 위치 및 방위 기준을 획득하는 것은 일반적으로 어렵거나 불가능하며, 이는 환경이 주로 선험적으로 알려져 있지 않고 사용자의 제어 밖에 있기 때문이다.

본 발명의 목적은 이동 사용자가 사용할 수 있는 강화된 헤드 트래킹 시스템을 제공하는 것이다. 본 발명은 독립 청구항들에 의해 규정된다. 종속 청구항들은 유리한 실시예들을 규정한다.

본 발명에서 제안되는 헤드 트래킹 시스템은 사용자의 움직임에 의존하는 기준 방향에 대한 사용자의 머리의 회전각을 결정한다. 여기서, 사용자의 움직임은, 예를 들어, 누워있거나 안락 의자에 앉아있는 것과 같이 장소, 위치 또는 자세의 변화들을 포함한 움직임의 행동 또는 과정으로서 이해되어야 한다. 본 발명에 따른 헤드 트래킹 시스템은 머리 움직임을 나타내는 측정치를 제공하기 위해 머리 움직임을 측정하는 감지 디바이스, 및 측정치로부터 기준 방향에 대한 사용자의 머리의 회전각을 유도하기 위한 처리 회로를 포함한다. 처리 회로에서 사용되는 기준 방향은 사용자의 움직임에 의존한다.

사용자의 움직임에 의존하는 기준 방향을 만드는 것의 이점은 머리의 회전각을 결정하는 것이 환경과 무관하게, 즉, 환경에 고정되지 않는다는 것이다. 따라서, 사용자가, 예를 들어, 분주하게 그의 신체 부위들을 움직일 때마다, 기준 방향은 이 움직임에 적응된다. 이것은 약식으로 기준 방향이 사용자의 움직임에 따라 이동된다고 말할 수 있다. 예를 들어, 사용자가 걷거나 달리면서 잠시 왼쪽이나 오른쪽을 볼 때, 기준 방향은 변경되지 않아야 한다. 그러나, 걷거나 달리고 있는 사용자가 방향을 바꿀 때, 그의 신체는 (기울기에 대한) 위치의 변화를 겪게 되고, 이는 특히, 장시간 동안일 때, 기준 방향을 변화시켜야 한다. 이 속성은 헤드 트래킹 디바이스가 머리-밖 경험의 느낌을 유지하면서 사실적인 경험을 발생시키기 위한 헤드폰들을 포함하는 오디오 재생 디바이스와 함께 사용될 때 특히 중요하다. 본 발명은 가상 사운드 필드 방위가 환경에 고정되지는 않지만 사용자와 함께 달라질 수 있도록 한다. 사용자가, 예를 들어, 휴대용 매체 플레이어 또는 이동 전화에서 입체 음향 재생을 사용하는 다양한 이동 시나리오들에 있어서, 사용자의 움직임 동안 그것은 매우 바람직한 속성이다. 가상 사운드 소스로부터 귀들로의 전달 기능의 변화를 고려하기 위해서, 사운드 필드 가상 현실화는 머리 방위에 따라서 적응된다. 이동 애플리케이션들에 있어서, 사용자는 어떻든 간에 움직이기 때문에, 절대 머리 방위는 덜 관련된다. 따라서, 사운드 소스 이미지를 지면에 대해 고정시키는 것은 바람직하지 않다.

처리 회로는 또한 사용자의 움직임 동안 사용자의 머리의 평균 방향으로서 기준 방향을 결정하도록 구성된다. 사용자가, 예를 들어, 똑바로 앞을 보면서 머리를 조금 움직일 때, 이들 작은 머리 움직임들은 똑바로 앞을 보는 방향인 기준 방향에 대하여 정확하게 측정될 수 있다. 그러나, 예를 들어, 머리가 45도 만큼 왼쪽으로 회전하여 대체로 그 위치에서 머리를 유지할 때, 이 새로운 머리 위치에 대하여 작은 머리 움직임들을 측정하는 것이 중요하다. 따라서, 기준 방향으로서 머리의 평균 방향을 사용하는 것은, 헤드 트래킹이 (예를 들어, 단 몇 초 이상의 긴 특정 시간 기간 동안 옆을 보는) 장기간의 머리 움직임들 및/또는 (예를 들어, 자전거를 탈 때 방향을 바꾸는) 사용자의 이동 경로의 변경에 적응될 수 있기 때문에 유리하다. 연장된 시간 기간 동안 측정될 때, 대체로 머리의 방향은 일반적으로 사용자의 몸통의 방향에 대응할 것으로 예상된다. 이동 애플리케이션에서의 또 다른 이점은 헤드 트래킹 센서들, 특히, 가속도계들이 잡음과 관련된 드리프트 및 센서들의 비-선형성을 나타낸다는 것이다. 이것은 차례로 시간이 지남에 따라 에러들이 누적되는 결과를 가져오고, 가상 사운드 소스들의 성가신 정지 위치 바이어스를 유발한다. 그러나, 이 문제는, 제안된 헤드 트래킹이 이러한 누적되는 에러들에 매우 무감각하기 때문에, 본 발명을 사용할 때 극복된다.

또 다른 실시예에서, 감지 디바이스는 회전에 의해 야기되는 원심력에 기초한 측정치로서 사용자의 머리의 회전 각속도를 유도하기 위한 적어도 하나의 가속도계를 포함한다. 가속도계는 머리의 상부에 배치될 수 있거나, 또는, 2개의 가속도계들이 머리의 대향하는 측면들에서 사용될 때에는 바람직하게 귀들과 가깝게 배치될 수 있다. 요즘 가속도계들은 소비자 응용들에 있어서 비용 효율이 높은 제품이다. 또한, 예를 들어, 자이로스코프 센서들과 같은 다른 대안들에 비해 전력 소모가 적다.

또 다른 실시예에서, 처리 회로는 사용자의 머리의 각속도로부터 사용자의 머리의 평균 방향을 유도하도록 구성된다. 머리의 평균 방향은 시간 경과에 따른 각속도를 통합함으로써 얻어진다. 이렇게 하여, 평균 머리 방향은 사용자의 신체 방향의 추정치로서 취해진다. 이 실시예의 이점은 머리의 각 회전을 결정하기 위해 부가적인 센서들이 필요하지 않다는 것이다.

또 다른 실시예에서, 평균 방향은 미리 결정된 시간 기간에 걸친 회전각의 평균으로서 결정된다. 예를 들어, 평균 방향은 슬라이딩 타임 윈도우를 통해 얻을 수 있다. 이렇게 하여, 추정된 신체 방향을 나타내는 평균 머리 방위는 과거에 멀리 있던 신체 방향과 무관하게 되고, 따라서, 추정치가, 이동 등 동안 방향을 전환할 때 발생하는 것과 같은 사용자의 신체의 전향(re-direction)에 적응될 수 있도록 한다.

평균화는 적응적이다. 평균화는 미리 결정된 기간에 걸쳐 수행될 수 있다. 미리 결정된 긴 기간들 동안 작고 신속한 머리 움직임들에 대한 양호한 응답이 얻어졌지만, 이는 머리 전향에 대한 느린 적응을 유발한다는 것을 알게 되었다. 이것은 (예를 들어, 자전거를 타고 방향을 전환할 때) 이동 애플리케이션들에 대해 차선의 성능을 제공한다. 반대로, 미리 결정된 기간의 작은 값들에 대해서, 그것은 불안정한 사운드 이미징을 유발하기 때문에, 헤드 트래킹은 나쁜 응답을 제공한다. 따라서, 작은 전향들에 대해서 보다는 큰 전향들에 대해 헤드 트래킹 시스템의 더 빠른 적응을 사용하는 것이 유리하다. 따라서, 헤드 트래킹 시스템은 가상 현실화 경험에 차례로 사용되는 작은 머리 움직임들에 천천히 적응되고, 교통 운전 또는 중요하고 장기적인 머리 움직임들에 기인하는 전향에는 빠르게 적응된다.

또 다른 실시예에 있어서, 처리 회로는 또한 기준 방향으로서 사용자의 이동 동안 사용자 신체 몸통의 방향을 사용하도록 구성된다. 일반적으로, 정지된 청취 환경에서, 라우드스피커들은 이러한 장치의 중심(예를 들어, 물리적으로 중심에 있는 라우드스피커로 나타냄)이 사용자 신체의 앞에 있도록 배열된다. 사용자 신체 표현으로서 신체 몸통을 취함으로써, 입체 음향 재생 모드에서의 가상 사운드 소스들은 그들이 사용자 신체의 앞에 배열되는 것처럼 유사하게 배치될 수 있다. 이 실시예의 이점은 가상 사운드 소스 배치가 사용자 방향에만 의존하고, 환경에는 의존하지 않는다는 것이다. 이것은 사용자와는 분리된 기준점들을 가져야 하는 필요성을 제거한다. 또한, 본 실시예는 환경이 끊임없이 변하는 이동 애플리케이션들에 대해 매우 편리하다.

또 다른 실시예에 있어서, 사용자 신체 몸통의 방향은 인체 몸통에 위치된 기준점의 전방 신체 방향으로서 결정된다. 예를 들어, 기준점은 흉골의 중심 또는 명치에서 선택될 수 있다. 이 실시예의 이점은, 기준점이 몸통 방위에 대해 안정적인 방향을 갖는 지점에서 선택되고, 따라서, 기준 방향을 교정할 필요성을 줄여준다는 것이다.

또 다른 실시예에 있어서, 감지 디바이스는 기준점에 부착된 자기 송신기 및 자기 송신기에 의해 전송되는 자기장을 수신하기 위해 사용자의 머리에 부착된 자기 센서를 포함한다. 자기장을 전송하고 수신된 자기장 세기를 측정함으로써, 머리의 방위는 부가적인 물리적 또는 기계적 수단의 필요없이 무선 및 두드러지지 않는 방식으로 유리하게 측정될 수 있다.

또 다른 실시예에서, 자기 송신기는 가로 방향 평면에 배치된 2개의 직교 코일들을 포함하고, 2개의 직교 코일들 각각의 자기장은 상이한 변조 주파수들로 변조된다. 바람직하게, 제 1 코일은 왼쪽-오른쪽 방향으로 배치되고, 제 2 코일은 전방-후방 방향으로 배치된다. 이러한 방식으로, 상이한 방향들을 갖는 2개의 자기장들이 생성되고, 이는 자기 센서로 하여금, 예를 들어, 절대 장 세기들(field strengths)에 응답하는 대신 관찰된 장 세기들 간의 비율들에 의해 2개의 코일들에 대한 방위를 식별할 수 있도록 한다. 따라서, 이 방법은, 예를 들어, 송신기까지의 거리를 변화시킴으로써 유발될 수 있기 때문에 절대 장 세기 변동들보다 더욱 강건해지게 된다.

상이한 변조 주파수들로 변조된 2개의 직교 코일들의 자기장들을 갖는 것은, 기둥들, 체어들, 트레인 코치 구성들 등과 같은 인접한 강자성 재료들, 또는, 예를 들어, 자기 송신기나 자기 센서를 덮는 덮개와 같은 투과성 재료들로 인해, 기준 자기장의 고정 왜곡들을 억제하는데 특히 유리하다. 자기장은 비교적 높은 주파수로, 바람직하게는 20 내지 30㎑의 주파수 범위에서 변조될 수 있고, 따라서, 상술된 외부 영향들에 기인하는 느린 변화들과 같이 이 주파수 대역 밖에서의 변동들이 억제된다. 본 실시예의 부가적인 이점은, 자기 송신기의 2개의 코일들 모두에 대해 상이한 변조 주파수들을 선택함으로써, 및 자기 센서에서 수신된 자기장에 관한 이들 주파수들에 대한 선택적인 필터링을 사용함으로써, 단일 코일을 포함하는 자기 센서에 대해 2차원으로 머리 방향을 감지하는 것이 가능하다는 것이다.

또 다른 실시예에서, 자기 센서는 코일을 포함하고, 코일은 사용자의 머리의 미리 결정된 방향에 배치된다. 이것은 코일의 편리한 방향이고, 이는 회전각의 계산을 간소화하기 때문이다.

또 다른 실시예에서, 처리 회로는 측정치로서 자기 센서에 의해 수신된 자기장으로부터 사용자의 머리의 회전각을 유도하도록 구성된다.

본 발명의 또 다른 양태에 따르면, 헤드 트래킹 방법이 제공된다. 상술된 특징들, 이점들, 언급들 등은 본 발명의 이 양태에 동일하게 적용될 수 있다는 것이 인식되어야 한다.

본 발명은 또한 본 발명에 따른 헤드 트래킹 시스템을 포함하는 오디오 재생 시스템을 제공한다.

본 발명의 이들 및 다른 양태들, 특징들 및 이점들은 이하 설명되는 실시예(들)로부터 명백해질 것이며 이들을 참조하여 설명될 것이다.

도 1은 머리 회전을 도시하는 도면.
도 2는 기준 방향에 대한 사용자의 머리의 회전각을 도시하는 도면.
도 3은 사용자의 움직임에 의존하는 기준 방향에 대한 사용자의 머리의 회전각을 도시하는 도면.
도 4는 감지 디바이스 및 처리 회로를 포함하는 본 발명에 따른 헤드 트래킹 시스템의 예를 개략적으로 도시하는 도면.
도 5는 회전에 기인하는 원심력에 기초한 머리 회전의 각속도를 유도하기 위한 적어도 하나의 가속도계를 포함하는 감지 디바이스의 예를 도시하는 도면.
도 6은 단일 코일을 포함하는 자기 송신기 및 자기 송신기에 의해 전송되는 자기장을 수신하기 위한 자기 센서를 포함하는 감지 디바이스의 예를 도시하는 도면.
도 7은 2개의 코일들을 포함하는 자기 송신기 및 자기 송신기에 의해 전송된 자기장을 수신하기 위한 자기 센서를 포함하는 감지 디바이스의 예를 도시하는 도면.
도 8은 본 발명에 따른 헤드 트래킹 시스템을 포함하는 오디오 재생 시스템의 예시적인 아키텍처를 도시하는 도면.
도 9는 본 발명에 따른 헤드 트래킹 시스템을 포함하는 오디오 재생 시스템의 예시적인 아키텍처의 실제 실현을 도시하는 도면.

본 발명은 사실적인 머리-밖 일루전을 발생시키기 위해 헤드폰 재생에 적용하기에 적합한 헤드 트래킹과 관련된다.

도 1은 머리 회전을 도시한다. 사용자 신체(100)는 신체 몸통(100a) 및 머리(100b)로 도시되어 있다. 축(210)은 머리 회전축이다. 회전은 화살표(200)로 도시되어 있다.

도 2는 기준 방향(310)에 대한 사용자의 머리(100b)의 회전각(300)을 도시한다. 상부에서 본 사용자(100)의 뷰가 도시되어 있다. 방향(310)은 신체 몸통(100a)의 전방 방향이 되고, 또한 머리(100b)의 중립 방향이 된다. 전방 신체 방향은, 사용자 어깨가 기준이 되고 사용자 얼굴이 향하고 있는 방향을 향하는 방향으로서 결정된다. 이 전방 신체 방향은 사용자 신체의 위치가, 예를 들어, 사용자가 누워 있거나 또는 안락 의자에 절반쯤은 누워있고 절반쯤은 앉아있는지에 따라서 결정된다. 이 명세서의 나머지 부분에서는 기준 방향의 상기 규정이 사용된다. 그러나, 사용자의 신체 부위들과 관련된 기준 방향의 다른 선택들 또한 사용될 수 있다. 방향(310)은 회전각(300)을 결정하기 위한 기준 방향이다. 기준 방향은 사용자(100)의 움직임에 의존한다.

도 3은 기준 방향(310)에 대한 사용자의 머리(100b)의 회전각(300)을 도시하며, 기준 방향(310)은 사용자의 움직임(330)에 의존한다. 사용자 신체는 위치 A에서 위치 B로의 궤적(330)을 따라 움직인다. 사용자 움직임 동안, 사용자의 기준 방향(310)은 310과는 다른 새로운 기준 방향(310a)으로 변경된다. 위치 A에서의 회전각은 기준 방향(310)에 대해 결정된다. 위치 B에서의 회전각은, 신체 몸통(100a)의 전방 방향이 절대적으로 방향(310)과는 다를 때와 동일한 방식으로 결정되긴 하지만, 새로운 기준 방향(310a)에 대해 결정된다.

도 4는 감지 디바이스(410) 및 처리 회로(420)를 포함하는 본 발명에 따른 헤드 트래킹 시스템(400)의 예를 개략적으로 도시한다. 감지 디바이스(410)는 머리 움직임을 측정하여 머리 움직임을 나타내는 측정치(401)를 처리 회로(420)에 제공한다. 처리 회로(420)는 감지 디바이스(410)로부터 획득한 측정치(401)로부터 기준 방향(310)에 대한 사용자(100)의 머리(100b)의 회전각(300)을 유도한다. 처리 회로(420)에서 사용되는 기준 방향(310)은 사용자(100)의 움직임에 의존한다.

감지 디바이스(410)는, 예를 들어, 가속도계들, 자기 센서들 또는 자이로스코프 센서들과 같은 공지된 센서 소자들을 사용하여 실현될 수도 있다. 이들 상이한 종류들의 센서 소자들 각각은, 상이한 물리량들로서 표현되는, 특히 회전에 있어서, 움직임의 측정치(401)를 제공한다. 예를 들어, 가속도계는 회전 각속도를 제공하는 반면, 자기 센서는 회전의 측정치로서 자기장의 세기를 제공한다. 이러한 측정치들은 결과적으로 머리 회전각(300)을 발생시키기 위해 처리 회로에 의해 처리된다. 헤드 트래킹 시스템의 도면으로부터, 이 시스템 자체가 포함되고, 사용자가 현재 존재하는 환경과 연관된 어떠한 부가적인(외부적인, 여기서는 사용자와 떨어져 있는 것으로서 이해됨) 기준 정보도 요구되지 않는다는 것이 명백하다. 회전각(300)을 결정하기 위해 요구되는 기준 방향(310)은 측정치(401)로부터 유도되거나, 또는 사용되는 감지 디바이스(410)에 고유하다. 이것은 이어지는 실시예들에서 더 상세히 설명될 것이다.

일 실시예에 있어서, 처리 회로(420)는 또한 사용자의 움직임 동안 사용자의 머리의 평균 방향으로서 기준 방향을 결정하도록 구성된다. 사운드 소스 가상 현실화 목적의 관점에서, 예를 들어, 똑바로 전방을 바라보는 것과 같이, 머리(100b)의 평균 방향 부근에서 작은 움직임들이 있을 때, 사운드 소스 가상 현실화가 사용자의 머리 움직임을 보상하기 위해 움직임에 대한 반대 방향으로 사운드 소스들을 이동시킬 동안 환경에 대해 사운드 소스들은 고정 위치에서 유지된다. 그러나, 예를 들어, 45도만큼 왼쪽으로 머리(100b)를 회전시키고 미리 결정된 시간 상수보다 상당히 길게 새로운 방향으로 머리를 유지하는 것과 같이, 머리(100b)의 평균 방향이 변경될 때, 가상 사운드 소스들은 머리의 새로운 평균 방향을 따라 조정될 것이다. 언급된 미리 결정된 시간 상수는 인간 자각이 평균 사운드 소스 방위에 맞춰질 수 있도록 하는 한편, 여전히 헤드 트래킹이 (예를 들어, 수초 이상 옆을 보는) 장기간의 머리 움직임들 및/또는 (예를 들어, 자전거를 타는 동안 방향을 바꾸는) 이동 경로의 변경에 적응되도록 한다.

도 5는 회전(300)에 의해 야기된 원심력에 기초하여 머리 회전(200)의 각속도를 유도하기 위한 적어도 하나의 가속도계를 포함하는 감지 디바이스의 예를 도시한다. 상부에서 본 머리(100b)의 뷰가 도시되어 있다. 실제 머리 방향은 310으로 표시되어 있다. 가속도계들은 소자들(410, 420)로 도시되어 있다. 회전에 의해 야기되는, 밖으로 향하는 가속으로부터 유도되는, 원심력은 각각 510 및 520으로 도시되어 있다.

머리 회전의 각속도가 회전에 의해 야기된 원심력으로부터 어떻게 유도되는 지에 관한 설명은, 예를 들어, Philips Applied Technologies University of Applied Sciences Duisseldorf and Philips Research Department of Media, 2007년 9월 24일, Development of a head-tracking solution based on accelerometers for MPEG Surround, Marcel Knuth의 미디어 엔지니어링의 논문에서 발견할 수 있다. 머리 회전의 각속도는 측정치(401)로서 처리 수단(420)에 제공된다.

도 5에 도시된 예는 2개의 가속도계들을 도시하고 있지만, 대안적으로는 단 하나의 가속도계, 즉, 가속도계(410) 또는 가속도계(420) 중 어느 하나가 사용될 수 있다.

또 다른 실시예에서, 처리 회로는 사용자의 머리(100b)의 각속도로부터 사용자의 머리(100b)의 평균 방향을 유도하도록 구성된다. 머리 회전의 각도(300)는 각속도를 통합함으로써 얻어진다. 감지 디바이스(410)에서 이용 가능한 원심력의 크기는 회전 방향과는 무관하다. 머리(100b)가 왼쪽에서 오른쪽으로 회전하는지 또는 오른쪽에서 왼쪽으로 회전하는지를 결정하기 위해서, 하나 또는 2개의 센서들의 앞-뒤 방향에서의 가속 신호 성분의 기호가 사용될 수도 있다. 이러한 경우에, 이 부가적인 기호 정보는 감지 디바이스(410)로부터 처리 회로(420)로 전달되어야 한다.

이어서, 고역-통과 필터를 머리 회전각(300)에 적용하여, 본원에서 종종 평균 회전으로 언급되는 평균 회전에 대한 머리 회전각의 변동들이 얻어진다. 평균 회전은 회전각(300)을 결정하기 위한 기준 방향(310)으로서 고려된다. 고역-통과 필터에 대한 일반적인 시간 상수는 대략 수 초이다.

대안적으로, 평균 회전에 대한 머리 회전각(300)의 변동들은 저역-통과 필터링을 사용하여 얻어질 수 있다. 이 경우에, 실제 회전각(O(t)_actual)에 적용된 저역-통과 필터링(LPF())을 사용하여 제 1 평균 방향, 즉, 기준 방향(310)이 계산되고, 이어서, 회전각(300)과 연관된 상대 방향을 결정하기 위해 실제 및 평균 방향의 차이가 계산된다:

O(t)_relative = O(t)_actual - O(t)_mean, 여기서, O(t)_mean = LPF(O(t)_actual)

선형 저역-통과 필터들을 사용할 때, 이 2-단계 접근법은 고역-통과 필터링과 동등하다. 그러나, 저역-통과 필터링을 사용하면, 제 1 단계에서의 평균 방향의, 적응적 필터링 또는 이력 현상과 같이 비-선형 결정을 가능하게 하는 이점이 있다.

또 다른 실시예에서, 평균 방향, 그에 따른 기준 방향(310)이 미리 결정된 시간 기간에 걸쳐 회전각(300)의 평균으로서 결정된다. 이어서, 평균 방향은 다음 식에 따라서 과거 T 초에 걸친 방향의 평균을 취함으로써 결정된다:

상기 제시된 평균화는 직사각 FIR 저역-통과 필터로서 여겨질 수 있다는 것을 유념해야 한다. T에 대해 다양한 값들이 사용될 수 있지만, 바람직하게는 1 내지 10초의 범위에 있다. T의 큰 값들은 작고 신속한 움직임들에 대한 양호한 응답을 제공하지만, 그 값들은 또한 전향들에 대해서는 느린 적응을 유발한다. 이것은 (예를 들어, 자전거를 타면서 방향을 바꾸는 동안) 이동 상황들에서 차선으로 작동한다. 반대로, 헤드폰 재생과 함께 T의 작은 값들은 작은 머리 움직임들에서 조차도 불안정한 이미징을 유발한다.

또 다른 실시예에 있어서, 평균화는 적응적이다. 이것은 작은 전향들에 대해서보다 빠르게 큰 전향들, 즉, 큰 회전각들에 적응시키기에 유리하다. 이 적응성은 평균화 시간(T_a)을 적응적으로 함으로써 실현된다. 이것은 다음 식에 따라 행해질 수 있다.

상대 방향비(R)는 범위 [0, 1]에서 그 값들을 취한다. 상대 방향비(R)는 상대 방향이 주어진 회전각(O_max)과 동일하거나 초과하면 1의 최대값을 갖는다. 이 경우에, 평균화 시간(T_a)은 값 T_min을 갖는다. 이것은 결과적으로 큰 순간 상대 전향들에 대한 빠른 적응을 발생시킨다. 반대로, 작은 순간 상대 전향들에서는 시간 상수(T_max)를 갖는 느린 적응이 발생한다. 적응 파라미터들인 T_min, T_max 및 O_max에 대한 예시적인 설정들은 다음과 같다:

T_min = 3s

T_max = 10s

O_max = 60°

이들 파라미터 값들은 적응 속도 행동에 관하여, 또한 (가상으로) 자동차 또는 자전거로 이동하는데 있어서 잘 작동한다. 불행히도, 상술된 적응적 평균화는, 머리 방향이 더 과거에 상당히 변화하고 최근에는 단지 아주 조금만 변화하는 경우에 불안정하게 될 수도 있다. 그러한 경우에, 평균화 시간 상수는 최소값(T_min)과 최대값(T_max) 사이에서 변동된다. 안정성 문제를 극복하기 위해서, FIR 필터가 적응형 IIR 저역-통과 필터로 대체될 수도 있으며, 이는 다음 적응을 유발한다:

여기서, (평균화 필터들에서와 같이, 시간 상수보다) 컷오프 주파수(f_c)는 상대 방향비(R)에 따라 최소값(f_{c , min})과 최대값(f_{c , max}) 사이에서 선형으로 보간된다.

적응 파라미터들인 f_{c , min}, f_{c , max} 및 O_max에 대한 예시적인 설정들은 다음과 같다:

f_{c , min} = 1/30㎐

f_{c , max} = 1/8㎐

O_max = 90도

상기 파라미터들은 고정 값들을 갖지만, 또한 이들 파라미터 값들은 자동차/기차/자전거로 이동하고, 걷고, 집에 앉아 있는 것 등과 같은 실생활 상황들에 더욱 맞춰지도록 하기 위해서 시간에 따라 변경될 수 있도록 하는 것도 가능하다.

또 다른 실시예에 있어서, 처리 회로(420)는 또한 사용자(100)의 움직임 동안 기준 방향(310)으로서 사용자 신체 몸통(100a)의 방향을 사용하도록 구성된다. 이동 애플리케이션들에 있어서, 사용자는 어차피 이동할 것이기 때문에, 절대 머리 방위는 덜 관련되는 것으로 고려된다. 따라서, 기준 방향으로서 신체 몸통이 향하는 전방 방향을 취하는 것이 유리하다.

또 다른 실시예에 있어서, 사용자 신체 몸통(100a)의 방향은 신체 몸통에 위치된 기준점의 전방 신체 방향으로서 결정된다. 이러한 기준점은 바람직하게 대체로 신체 몸통 방향을 나타내어야 한다. 이것은, 예를 들어, 흉골 또는 명치 위치일 수 있고, 이는 사용자(100)가 움직일 때 옆으로 또는 위-아래로의 아주 적은 움직임들 또는 움직임들이 없는 것을 나타낸다. 그 자체의 기준 방향을 제공하는 것은, 예를 들어, 비교적 안정된 신체 몸통(100a)의 알려진 위치에 있는 명시적인 기준 디바이스를 사용함으로써 실현될 수 있다. 예를 들어, 벨트 위의 클립-온 디바이스일 수 있다.

도 6은 자기 송신기(600) 및 자기 송신기(600)에 의해 전송되는 자기장을 수신하기 위한 자기 센서(630)를 포함하는 감지 디바이스(410)의 예를 도시하고, 자기 송신기는 단일 코일(610)을 포함한다. 기준 방향은 신체 몸통(100a) 상의 기준점에 위치되는 자기 송신기(610)에 의해 제공된다. 자기 센서(630)는 머리(100b)에 부착된다. 머리(100b)의 회전에 의존하여, 자기 센서(630)에 의해 수신된 자기장은 그에 따라 변화한다. 자기 센서(630)에 의해 수신된 자기장은 처리 회로(420)에 제공되는 측정치(401)이고, 여기서, 회전각(300)은 측정치(401)로부터 유도된다.

장 세기로부터, 회전각(300)은 다음과 같이 결정될 수 있다. 축(210)에서, 송신기 코일과 비교하여 비교적 큰 거리에서, 송신된 장의 자기장 길이들은 대략 균일하게 분포되고, 송신기 코일의 방위에 평행하게 이루어진다. 자기 센서(630)에 포함된 수신기 코일이 소정의 거리에서 송신기 코일에 평행하도록 배열될 때, 수신된 장 세기는 네트 값(B₀)과 동일하다. 수신기 코일이 각도 α 이상에서 회전할 때, 수신된 장 세기 B(α)는 다음과 같이 된다:

B(α) = B₀ sin(α)

그리고, 머리 회전각은 다음과 같이 수신된 장 세기로부터 유도될 수 있다:

α = arcsin(B(α)/B₀)

arcsin 함수는 장 세기를 각도 [-90°, 90°]에 매핑한다는 것을 유념해야 한다. 그러나, 본래 머리 회전각은 또한 180°의 범위로 한정된다(가장 왼쪽에서 가장 오른쪽까지). 송신기 코일을 왼쪽-오른쪽으로 또는 그 반대로 배열함으로써, 머리 회전은 전체 180° 범위에 걸쳐 분명히 트래킹될 수 있다.

도 7은 자기 송신기(600) 및 자기 송신기(600)에 의해 전송되는 자기장을 수신하기 위한 자기 센서(630)를 포함하는 감지 디바이스의 예를 도시하고, 자기 송신기는 2개의 코일들(610, 620)을 포함한다. 이들 2개의 코일들(610, 620)은 직교하여 배열되고, 제 1 코일(610)은 왼쪽-오른쪽 방향으로 놓이고, 제 2 코일(620)은 전방-후방 방향으로 놓인다. 2개의 직교 코일들 각각에 의해 생성된 자기장은 상이한 변조 주파수들로 변조된다. 자기 센서에서 이들 주파수들(일반적으로는, 예를 들어, 20 내지 40㎑)에 대한 선택적인 필터링과의 조합은, 다음과 같이, 자기 센서에서 단 하나의 코일로 두 방향들에서의 방위를 감지하는 것을 가능하게 한다. 수신된 장은 2개의 성분들, 즉, 2개의 송신기 코일들(610, 620) 각각으로부터의 성분의 합으로 이루어진다:

B(α,t) = B_0,610(t).sin(α) + B_0,620(t).cos(α)

필터링에 의해 두 성분들은 분리될 수 있고, 그들의 피크 값들의 비율(R)은 다음과 같이 결정될 수 있다:

R = B_{0,610, peak} sin(α)/B_{0,620, peak} cos(α)

두 송신된 자기장 성분들이 송신기에서 동일한 세기를 갖고, 그에 따라서, 수신기에서 동일한 피크 세기를 갖는 것(B_{0,610, peak} = B_{0,620, peak})을 보장함으로써, 이것은 다음과 같이 간략화될 수 있고:

R = sin(α)/cos(α) = tan(α)

머리 회전각은 다음과 같이 수신된 장 피크 세기들의 비율(R)로부터 유도될 수 있다:

α = arctan(R)

이 실시예에 있어서, 머리 회전각은, 절대 장 세기에 의존하는 상술된 단일-송신기 코일 실시예와 비교하여, 예를 들어, 송신기와 수신기 코일들 간의 거리를 변화시킴으로써 발생하는 절대 장 세기와 무관하다는 것을 유념해야 한다.

측정치(401)는 코일들(610, 620)로부터 수신된 자기장을 포함한다는 것이 명백해야 한다. 대안적으로, 이들 두 장들이 동일한 전송 세기를 가질 때, 비율(R)은 처리 회로(420)에 제공될 수 있다. 자기 센서(630)에 의해 수신된 자기장들 또는 비율(R) 중 어느 하나로부터 회전 각을 유도하는 것은 처리 회로(420)에서 수행된다.

대안적으로, 자기 송신기 및 자기 센서에 3D 가속도계들이 사용될 수 있고, 하나의 3D 가속도계는 기준점에 배치되고 제 2 가속도계는 사용자 머리에 부착된다. 두 가속도계들의 측정치들의 차이는 회전각을 계산하기 위해 사용될 수 있다.

도 8은 본 발명에 따른 헤드 트래킹 시스템(400)을 포함하는 오디오 재생 시스템(700)의 예시적인 아키텍처를 도시한다. 머리 회전각(300)은 헤드 트래킹 시스템(400)에서 얻어져 렌더링 처리기(720)에 제공된다. 렌더링 처리기(720)는 또한 헤드폰(710)에서 재생될 오디오(701)를 수신한다.

오디오 재생 시스템(700)은 사실적인 머리-밖 일루전을 제공하는 헤드폰(710)을 통해 오디오 장면 재생을 실현한다. 렌더링 처리기(720)는 오디오(701)와 연관된 오디오 장면이 머리의 회전각과 반대인 각도로 회전되도록 오디오를 렌더링한다. 오디오 장면은 오디오(701)에 포함된 사운드 소스들의 가상 위치로서 이해되어야 한다. 어떠한 추가적인 처리 없이, 헤드폰(710)에서 재생된 오디오 장면은 머리(100b)의 움직임에 따라 이동되고, 이는 그 오디오 장면이 머리(100b)와 함께 움직이는 헤드폰과 연관되기 때문이다. 오디오 장면 재생을 보다 사실적으로 만들기 위해서, 오디오 소스들은 헤드폰과 함께 머리가 회전할 때 변경되지 않는 가상 위치들에서 유지되어야 한다. 이 효과는 머리(100b)의 회전각과 반대인 각도로 오디오 장면을 회전시킴으로써 달성되고, 이는 렌더링 처리기(720)에 의해 수행된다.

회전각은 기준 방향에 대해 결정되는 본 발명에 따르고, 기준 방향은 사용자의 움직임에 의존한다. 이것은, 기준 방향이 사용자의 움직임 동안의 사용자의 머리의 평균 방향인 경우에, 오디오 장면이 이 기준 방향을 중심으로 렌더링된다는 것을 의미한다. 기준 방향이 사용자의 움직임 동안의 사용자 신체 몸통의 방향인 경우에, 오디오 장면은 이 기준 방향을 중심으로 렌더링되고, 따라서, 몸통 위치에 고정된다.

통상적인 멀티-채널 오디오 신호의 입체 음향 렌더링은 HRTF 임펄스 응답들에 의해 멀티-채널 오디오 신호의 콘볼루션에 의해 수행된다:

여기서,

및

는 각각 각도

에 대한 왼쪽 및 오른쪽 HRTF 임펄스 응답들을 나타내고,

는 각도

에 대응하는 멀티-채널 오디오 신호 성분을 나타내고, 여기서, K는 임펄스 응답들의 길이를 나타낸다. 입체 음향 출력 신호는 각각 왼쪽 및 오른쪽 신호들(l[n], r[n])로 기술된다. 일반적인 멀티-채널 셋업에 있어서, 각도들(

)의 세트는 각각 왼쪽 전방, 중앙, 오른쪽 전방, 왼쪽 가장자리 및 오른쪽 가상 가장자리 스피커들에 대한 시계 방향 각도 표현을 사용하여

∈[-30,0,30,-110,110]으로 이루어진다.

헤드 트래킹을 사용하는 경우에, 부가적인 시간-가변적인 오프셋 각도가 다음과 같이 적용될 수 있다:

여기서, δ[n]은, 시계방향 각도 표현을 사용하는 본 발명에 따른 헤드 트래킹 시스템에 의해 결정되는 것과 같이, 회전각(O(t)_relative)에 대응하는 (헤드 트래킹) 오프셋 각도이다. 회전각에 반대인 각도는 본원에서 회전각(δ[n]) 앞에 "-" 부호로 표현된다. 따라서, 수정된 사운드 소스 장면을 포함하는 수정된 오디오(702)가 헤드폰(710)에 제공된다.

도 9는 본 발명에 따른 헤드 트래킹 시스템(400)을 포함하는 오디오 재생 시스템(700)의 예시적인 아키텍처의 실제 실현을 도시한다. 헤드 트래킹 시스템은 헤드폰(710)에 부착된다. 헤드 트래킹 시스템(400)에 의해 얻어진 회전각(300)은, 회전각(300)에 의존하여 오디오 장면을 회전시키는 렌더링 처리기(720)에 전달된다. 수정된 오디오 장면(702)은 헤드폰(710)에 제공된다.

헤드 트래킹 시스템은 헤드폰과 적어도 부분적으로 통합되는 것이 바람직하다. 예를 들어, 가속도계는 헤드폰의 이어 컵들 중 하나에 통합될 수 있다. 자기 센서는 또한 헤드폰 자체에, 이어 컵들 중 어느 하나에, 또는 이어 컵들을 연결하는 브리지에 통합될 수 있다.

렌더링 처리기는 사용자가 이동할 때 휴대하는 휴대용 오디오 재생 디바이스에, 또는 무선 헤드폰 자체에 통합될 수도 있다.

본 발명은 몇몇 실시예들과 함께 기술되었지만, 본원에 제시된 특정 형태로 제한되는 것은 아니다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 또한, 특징은 특정 실시예들과 함께 기술되는 것으로 나타날 수도 있지만, 당업자들은 기술된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수도 있다는 것을 인식할 것이다. 청구항들에서, 용어 "포함하는"은 다른 요소들이나 단계들의 존재를 배제하는 것은 아니다.

또한, 개별적으로 열거되었더라도, 복수의 회로, 요소들 또는 방법 단계들은, 예를 들어, 단일 유닛 또는 처리기에 의해 구현될 수도 있다. 또한, 개별 특징들이 상이한 청구항들에 포함될 수도 있지만, 이들은 유리하게 조합되는 것이 가능할 수도 있고, 상이한 청구항들에 포함되는 것은 특징들의 조합이 가능하고 및/또는 유리하지 않다는 것을 의미하는 것은 아니다. 또한, 청구항들의 하나의 카테고리에 특징을 포함하는 것은 이 카테고리로 제한되는 것을 의미하는 것이 아니라, 오히려 그 특징이 적절하게 다른 청구항 카테고리들에 동일하게 적용될 수 있다는 것을 나타낸다. 또한, 단수 표현들은 복수 표현을 배제하는 것은 아니다. 따라서, "한", "하나의", "제 1", "제 2" 등의 표현들은 복수를 배제하는 것은 아니다. 청구항들에서의 참조 부호들은 단지 명백하게 하는 예로서 제공되고, 어떻든 청구항들의 범위를 제한하는 것으로서 해석되어서는 안된다. 본 발명은 여러 개의 별개의 요소들을 포함하는 하드웨어의 회로에 의해 및 적절히 프로그램된 또는 다른 프로그램 가능한 디바이스의 회로에 의해 구현될 수 있다.

300 : 회전각 400 : 헤드 트래킹 시스템
401 : 측정치 410 : 감지 디바이스
420 : 처리 회로

Claims (15)

1. 헤드 트래킹 시스템(head tracking system; 400)에 있어서:
   헤드 움직임을 나타내는 측정치(401)를 제공하기 위해 헤드 움직임을 측정하기 위한 감지 디바이스(410), 및
   상기 측정치(401)로부터 기준 방향(310)에 대한 사용자(100)의 헤드(100b)의 회전각(300)을 유도하기 위한 처리 회로(420)로서, 상기 처리 회로(420)에서 사용되는 상기 기준 방향(310)은 사용자(100)의 움직임에 의존하고, 상기 처리 회로(420)는 또한 상기 사용자(100)의 상기 움직임 동안 상기 사용자의 상기 헤드(100b)의 평균 방향으로 상기 기준 방향(310)을 결정하도록 구성되는, 상기 처리 회로(420)를 포함하고,
   상기 사용자의 상기 헤드 방향의 평균화(averaging)는 적응적이고 작은 전향들(re-directions)에 대해서 보다는 큰 전향들에 대해 더 빠르게 적응하고,
   상기 평균화는 다음 식에 따라 행해질 수 있고:
   

   

   
   상대 방향비(R)는 범위 [0, 1]에서 그 값들을 취하고, T_a는 평균화 시간이고, 상기 상대 방향비(R)는 상대 방향이 주어진 회전각(O_max)과 동일하거나 초과하면 1의 최대값을 갖는 것을 특징으로 하는, 헤드 트래킹 시스템(400).
2. 제 1 항에 있어서,
   상기 감지 디바이스(410)는 상기 회전에 의해 야기된 원심력에 기초하여 상기 측정치(401)로 상기 사용자의 상기 헤드(100b)의 회전의 각속도를 유도하기 위한 적어도 하나의 가속도계(410a, 410b)를 포함하는, 헤드 트래킹 시스템(400).
3. 제 2 항에 있어서,
   상기 처리 회로(420)는 상기 사용자의 상기 헤드의 상기 각속도로부터 상기 사용자의 상기 헤드의 평균 방향을 유도하도록 구성되는, 헤드 트래킹 시스템(400).
4. 제 3 항에 있어서,
   상기 평균 방향은 미리 결정된 시간 기간에 걸친 상기 회전각의 평균으로서 결정되는, 헤드 트래킹 시스템(400).
5. 헤드 트래킹 방법에 있어서:
   헤드 움직임을 나타내는 측정치(401)를 제공하기 위해 헤드 움직임을 측정하는 단계, 및
   상기 측정치(401)로부터 기준 방향(310)에 대한 사용자(100)의 헤드(100b)의 회전각(300)을 유도하는 단계를 포함하고,
   상기 유도하는 단계에서 사용되는 상기 기준 방향은 사용자(100)의 움직임에 의존하고, 상기 기준 방향(310)은 사용자(100)의 상기 움직임 동안 상기 사용자의 상기 헤드(100b)의 평균 방향으로서 결정되고,
   상기 사용자의 상기 헤드 방향의 평균화(averaging)는 적응적이고 작은 전향들(re-directions)에 대해서 보다는 큰 전향들에 대해 더 빠르게 적응하고,
   상기 평균화는 다음 식에 따라 행해질 수 있고:
   

   

   
   상대 방향비(R)는 범위 [0, 1]에서 그 값들을 취하고, T_a는 평균화 시간이고, 상기 상대 방향비(R)는 상대 방향이 주어진 회전각(O_max)과 동일하거나 초과하면 1의 최대값을 갖는 것을 특징으로 하는, 헤드 트래킹 방법.
6. 오디오 장면을 재생하기 위한 헤드폰(710) 및 재생될 상기 오디오 장면을 렌더링하기 위한 렌더링 처리기(720)를 포함하는 헤드폰을 통해 오디오 장면을 재생하기 위한 오디오 재생 시스템(700)에 있어서,
   상기 오디오 재생 시스템은 사용자(100)의 헤드(100b)의 회전각(300)을 결정하기 위해 제 1 항 내지 제 4 항 중 어느 한 항에 따른 헤드 트래킹 시스템(400)을 더 포함하고, 상기 렌더링 처리기(720)는 상기 오디오 장면을 상기 회전각(300)과 반대인 각도로 회전되도록 하는 것을 특징으로 하는, 오디오 재생 시스템(700).
7. 제 6 항에 있어서,
   상기 헤드 트래킹 시스템(400)은 상기 헤드폰과 적어도 부분적으로 통합되는, 오디오 재생 시스템(700).
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images