KR20230065296A - 햅틱 장면 표현 포맷 - Google Patents

Abstract

햅틱 렌더링 디바이스 및 대응하는 방법은, 적어도 하나의 햅틱 채널에 대해, 기하학적 모델을 나타내는 정보, 및 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보를 포함하는 메타데이터에 의해 설명된 햅틱 효과를 렌더링하는 것을 허용하고, 연관된 햅틱 파일은 인가될 햅틱 신호를 포함한다. 필요한 정보를 반송하기 위한 파일 포맷이 제공된다.

Description

햅틱 장면 표현 포맷

본 실시예들 중 적어도 하나는 대체적으로 햅틱들에 관한 것으로, 더 구체적으로는 햅틱 장면 표현 포맷의 정의에 관한 것이다.

완전 몰입형 사용자 경험들은 몰입감(immersion) 및 상호작용들에 기초하여 가상 현실(virtual reality, VR) 시스템들을 통해 사용자들에게 제안된다. 현재 시각적 및 청각적 피드백은 만족스러운 레벨들의 현실적 몰입감을 제공한다. 상호작용은 제어들 및 피드백을 필요로 한다. 사용자들의 필요를 충족시키는, 많은 상이한 방식들의 제어가 존재한다. 피드백은 인간 사용자로 하여금 자신의 감각들을 이용하여 가상 환경을 인식할 수 있게 하는 햅틱들에 의해 제공될 수 있다. 그러나, 햅틱들은 여전히 가상 현실 시스템에서 전체 사용자 경험을 개선하기 위한 잠재적인 진보의 한 영역이다.

통상적으로, VR 시스템은 3D 장면에 기초하고, 이 3D 장면은 가상 환경을 나타내고 3D 장면 내에 위치된 가상 객체들을 포함한다. 이러한 객체들은 정적이거나 또는 동적일 수 있다. 가상 환경의 요소들과의 사용자 상호작용을 개선하기 위해, 햅틱 피드백이 사용될 수 있다. 따라서, 생성될 햅틱 피드백을 설명하는 햅틱 신호들은 바람직하게는 가상 환경의 요소들에 연관된다. 햅틱 신호들은 가상 환경 내의 사용자의 상호작용들에 기초하여 햅틱 렌더링 디바이스에 의해 획득되고, 이어서 햅틱 렌더링 디바이스에 의해 렌더링된다. VR 시스템의 맥락에서 예시되어 있지만, 본 명세서에 설명된 원리들은 또한, 예를 들어 증강 현실 또는 햅틱-향상된 비디오 렌더링(haptics-enhanced video rendering)과 같은 햅틱들을 사용하는 다른 상황들에 적용되고, 더 대체적으로는 임의의 햅틱 기반 사용자 경험에 적용된다.

햅틱들은 터치의 감각을 지칭하고, 두 가지 유형들인, 촉각적 및 운동감각적 유형들을 포함한다. 첫 번째는 마찰, 거칠기, 경도, 온도와 같은 촉각적 감각들에 관한 것이며, 피부의 기계적 수용기들(메르켈 세포, 루피니 말단, 마이스너 소체, 파시니 소체)을 통해 느껴진다. 두 번째는 관절들에서 근육, 힘줄 및 기계적 수용기들에 의해 제공되는 힘/토크, 위치, 모션/속도에 대한 감각에 연결된다. 이러한 양상(modality)들에 대응하는 신호들은 진동 신호들에 대응하는, 더 낮은 주파수 범위를 갖는 오디오 신호들(즉, 단차원적(monodimensional) 신호들)과 비슷하다. 주파수 범위는 양상의 유형에 따라 약 0 내지 1 ㎑이다. 햅틱 신호들을 렌더링할 수 있는 대부분의 기존 디바이스들은 진동들을 생성할 수 있다. 그러한 디바이스들, 즉 햅틱 액추에이터들의 예들은 선형 공진 액추에이터(linear resonant actuator, LRA), 편심 회전 질량체(eccentric rotating mass, ERM), 음성-코일 선형 모터(voice-coil linear motor)이다. 이러한 액추에이터들은 햅틱 슈트(haptic suit)들과 같은 햅틱 렌더링 디바이스들에 통합될 수 있지만, 또한 스마트폰들 또는 게임 제어기들에 통합될 수 있다.

햅틱 신호들을 인코딩하기 위해, XML-유사 포맷들(예를 들어, MPEG-V)을 사용하는 높은 레벨의 설명, json-유사 포맷들(애플의 AHAP, 임머숀 닷컴의 HAPT), 또는 파형 인코딩(IEEE 1918.1.1 촉각적 및 운동감각적 신호들에 대한 진행 중인 표준화) 중 어느 하나와 관련되어 여러 포맷들이 정의되었다. HAPT 포맷은 최근에 MPEG ISOBMFF 파일 포맷 사양(ISO/IEC 14496 part 12)에 포함되었다.

이후 기술되는 실시예들은 전술한 내용을 염두에 두고 설계되었다.

햅틱 렌더링 디바이스 및 대응하는 방법은, 적어도 하나의 햅틱 채널에 대해, 기하학적 모델을 나타내는 정보, 및 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보, 및 적용될 햅틱 신호를 나타내는 정보를 포함하는 메타데이터에 의해 설명된 햅틱 효과를 렌더링할 수 있게 한다. 적어도 하나의 실시예에서, 햅틱 신호는 다수의 채널들을 포함할 수 있는 오디오 파일 포맷을 사용하는 별개의 파일을 통해 반송된다. 필요한 메타데이터 정보를 반송하기 위한 파일 포맷이 제공된다.

적어도 하나의 실시예의 제1 태양은, 햅틱 피드백을 나타내는 정보를 반송하는 햅틱 피드백을 렌더링하기 위한 신호로서, 상기 햅틱 피드백을 나타내는 정보는, 기하학적 모델을 나타내는 정보를 포함하는 햅틱 채널을 나타내는 적어도 하나의 정보 및 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보를 포함하는 메타데이터 파일, 및 렌더링될 적어도 하나의 햅틱 신호를 포함하는 햅틱 파일을 포함하는, 햅틱 피드백을 렌더링하기 위한 신호에 관한 것이다.

적어도 하나의 실시예의 제2 태양은, 햅틱 신호를 렌더링하기 위한 장치로서, 상기 장치는 프로세서를 포함하고, 상기 프로세서는 제1 태양에 따른 햅틱 피드백을 나타내는 정보를 획득하도록, 햅틱 피드백을 나타내는 정보에 기초하여, 햅틱 신호 및 햅틱 렌더링 디바이스의 햅틱 액추에이터들의 세트를 선택하도록, 그리고 선택된 햅틱 신호를 햅틱 렌더링 디바이스의 선택된 햅틱 액추에이터에 인가함으로써 햅틱 피드백을 렌더링하도록 구성되는 장치에 관한 것이다.

적어도 하나의 실시예의 제3 태양은, 햅틱 신호를 렌더링하기 위한 방법으로서, 제1 태양에 따른 햅틱 피드백을 나타내는 정보를 획득하는 단계, 햅틱 피드백을 나타내는 정보에 기초하여, 햅틱 신호 및 햅틱 렌더링 디바이스의 햅틱 액추에이터들의 세트를 선택하는 단계, 및 선택된 햅틱 신호를 햅틱 렌더링 디바이스의 선택된 햅틱 액추에이터에 인가함으로써 햅틱 피드백을 렌더링하는 단계를 포함하는 방법에 관한 것이다.

적어도 하나의 실시예의 제4 태양에 따르면, 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램이 제시되며, 상기 컴퓨터 프로그램은 적어도 제1 태양에 따른 방법의 단계들을 구현한다.

적어도 하나의 실시예의 제5 태양에 따르면, 비일시적 컴퓨터 판독가능 매체에 저장되고, 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 제시되며, 상기 컴퓨터 프로그램 제품은 적어도 제1 태양에 따른 방법의 단계들을 구현한다.

도 1은 다양한 태양들 및 실시예들이 구현되는 시스템의 예의 블록도를 예시한다.
도 2는 적어도 하나의 실시예에 따라 햅틱 피드백 설명 파일을 렌더링하기 위한 프로세스의 예시적인 흐름도를 예시한다.
도 3은 적어도 하나의 실시예에 따른 햅틱 피드백 설명 파일의 데이터 구성의 예를 예시한다.
도 4는 적어도 하나의 실시예에 따른 햅틱 피드백 설명 파일에 대한 예시적인 신택스를 예시한다.
도 5a, 도 5b, 도 5c는 다양한 메시 밀도(mesh density)를 갖는 3개의 일반적인 기하학적 모델을 예시한다.
도 6은 적어도 하나의 실시예에 따른 고객맞춤 기하학적 모델을 사용하기 위한 예시적인 신택스를 예시한다.
도 7은 적어도 하나의 실시예에 따른 햅틱 파일에 대한 예시적인 신택스를 예시한다.
도 8은 적어도 하나의 실시예에 따른 몸체 부분들의 정의의 예를 예시한다.
도 9는 도 9의 고객맞춤 기하학적 모델에 대한 몸체 부분들의 맵핑의 예를 예시한다.
도 10은 적어도 하나의 실시예에 따른 바이너리 마스크를 사용하는 몸체 부분들의 조합들의 예들을 예시한다.
도 11a, 도 11b, 도 11c는 각각 상부 몸체, 좌측 다리 및 우측 팔에 대한 몸체 부분들의 그룹들을 예시한다.

적어도 하나의 실시예에서, 파일 포맷에 대한 신택스 정의는 사용자에 대한 햅틱 효과들을 렌더링할 수 있게 하는 정보를 설명한다. 그 목적을 위해, 이후 기술되는 실시예들에 따르면, 본 문서에서 다음의 용어가 사용된다.

"햅틱 객체"는 사용자에게 전달될 물리적 현상에 대응한다. 햅틱 객체들은 바람의 미풍(breeze)과 같은 전역적 환경, 또는 흉부에 대한 펀치와 같은 국소적 효과에 관련될 수 있다. 햅틱 객체의 다른 예는 폭발(explosion)이다. 폭발은 진동들 및 열(heat)을 통해 렌더링되어, 햅틱 피드백의 상이한 태양들을 필요로 할 수 있다. 이는 다수의 "햅틱 채널들"을 사용하여 수행된다. "햅틱 피드백 설명 파일"은 햅틱 피드백을 제공하기 위해 필요한 요소들을 설명하는 데 사용된다. 그러한 파일은 다수의 채널들을 반송하는 다수의 햅틱 객체들 자체를 수집할 수 있다. 전형적으로, 하나의 햅틱 객체는 전역적 효과에 관련될 수 있고(바람), 진동들 및 열을 사용하여 2개의 햅틱 채널들을 통해 렌더링함으로써, 하나의 햅틱 객체는 국소적 효과에 관련될 수 있다(폭발).

햅틱 효과는 정확한 위치에 적용될 때 가장 효율적이다. 따라서, 적어도 하나의 실시예에서, 각각의 햅틱 피드백 채널에 대해, 어디에 효과가 적용되어야 하는지를 특정하는 것이 제안된다. 이는 2개의 단계들로 수행될 수 있다. 첫 번째로, 햅틱 인지의 공간적 예민성(spatial acuity)을 나타내는 기하학적 모델을 선택하는 단계에 의함, 그리고 두 번째로, 어디에 햅틱 효과가 적용되어야 하는지를 선택하는 단계에 의함. 기하학적 모델은 미리결정된 표준 모델들의 세트로부터 선택된 일반적 모델로서 선택될 수 있다. 이러한 경우에, 모델은 인체의 메시에 기초한다. 기하학적 모델은 또한, 그의 기하학적 구조를 특정함으로써 고객맞춤 기하학적 모델로서 결정될 수 있다. 이는 예를 들어, 햅틱 의자와 같은 비표준 햅틱 렌더링 디바이스들에 적응되는 것을 허용한다. 이러한 경우에, 햅틱 인식의 공간적 예민성은 렌더링 디바이스 상의 액추에이터들의 정확한 위치에 의해 제한된다. 제안된 파일 포맷에서, 기하학적 모델은 "아바타 모델"인 것으로서 지칭되고 "avatar_ID"로 식별된다. 또한, 햅틱 효과의 "유형(type)"은 avatar_ID와 연관된다. 폭발의 예에서, 2개의 햅틱 채널들이 사용되며, 제1 햅틱 채널은 진동을 전달하기 위한 것이고, 제2 햅틱 채널은 열을 전달하기 위한 것이다. 이러한 햅틱 채널들은 대응하는 avatar_ID들인, 진동에 대해 적응되는 avatar_ID 및 열에 적응되는 avatar_ID와 연관된다. 또한, 적용될 햅틱 효과를 설명하는 오디오 신호들은 햅틱 채널들 각각과 연관된다. 이러한 햅틱 신호들은 오디오 파일에 별개의 오디오 채널들로서 저장된다.

도 1은 다양한 태양들 및 실시예들이 구현되는 시스템의 일례의 블록도를 예시한다. 도시된 가상 현실 시스템에서, 사용자 앨리스(Alice)는, 통신 네트워크(170)를 통해 가상 현실 장면(190)을 호스팅하는 서버(180)와 상호작용하기 위해, 햅틱 렌더링 디바이스(100)를 사용한다. 이러한 가상 현실 장면(190)은 오디오, 비디오, 3D 모델, VR 장면 설명 및 적어도 하나의 햅틱 피드백 설명 파일(191)과 같은 상이한 유형들의 콘텐츠를 나타내는 다양한 파일들을 포함할 수 있다.

햅틱 렌더링 디바이스는 프로세서(101)를 포함한다. 프로세서(101)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, 주문형 집적 회로(Application Specific Integrated Circuit, ASIC)들, 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array, FPGA) 회로들, 임의의 다른 유형의 집적 회로(integrated circuit, IC), 상태 머신 등일 수 있다. 프로세서는, 햅틱 신호 디코딩, 입력/출력 프로세싱, 및/또는 디바이스가 가상 현실 시스템에서 동작하는 것을 가능케 하는 임의의 다른 기능과 같은 데이터 프로세싱을 수행할 수 있다.

프로세서(101)는 사용자 상호작용들을 전달하도록 구성된 입력 유닛(102)에 커플링될 수 있다. 다수의 유형들의 입력들 및 양상들이 해당 목적을 위해 사용될 수 있다. 물리적 키패드 및 터치 감응형 표면은 이러한 사용에 적응된 입력 유닛들의 전형적인 예들이지만, 음성 제어가 또한 사용될 수 있다. 덧붙여, 입력 유닛은 또한, 정지 화상 또는 비디오를 캡처할 수 있는 디지털 카메라를 포함할 수 있다. 프로세서(101)는 스크린 상에 디스플레이될 시각적 데이터를 출력하도록 구성되는 디스플레이 유닛(103)에 커플링될 수 있다. 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 디스플레이 유닛과 같은 다수의 유형들의 디스플레이들이 해당 목적을 위해 사용될 수 있다. 프로세서(101)는 또한, 예를 들어 확성기와 같은 적응된 변환기(transducer)를 통해 사운드 데이터를 렌더링하여 오디오 웨이브들로 변환되도록 구성되는 오디오 유닛(104)에 커플링될 수 있다. 프로세서(101)는 외부 디바이스들과 데이터를 교환하도록 구성되는 통신 인터페이스(105)에 커플링될 수 있다. 통신은 바람직하게는 LTE 통신, Wi-Fi 통신 등과 같은 햅틱 렌더링 디바이스의 이동성을 제공하는 무선 통신 표준을 사용한다. 프로세서(101)는 메모리(106)로부터의 정보에 액세스하고 그에 데이터를 저장할 수 있고, 이 메모리는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 가입자 식별 모듈(SIM) 카드, 메모리 스틱, 보안 디지털(SD) 메모리 카드, 임의의 다른 유형의 메모리 저장 디바이스를 포함하는 다수의 유형들의 메모리를 포함할 수 있다. 실시예들에서, 프로세서(101)는 디바이스 상에, 예컨대 서버, 홈 컴퓨터, 또는 다른 디바이스 상 물리적으로 위치되지 않는 메모리로부터의 정보에 액세스하고 그에 데이터를 저장할 수 있다.

프로세서(101)는 사용자에게 햅틱 피드백을 제공하도록 구성되는 햅틱 유닛(107)에 커플링될 수 있고, 햅틱 피드백은 가상 현실 장면(190)과 연관된 햅틱 피드백 설명 파일(191)에 의해 설명된다. 햅틱 피드백 설명 파일(191)은 아래에서 추가로 설명되는 신택스에 따라 제공될 피드백의 종류를 설명한다. 그러한 설명 파일은 전형적으로 서버(180)로부터 햅틱 렌더링 디바이스(100)로 전달된다. 햅틱 유닛(107)은 햅틱 렌더링 디바이스 상의 복수의 위치들에 위치된 복수의 햅틱 액추에이터들을 포함할 수 있다. 상이한 햅틱 유닛들은 상이한 수의 액추에이터들을 가질 수 있고/있거나 액추에이터들은 햅틱 렌더링 디바이스 상에 상이하게 위치될 수 있다.

프로세서(101)는 전원(108)으로부터 전력을 수신할 수 있고, 전력을 디바이스(100) 내의 다른 컴포넌트들에 분배하도록 그리고/또는 제어하도록 구성될 수 있다. 전원은 디바이스에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예들로서, 전원은 하나 이상의 건전지(예컨대, 니켈-카드뮴(NiCd), 니켈-아연(NiZn), 니켈 금속 수소화물(NiMH), 리튬-이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

도면은 프로세서(101) 및 다른 요소들(102 내지 108)을 별개의 컴포넌트들로서 도시하지만, 이러한 요소들은 전자 패키지 또는 칩에 함께 통합될 수 있음이 이해될 것이다. 햅틱 렌더링 디바이스(100)는 실시예와 부합하면서 본 명세서에 설명된 요소들의 임의의 하위 조합을 포함할 수 있음이 이해될 것이다. 프로세서(101)는 추가적인 특징들, 기능 및/또는 유선 또는 무선 접속성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는, 도 1에 도시되지 않은 다른 주변기기들 또는 유닛들에 추가로 커플링될 수 있다. 예를 들어, 주변기기들은 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비전 송수신기, 핸즈프리 헤드셋, 블루투스(Bluetooth)® 모듈, 주파수 변조(FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등과 같은 센서들을 포함할 수 있다. 예를 들어, 프로세서(101)는 햅틱 렌더링 디바이스를 그의 환경 내에서 위치추정하도록 구성된 위치추정 유닛에 커플링될 수 있다. 위치추정 유닛은 햅틱 렌더링 디바이스의 현재 위치에 관한 경도 및 위도 위치를 제공하는 GPS 칩셋을 통합할 수 있지만, 또한, 위치추정 서비스들을 제공하는 가속도계 및/또는 e-나침반과 같은 다른 모션 센서들을 통합할 수 있다.

햅틱 렌더링 디바이스(100)의 전형적인 예들은 햅틱 슈트들, 스마트폰들, 게임 제어기들, 햅틱 장갑들, 햅틱 의자들, 햅틱 소품들, 모션 플랫폼들 등이다. 그러나, 유사한 기능들을 제공하는 임의의 디바이스 또는 디바이스들의 구성요소는 여전히 본 개시내용의 원리들에 순응하면서 햅틱 렌더링 디바이스(100)로서 사용될 수 있다.

적어도 하나의 실시예에서, 디바이스는 디스플레이 유닛을 포함하지 않지만, 햅틱 유닛을 포함한다. 그러한 실시예에서, 디바이스는 시각적으로 장면을 렌더링하지 않지만, 단지 햅틱 효과들을 렌더링한다. 그러나, 디바이스는 디스플레이를 위한 데이터를 준비하고 데이터를 스크린과 같은 디스플레이 디바이스에 제공하여, 이러한 디바이스가 디스플레이를 수행할 수 있게 할 수 있다. 그러한 디바이스들의 예들은 햅틱 슈트들 또는 모션 플랫폼들이다.

적어도 하나의 실시예에서, 디바이스는 햅틱 유닛을 포함하지 않지만, 디스플레이 유닛을 포함한다. 그러한 실시예에서, 디바이스는 햅틱 효과를 렌더링하지 않지만, 단지 장면을 시각적으로 렌더링한다. 그러나, 디바이스는 햅틱 효과를 렌더링하기 위한 데이터를 준비하고 데이터를 햅틱 소품과 같은 햅틱 렌더링 디바이스에 제공하여, 이러한 디바이스가 햅틱 렌더링을 수행할 수 있게 할 수 있다. 그러한 디바이스들의 예들은 스마트폰들, 헤드 마운티드 디스플레이(head-mounted display) 또는 랩톱들이다.

적어도 하나의 실시예에서, 디바이스는 디스플레이 유닛을 포함하지도 않고 햅틱 유닛을 포함하지도 않는다. 그러한 실시예에서, 디바이스는 장면을 시각적으로 렌더링하지 않고 햅틱 효과들을 렌더링하지 않지만, 디스플레이를 위한 데이터를 준비하고 데이터를 스크린과 같은 디스플레이 디바이스에 제공하여, 이러한 디바이스가 디스플레이를 수행할 수 있게 할 수 있고, 또한, 햅틱 효과를 렌더링하기 위한 데이터를 준비하고 데이터를 햅틱 소품과 같은 햅틱 렌더링 디바이스에 제공하여, 이러한 디바이스가 햅틱 렌더링을 수행할 수 있게 할 수 있다. 그러한 디바이스들의 예들은 데스크톱 컴퓨터들, 광학 미디어 플레이어들, 또는 셋톱 박스들이다.

적어도 하나의 실시예에서, 가상 현실 장면 및 연관된 햅틱 피드백 설명 파일은 국소적 상호작용들을 허용하는 햅틱 렌더링 디바이스(100)의 메모리(106)에서 직접 호스팅된다.

도 2는 적어도 하나의 실시예에 따라 햅틱 피드백 설명 파일을 렌더링하기 위한 프로세스의 예시적인 흐름도를 예시한다. 그러한 프로세스(200)는 전형적으로 햅틱 렌더링 디바이스(100)에서 구현되고 그러한 디바이스의 프로세서(101)에 의해 실행된다. 단계(201)에서, 프로세서는 햅틱 피드백 설명 파일(도 1에서 191)을 획득한다. 이는 예를 들어, 그것을 통신 네트워크를 통해 서버로부터 수신함으로써, 그것을 외부 저장 디바이스 또는 로컬 메모리로부터 판독함으로써, 또는 임의의 다른 수단에 의해, 수행될 수 있다. 단계(202)에서, 프로세서는, 햅틱 렌더링 디바이스의 햅틱 효과를 적용하는 방법을 결정하기 위해, 다시 말해, 어느 햅틱 신호가 어느 액추에이터 또는 액추에이터들의 세트 상에 인가될 필요가 있는지를 선택하기 위해, 햅틱 피드백 설명 파일을 분석한다. 단계(203)에서, 프로세서는 선택된 햅틱 신호를, 햅틱 액추에이터 또는 액추에이터들의 세트 상에 인가하고, 이에 따라 햅틱 피드백을 렌더링하는 햅틱 유닛에 제공한다.

적어도 하나의 실시예에서, 파일들의 조합을 사용하여 햅틱 피드백을 전달하는 것이 제안되며, 여기서 햅틱 피드백 설명 파일은 햅틱 피드백의 상이한 파라미터들을 설명하는 메타데이터를 포함하고, 햅틱 파일은 전형적으로 오디오 신호의 형태 하에 렌더링될 햅틱 신호를 전달한다. 적어도 하나의 실시예에서, 메타데이터는 MPEG 객체 오디오 메타데이터 ".oam" 파일 포맷으로부터 시사된(inspired) 별개의 파일에 저장된다(그리고 햅틱 파일은 파형 오디오 파일 포맷으로도 알려진 ".wav" 파일 포맷을 사용하는 별개의 파일이다). 다른 실시예들에서, 본 명세서에 개시된 원리들을 중시하면서 다른 파일 포맷들이 사용된다.

도 3은 적어도 하나의 실시예에 따른 햅틱 피드백 설명 파일의 데이터 구성의 예를 예시한다. 이러한 예에서, 제1 햅틱 렌더링 디바이스는 햅틱 조끼(380)이고, 여기서 2개의 소매들만이 진동들을 렌더링할 햅틱 액추에이터들을 포함한다. 제2 햅틱 렌더링 디바이스는, 또한 진동들을 렌더링할 수 있는, 햅틱 의자(390)이다.

먼저, 렌더링될 햅틱 효과는 햅틱 피드백 설명 파일(300)에서 설명된다. 적어도 하나의 실시예에 따르면, 이러한 파일은 aom 파일 포맷 및 신택스를 사용한다. 이러한 예에서, 하나의 햅틱 객체(310)가 햅틱 피드백 설명 파일(300)에 존재한다. 그러나, 위에서 소개된 바와 같이, 햅틱 피드백 설명 파일은 다수의 햅틱 객체들을 포함할 수 있다.

햅틱 객체(310)는 3개의 햅틱 채널들(311, 312, 313)을 포함한다. 햅틱 채널(311)은 미리정의된 표준 일반적 기하학적 모델들의 세트(350)로부터 선택된 기하학적 모델(351)(avatar_ID)과 연관되고, 더 정확하게는 기하학적 모델(351)의 좌측 팔(좌측 팔에 대응하는 body_part_mask)에 연관된다. 햅틱 채널(310)은 또한 오디오 파일(311)과 연관되고, 더 구체적으로는, 오디오 신호(321)를 포함하는 오디오 파일의 제1 채널과 연관된다. 따라서, 햅틱 렌더링 디바이스(380)는 이어서 좌측 팔의 햅틱 액추에이터들에 인가될 오디오 신호(321)를 선택할 수 있다. 유사하게는, 우측 팔의 경우, 제2 햅틱 채널(312)의 정보에 의해 정의된 바와 같이, 오디오 신호(322)(오디오 파일의 제2 채널)는 우측 팔의 햅틱 액추에이터들에 인가되어, 햅틱 피드백 설명 파일(300)에 정의된 바와 같이, 진동을 햅틱 조끼(380) 상의 렌더링을 허용할 것이다.

동일한 원리가 햅틱 의자(390)에 적용되는데 이때 그것이 고객맞춤 avatar_ID를 사용한다는 차이점이 있다 실제로, 그의 기하학적 구조는 일반적인 기하학적 모델들의 세트의 일부가 아니다. 따라서, 대응하는 기하학적 구조는 햅틱 피드백 설명 파일(300) 내의 고객맞춤 avatar_ID(330)로서 정의된다. 제3 오디오 신호(323)가 선택되어 햅틱 의자(390)의 액추에이터들에 인가된다.

햅틱 채널들과 오디오 채널들 사이의 연관성은 암시적이며, 외관의 차수(the order of appearance)에 따라 수행된다. 햅틱 객체의 제1 햅틱 채널은, 햅틱 객체와 (명시적으로) 연관된 오디오 파일의 제1 오디오 채널과 연관될 것이다.

적어도 하나의 실시예에 따른 햅틱 피드백 설명 파일에 대한 데이터 구성의 제2 예(도시되지 않음)에서, 파일은 2개의 상이한 햅틱 객체들을 포함한다. 따라서, 햅틱 채널들은 상이한 햅틱 객체들에 있다. 이러한 경우에, 2개의 상이한 오디오 파일들인, file1.wav 및 file2.wav를 사용하는 것이 가능하다.

모델들의 세트(350)는 전형적으로, 상이한 레벨들의 세부사항들을 갖는 인체들의 기하학적 구조를 나타내고, 따라서, 상이한 레벨들의 정밀도를 제공한다. 도면에서, 기하학적 모델(351)의 정밀도는 기하학적 모델(352)의 상세한 메시보다 훨씬 더 낮다.

도 4는 적어도 하나의 실시예에 따른, 햅틱 피드백 설명 파일에 대한 예시적인 신택스를 예시한다. 이러한 실시예에서, 햅틱 피드백 설명 파일은 ".aom" 객체 메타데이터 파일 포맷에 의해 시사된다. 다른 실시예에서, xml 포맷이 사용되고 도 4에 설명된 신택스가 이러한 포맷에 적응된다. 임의의 다른 설명 포맷(예를 들어 json, CSV, 바이너리 등)이 그러한 정보를 전달하도록 적응될 수 있다. 햅틱 피드백 설명 파일은 적용될 햅틱 피드백을 설명하는 메타데이터를 포함한다. 그것은 다수의 햅틱 객체들 및 햅틱 채널들을 지원한다. 특히, 그것은 햅틱 채널들을 사용자 몸체 메시의 부분들 상에 맵핑한다. 이는 햅틱 효과들의 공간화(spatialization)를 허용하고, 렌더링 디바이스로부터의 독립성을 제공한다. 각각의 채널은 몸체 부분에 맵핑된다. 맵핑은 바이너리 마스크를 이용하여 특정되어, 햅틱 효과가 발생되는 넓은 영역을 커버하는 개략적 정의(rough definition)를 허용할 수 있다. 대안적으로, 맵핑은 또한, 식별기(identificator)로 식별된 정점들의 세트에 의해 직접 특정되어, 햅틱 효과의 훨씬 더 정밀한 배치를 허용할 수 있다.

".aom" 객체 메타데이터 파일 포맷에 의해 시사되는 메타데이터 파일에 대한 신택스 요소들은 다음과 같을 수 있다:

- format_id_string: "OAM"과 동일한 포맷을 식별하기 위한 고유한 문자 식별자,

- format_version: 파일 포맷의 버전 번호, 예를 들어 1과 동일함,

- number_of_haptic_objects: 장면을 컴파일링하는 햅틱 객체들의 수. 객체는 전형적으로 최종-사용자 햅틱 렌더링 디바이스에 대응하고,

- number_of_abtarars_models: 하나 또는 수 개의 모델들에 대응하는 아바타 설명들의 수,

- description_string: 인간 판독가능 콘텐츠 설명을 포함하는 설명 문자열. 32 바이트보다 짧은 경우, 그것에 뒤이어 널 문자들을 패딩한다. 문자열이 32 바이트 길이인 경우, 문자열은 널 문자 없이 종료된다.

- avatar_description(): 사용자의 아바타 몸체 표현을 설명하기 위한 모델, 또는 더 대체적으로는, 햅틱 액추에이터들이 기초하고 있는 기하학적 구조를 설명하기 위한 모델. 이러한 모델은 도 6 및 도 8과 관련하여 아래에서 추가로 설명되고,

- haptic_object_file_name: 대응하는 햅틱 객체 파일의 파일명을 포함하는 설명 문자열. 64 바이트보다 짧은 경우, 그것에 뒤이어 널 문자들을 패딩한다. 문자열이 64 바이트 길이인 경우, 문자열은 널 문자 없이 종료된다. 햅틱 객체 파일은 하나보다 많은 채널을 포함할 수 있고,

- number_of_haptic_channels: 각각의 햅틱 객체에 대한 동시 채널들의 수,

- avatar_ID: 기하학적 모델에 대한 식별자(햅틱 신호의 유형당 하나의 메시 해상도를 가질 수 있음),

- body_part_mask: 효과를 적용할 몸체 부분들을 특정하는 바이너리 마스크,

- number_of_vertics: 햅틱 효과에 의해 영향을 받는 기하학적 모델 상의 추가 정점들의 수,

- vertex_ID: 아바타 모델에서의 정점의 식별자에 대한 링크들,

- coefficient: 특정 정점에 적용된 이득

format_id_string은 예를 들어 객체 햅틱 메타데이터를 의미할 수 있는 "OHM"과 같은 다른 문자 식별자들을 사용할 수 있다는 점에 유의해야 한다.

계수는 햅틱 효과의 적용을 스케일링하는 데 사용될 수 있다. 전체 햅틱 슈트 상에 진동들을 생성해야 하는 폭발의 예에서, 몸체의 전면이 폭발을 대면하고 있다고 가정하면, 햅틱 효과는 1.0보다 큰 계수를 적용함으로써 슈트의 전면에서 증폭될 수 있고, 슈트의 후면에서는 여전히 동일한 햅틱 오디오 신호를 사용하지만 상이한 크기들로 1.0보다 작은 계수를 적용함으로써 감소될 수 있다.

적어도 하나의 실시예에서, description_string은 탑 레벨(top level)에 있지 않지만, 채널 루프에 위치되어, 잠재적인 크기 증가의 대가로 더 낮은 레벨의 정밀한 설명을 허용한다.

대체적으로, 기하학적 모델은 인체의 모델에 대응하지만, 일부 특정 경우들에서, 렌더링 디바이스의 토폴로지는, 햅틱 의자의 예와 함께 도 3에 예시된 바와 같이, 인체 모델과 상이할 수 있다. 이러한 기하학적 모델을 특정하기 위한 두 가지 방법들, 즉 일반적 기하학적 모델들을 사용하는 제1 방법 및 고객맞춤 기하학적 모델을 사용하는 제2 방법이 제안된다.

일반적 모델들의 경우, avatar_ID들의 범위, 예를 들어 0 내지 255가 예약된다. 이러한 일반적 모델들은 공지된 토폴로지 및 몸체 분할(즉, 공지된 정점 위치들, 정점 ID들, 면들 및 몸체 부분들)을 갖는다. 일반적 기하학적 모델은 또한, 고정된 레벨의 세부사항들 및 햅틱 효과의 유형을 갖는다.

고객맞춤 기하학적 모델이 필요할 때, 예약된 범위의 값들 이외의 avatar_ID 값이 사용되어야 한다. 이러한 경우에, 기하학적 모델이 또한 제공될 필요가 있다. 그러한 모델은 대체적으로, 렌더링 디바이스 상에 햅틱 액추에이터들의 위치를 직접 나타내고 있다(위의 햅틱 의자의 예를 참조).

도 5a, 도 5b, 도 5c는, 예를 들어 온도, 진동 또는 압력의 렌더링에 적응된 다양한 메시 밀도를 갖는 일반적 기하학적 모델들의 3가지 예들을 예시한다. 이러한 모델들 각각의 토폴로지는 다양한 햅틱 효과들에 대한 감도와 상관되는 상이한 레벨들의 세부사항들을 제시한다. 예를 들어, 촉각 효과들은 운동감각 효과들보다 더 높은 메시 밀도를 필요로 한다. 반면, 바람 또는 전역적 온도 변화들과 같은 효과들은 매우 성긴(coarse) 기하학적 모델에 적용될 수 있다.

표준 일반적 모델들을 사용하는 것은 전달할 필수 데이터의 양을 감소시키는 것을 허용한다. 그러나, 그것은 메시의 각각의 정점과 햅틱 디바이스의 상이한 액추에이터들 사이의 맵핑을 학습하기 위해 추가의 교정을 필요로 할 수 있다. 그러한 교정은 전형적으로, 디바이스를 배송하기 전에 제조자에 의해 직접 수행된다. 그러나, 일부 경우들에서, 교정은, 예를 들어 사용자의 햅틱 선호도들을 고려하여, 사용자에 의해 수동으로, 또는 기하학적 구조 프로세싱 방법들을 통해 자동으로, 수행될 수 있다.

도 6은 적어도 하나의 실시예에 따른 고객맞춤 기하학적 모델을 사용하기 위한 예시적인 신택스를 예시한다. 응용에 따라, 각각의 콘텐츠에 대해, 고객맞춤 기하학적 모델이 사용될 수 있다. 이러한 모델은, 예를 들어 그 자신의 특이성들을 고려하여, 사용자에게 적응될 수 있다. 적어도 하나의 실시예에서, 모델은, 정점들의 세트, 면들의 세트 및 메시의 연관된 몸체 부분들을 제공하는 도 6에 제시된 포맷을 사용하여 특정된다.

고객맞춤 기하학적 모델에 대한 신택스 요소들은 다음과 같다:

- format_version: 파일 포맷의 버전 번호, 예를 들어, 1과 동일함.

- avatar_ID: 아바타 설명에 대한 식별자햅틱 신호의 유형당 하나의 메시 해상도를 가질 수 있음).

- lod: 아바타의 세부사항들의 레벨을 특정하는 숫자: 예를 들어, 낮음, 평균 및 높음 정의에 대해, 각각 0, 1 또는 2. 이는 더 복잡한 표현 또는 덜 복잡한 표현을 사용하는 것을 허용한다.

- type: 모델과 연관된 햅틱 효과의 유형. 전형적으로, 진동, 압력, 온도 또는 기타. 상이한 유형은 상이한 lod 해상도와 연관될 수 있다.

- number_of_vertics: 메시의 정점들의 수.

- number_of_face: 메시 내의 면들의 수.

- vertex_ID: vertex_x, vertex_y, vertex_z를 갖는 그의 공간적 위치추정(x, y, z)을 갖는 대응하는 정점의 인덱스.

- face_ID: 메시 내의 대응하는 면의 인덱스.

- vertex_ID_1, vertex_ID_2 및 vertex_ID_3: 현재 정점 vertex_ID에 대한 3개의 연결된 면들

- body_part_ID: 대응하는 정점과 연관된 몸체 부분의 인덱스.

위의 예시된 실시예는 삼각형 메시를 사용한다. 적어도 하나의 실시예에서, 고객맞춤 기하학적 모델은, 예를 들어 사각형들을 사용하는, 다른 유형의 다각형 메시를 사용한다.

적어도 하나의 실시예에서, 다각형 메시는 (예를 들어, OBJ 파일 또는 메시를 정의하기 위한 임의의 다른 기존 포맷과 같은) 외부 기하학적 구조 정의 파일에 정의된다. 이러한 경우에, 외부 파일의 정점들과 vertex_ID 사이의 대응은 다음과 같이 수행될 수 있다: 외부 파일의 제1 정점은 0과 동일한 vertex_ID를 갖고, vertex_ID는 외부 파일의 각각의 정점에 대해 증분된다.

하나의 실시예에서, 신택스 요소 type은 햅틱 피드백의 상이한 유형들에 대한 고정된 값들 중에서 선택된 무부호 정수(unsigned integer) 값으로 대체된다. 예를 들어, 진동에 대해 "1", 압력에 대해 "2", 및 온도에 대해 "3".

도 7은 예를 들어, 적어도 하나의 실시예에 따른 햅틱 파일에 대한 예시적인 신택스를 예시한다. 이러한 실시예에서, 햅틱 파일은 ".wav" 오디오 파형 파일 포맷에 기초한다. 다른 실시예에서, ".flac" 포맷이 사용되고, 도 5에 설명된 신택스는 이러한 포맷에 적응된다. 다른 실시예들은 유사하게 사용되는 다른 파일 포맷들, 예를 들어 ".ogg", ".aac", ".ac3"을 사용한다.

".wav" 오디오 파형 파일 포맷에 기초한 햅틱 파일에 대한 신택스 요소들은 다음과 같다:

- file_type_bloc_ID: 상수

(0x52,0x49,0x46,0x46)

- file_size: 파일 크기 - 8 바이트

- file_format_ID: 상수

(0x57,0x41,0x56,0x45)

- format_bloc_ID: 상수

(0x66,0x6D, 0x74,0x20)

- bloc_size: 블록당 바이트들의 수 - 16 (0x10)

- audio_format: 파일에서의 저장 포맷, PCM을 나타내기 위해 1과 동일함

- number_channels: 채널들의 수

- frequency: 데이터의 샘플링 주파수(헤르츠 단위)

- bytes_per_seconds: 초당 판독할 바이트들의 수(즉, frequency * bytes_per_bloc)

- bytes_per_bloc: 샘플들의 블록당 바이트들의 수(즉, 모든 채널들에 대해: number_channels*bits_per_sample/8)

- bits_per_samples: 각각의 샘플을 코딩하는 데 사용된 비트들의 수(8, 16, 24)

- data_bloc_id: 상수

(0x64,0x61,0x74,0x61)

- data_size: 데이터 바이트들의 수

- data_bytes: 현재 채널의 현재 샘플의 바이트들

".wav" 포맷은 대체적으로 오디오 신호들을 위해 의도된 것이므로, 일부 파라미터들은 그러한 신호들에 대해 특정된다. 따라서, 파라미터들 중 일부는 햅틱 신호들을 특별히 지원하도록 설정되었다. 코딩 포맷은 PCM 인코딩을 나타내는 1로 설정되어, 어떤 압축도 적용되지 않게 된다. 샘플링 주파수는 햅틱 신호들에 대해 0 내지 2 ㎑로 설정되어야 한다. 채널들의 수는 최대 65535일 수 있다. 이는 wav 헤더와 호환가능하다. 비트들/샘플들의 수는 최고 해상도를 얻기 위해 24로 설정된다.

도 8은 적어도 하나의 실시예에 따른 몸체 부분들의 정의의 예를 예시한다. 이러한 도면의 표에서, 제1 열(column)은 body_part_ID를 식별하고, 제2 열은 몸체 부분의 이름을 설명하고, 제3 열은 몸체 부분에 대한 바이너리 마스크 값을 정의하고, 제4 열은 마스크의 동등한 16진수 값을 보여준다. 기하학적 모델(예를 들어, 도 7의 마지막 라인)의 각각의 면에 몸체 부분 ID(body part ID)가 할당된다. 따라서, 공통 몸체 부분의 면들은 효율적으로 선택되도록 하기 위해 함께 그룹화된다. 도 9는 도 5a의 일반적 기하학적 모델에 대한 몸체 부분들의 맵핑의 예를 예시한다. 그것은 모델의 상이한 몸체 부분들(머리에 대해 1, 흉부에 대해 2 등)에 중첩된 body_part_ID(도 8의 제1 열)를 보여준다.

도 10은 적어도 하나의 실시예에 따른 바이너리 마스크를 사용하는 몸체 부분들의 조합의 예들을 예시한다. 표의 제1 열은 몸체 부분의 이름에 대응하고, 제2 열은 몸체 부분에 대한 바이너리 마스크 값을 정의하고, 제3 열은 마스크의 동등한 16진수 값을 보여준다.

상기에서 알 수 있는 바와 같이, 각각의 몸체 부분은 바이너리 마스크(도 10의 제3 열)와 연관된다. 이는 다수의 몸체 부분들을 조합하는 편리한 방법을 제공한다. 예를 들어, 상부 몸체는 ID 1 내지 ID 14를 갖는 몸체 부분들을 그룹화하는 것에 대응한다. 이러한 조합은 대응하는 마스크 값을 얻기 위해 상이한 몸체 부분들의 마스크들에 걸친 비트단위 OR 연산에 의해 수행된다. 따라서, 000000000011111111111111(16진수 값으로 0x003FFF)의 바이너리 마스크는 ID 1 내지 ID 14를 갖는 몸체 부분들을 용이하게 그룹화할 수 있게 하고, 따라서 매우 효율적인 방식으로 완벽한 상부 몸체를 나타낸다. 이러한 그룹화는 도 11a에 도시되어 있지만, 도 11b는 좌측 다리(마스크 = 0xAA8000)에 대한 그룹화를 도시하고, 도 11c는 우측 팔(마스크 값 0x001550)에 대한 그룹화를 도시한다.

본 명세서에 설명된 실시예들은, 많은 햅틱 렌더링 디바이스들(단일 액추에이터들, 게임패드들, 모바일 폰들, 복잡한 다중 액추에이터 디바이스들, 예컨대, 조끼 또는 벨트)과 호환가능한, (오디오 워크플로우들로 알려진) 기존 신호 기반 워크플로우들과 호환가능한, 다중 채널 능력들 및 코딩을 지원하는 것, 다양한 햅틱 신호들에 대한 통합된 파일 포맷 설명 및 컨테이너를 제공하는 것, 햅틱 파형 신호들을 인코딩하는 것을 허용하는 햅틱 효과 설명 파일을 사용하여 햅틱 효과들을 특정하는 해결책을 제공하며, 이는 최종 사용자 렌더링 디바이스와는 독립적인, 사용자마다 잠재적으로 개인화된, 사용자 생리 현상 및 촉각적 인식에 적응가능한 효과가 사용자의 어느 부위에 적용되어야 하는지를 설명한다(효과를 그의 능력들 및 위치에 적응시키는 것은 이러한 디바이스에 달려있음).

"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형들에 대한 언급은, 실시예와 관련하여 기술된 특정 특징부, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 명세서 전반에 걸친 다양한 곳에서 나타나는 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"라는 문구뿐만 아니라 임의의 다른 변형들의 출현들은 반드시 모두 동일한 실시예를 언급하는 것은 아니다.

또한, 본 출원 또는 그의 청구범위는 다양한 정보들을 "결정하는 것"을 지칭할 수 있다. 정보를 결정하는 것은, 예를 들어, 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 또는 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

추가적으로, 본 출원 또는 그의 청구범위는 다양한 정보를 "획득하는 것"을 지칭할 수 있다. 획득하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 획득하는 것은, 예를 들어, 정보를 수신하는 것, 정보에 액세스하는 것, 또는 (예를 들어, 메모리 또는 광학 매체 저장소로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 더욱이, "획득하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 처리하는 동작, 정보를 전송하는 동작, 정보를 이동시키는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작과 같은 동작들 동안에 어떤 방식으로든 수반된다.

예를 들어 다음의 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서 "/", "및/또는", 및 "적어도 하나" 중 임의의 것의 사용은 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 옵션들(A 및 B) 둘 모두의 선택을 포함하도록 의도됨을 이해해야 한다. 또 다른 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 어구는 제1 열거된 옵션(A) 단독의 선택, 또는 제2 열거된 옵션(B) 단독의 선택, 또는 제3 열거된 옵션(C) 단독의 선택, 또는 제1 및 제2 열거된 옵션들(A 및 B) 단독의 선택, 또는 제1 및 제3 열거된 옵션들(A 및 C) 단독의 선택, 또는 제2 및 제3 열거된 옵션들(B 및 C) 단독의 선택, 또는 3개의 모든 옵션들(A, B 및 C)의 선택을 포함하도록 의도된다. 이는, 열거된 많은 항목들에 대해, 본 분야 및 관련 분야의 당업자에 의해 용이하게 명백한 바와 같이 확장될 수 있다.

Claims (43)

1. 햅틱 피드백을 렌더링하기 위한 방법으로서,
   햅틱 피드백을 나타내는 정보를 획득하는 단계(201) - 햅틱 피드백을 나타내는 정보는,
   메타데이터 파일(300) 및 햅틱 파일을 포함하고, 메타데이터 파일은,
   적어도 하나의 햅틱 채널(311, 312, 313)을 나타내는 적어도 하나의 정보를 포함하고, 적어도 하나의 정보는,
   기하학적 모델을 나타내는 정보, 및
   햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보를 포함하고,
   햅틱 파일(320)은 렌더링될 적어도 하나의 햅틱 신호(321, 322, 323)를 포함함 -,
   햅틱 피드백을 나타내는 정보에 기초하여, 햅틱 신호 및 햅틱 렌더링 디바이스의 햅틱 액추에이터들의 세트를 선택하는 단계(202), 및
   선택된 햅틱 신호를 햅틱 렌더링 디바이스의 선택된 햅틱 액추에이터에 제공하는 단계(203)를 포함하는, 방법.
2. 제1항에 있어서, 메타데이터 파일은 햅틱 파일에 대한 참조를 추가로 포함하는, 방법.
3. 제2항에 있어서, 햅틱 파일은 햅틱 코딩 파일 또는 오디오 코딩 파일 또는 다른 유형의 파형 코딩 파일인, 방법.
4. 제3항에 있어서, 오디오 파일은 파형 오디오 파일이고, 파형 오디오 파일의 채널들은 햅틱 채널들과 연관되고 렌더링될 햅틱 신호를 나타내는, 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 기하학적 모델은 일반적 모델들의 세트 중에서 선택되는, 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 대응하는 요소들을 식별하는 바이너리 마스크인, 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 정점들의 목록인, 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 기하학적 모델은 식별자로 식별되고, 식별자들의 범위는 일반적 기하학적 모델들을 위해 예약되는, 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 기하학적 모델은 인체(human body)의 햅틱 공간적 예민성(acuity)을 나타내는, 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 기하학적 모델은 햅틱 액추에이터들을 포함하는 햅틱 렌더링 디바이스의 요소들을 나타내는, 방법.
11. 제1항 내지 제5항 중 어느 한 항에 있어서, 메타데이터 파일은 비일반적 기하학적 모델의 메시의 설명(325)을 추가로 포함하고, 메시는 정점들의 세트 및 면들의 세트를 포함하고, 면은 정점들의 서브세트에 의해 결정되는, 방법.
12. 제11항에 있어서, 기하학적 모델의 각각의 정점에 대해, 상기 정점 상의 햅틱 신호의 인가를 스케일링하기 위한 계수를 추가로 포함하는, 방법.
13. 제1항 내지 제12항 중 어느 한 항에 있어서, 다수의 햅틱 피드백들을 나타내는 정보를 추가로 포함하는, 방법.
14. 프로세서(101)를 포함하는 햅틱 피드백을 렌더링하기 위한 장치로서, 프로세서는,
    햅틱 피드백을 나타내는 정보를 획득하도록 - 햅틱 피드백을 나타내는 정보는,
    메타데이터 파일(300) 및 햅틱 파일을 포함하고, 메타데이터 파일은,
    적어도 하나의 햅틱 채널(311, 312, 313)을 나타내는 적어도 하나의 정보를 포함하고, 적어도 하나의 정보는,
    기하학적 모델을 나타내는 정보, 및
    햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보를 포함하고,
    햅틱 파일(320)은 렌더링될 적어도 하나의 햅틱 신호(321, 322, 323)를 포함함 -,
    햅틱 피드백을 나타내는 정보에 기초하여, 햅틱 신호 및 햅틱 렌더링 디바이스의 적어도 하나의 햅틱 액추에이터를 선택하도록, 그리고
    선택된 햅틱 신호를 햅틱 렌더링 디바이스의 적어도 하나의 선택된 햅틱 액추에이터에 제공하도록 구성되는, 장치.
15. 제14항에 있어서, 햅틱 렌더링 디바이스를 추가로 포함하는, 장치.
16. 제14항 또는 제15항에 있어서, 메타데이터 파일은 햅틱 파일에 대한 참조를 추가로 포함하는, 장치.
17. 제16항에 있어서, 햅틱 파일은 햅틱 코딩 파일 또는 오디오 코딩 파일 또는 다른 유형의 파형 코딩 파일인, 장치.
18. 제17항에 있어서, 오디오 파일은 파형 오디오 파일이고, 파형 오디오 파일의 채널들은 햅틱 채널들에 연관되고 렌더링될 햅틱 신호를 나타내는, 장치.
19. 제14항 내지 제18항 중 어느 한 항에 있어서, 기하학적 모델은 일반적 모델들의 세트 중에서 선택되는, 장치.
20. 제14항 내지 제19항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 대응하는 요소들을 식별하는 바이너리 마스크인, 장치.
21. 제14항 내지 제20항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 정점들의 목록인, 장치.
22. 제14항 내지 제21항 중 어느 한 항에 있어서, 기하학적 모델은 식별자로 식별되고, 식별자들의 범위는 일반적 기하학적 모델들을 위해 예약되는, 장치.
23. 제14항 내지 제22항 중 어느 한 항에 있어서, 기하학적 모델은 인체의 햅틱 공간적 예민성을 나타내는, 장치.
24. 제14항 내지 제23항 중 어느 한 항에 있어서, 기하학적 모델은 햅틱 액추에이터들을 포함하는 햅틱 렌더링 디바이스의 요소들을 나타내는, 장치.
25. 제14항 내지 제18항 중 어느 한 항에 있어서, 메타데이터 파일은 비일반적 기하학적 모델의 메시의 설명(325)을 추가로 포함하고, 메시는 정점들의 세트 및 면들의 세트를 포함하고, 면은 정점들의 서브세트에 의해 결정되는, 장치.
26. 제22항에 있어서, 기하학적 모델의 각각의 정점에 대해, 상기 정점 상의 햅틱 신호의 인가를 스케일링하기 위한 계수를 추가로 포함하는, 장치.
27. 제14항 내지 제26항 중 어느 한 항에 있어서, 다수의 햅틱 피드백들을 나타내는 정보를 추가로 포함하는, 장치.
28. 제14항 내지 제27항 중 어느 한 항에 있어서, 디바이스는 햅틱 슈트들, 스마트폰들, 게임 제어기들, 햅틱 장갑들, 햅틱 의자들, 햅틱 소품들, 및 모션 플랫폼들을 포함하는 목록에 속하는, 장치.
29. 햅틱 피드백을 나타내는 정보를 반송하는 햅틱 피드백을 렌더링하기 위한 신호로서,
    메타데이터 파일(300) - 메타데이터 파일은,
    적어도 하나의 햅틱 채널(311, 312, 313)을 나타내는 적어도 하나의 정보를 포함하고, 적어도 하나의 정보는,
    기하학적 모델을 나타내는 정보, 및
    햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보를 포함함 -, 및
    렌더링될 적어도 하나의 햅틱 신호(321, 322, 323)를 포함하는 햅틱 파일(320)을 포함하는, 신호.
30. 제29항에 있어서, 메타데이터 파일은 햅틱 파일에 대한 참조를 추가로 포함하는, 신호.
31. 제30항에 있어서, 햅틱 파일은 햅틱 코딩 파일 또는 오디오 코딩 파일 또는 다른 유형의 파형 코딩 파일인, 신호.
32. 제31항에 있어서, 오디오 파일은 파형 오디오 파일이고, 파형 오디오 파일의 채널들은 햅틱 채널들에 연관되고 렌더링될 햅틱 신호를 나타내는, 신호.
33. 제29항 내지 제32항 중 어느 한 항에 있어서, 기하학적 모델은 일반적 모델들의 세트 중에서 선택되는, 신호.
34. 제29항 내지 제33항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 대응하는 요소들을 식별하는 바이너리 마스크인, 신호.
35. 제29항 내지 제34항 중 어느 한 항에 있어서, 햅틱 피드백을 적용할 기하학적 모델의 요소를 나타내는 정보는 기하학적 모델의 정점들의 목록인, 신호.
36. 제29항 내지 제35항 중 어느 한 항에 있어서, 기하학적 모델은 식별자로 식별되고, 식별자들의 범위는 일반적 기하학적 모델들을 위해 예약되는, 신호.
37. 제29항 내지 제36항 중 어느 한 항에 있어서, 기하학적 모델은 인체의 햅틱 공간적 예민성을 나타내는, 신호.
38. 제29항 내지 제37항 중 어느 한 항에 있어서, 기하학적 모델은 햅틱 액추에이터들을 포함하는 햅틱 렌더링 디바이스의 요소들을 나타내는, 신호.
39. 제29항 내지 제32항 중 어느 한 항에 있어서, 메타데이터 파일은 비일반적 기하학적 모델의 메시의 설명(325)을 추가로 포함하고, 메시는 정점들의 세트 및 면들의 세트를 포함하고, 면은 정점들의 서브세트에 의해 결정되는, 신호.
40. 제39항에 있어서, 기하학적 모델의 각각의 정점에 대해, 상기 정점 상의 햅틱 신호의 인가를 스케일링하기 위한 계수를 추가로 포함하는, 신호.
41. 제29항 내지 제40항 중 어느 한 항에 있어서, 다수의 햅틱 피드백들을 나타내는 정보를 추가로 포함하는, 신호.
42. 프로세서에 의해 실행될 때 제1항 내지 제13항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
43. 프로세서에 의해 실행될 때 제1항 내지 제13항 중 어느 한 항에 따른 방법의 단계들을 구현하기 위한 프로그램 코드 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체.

Images