KR20210104092A - 가상 현실에서 환경 햅틱들을 통합하기 위한 시스템 및 방법 - Google Patents

Abstract

가상 현실에서 환경 햅틱 효과들을 통합하기 위한 시스템들 및 방법들이 개시된다. 본원에 설명된 일 예시적 시스템은 환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하는 센서를 포함한다. 시스템은 또한 가상 현실 효과를 출력하도록 구성되는 가상 현실 디스플레이를 포함한다. 시스템은 또한, 센서 및 가상 현실 디스플레이에 커플링된 프로세서를 포함하고, 프로세서는 센서 신호를 수신하고, 센서 신호에 부분적으로 기초하여 가상 현실 효과에 대한 수정을 결정하고, 가상 현실 디스플레이에 대한 수정과 연관된 신호를 송신하도록 구성된다. 다른 예시적인 시스템은 환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하는 센서, 및 가상 현실 효과를 출력하도록 구성되는 가상 현실 디스플레이를 포함한다. 시스템은 또한 센서 및 가상 현실 디스플레이에 커플링된 프로세서를 포함하고, 프로세서는 센서 신호를 수신하고, 환경 햅틱 효과와 결합될 때, 원하는 햅틱 효과를 생성하는 센서 신호에 적어도 부분적으로 기초하여 생성된 햅틱 효과를 결정하고, 생성된 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하도록 구성된다.

Description

가상 현실에서 환경 햅틱들을 통합하기 위한 시스템 및 방법

관련 출원에 대한 상호-참조

본 출원은 2018 년 12 월 18 일자로 출원된 미국 출원 제 16/224,162 호의 이익을 주장하며, 본원에서는 그 전체를 참조로서 포함한다.

발명의 기술

본 출원은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 보다 구체적으로, 본 출원은 가상 현실에서 환경 햅틱들을 통합하는 것에 관한 것이다.

가상 현실 및 증강 현실 ("VR" 및 "AR") 애플리케이션들이 점점더 인기를 얻고 있다. 이러한 애플리케이션들은 사용자가 실제 세계 환경으로부터 발현하는 햅틱 효과들을 경험하기 쉬운 상황들에서 사용될 수도 있다. 예를 들어, VR 사용자는 운송수단, 이를 테면, 항공기, 기차, 차, 또는 보트에서 여행하면서 비디오를 시청하거나 또는 게임을 하는 VR 환경을 경험할 수도 있다. 이들 비히클들의 각각에서, 사용자는 VR 경험과 아무런 관련이 없는 햅틱 효과들을 느끼기 쉽고 이에 따라 이를 손상할 수 있다. 이에 따라, 가상 현실에서 환경 햅틱들을 통합하기 위한 시스템들 및 방법들이 요구된다.

본 개시의 실시형태들은 가상 현실에서 환경 햅틱들을 통합하는 시스템들 및 방법들을 포함한다. 일 실시형태에서, 시스템은 환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하는 센서를 포함한다. 시스템은 또한 가상 현실 효과, 이를 테면, 시각적 또는 청각적 효과를 출력하도록 구성되는 가상 현실 디스플레이를 포함한다. 시스템은 또한, 센서 및 가상 현실 디스플레이에 커플링된 프로세서를 포함하고, 프로세서는 센서 신호를 수신하고, 센서 신호에 부분적으로 기초하여 가상 현실 효과에 대한 수정을 결정하고, 가상 현실 디스플레이에 대한 수정과 연관된 신호를 송신하도록 구성된다.

다른 실시형태에서, 시스템은 환경 햅틱 효과와 연관된 환경 조건을 검출하고, 센서 신호를 생성하는 센서, 및 가상 현실 효과를 출력하도록 구성되는 가상 현실 디스플레이를 포함한다. 시스템은 또한 센서 및 가상 현실 디스플레이에 커플링된 프로세서를 포함하고, 프로세서는 센서 신호를 수신하고, 환경 햅틱 효과와 결합될 때, 원하는 햅틱 효과를 생성하는 센서 신호에 적어도 부분적으로 기초하여 생성된 햅틱 효과를 결정하고, 생성된 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하도록 구성된다.

다른 실시형태에서, 가상 현실에서 환경 햅틱들을 통합하는 방법은 환경 햅틱 효과와 연관된 환경 조건을 검출하도록 구성되는 센서로부터 센서 신호를 수신하는 단계 및 센서 신호를 생성하는 단계를 포함한다. 본 방법은 센서 신호에 부분적으로 기초하여 가상 현실 효과에 대한 수정을 결정하는 단계, 및 가상 현실 디스플레이에 대한 수정과 연관된 디스플레이 신호를 송신하는 단계를 더 포함한다.

다른 실시형태에서, 방법은 환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하도록 구성된 센서로부터 센서 신호를 수신하는 단계를 포함한다. 방법은 사용자에게 출력될 원하는 햅틱 효과를 결정하는 단계, 환경 햅틱 효과와 결합될 때 원하는 햅틱 효과를 생성하는 센서 신호에 적어도 부분적으로 기초하여 생성된 햅틱 효과를 결정하는 단계, 및 햅틱 출력 디바이스로 생성된 햅틱 효과와 연관된 햅틱 신호를 송신하는 단계를 더 포함한다.

또 다른 실시형태에서, 비일시적 컴퓨터 판독가능 매체는 프로세서에 의해 실행될 때 이러한 방법들을 수행하도록 구성되는 프로그램 코드를 포함할 수도 있다.

이들 예시적인 실시형태들은, 본 청구대상의 한계들을 한정하거나 정의하지 않지만 그 이해를 돕기 위해 예들을 제공하도록 언급된다. 예시적 실시형태들은 상세한 설명에 논의되며, 추가적인 설명이 본원에 제공된다. 여러 실시형태들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구된 기술요지의 하나 이상의 실시형태들을 실시함으로써 추가로 이해될 수도 있다.

완전하고 가능한 개시가 본 명세서의 나머지 부분에서 더 상세히 설명된다. 본 명세서는 다음 첨부된 도면들을 참조한다.
도 1 은 가상 현실에서 환경 햅틱들을 통합하는 예시의 시스템을 도시한다.
도 2 는 가상 현실에서 환경 햅틱들을 통합하는 다른 예시의 시스템을 도시한다.
도 3 은 가상 현실에서 환경 햅틱들을 통합하는 일 예시의 실시형태를 위한 방법 단계들의 플로우 차트이다.
도 4 는 가상 현실에서 환경 햅틱들을 통합하기 위한 다른 예시의 실시형태에 대한 방법 단계들의 플로우 차트이다.

이하, 다양한 및 대안적인 예시의 실시형태들 그리고 첨부 도면들을 상세히 참조할 것이다. 각각의 예는 한정으로서가 아니라 설명에 의해 제공된다. 변형예들 및 변경예들이 행해질 수도 있음이 당업자에게 명백할 것이다. 예를 들어, 일 실시형태의 일부로서 예시 또는 설명된 특징들은 또다른 추가적인 실시형태를 생성하기 위해 다른 실시형태에서 사용될 수도 있다. 따라서, 본 개시는, 첨부된 청구항들 및 그 균등물들의 범위 내에 있는 변형예들 및 변경예들을 포함함이 의도된다.

가상 현실에서 환경 햅틱들을 통합하는 예시적인 예

실시형태들은 VR 시뮬레이션들이 실제 세계 환경 햅틱들을 적응하게 한다. 이러한 실시형태들은 실제 세계 햅틱들을 경험함이 없이 VR 시뮬레이션을 사용자가 즐기도록 할 수 있다. 대안적으로, 이러한 환경은 사용자가 햅틱 효과의 소스를 인지하지 못하도록 VR 시뮬레이션으로 실제 세계 햅틱 효과들을 심리스하게 통합할 수도 있다. 다른 실시형태들에서, 실제 세계 햅틱 효과들은 사용자가 특별한 원하는 햅틱 효과를 경험하도록 생성된 햅틱 효과들과 결합될 수도 있다.

일 예시의 실시형태에서, 사용자는 가상 현실 ("VR") 헤드셋을 착용하고 VR 영화를 경험하면서 민간용 항공기에서 비행중이다. 시뮬레이션에서, 실제 세계 환경 조건들은 환경 햅틱 효과를 유발할 수도 있다. 예를 들어, 항공기의 좌석 또는 벽은 VR 시뮬레이션에서 배리어로서 묘사될 수도 있다. 고객은 또한 이를 테면, 항공기가 상승 또는 하강할 때, 또는 항공기가 난류를 통과하여 운행할 때 항공기의 이동에 기초하여 햅틱 효과들을 경험할 수도 있다. 항공기 내의 하나 이상의 센서들, 이를 테면, 가속도계 또는 레이더는 환경 조건을 검출하고, 햅틱 효과를 예측할 수 있거나, 또는 센서들은 환경 조건과 연관된 햅틱 효과 자체, 예를 들어, 난류에 기인한 항공기의 흔들림을 검출할 수 있다.

일 예시의 실시형태에서, 센서(들)로부터의 정보는 VR 영화를 또한 프로세싱하고 디스플레이하는 프로세서로 전달된다. VR 영화는 환경 햅틱 효과들을 반영하도록 실시간으로 수정될 수도 있다. 추가적으로 또는 대안적으로, 햅틱 효과들은 실제 세계 햅틱 효과를 최소화하거나 또는 변경하도록 출력될 수도 있다. 예를 들어, 일 예시적 실시형태에서, VR 영화는 수정되지 않는다. 그 대신에, 햅틱 출력 디바이스는 환경 햅틱 효과에 대항하거나 제거하도록 설계된 햅틱 효과를 생성한다.

이러한 실시형태들에서, 센서 또는 센서들은 이들이 발생할 때 또는 발생하기 전에 이벤트를 검출하는데 사용된다. 예를 들어, 비행중 난류의 경우에, 레이더는 항공기의 비행 경로에서의 불안정한 기류의 특정 영역이 특정 효과를 유발하는 것을 감지할 수도 있고, 그 다음, 예측된 환경 햅틱 효과가 그것이 발생한 대로 반영하도록 헤드셋에서 디스플레이되는 VR 비디오를 수정한다. 이와 유사하게, 환경 햅틱 효과를 상쇄하도록 설계된 실시형태에서, 프로세서는 햅틱 효과를 예측한 다음, 사용자가 환경 햅틱 효과를 경험하는 것과 동시에 상쇄된 햅틱 효과를 생성할 수도 있다. 이들 예들은 단지 예시적인 것에 불과하고, 청구범위를 제한하려 의도되지 않는다.

가상 현실에서 환경 햅틱들을 통합하는 예시의 시스템들

도 1 은 가상 현실에서 환경 햅틱들을 통합하는 예시의 시스템 (100) 을 도시한다. 특히, 이 예에서, 시스템 (100) 은 버스 (106) 를 통해 다른 하드웨어와 인터페이싱된 프로세서 (102) 를 갖는 컴퓨팅 디바이스 (101) 를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의 (및 비-일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리 (104) 는, 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 수록한다. 이 예에서, 컴퓨팅 디바이스 (101) 는 하나 이상의 네트워크 인터페이스 디바이스 (110), 입력/출력 (I/O) 인터페이스 컴포넌트들 (112) 및 부가적인 저장부 (114) 를 더 포함한다.

네트워크 디바이스 (110) 는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상의 컴포넌트들을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 라디오 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 트랜시버/안테나)과 같은 무선 인터페이스들을 포함하지만 이에 한정되지 않는다.

I/O 컴포넌트들 (112) 은 하나 이상의 디스플레이들, 이를 테면, VR 헤드셋 또는 터치 스크린 디스플레이, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들, 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들로의 접속을 용이하게 하는데 사용될 수도 있다. 저장부 (114) 는 디바이스 (101) 에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장부를 나타낸다. 일부 실시형태들에서, I/O 컴포넌트들 (112) 은 VR 제어기들을 포함할 수도 있다. 다른 실시형태들에서, I/O 컴포넌트들은 운송 디바이스, 이를 테면, 차량, 또는 보트에서의 제어기를 포함할 수도 있다. 또 다른 실시형태들에서, 제어기들은 사용자의 손들일 수도 있고, 센서들 (108) 은 자유 공간에서의 움직임 및 제스처들일 수도 있다.

시스템 (100) 은 하나 이상의 센서들 (108) 을 더 포함한다. 센서들 (108) 은 환경 효과를 검출하고 프로세서 (102) 에 의해 사용하기 위한 적절한 데이터를 제공하도록 구성된다. 임의의 적절한 수, 유형 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 상이한 실시형태들은 자이로미터들/자이로스코프들, 압력 센서들, 자기 센서들, 광 센서들, 마이크로폰, 적응성 센서들, 터치 센서들 또는 이러한 센서들의 임의의 조합을 포함할 수도 있다. 하나의 실시형태에서, 카메라, 레이저 맵핑 또는 레이더 스캐닝은 사용자 주변에 환경을 식별하는데 사용된다. 이러한 실시형태는 식별을 행하기 위해 인공지능 ("AI") 을 사용할 수도 있다. 가속도계는 진동, 변위 및 속력을 검출하는데 사용될 수도 있다. 자이로미터 또는 자이로스코프는 감지하는데 사용될 수도 있다. 압력 센서는 고도를 결정하기 위해 사용될 수도 있고 자기 센서는 방향 또는 배향을 결정하기 위해 사용될 수도 있다. 광 센서는 감지된 광도를 결정하기 위해 사용될 수도 있다. 그리고 마이크로폰은 사운드를 검출하기 위해 사용될 수도 있다. 임의의 이들 센서들은 임의의 다른 센서와 결합하여 사용될 수도 있다.

다른 실시형태들에서, 센서 (108) 는 LED 검출기를 포함할 수도 있다. 일부 실시형태들에서, 프로세서 (102) 는 단일 센서 (108) 와 통신할 수도 있고 다른 실시형태들에서는, 프로세서 (102) 는 복수의 센서들 (108) 과 통신할 수도 있다.

단일의 햅틱 출력 디바이스 (118) 가 본원에 도시되어 있지만, 실시형태들은 동일 또는 상이한 유형의 다수의 햅틱 출력 디바이스들을 사용하여 햅틱 효과들을 출력할 수도 있다. 예를 들어, 햅틱 출력 디바이스 (118) 는 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터 (ERM), 선형 공진 액추에이터 (LRA), 로우 프로파일 햅틱 액추에이터, 햅틱 테이프, 또는 정전기 효과를 출력하도록 구성되는 햅틱 출력 디바이스, 이를 테면, 정전 마찰 (ESF) 액추에이터 중 하나 이상을 포함할 수도 있다. 일부 실시형태들에서, 햅틱 출력 디바이스 (118) 는 복수의 액추에이터들, 예를 들어, 로우 프로파일 액추에이터, 압전 액추에이터 및 LRA 를 포함할 수도 있다. 또한, 햅틱 출력 디바이스 (118) 는 사용자의 환경, 또는 사용자의 의류 또는 웨어러블 디바이스 내에 통합될 수도 있다.

메모리 (104) 를 돌아가면, 예시적인 프로그램 컴포넌트들 (124, 126, 및 128) 은 햅틱 효과들을 결정 및 출력하도록 구성될 수도 있다. 이 예에서, 검출 모듈 (124) 은 센서(들)(108) 을 모니터링하여 환경 조건을 결정하도록 프로세서 (102) 를 구성한다. 예를 들어, 모듈 (124) 은 위치, 경로, 속도, 가속도, 압력 및/또는 시간에 따른 환경 햅틱 조건들의 다른 특성들 중 하나 이상을 추적하기 위해 센서 (108) 를 샘플링할 수도 있다.

햅틱 효과 결정 모듈 (126) 은 생성할 햅틱 효과를 선택하도록 오디오 및 비디오 특성들에 관한 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈 (126) 은 환경 조건들 및 VR 환경에 기초하여 생성하여 햅틱 출력 디바이스에 으해 출력할 햅틱 효과를 결정하는 코드를 포함한다. 모듈 (126) 은 환경 조건의 검출에 응답하여 출력할 하나 이상의 기존의 햅틱 효과들을 선택하는 코드를 더 포함할 수도 있다. 예를 들어, 항공기에서의 강한 난류의 검출은 사용자에게 난류의 효과에 대항하기 위한 강한 진동의 생성을 트리거할 수도 있다. 상이한 햅틱 효과들은 이들 피처들의 여러 조합들에 기초하여 선택될 수도 있다.

햅틱 효과 생성 모듈 (128) 은 프로세서 (102) 로 하여금 햅틱 신호를 생성하여 그 신호를 햅틱 출력 디바이스 (118) 로 송신하게 하는 프로그래밍을 나타내며, 이는 햅틱 출력 디바이스 (118) 로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈 (128) 은 햅틱 출력 디바이스 (118) 로 전송하기 위해 저장된 파형들 또는 커맨드들에 액세스할 수도 있다. 다른 예로서, 햅틱 효과 생성 모듈 (128) 은 원하는 유형의 햅틱 효과를 수신하고 신호 프로세싱 알고리즘들을 활용하여, 햅틱 출력 디바이스 (118) 로 전송하기 위한 적절한 신호를 생성할 수도 있다. 추가적인 예로서, 원하는 햅틱 효과는 햅틱 효과를 제공하기 위해 표면 (및/또는 다른 디바이스 컴포넌트) 의 적절한 변위를 생성하기 위해 하나 이상의 액추에이터들로 전송된 적절한 파형 및 텍스처에 대한 목표 좌표와 함께 표시될 수도 있다. 일부 실시형태들은 다수의 햅틱 출력 디바이스들을 피처들을 시뮬레이션하기 위해 협업하여 활용할 수도 있다. 예를 들어, 환경적 교란이 감지될 수도 있다. 그러나, 원하는 햅틱 효과는 진동을 전혀 또는 거의 갖지 않을 수도 있지만 운동학적 컴포넌트를 포함할 수도 있다. 이러한 경우, 환경적 교란에 대항하기 위해 진동이 활용될 수 있으면서 동시에, 물체의 존재, 이를 테면, 사용자 환경에서의 테이블을 나타내기 위해 운동학적 효과가 출력된다. 이러한 구성은 단지 예시적인 것에 불과하며, 이러한 시스템을 구성할 수 있는 유일한 방식은 아니다.

도 2 는 가상 현실에서 환경 햅틱들을 통합하는 다른 예시의 시스템을 도시한다. 도 2 의 시스템은 롤러코스터에서 사용하기 위한 것이다. 도 2 에 도시된 실시형태에서, 사용자 (202) 는 롤러코스터 카 (204) 에 착좌된다. 사용자를 트랙을 따라 운송하는 롤러코스터 카 (204) 는 환경 햅틱 효과들을 감지할 뿐만 아니라 햅틱 효과들을 결정하고, 생성하고 출력하기 위하여 도 1 에 예시된 시스템을 통합할 수도 있다.

도시된 실시형태에서, 사용자 (202) 는 VR 헤드셋 (206) 을 착용하고 있다. VR 헤드셋 (206) 은 비쥬얼 디스플레이 뿐만 아니라 헤드폰들을 포함한다. VR 헤드셋 (206) 은 또한, 사용자에게 햅틱 효과를 제공하기 위하여 하나 이상의 액추에이터들, 이를 테면, LRA 를 포함할 수도 있다.

롤러코스터 카 (202) 는 사용자 (202) 가 착좌한 시트 (208) 를 포함한다. 도시된 실시형태에서, 좌석 (208) 은 사용자 (202) 에게 햅틱 출력을 제공하기 위하여 여러 햅틱 출력 디바이스들을 포함한다. 일부 실시형태들에서, 사용자는 또한, 햅틱 액추에이터 디바이스들을 포함하는 의복, 이를 테면, 한쌍의 글로브를 착용할 수도 있다.

롤러코스터 카 (204) 가 트랙을 횡단할 때, 롤러코스터 카 (204) 에서의 센서들은 카의 움직임을 감지할 수 있고 발생하려 하는 이벤트들을 예측할 수 있다. 예를 들어, 롤러코스터 카가 정상으로 리프트업되는 체인 근방에 있을 때, 롤러코스터 카 (204) 전방에 있는 포토센서가 체인을 감지하고 체인 도그들이 체인에 맞물리려할 때를 예측한다. 체인 도그가 체인에 맞물릴 때, 카 (204) 에 있는 다른 센서들은 진동, 즉, 클릭-클랙-클릭 감각을 감지한다. 센서들이 진동을 감지할 때, 좌석 (208) 에서의 햅틱 출력 디바이스들은 체인 도그가 맞물릴 때 카 (204) 의 필링을 매끄럽게 하기 위해 반작용하는 진동들을 출력한다. 이러한 실시형태는 VR 헤드셋 (206) 이 카 (204) 의 움직임과 일치하는 비행 시뮬레이션을 플레이하고 있을 때 유용하다. 반작용하는 햅틱 피드백은 사용자로 하여금 롤러코스터에서의 라이딩보다는 비행중일 때 더 유사한 더 매끄러운 승차감을 경험하게 할 것이다. 다른 유형들의 액추에이터들은 예를 들어, 롤로코스터의 힘에 대항하기 위해 사용자의 신체에 압력을 가하는데 사용될 수 있다. 또한, 일부 실시형태들에서, 사용자는 더 몰입형 경험을 실현하기 위하여 신체의 여러 부분들에 대해 추가적인 액추에이터들을 착용할 수 있다.

여러 실시형태들은 수개의 시나리오들에서 유용할 수도 있다. 예를 들어, 사용자는 장시간의 비행 동안에 몰입형 VR 게임을 플레잉하고 있다. 사용자가 시뮬레이션에서 다리위를 걷고 있을 때, 가상 세계에서 지진이 일어나 흔들린다. 실시형태는 전체적으로 감지된 난기류에서 응답하여, 사용자 아래에서 다리가 흔들리게 하고 숲에서의 나무가 흔들리게 하고 바위들이 근처 절벽에서 흔들리게 하는 것이 가능하다. 이러한 실시형태는 항공기에서 난류를 차단하면서 외부적으로 현실감있는 경험을 제공한다.

다른 예로서, 사용자는 카에서 승객으로서 탑승하는 동안 VR 레이싱 게임을 플레잉한다. 게임은 미래로 설정되고, 가상 도로는 언제든지 변경될 수 있다. 갑자기 사용자는 도로가 울퉁불퉁해지는 것을 보고 타이어가 범프에 부딪칠 때 변화를 귀로 듣고 질감의 변화를 느낀다. 시뮬레이션된 레이싱 게임에 대한 변화들은 실제 귀가 현재 자갈 길을 따라 진행하고 있다는 사실에 유발되었다. 실제 카가 포트 홀에 접근할 때, 차 앞에 카메라는 포트 홀을 검출하고 시뮬레이션을 행하기 위한 수정을 결정한다. 그 다음, 카가 포트홀을 타격할 때, 사용자는 사용자 측에서의 햅틱 출력 디바이스로부터 범프를 느끼고, 시뮬레이션된 폭발이 디스플레이되는 방향을 향하여 회전하고 이에 의해, 시뮬레이션 내에 환경 햅틱 효과를 통합한다.

다른 예에서, 사용자는 파란 바다의 얕은 물에서 릴렉스하는 시뮬레이션 중에 있다. 사용자는 사용자의 오른쪽 팔에 대해 스쳐가는 무엇인가를 느끼고 물고기가 멀어져가는 것을 보기 위해 고개를 돌리고 물고기에 의해 물이 튕기는 것을 들을 수도 있다. 사용자는 실제로 거실에서 누워 있으며, 다른 사람이 지나가다가 실수로 사용자를 스칠 수도 있다. 시스템은 발생하려 하는 접촉을 감지하고 VR 시뮬레이션을 수정하고 VR 에서 사용자의 몰입을 유지하기 위하여 대응하는 햅틱 효과를 생성 및 출력하였다.

또 다른 예에서, 사용자는 VR 헤드셋을 착용하면서 가상 정글에서 걷고 있다. 사용자의 거실에 있는 가구 및 벽들은 VR 시뮬레이션에서의 물체에 맵핑된다. 나무의 가지가 나타나고, 여기서 가로 등이 나타나고 그의 커피 테이블이 큰 바위처럼 보인다. 숲은 벽이 있는 곳에서 더 빽빽하게 된다. 사용자가 이들 물체의 어느 것에 접근할 때, 시스템은 사용자 주변의 실제 세계 환경에 자동으로 적응하도록 대응하는 햅틱 효과들을 생성 및 출력할 수 있다. 이렇게 행할 때, 시뮬레이션은 물체들이 가상 세계에 물체들인 것처럼 사용자가 실제 세계에서 물체들을 피하거나 또는 상호작용하게 할 수도 있다.

가상 현실에서의 환경 햅틱들을 통합하기 위한 예시적 방법들

도 3 은 가상 현실에서 환경 햅틱들을 통합하는 일 예시의 실시형태를 위한 방법 단계들의 플로우 차트이다. 도시된 실시형태에서, 프로세서 (300) 는 시뮬레이션 (302) 을 실행하는 프로세서, 이를 테면, 프로세서 (102) 에 의해 시작한다.

프로세서 (102) 는 또한, 하나 이상의 센서들 (108) 로부터 센서 신호들을 수신한다. 센서 신호들을 사용하여, 프로세서 (102) 는 사용자가 시뮬레이션 (304) 을 경험하고 있는 환경을 식별하기 위해 환경을 분석한다. 예를 들어, 센서 신호는 도 2 와 관련하여 위에 설명된 바와 같이, 사용자가 롤러코스터 위에 있을 때를 나타낼 수도 있다. 일부 실시형태들에서, 환경은 시뮬레이션이 시작하기 전에 식별될 수도 있거나 또는 컴퓨팅 디바이스 (100) 내에 하드-코딩될 수도 있다.

프로세서 (102) 는 다음으로, 환경 (306) 에 기초하여 확률적 시나리오들의 세트를 결정한다. 예를 들어, 시뮬레이션이 항공기에서 실행하도록 시작하면, 센서 (108) 는 항공기가 지상에 있음을 나타내는 하나 이상의 신호들을 전송할 수도 있다. 프로세서 (102) 는 그 다음, 가까운 장래에 발생할 두 개의 가장 가능성있는 시나리오들로서 지상 주행이나 이륙과 연관된 시나리오들을 식별할 것이다. 프로세서는 가장 가능성있는 시나리오를 식별하는 것을 행하는 인공 지능 알고리즘에 의존할 수도 있다.

프로세서 (102) 는 그 다음, 환경 조건 (308) 과 연관된 센서 (108) 로부터 센서 신호를 수신한다. 예를 들어, 항공기에서의 가속도계 또는 속력 센서는 항공기가 이동하기 시작함을 나타낼 수도 있다. 또는, 롤러코스터의 경우에, 센서는 정상까지 카를 올리는 체인에 카가 맞물려있을 때를 나타낼 수도 있다.

센서 (108) 는 다음으로, 센서 신호가 확률적 시나리오들 (310) 중 하나와 연관되어 있는지를 결정한다. 예를 들어, 항공기가 정지 상태로 놓여있고, 프로세서는 항공기가 지상주행하기 시작할 가능성이 있음을 결정하면, 항공기가 이동하기 시작하는 것을 나타내는 센서 신호가 확률적 시나리오들 중 하나와 매칭할 것이다. 롤러코스터의 경우에, 갑자기 정지하였다면, 이는 롤러코스터가 트랙을 횡단하는 것과 연관된 확률적 시나리오와 매칭하지 않을 것이다. 다른 예에서, 카가 도로로 주행하고 도로 표면이 갑자기 자갈로 변하면, 자갈 표면을 따라 진행하는 것은 프로세서 (102) 에 의해 예측되는 확률적 시나리오들 중 하나가 아닐 수도 있다.

확률적 시나리오가 센서 신호와 연관되면, 프로세서 (102) 는 확률적 시나리오 (312) 와 연관된 수정을 식별한다. 수정은 VR 헤드셋에서의 디스플레이에 대한 수정일 수도 있다. 대안적으로, 수정은 환경 조건을 감지하는 것에 응답하여 사용자에 제공된 햅틱 효과 또는 햅틱 효과들의 세트에 대한 수정일 수도 있다. 어느 이벤트에도, 수정은 미리 정의되고 예를 들어, 프로세서 (102) 에 의한 후속 취출을 위하여 저장부 (114) 에 저장된다.

확률적 시나리오가 센서 신호와 연관되지 않으면, 프로세서 (102) 는 센서 신호 (316) 에 적어도 부분적으로 기초하여 수정을 결정한다. 기존의 확률적 시나리오에서와 같이, 수정은 VR 헤드셋에 의해 출력되는 디스플레이 또는 사운드들에 대한 또는 햅틱 효과 또는 햅틱 효과들의 세트에 대한 수정일 수 있거나 또는 이들 출력들의 조합일 수도 있다. 그러나, 이러한 경우에, 프로세서는 센서 신호에 적어도 부분적으로 기초하여 비디오, 오디오 및/또는 햅틱 효과들에 대한 수정을 식별 또는 생성해야 한다.

프로세서 (102) 는 다음으로, 수정 (318) 에 기초하여 시뮬레이션을 변경한다. 예를 들어, 항공기에서의 난기류의 경우에, 비디오는 수정될 수도 있어 예를 들어, 보트 시뮬레이션에서 파를 생성하거나 또는 하이킹 시뮬레이션에서 지진을 생성하는 것이 난류의 특성들에 맞도록 트리거링된다. 대안적으로, 햅틱 효과 결정 모듈 (126) 은 난류에 대항하도록 햅틱 효과를 식별하고 이들 햅틱 효과들을 시뮬레이션으로 생성될 햅틱 효과들과 결합할 수도 있다.

프로세서 (102) 는 그 다음, 수정된 시뮬레이션 (320) 을 출력한다. 예를 들어, 프로세서 (102) 는 VR 헤드셋을 통하여 수정된 비디오를 출력할 수도 있다. 다른 예에서, 프로세서 (102) 는 시뮬레이션과 연관된 햅틱 효과가 또한 출력되는 동안, 햅틱 출력 디바이스 (118) 로 하여금 난기류에 의해 야기되는 햅틱 효과를 출력하게 할 수 있다.

일부 실시형태들에서, 실제 세계 햅틱들은 VR 시뮬레이션 내에 통합된다. 이러한 실시형태에서, 사용자는 환경 조건들에 의해 야기되는 가능한 햅틱 외란들로 비제어 환경에 있는 동안 VR 헤드셋을 착용한다. 본원에 설명된 항공기의 예에 더하여, 이는 기차에 있는 사용자를 포함할 수도 있다. 기차는 일정 속도로 이동하는 동안 특유의 굉음 소리를 생성한다. 이는 또한, 정거장에서 속도를 낮추거나 속도를 높이며, 때로는 비교적 급회전을 행할 수도 있다. 이들의 상황들 또는 액션들 각각은 시뮬레이션으로 실제 세계 햅틱들을 통합하기 위해 VR 시뮬레이션을 수정하는데 사용될 수 있다.

이와 유사하게, 카는 도로의 품질 (새로운 아스팔트, 자갈, 포트홀, 눈 등) 에 따라 상이한 피드백을 생성한다. 또한, 이는 가속 또는 감속, 차선을 변경 또는 회전할 때 상이한 햅틱 촉각을 생성한다. 보트는 또한 흔들리거나, 속도를 변경하거나 또는 거친 물을 가로질러 횡단하는 것에 의해 특유의 햅틱 촉각을 생성할 수도 있다. 사용자는 공공 공간에서 환경 조건들에 의해 야기되는 햅틱들을 경험할 수도 있다. 예를 들어, 사용자는 누군가가 자신들을 부딪치는 것을 느끼거나, 이들이 여러 표면들을 따라 이동할 때 질감의 변화를 느끼거나, 다른 것들이 이들에 접촉하는 것을 느끼거나 또는 가구 또는 벽과 같은 물체와 상호작용할 수 있다. 이러한 환경들에서, 환경 조건들에 의해 야기되는 햅틱 외란은 몰입형 VR 경험을 유지하기 위하여 적어도 부분적으로 VR 시뮬레이션에 통합된다. 일부 실시형태들에서, VR 헤드셋에 통합되는 센서, 이를 테면, 카메라, 또는 사용자의 의복에 내장된 센서, 이를 테면, 압력 센서는 다른 사람이 옆을 지나갈 때를 감지할 수 있고, 이에 따라 시뮬레이션을 수정할 수 있다. 다른 실시형태에서, 센서는 물체, 이를 테면, 나무의 존재를 감지하고, 물체를 보여주도록 VR 시뮬레이션을 수정하여, 사용자로 하여금 실제 세계 물체와의 충돌을 방지하게 한다.

다른 실시형태에서, 사용자는 햅틱 컴포넌트들을 갖는 물리적 경험 동안에 VR 헤드셋을 착용한다. 사용자가 물리적 경험으로부터의 햅틱을 경험하지만, 이들은 헤드셋을 통하여 사용자에게 제시된 VR 시뮬레이션 상에 맵핑된다. 즉, 사용자가 물리적 경험을 제어할 때, VR 시뮬레이션은 사용자에 의해 경험되는 햅틱에 매칭하도록 변화한다. 햅틱들은 롤러코스터 라이드와 같은 비교적 예측가능한 경험에 관련될 수도 있다. 햅틱들은 그 다음, 롤러코스터 트랙의 여러 피처들과 동기될 수도 있다. 대안적으로, VR 시뮬레이션은 이전에 알려지지 않은 경험에 실시간으로 적응될 수도 있다. 예를 들어, 롤러코스터의 예의 경우에, 센서들, 이를 테면, 카메라 또는 가속도계는 환경들을 측정할 수 있고 실시간으로, 이를 테면, 롤러코스터 라이드가 시작하기 전에 효과를 맵핑하는 것에 반대되는 롤러코스터 카의 수직 및 수평 운동에 응답하여 햅틱들 및 VR 시뮬레이션에 대한 변화들을 발생하도록 허용할 수 있다.

추가적인 햅틱 디바이스들은 햅팁 경험의 즐거움을 증가시키는데 사용될 수 있다. 예를 들어, 난류가 항공기에서 검출될 때, 항공기의 체어는 난류를 보상하기 위해 햅틱을 출력하여 불쾌한 난류를 보다 즐거운 사용자 경험으로 변경하는 햅틱 출력 디바이스를 포함할 수도 있다. 다른 예시의 실시형태에서, 센서는 실제 세계에서 충돌을 검출하고 VR 환경에서 이벤트를 트리거한다. 예를 들어, 사용자는 게임에서 무기를 발사하기 위해 좌측 손 제어기 및 우측 손 제어기를 충돌시킨다. 총돌의 영향은 무기의 전력 레벨에 매핑할 것이다. 추가적인 햅틱들은 무기 발사의 공진을 시뮬레이션하도록 동시에 트리거될 수 있다.

일부 실시형태들에서, 수정은 보상, 회피, 또는 조작으로서 특징화될 수 있다. 예를 들어, 하나의 실시형태는 실제 세계 환경에서 불쾌한 햅틱들을 보상가능하다. 센서 (108) 는 실제 세계 환경에서 사용자에 의해 경험되었거나 사용자에 의해 막 경험하려고 하는 불쾌한 햅틱 감각을 검출하고 불쾌한 햅틱들을 보상하는 햅틱을 생성한다. 이러한 실시형태는 또한 햅틱 효과들을 매칭하도록 동시에 VR 디스플레이를 수정할 수 있다. 예를 들어, 난류가 검출되면, 이러한 실시형태는 실제 세계 환경 햅틱들이 현재 VR 환경에 맞추어지도록 허용하는 방식으로 난류를 상쇄하는 햅틱들을 생성할 수도 있다. 예를 들어, 사용자는 비행 중에 레이스 카 게임을 시청할 수도 있고 난류 효과의 수정에 의해 카가 자갈 도로 위를 진행하려 시작하게 할 수 있다.

다른 실시형태는 사용자가 실제 세계 환경에서 불쾌한 햅틱들을 회피하는 것을 돕는다. 도 4 는 가상 현실에서 환경 햅틱들을 통합하는 일 예시의 실시형태를 위한 방법 단계들의 플로우 차트이다. 도시된 실시형태에서, 프로세서 (400) 는 시뮬레이션 (402) 을 실행하는 프로세서, 이를 테면, 프로세서 (102) 에 의해 시작한다.

프로세서 (102) 는 환경 조건 (404) 을 검출하도록 구성되는 센서 (108) 로부터 센서 신호를 수신한다. 환경 조건은 외란, 이를 테면, 난기류일 수도 있다. 대안적으로, 환경 조건은 도로의 표면일 수도 있다.

햅틱 효과 결정 모듈 (126) 은 다음으로, 환경 조건 (406) 과 연관된 환경 햅틱 효과를 결정한다. 예를 들어, 프로세서 (102) 는 난기류가 높은 크기의 저주파수 햅틱 효과와 연관된다고 결정한다.

햅팁 효과 결정 모듈 (126) 은 그 다음, 사용자 (408) 에게 원하는 햅틱 효과를 출력하도록 결정한다. 예를 들어, 사용자가 시청하는 시뮬레이션은 매끄러운 도로를 따라 차가 주행하는 것일 수도 있다. 그리고 시뮬레이션에 기초하여, 원하는 햅틱 효과는 차의 타이어가 도로를 따라 굴러가는 것을 반영하는 낮은 크기의 고주파수 효과이다. 따라서, 원하는 햅틱 효과는 환경 햅틱 효과와는 실질적으로 상이할 수도 있다.

햅틱 효과 결정 모듈 (126) 은 그 다음, 원하는 햅틱 효과 및 환경 햅틱 효과 (410) 에 기초하여 생성된 햅틱 효과, 즉, 생성될 햅팁 효과를 결정한다. 예를 들어, 햅틱 효과 생성 모듈 (128) 은 낮은 크기의 고주파수 햅틱 효과 및 이에 더하여, 높은 크기의 저주파수 환경 햅틱 효과에 대항하는 햅틱 효과를 생성할 수도 있다. 이들 두개의 효과들을 출력하는 조합은 사용자가 원하는 햅틱 효과를 인식하는 것으로 이어진다. 프로세서 (102) 는 그 다음, 햅틱 효과 (412) 를 출력하는, 햅팁 출력 디바이스 (118) 로 햅틱 효과(들)을 송신한다.

이러한 실시형태는 환경 조건들을 감지하도록 센서들을 사용할 수 있고 센서 출력에 기초하여, 실제 세계 환경에서 발생할 가능성이 있는 햅틱들을 예측할 수 있다. 이것이 불쾌한 것이면, 애플리케이션은 사용자가 이들의 방향, 위치, 회전, 신체 포즈 등을 변화하도록 사용자에게 경고하기에 앞서 일부 유사한 햅틱을 생성하여, 불쾌한 상황이 발생하는 것을 회피한다. 예를 들어, 사용자는 붐비는 버스에 서있고 VR 디바이스를 착용한다. 애플리케이션은 누군가가 사용자 옆을 지나가거나 또는 사용자의 좌측 어깨를 건드리는 것을 검출하고, 이는 예상되는 충돌을 회피하도록 자신의 신체를 회전하도록 사용자에게 경보하는 햅틱들을 생성한다.

또 다른 실시형태는 실제 세계 환경에서 적절한 햅틱 효과들을 적응하도록 햅틱 효과들을 조작한다. 이러한 실시형태에서, 센서 또는 센서들은 환경 햅틱 효과들을 검출하고, VR 환경에서의 시나리오에 맞추어지도록 생성된 햅틱 효과와 조합하여 이들 효과들을 사용한다. 예를 들어, 사용자가 실제 세계에서 자신의 손을 테이블 위에 놓고 사용자의 아바타가 VR 환경에서 동일하게 행동하면, 실제 세계 햅틱들이 임의의 추가적으로 생성된 햅틱들 없이 사용될 수 있다. 그러나, 실제 테이블이 나무 테이블인 한편, 가상 테이블이 유리 테이블이면, 애플리케이션은 사용자가 유리 테이블을 접촉하는 것을 자신이 느끼도록 하는 햅틱들을 생성한다. 예를 들어, 패라글라이딩과 같은 활동은 새와 같이 비행하는 VR 경험과 매칭될 수 있다. VR 컨텐츠는 그 다음, 예측하지 못하는 실제 햅틱 효과에 동기될 수도 있다.

본원에 설명된 일부 실시형태들은 VR 시뮬레이션을 실제 세계 환경 햅틱 효과들을 적응시키는 것에 의해 보다 몰입적이고, 보다 양호한 최적화된 경험을 제공한다. 다른 실시형태들에서, 원하지 않는 햅틱 효과들이 상쇄되고, 이는 또한 VR 시뮬레이션 동안 몰입형 환경을 유지하는 것을 돕는다. 일부 실시형태들은 보다 몰입형의 시뮬레이션을 제공하기 위하여 환경 햅틱 효과들에 더하여 생성된 햅틱 효과들을 제공할 수도 있다.

일반적인 고려사항들

상기 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들이 다양한 절차들 또는 컴포넌트들을 적절하게 생략, 치환, 또는 부가할 수도 있다. 예를 들어, 대안적인 구성들에 있어서, 방법들은 설명된 것과 상이한 순서로 수행될 수도 있고/있거나 다양한 단계들이 부가, 생략, 또는 결합될 수도 있다. 또한, 특정 구성들에 관하여 설명된 피처들은 다양한 다른 구성들에서 결합될 수도 있다. 구성들의 상이한 양태들 및 엘리먼트들이 유사한 방식으로 결합될 수도 있다. 또한, 기술은 진화하고, 따라서, 엘리먼트들의 다수는 예들이며 본 개시 또는 청구항의 범위를 한정하지 않는다.

특정 상세들이 (구현들을 포함하여) 예시적인 구성들의 철저한 이해를 제공하기 위해 설명에 있어서 주어진다. 그러나, 구성들은 이들 특정 상세들없이도 실시될 수도 있다. 예를 들어, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 구성들을 흐리는 것을 피하기 위해서 불필요한 세부사항 없이 도시되었다. 이 설명은 오직 예시적인 구성들을 제공할 뿐, 청구항의 범위, 적용가능성, 또는 구성들을 한정하지 않는다. 오히려, 구성들의 전술한 설명은, 설명된 기술들을 구현하기 위해 가능한 설명을 당업자에게 제공할 것이다. 엘리먼트들의 기능 및 배열에서, 본 개시물의 사상 또는 범위로부터 일탈함이 없이, 다양한 변경들이 이루어질 수도 있다.

또한, 구성들은, 플로우 다이어그램 또는 블록 다이어그램으로서 도시된 프로세스로서 설명될 수도 있다. 각각이 동작들을 순차적인 프로세스로서 기술할 수도 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 게다가, 동작들의 순서는 재배열될 수도 있다. 프로세스는, 도면에 포함되지 않은 부가적인 단계들을 가질 수도 있다. 더욱더, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어로 구현되는 경우, 필요한 태스크들을 수행하는 펌웨어, 미들웨어, 또는 마이크로코드, 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시성 컴퓨터-판독가능 매체에 저장될 수도 있다. 프로세서들은 설명된 태스크들을 수행할 수도 있다.

수개의 예시적인 구성들을 설명했을 때, 다양한 변형들, 대안적인 구성들, 및 균등물들이 본 개시의 사상으로부터 일탈함없이 사용될 수도 있다. 예를 들어, 상기 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수도 있으며, 여기서, 다른 룰들이 우선권을 인수하거나 그렇지 않으면 본 발명의 애플리케이션을 변형할 수도 있다. 또한, 다수의 단계들이, 상기 엘리먼트들이 고려되기 전, 그 동안, 또는 그 이후에 착수될 수도 있다. 이에 따라, 상기 설명은 청구항의 범위를 한정하지 않는다.

본 명세서에서의 "∼에 적응된" 또는 "∼하도록 구성된" 의 사용은, 부가적인 태스크들 또는 단계들을 수행하도록 적응되거나 구성된 디바이스들을 배제하지 않는 개방적이고 포괄적인 언어로서 의미된다. 부가적으로, "∼에 기초한"의 사용은, 하나 이상의 인용된 조건들 또는 값들에 "기초한" 프로세스, 단계, 계산, 또는 다른 액션이 실제로 그 인용된 것들을 넘는 부가적인 조건들 또는 값들에 기초할 수도 있다는 점에 있어서 개방적이고 포괄적인 것으로 의미된다. 본 명세서에 포함된 헤딩들, 리스트들, 및 넘버링은 단지 설명의 용이를 위한 것일 뿐, 한정적인 것으로 의미되지 않는다.

본 주제의 양태들에 따른 실시예들은 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 이들의 조합들에서 구현될 수 있다. 일 실시예에 있어서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수도 있다. 프로세서는, 프로세서에 커플링된 랜덤 액세스 메모리 (RAM) 와 같은 컴퓨터 판독가능 매체를 포함하거나 그 컴퓨터 판독가능 매체로의 액세스를 갖는다. 프로세서는, 상기 설명된 방법들을 수행하기 위한 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령들을 실행한다.

그러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로 (ASIC), 필드 프로그램가능 게이트 어레이들 (FPGAs), 및 상태 머신들을 포함할 수도 있다. 그러한 프로세서들은 PLC들, 프로그램가능 인터럽트 제어기들 (PICs), 프로그램가능 로직 디바이스들 (PLDs), 프로그램가능 판독전용 메모리들 (PROMs), 전자적으로 프로그램가능 판독전용 메모리들 (EPROMs 또는 EEPROMs), 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수도 있다.

그러한 프로세서들은, 프로세서에 의해 실행될 경우, 프로세서로 하여금 프로세서에 의해 실행되거나 보조되는 것으로서 본 명세서에서 설명된 단계들을 수행하게 할 수 있는 명령들을 저장할 수도 있는 매체, 예를 들어, 유형의 컴퓨터 판독가능 매체를 포함할 수도 있거나 그 매체와 통신할 수도 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령들을 제공하는 것이 가능한 모든 전자적, 광학적, 자기적, 또는 다른 저장 디바이스들을 포함할 수도 있지만 이에 한정되지 않는다. 매체의 다른 예들은 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지 않는다. 또한, 라우터, 사설 또는 공개 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수도 있다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조들 내에 있을 수도 있고, 하나 이상의 구조들을 통해 분산될 수도 있다. 프로세서는 본 명세서에서 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수도 있다.

본 청구대상이 그 특정 실시예들에 관하여 상세히 설명되었지만, 당업자는, 전술한 바의 이해를 얻을 시, 그러한 실시형태들에 대한 변경예들, 변형예들, 및 균등물들을 용이하게 생성할 수도 있음이 인식될 것이다. 따라서, 본 개시는 한정이라기 보다는 예시의 목적으로 제시되었으며, 당업자에게 용이하게 자명할 바와 같이 본 주제에 대한 그러한 변형예들, 변동예들 및/또는 부가예들의 포함을 배제하지 않음을 이해해야 한다.

Claims (20)

1. 시스템으로서,
   환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하는 센서;
   가상 현실 효과를 출력하도록 구성된 가상 현실 디스플레이; 및
   상기 센서 및 상기 가상 현실 디스플레이에 커플링된 프로세서를 포함하고,
   상기 프로세서는:
   상기 센서 신호를 수신하고;
   상기 센서 신호에 부분적으로 기초하여 상기 가상 현실 효과에 대한 수정을 결정하고; 그리고
   상기 수정과 연관된 디스플레이 신호를 상기 가상 현실 디스플레이로 송신하도록 구성되는, 시스템.
2. 제 1 항에 있어서,
   상기 프로세서에 커플링된 햅틱 출력 디바이스를 더 포함하고, 상기 프로세서는 또한, 상기 센서 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하고 상기 햅틱 신호를 상기 햅틱 출력 디바이스로 송신하도록 구성되는, 시스템.
3. 제 1 항에 있어서,
   상기 센서는 카메라, 레이저, 레이더, 가속도계, 자이로미터, 자이로스코프, 압력 센서, 자기 센서, 광 센서, 또는 마이크로폰 중 적어도 하나를 포함하는, 시스템.
4. 제 1 항에 있어서,
   상기 가상 현실 디스플레이는 가상 현실 헤드셋을 포함하는, 시스템.
5. 제 1 항에 있어서,
   상기 환경 조건은 표면 상의 피처에 대응하는, 시스템.
6. 제 5 항에 있어서,
   상기 피처는 자갈 표면 (gravel surface) 을 포함하는, 시스템.
7. 제 1 항에 있어서,
   상기 환경 조건은 외란 (disturbance) 을 포함하는, 시스템.
8. 제 7 항에 있어서,
   상기 외란은 난기류를 포함하는, 시스템.
9. 시스템으로서,
   환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하는 센서;
   가상 현실 효과를 출력하도록 구성된 가상 현실 디스플레이; 및
   상기 센서 및 상기 가상 현실 디스플레이에 커플링된 프로세서를 포함하고,
   상기 프로세서는:
   상기 센서 신호를 수신하고;
   환경 햅틱 효과와 결합될 때 원하는 햅틱 효과를 생성하는 상기 센서 신호에 적어도 부분적으로 기초하여, 생성된 햅틱 효과를 결정하고; 그리고
   상기 생성된 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하도록 구성되는, 시스템.
10. 방법으로서,
    센서로부터 센서 신호를 수신하는 단계로서, 상기 센서는:
    환경 햅틱 효과와 연관된 환경 조건을 검출하고, 그리고
    상기 센서 신호를 생성하도록 구성되는, 상기 센서 신호를 수신하는 단계;
    상기 센서 신호에 부분적으로 기초하여 가상 현실 효과에 대한 수정을 결정하는 단계; 및
    상기 수정과 연관된 디스플레이 신호를 가상 현실 디스플레이로 송신하는 단계를 포함하는, 방법.
11. 제 10 항에 있어서,
    프로세서에 커플링된 햅틱 출력 디바이스를 더 포함하고, 상기 프로세서는 또한, 상기 센서 신호에 적어도 부분적으로 기초하여 햅틱 신호를 결정하고 상기 햅틱 신호를 상기 햅틱 출력 디바이스로 송신하도록 구성되는, 방법.
12. 제 10 항에 있어서,
    상기 센서는 카메라, 레이저, 레이더, 가속도계, 자이로미터, 자이로스코프, 압력 센서, 자기 센서, 광 센서, 또는 마이크로폰 중 적어도 하나를 포함하는, 방법.
13. 제 10 항에 있어서,
    상기 가상 현실 디스플레이는 가상 현실 헤드셋을 포함하는, 방법.
14. 제 10 항에 있어서,
    상기 환경 조건은 표면 상의 피처에 대응하는, 방법.
15. 제 14 항에 있어서,
    상기 피처는 자갈 표면을 포함하는, 방법.
16. 제 10 항에 있어서,
    상기 환경 조건은 외란을 포함하는, 방법.
17. 제 1 항에 있어서,
    생성된 햅틱 효과를 결정하는 것은 확률적 시나리오에 적어도 부분적으로 기초하여 생성된 햅틱 효과를 수정하는 것을 포함하는, 방법.
18. 방법으로서,
    센서로부터 센서 신호를 수신하는 단계로서, 상기 센서는:
    환경 햅틱 효과와 연관된 환경 조건을 검출하고, 그리고
    상기 센서 신호를 생성하도록 구성되는, 상기 센서 신호를 수신하는 단계;
    사용자에게 출력할 원하는 햅틱 효과를 결정하는 단계;
    상기 환경 햅틱 효과와 결합될 때 원하는 햅틱 효과를 생성하는 상기 센서 신호에 적어도 부분적으로 기초하여, 생성된 햅틱 효과를 결정하는 단계; 및
    상기 생성된 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하는 단계를 포함하는, 방법.
19. 제 18 항에 있어서,
    상기 생성된 햅틱 효과는 환경 햅틱 효과에 대항하도록 구성되는, 방법.
20. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금:
    환경 햅틱 효과와 연관된 환경 조건을 검출하고 센서 신호를 생성하도록 구성되는 센서로부터 센서 신호를 수신하게 하고;
    상기 센서 신호에 부분적으로 기초하여 가상 현실 효과에 대한 수정을 결정하게 하고; 그리고
    상기 수정과 연관된 디스플레이 신호를 가상 현실 디스플레이로 송신하게 하도록 구성되는, 비일시적 컴퓨터 판독가능 매체.

Images