KR20190142226A - 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들 - Google Patents

증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들 Download PDF

Info

Publication number
KR20190142226A
KR20190142226A KR1020190069219A KR20190069219A KR20190142226A KR 20190142226 A KR20190142226 A KR 20190142226A KR 1020190069219 A KR1020190069219 A KR 1020190069219A KR 20190069219 A KR20190069219 A KR 20190069219A KR 20190142226 A KR20190142226 A KR 20190142226A
Authority
KR
South Korea
Prior art keywords
haptic
sensor
display
proxy object
haptic effect
Prior art date
Application number
KR1020190069219A
Other languages
English (en)
Other versions
KR102201678B1 (ko
Inventor
사토시 아라키
크리스토퍼 제이. 울리히
리웬 우
후안 마누엘 크루즈-헤르난데즈
대니 에이. 그랜트
산야 아타리
콜린 스윈델스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66867068&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20190142226(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190142226A publication Critical patent/KR20190142226A/ko
Application granted granted Critical
Publication of KR102201678B1 publication Critical patent/KR102201678B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실에서 햅틱 오버레이를 통합하기 위한 시스템들 및 방법들이 개시된다. 본 명세서에 설명된 하나의 예시적인 시스템은 햅틱 출력 디바이스를 포함한다. 시스템은 또한 시각적 효과를 출력하도록 구성된 디스플레이를 포함한다. 시스템은 또한 프록시 객체의 위치를 추적하기 위한 센서를 포함한다. 시스템은 또한 프로세서를 포함하고, 이 프로세서는: 센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하고, 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하고, 수정된 시각적 효과와 연관된 디스플레이 신호를 디스플레이로 송신하고, 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하고; 햅틱 출력 디바이스를 사용하여 햅틱 효과를 출력하도록 구성된다.

Description

증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들{SYSTEMS AND METHODS FOR INTEGRATING HAPTICS OVERLAY IN AUGMENTED REALITY}
본 출원은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 더 구체적으로, 본 출원은 증강 현실에서 햅틱 오버레이를 통합하는 것에 관한 것이다.
가상 및 증강 현실("VR" 및 "AR") 애플리케이션들은 점점 더 인기를 끌고 있다. VR 애플리케이션들은 전형적으로 사용자가 가상 객체의 터치 감각을 느낄 수 있게 하기 위해 전용 제어기를 통합한다. 예를 들어, VR 사용자는 VR 애플리케이션에서 자신의 손에서의 총 사격을 경험할 수 있고, 전용 컨트롤러를 통해 그 사격을 시뮬레이팅하는 햅틱 효과를 동시에 느낄 수 있다. AR 공간에서, 햅틱 효과를 사용자에게 제공하는 것은 어렵다. 따라서, 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들이 필요하다.
본 개시내용의 실시예들은 증강 현실에서 햅틱 오버레이를 통합하기 위한 시스템들 및 방법들을 포함한다. 일 실시예에서, 시스템은 햅틱 출력 디바이스를 포함한다. 시스템은 또한 시각적 효과를 출력하도록 구성된 디스플레이를 포함한다. 시스템은 프록시 객체의 위치를 추적하기 위한 센서를 또한 포함한다. 시스템은 프로세서를 또한 포함하고, 이 프로세서는: 센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하고, 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하고, 수정된 시각적 효과와 연관된 디스플레이 신호를 디스플레이로 송신하고, 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하고; 햅틱 출력 디바이스를 사용하여 햅틱 효과를 출력하도록 구성된다.
다른 실시예에서, 증강 현실에서 햅틱 오버레이를 통합하는 방법은 센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하는 단계, 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하는 단계, 수정된 시각적 효과와 연관된 디스플레이 신호를 디스플레이로 송신하는 단계, 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하는 단계; 및 햅틱 출력 디바이스를 사용하여 햅틱 효과를 출력하는 단계를 포함한다.
또 다른 실시예에서, 비일시적 컴퓨터 판독가능 매체는, 프로세서에 의해 실행될 때 이러한 방법들을 수행하도록 구성되는 프로그램 코드를 포함할 수 있다.
이 예시적인 실시예들은 본 주제의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들은 상세한 설명에서 논의되고 있으며, 추가적인 설명이 제공되어 있다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구된 주제의 하나 이상의 실시예를 실시함으로써 더욱 이해될 수 있다.
상세하고 실시가능한 개시내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서는 이하의 첨부 도면들을 참조한다.
도 1은 증강 현실에서 햅틱 오버레이를 통합하기 위한 예시적인 시스템을 도시한다.
도 2는 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다.
도 3은 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다.
도 4는 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다.
도 5는 증강 현실에서 햅틱 오버레이를 통합하기 위한 하나의 예시적인 실시예에 대한 방법 단계들의 흐름도이다.
지금부터 다양한 그리고 대안의 예시적인 실시예들 및 첨부 도면들에 대해 상세히 언급될 것이다. 각각의 예는 제한이 아니라 설명으로 제공된다. 본 기술분야의 통상의 기술자들에게는 수정들 및 변형들이 이루어질 수 있다는 것이 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시 또는 설명되는 특징들이 다른 실시예에서 사용되어 또 다른 실시예를 산출해 낼 수 있다. 따라서, 본 개시내용이 첨부된 청구항들 및 그 등가물들의 범위 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도된다.
증강 현실에서 햅틱 오버레이를 통합하는 실례적인 예
실시예들은 AR 공간 내의 가상 객체들 상의 햅틱 피드백을 제공한다. 이러한 실시예들은 사용자가 그 객체 상의 햅틱 오버레이를 사용하여 실제 세계 객체 상의 텍스처를 보고 느끼도록 허용할 수 있다. 대안적으로, 이러한 실시예는 또한 햅틱 피드백을 제공할 수 있는 웨어러블 주변 디바이스를 심리스하게(seamlessly) 통합할 수 있다. 다른 실시예들에서, 웨어러블 주변 디바이스만이 햅틱 피드백을 제공하기 위해 사용될 수 있다. 일부 실시예들에서, AR 공간은 VR 공간을 포함한다.
하나의 예시적인 실시예에서, 사용자는 AR 헤드셋을 착용하고 있고 실제 공간에서 프록시 객체, 예를 들어 신발을 보고 있다. 사용자는 재료들(예를 들어, 가죽, 플라스틱, 고무, 금속, 삼베(burlap), 스웨드(suede), 데님(denim), 나무, 천, 세라믹, 발포 재료, 또는 유리 중 하나 이상과 같은 재료들)의 라이브러리로부터 재료를 선택할 수 있다. 그 다음, 이러한 재료는 음성 커맨드를 크게 말함으로써(예를 들어, 가죽 재료를 적용), 또는 VR 또는 AR 헤드셋 내의 시각적 메뉴, 손 제어기, 웨어러블 디바이스, 또는 제스처 인식을 통해 명령어들을 입력함으로써 AR 헤드셋을 통해 프록시 객체 상에 디스플레이될 것이다. AR 헤드셋의 예시적인 AR 디스플레이는 커맨드에 기초하여 수정되어, 프록시 객체의 외관이 AR 디스플레이를 통해 수정되어 선택된 재료로 이루어진 프록시 객체를 보여준다.
하나의 예시적인 실시예에서, 프록시 객체와 연관된 햅틱 효과는, 라이브러리로부터 선택된 재료의 텍스처를 시뮬레이팅하는 햅틱 효과(예를 들어, 진동 또는 ESF 효과)를 출력하는 햅틱 출력 디바이스, 예를 들어 액추에이터에 의해 출력된다. 또 다른 예시적인 실시예들에서, 햅틱 효과는 장갑과 같은 웨어러블 주변 디바이스에 의해 생성된다. 프록시 객체와 상호작용하는 사용자는 햅틱 효과를 느끼고, 햅틱 효과는 프록시 객체의 표면 상에 상이한 텍스처들을 시뮬레이팅한다(예를 들어, 햅틱 효과는 가죽, 플라스틱, 고무, 금속, 삼베, 스웨드, 데님, 나무, 천, 세라믹, 발포 재료 또는 유리 중 하나 이상의 텍스처를 시뮬레이팅할 수 있다).
하나의 예시적인 실시예에서, 센서(들)로부터의 정보는 또한 텍스처와 연관된 햅틱 효과들과 연관된 햅틱 신호들을 처리하고 출력하는 프로세서로 전달된다. AR 디스플레이를 통한 프록시 객체의 수정된 이미지 및 햅틱 출력 디바이스에 의한 텍스처는, 그 후 프록시 객체의 임의의 움직임을 반영하기 위해 실시간으로 수정될 수 있다. 추가적으로 또는 대안적으로, 프로세서는 웨어러블 주변 디바이스가 AR 객체와 "접촉"된 때를 말하기 위해 센서(들)로부터의 정보를 사용할 수 있다. 이들 센서들은 추가로 프록시 객체와 연관된 사용자의 움직임을 검출하고, 사용자의 움직임에 기초하여 시각적 및 햅틱 효과들을 수정할 수 있다.
이러한 예시적인 예는 본 명세서에서 설명되는 일반적인 주제를 독자에게 소개하기 위해 주어진 것이고, 본 개시내용은 이 예에 한정되지 않는다. 이하의 섹션들은 본 개시내용의 다양한 추가적인 비제한적 예들을 설명한다.
증강 현실에서 햅틱 오버레이를 통합하기 위한 예시적 시스템들
도 1은 가상 현실에서 환경 햅틱들을 통합하기 위한 예시적인 시스템(100)을 도시한다. 특히, 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스하는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적합한, 유형의(tangible)(그리고 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 컴포넌트들(112), 및 추가적인 스토리지(114)를 추가로 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크(들)에 액세스하기 위한 송수신기/안테나)와 같은 무선 인터페이스들을 포함하지만 이들에 제한되지 않는다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이, 예컨대 VR 및 AR 헤드셋들 또는 터치 스크린 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들 및/또는 데이터를 입력하거나 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는데 사용될 수 있다. 스토리지(114)는 디바이스(101)에 포함된 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 스토리지를 나타낸다. 일부 실시예들에서, I/O 컴포넌트들(112)은 VR 제어기들 또는 AR 입력 디바이스들을 포함할 수 있다. 다른 실시예들에서, I/O 컴포넌트들은 자동차 또는 보트와 같은 운송 디바이스 내의 제어기 또는 입력 디바이스를 포함할 수 있다. 또 다른 실시예들에서, 제어기들 또는 입력 디바이스들은 사용자의 손들일 수 있고, 센서들(108)은 자유 공간에서의 움직임들 및 제스처들을 검출할 수 있다.
오디오/시각적 출력 디바이스(들)(122)는 프로세서(들)(102)로부터 신호들을 수신하고 사용자에게 오디오 또는 시각적 출력을 제공하도록 구성된 하나 이상의 디바이스를 포함한다. 예를 들어, 일부 실시예들에서, 오디오/시각적 출력 디바이스(들)(122)는 터치 스크린 디스플레이, LCD 디스플레이, 플라즈마 디스플레이, CRT 디스플레이, 프로젝션 디스플레이, 또는 본 기술분야에 공지된 일부 다른 디스플레이와 같은 디스플레이를 포함할 수 있다. 증강 또는 가상 현실에서 사용하기 위해, 오디오/시각적 출력 디바이스(122)는 각각의 눈에 대한 디스플레이를 포함하는 헤드셋, 모바일 디바이스, 예를 들어, 모바일 폰 또는 태블릿, 차량의 윈드실드, 또는 본 기술분야에 공지된 일부 다른 디스플레이를 포함할 수 있다. 또한, 오디오/시각적 출력 디바이스들은 사용자에게 오디오를 출력하도록 구성된 하나 이상의 스피커를 포함할 수 있다.
시스템(100)은 하나 이상의 센서(108)를 추가로 포함한다. 센서들(108)은 햅틱 출력 디바이스(118)를 검출하고 프로세서(102)에 의한 사용을 위해 적절한 데이터를 제공하도록 구성된다. 임의의 적합한 수, 타입, 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 상이한 실시예들은 카메라들, 레이저들, 레이더들, 가속도계들, 자이로미터들, 압력 센서들, 자기 센서들, 광 센서들, 마이크로폰들, 정전용량 센서들, 터치 센서들, 추적 센서들, 또는 이러한 센서들의 임의의 조합을 포함할 수 있다. 일 실시예에서, 햅틱 출력 디바이스(118)를 식별하기 위해 카메라, 레이저 매핑, 또는 레이더 스캐닝이 사용된다. 이러한 실시예는 식별을 하기 위해 인공 지능("AI")을 이용할 수 있다. 가속도계는 진동, 변위, 및 속도를 검출하기 위해 사용될 수 있다. 자이로미터는 회전을 감지하기 위해 사용될 수 있다. 압력 센서는 고도를 결정하기 위해 그리고 자기 센서는 방향 또는 배향을 결정하기 위해 사용될 수 있다. 광 센서는 인지된 광도를 결정하기 위해 사용될 수 있다. 그리고, 마이크로폰은 사운드를 검출하기 위해 사용될 수 있다. 이러한 센서들 중 임의의 것은 임의의 다른 센서와 조합하여 사용될 수 있다.
다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 단일 센서(108)와 통신하고, 다른 실시예들에서, 프로세서(102)는 복수의 센서(108)와 통신한다.
단일의 햅틱 출력 디바이스(118)가 도시되지만, 실시예들은 동일하거나 상이한 타입의 다수의 햅틱 출력 디바이스를 사용하여 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM), 또는 선형 공진 액추에이터(LRA), 로우(low) 프로파일 햅틱 액추에이터, 햅틱 테이프, 또는 정전기적 효과를 출력하도록 구성된 햅틱 출력 디바이스, 예컨대 정전 마찰(ESF) 액추에이터 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터, 예를 들어 로우 프로파일 햅틱 액추에이터, 압전 액추에이터 및 LRA를 포함할 수 있다. 또한, 햅틱 출력 디바이스(118)는 프록시 객체 내로 또는 사용자의 의류 또는 웨어러블 디바이스 내로 통합될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스(118)는 열 및 또는 운동 감각 특성들을 사용자에게 출력하기 위해 사용될 수 있다. 예를 들어, 상이한 재료들의 열 전도율은 가열 및 냉각 트랜스듀서들, 예를 들어, 펠티에 디바이스들을 오버레이함으로써 전달될 수 있다. 다른 실시예들에서, 힘 피드백 특성들은, 예를 들어 전기활성 중합체 힘줄들을 사용하여, 재료의 강성을 수정하는 트랜스듀서들과 오버레이될 수 있다.
메모리(104)로 돌아가서, 햅틱 효과들을 결정하고 출력하기 위해 디바이스가 어떻게 구성될 수 있는지를 예시하기 위해 예시적인 프로그램 컴포넌트들(124, 126 및 128)이 도시되어 있다. 이 예에서, 검출 모듈(124)은 햅틱 출력 디바이스(118)의 특성들을 결정하기 위해 센서(들)(108)를 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 검출 모듈(124)은 시간 경과에 따라 햅틱 출력 디바이스(118)의 위치, 경로, 속도, 가속도, 압력 및/또는 다른 특성들 중 하나 이상을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 오디오 및 비디오 특성들에 관한 데이터를 분석하여 생성할 햅틱 효과를 선택하는 프로그램 컴포넌트를 나타낸다. 특히, 모듈(126)은 햅틱 출력 디바이스(118) 및 AR 환경의 특성들에 기초하여, 햅틱 출력 디바이스(118)에 의해 생성 및 출력되는 하나 또는 다수의 효과를 결정하는 코드를 포함한다. 햅틱 효과 결정 모듈(126)은 햅틱 출력 디바이스(118)의 특성들의 변화의 검출에 응답하여 출력할 하나 이상의 기존 햅틱 효과를 선택하는 코드를 추가로 포함할 수 있다. 상이한 햅틱 효과들이 이러한 특징들의 다양한 조합에 기초하여 선택될 수 있다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하고 햅틱 신호를 햅틱 출력 디바이스(118)로 송신하게 하는 프로그래밍을 나타내며, 이는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)에 전송하기 위한 저장된 파형들 및 커맨드들에 액세스할 수 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 햅틱 효과를 수신하고 신호 처리 알고리즘들을 이용하여 햅틱 출력 디바이스(118)로 전송할 적절한 신호를 생성할 수 있다. 추가의 예로서, 표면(및/또는 기타 디바이스 컴포넌트들)의 적절한 변위를 생성하여 햅틱 효과를 제공하기 위해 하나 이상의 액추에이터로 전송되는 적절한 파형 및 텍스처에 대한 목표 좌표들과 함께, 원하는 햅틱 효과가 표시될 수 있다. 일부 실시예들은 특징을 시뮬레이팅하기 위해 다수의 햅틱 출력 디바이스를 협력하여 이용할 수 있다. 예를 들어, 진동은 특정 텍스처를 사용자에게 전달하기 위해 이용될 수 있는 한편, 동시에, 운동 감각 효과는 신발 상부의 재료의 강성과 같은, 객체의 강성을 나타내기 위해 출력된다. 그러한 구성은 그러한 시스템이 구성될 수 있는 유일한 방식이 아니라 단지 예시적이다.
도 2는 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다. 도 2에 도시된 실시예에서, 사용자(206)는 웨어러블 AR 디바이스(204)를 착용하고 있고 프록시 객체(202)와 상호작용하고 있다. 이 실시예가 사용자가 웨어러블 AR 디바이스(204)를 착용하는 것을 도시하지만, 임의의 타입의 AR 디스플레이 시스템이 사용될 수 있다. 도 2의 예시적인 시스템은 프록시 객체(202)의 상태들을 감지하는 것뿐만 아니라 햅틱 효과들을 결정, 생성 및 출력하기 위한 도 1에 도시된 시스템을 포함할 수 있다. 웨어러블 AR 디바이스(204)는 시각적 디스플레이뿐만 아니라 헤드폰들 또는 스피커들을 포함할 수 있다.
일부 실시예들에서, 프록시 객체(202)는 신발, 가방, 의류 물품, 전자 디바이스, 디스플레이, 또는 인터페이스 객체를 포함하지만 이에 한정되지 않는 임의의 객체의 형태를 취할 수 있다. 다른 실시예들에서, 프록시 객체(202)는 예를 들어, 백색의 매끄러운 표면 재료로 만들어진 프록시 객체와 같이, 컬러 및 텍스처와 같은 중립 물리적 특성들을 포함할 수 있다. 또 다른 실시예들에서, 프록시 객체(202)는 고충실도 시각적 프로토타입(high fidelity visual prototype), 예를 들어 포토리얼리스틱 그래픽 스텐실링(photorealistic graphic stenciling)을 갖는 고충실도 시각적 신발 프로토타입을 포함할 수 있어서, 웨어러블 AR 디바이스(204)를 사용하는 시각적 오버레이가 불필요하다.
사용자(206)는 텍스처들, 예를 들어 가죽, 플라스틱, 고무, 금속, 삼베, 스웨드, 데님, 나무, 천, 세라믹, 발포 재료 또는 유리의 주어진 라이브러리로부터 임의의 텍스처를 선택할 수 있고, 증강 현실 시각적 효과는 웨어러블 AR 디바이스(204)를 통해 프록시 객체의 외관을 수정할 것이다. 일부 실시예들에서, 사용자는 오디오 캡처 디바이스, 터치스크린, 키보드, 마우스, 조이스틱, 또는 증강 현실 제어 보드와 같은 입력 캡처 디바이스를 사용하여 텍스처를 선택할 것이다. 프로세서(102)는 입력 캡처 디바이스로부터 입력 신호를 수신하고, 햅틱 신호 및 디스플레이 신호를 통해 각각 송신되어야 하는 햅틱 효과 및 시각적 효과 수정을 결정할 것이다.
일부 실시예들에서, 일단 디스플레이 신호가 송신되면, 시각적 효과는 웨어러블 AR 디바이스(204)를 통해 출력될 것이다. 따라서, 사용자(206)는 웨어러블 AR 디바이스(204)를 통해 선택된 텍스처를 갖는 프록시 객체를 볼 수 있을 것이다. 예를 들어, 사용자(206)가 적색 가죽을 선택하는 경우, 사용자(206)는 그 동일한 적색 가죽으로 만들어진 프록시 객체(202)를 웨어러블 AR 디바이스(204)를 통해 볼 것이다.
AR 시각적 효과가 텍스처의 선택을 통해 변경됨에 따라, 햅틱 신호가 프록시 객체(202)에 포함된 햅틱 출력 디바이스(들)(118)로 송신된다. 이들 햅틱 출력 디바이스들은 선택된 텍스처와 연관된 햅틱 효과를 출력하는데, 이는 사용자가 프록시 객체(202)를 터치할 때 프록시 객체(202)에서 생성된 햅틱 효과를 통해 선택된 텍스처를 사용자(206)가 느낄 수 있게 한다.
일부 실시예들에서, 센서들(108)은 프록시 객체(202)를 추적하여서, 프록시 객체(202)에서의 햅틱 효과에 의해 생성된 텍스처 및 AR 시각적 효과가 사용자(206)에 의한 프록시 객체(202)의 임의의 움직임 또는 회전에 관계없이, 각각 느껴지고 보여질 수 있다. 다른 실시예들에서, 웨어러블 AR 디바이스(204)의 스피커들 또는 헤드폰들은, 실제의 텍스처링된 객체가 터치되고 있었다면 사용자(206)가 들었을 사운드들을 전달하기 위해 오디오 피드백을 방출할 수 있다. 또 다른 실시예들에서, 어떠한 오디오 피드백도 방출되지 않는다.
도 3은 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다. 도 3에 도시된 실시예에서, 사용자는 웨어러블 AR 디바이스(306) 및 웨어러블 주변 디바이스(304)를 착용하고 있고 프록시 객체(302)와 상호작용하고 있다. 일부 실시예들에서, 프록시 객체(302)는 프록시 객체(202)와 동일한 특징들 중 임의의 것을 포함할 수 있다.
웨어러블 주변 디바이스(304)는 사용자의 전체 손을 커버하는 장갑, 사용자의 손 및 손가락들 중 일부만을, 예를 들어, 사용자의 엄지 손가락 및 집게 손가락만을 커버하는 장갑, 사용자의 손가락 끝들, 신발, 셔츠, 바지 한 벌, 또는 임의의 다른 의류 물품만을 커버하는 피스들을 포함할 수 있다. 웨어러블 주변 디바이스(304) 및 프록시 객체(302)는 사용자에게 햅틱 효과를 출력할 수 있는 하나 이상의 햅틱 출력 디바이스(들)(118), 예를 들어 액추에이터들을 포함한다.
일부 실시예들에서, 사용자는 프록시 객체(302)와 상호작용하지 않을 것이다. 대신에, 선택된 객체는 웨어러블 AR 디바이스(306)의 AR 디스플레이를 통해 시각적 효과로서 디스플레이될 것이다. 사용자는 다시 텍스처를 선택할 수 있고, 그 텍스처는 AR 디스플레이를 통해 디스플레이되고 있는 객체 상에 디스플레이될 것이다. 예를 들어, 사용자는 적색 가죽 신발을 선택할 수 있고, 적색 가죽 신발은 웨어러블 AR 디바이스(306)의 AR 디스플레이를 통해 디스플레이될 수 있다.
센서(108)는 웨어러블 주변 디바이스(304)의 위치 또는 다른 특성들을 추적하기 위해 사용될 수 있다. 이것은 시스템이 웨어러블 주변 디바이스(304)가 AR 디스플레이를 통해 디스플레이되고 있는 객체와 "접촉"하는 때를 결정할 수 있게 한다. 일단 이러한 "접촉"이 이루어지면, 햅틱 신호가 웨어러블 주변 디바이스(304)에 전송될 것이어서, 객체에 대응하는 햅틱 효과 및 선택된 텍스처가 웨어러블 주변 디바이스(304)에 의해 출력될 수 있다. 예를 들어, 위에서의 적색 가죽 신발 예를 사용하면, 사용자는 적색 가죽 신발을 느끼러 갈 수 있다. 사용자가 웨어러블 AR 디바이스(306)의 AR 디스플레이에 기초하여 객체를 터치함에 따라, 햅틱 효과는 웨어러블 주변 디바이스(304)에 출력되어서, 사용자가 그가 실제 적색 가죽 신발을 터치하고 있는 것처럼 느끼게 한다.
다른 실시예들에서, 사용자는 프록시 객체(302) 및 웨어러블 주변 디바이스(304) 둘 다를 사용할 것이다. 선택된 텍스처는 웨어러블 AR 디바이스(306)의 AR 디스플레이를 통해 디스플레이되어서 프록시 객체(302)가 선택된 텍스처를 갖는 것처럼 보이게 한다. 일부 실시예들에서, 프록시 객체(302) 및 웨어러블 주변 디바이스(304)는 햅틱 효과를 출력하도록 구성된 적어도 하나의 햅틱 출력 디바이스(118)를 포함한다. 하나 이상의 센서(108)는 프록시 객체(302) 및 웨어러블 주변 디바이스(304) 둘 다의 특성들을 추적한다. 프록시 객체(302) 및 웨어러블 주변 디바이스(304)의 사용을 통해, 고충실도 터치 감각이 달성될 수 있다.
도 4는 증강 현실에서 햅틱 오버레이를 통합하기 위한 다른 예시적인 시스템을 도시한다. 도 4에 도시된 실시예에서, 사용자는 웨어러블 AR 디바이스(406) 및 웨어러블 주변 디바이스(404)를 착용하고 있고, 적어도 하나의 프록시 객체를 포함하는 프록시 객체들의 시스템(402)과 상호작용하고 있다. 일부 실시예들에서, 프록시 객체들의 시스템(402)을 구성하는 프록시 객체들은 프록시 객체(202)와 동일한 특징들 중 임의의 것을 포함할 수 있다.
프록시 객체들의 시스템(402)은 자동차의 내부, 비행기의 조종석, 사무실의 책상 등을 포함하는 임의의 수의 영역을 닮도록 배열될 수 있다. 사용자는 프록시 객체들의 시스템(402) 전체에 걸쳐 출력될 다양한 텍스처들을 선택할 수 있다. 예를 들어, 사용자는 체리 월넛 나무로 만든 센터 콘솔을 갖는 자동차의 스티어링 휠에 대한 블랙 가죽 텍스처를 선택할 수 있다.
도 4의 실시예에서, 햅틱 효과는 프록시 객체들의 시스템(402)만을 통해 또는 프록시 객체들의 시스템(402) 및 웨어러블 주변 디바이스(404)의 조합을 통해 출력될 수 있다. 예를 들어, 차량 대리점은 쇼 룸 내의 특정 스타일의 차량을 시뮬레이팅하도록 셋업된 프록시 객체들의 시스템(402)을 가질 수 있다. 잠재적 구매자들은 시뮬레이팅된 차량의 상이한 영역들에서 출력될 상이한 재료들을 선택함으로써 시스템과 상호작용할 수 있다. 프록시 객체들의 시스템(402)은 잠재적인 구매자들이 웨어러블 주변 디바이스(404)를 착용하지 않아도 상이한 재료들의 텍스처를 시뮬레이팅하는 햅틱 효과들을 정확하게 출력할 수 있다. 다른 실시예들에서, 프록시 객체들의 시스템(402)을 웨어러블 주변 디바이스(404)와 결합한다. 예를 들어, 게이밍 환경에서, 프록시 객체들의 시스템(402)은 게임 전체에 걸쳐서 반복하는 환경을 시뮬레이팅하기 위해 사용될 수 있다(예를 들어, 레이싱 게임에서, 프록시 객체들의 시스템(402)은 차량의 내부를 시뮬레이팅할 수 있다). 또한, 웨어러블 주변 디바이스(404)를 통합하는 것은, 프록시 객체들의 시스템(402)과 상호작용할 때 사용자 경험을 향상시키는 것뿐만 아니라 프록시 객체들의 시스템(402) 외부에서 게이밍 환경들을 탐색하기 위한 사용을 허용할 수 있다.
증강 현실에서 햅틱 오버레이를 통합하기 위한 예시적인 방법들
도 5는 증강 현실에서 햅틱 오버레이를 통합하기 위한 하나의 예시적인 실시예에 대한 방법 단계들의 흐름도이다. 일부 실시예들에서, 도 5의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 가상 현실 또는 증강 현실 제어 시스템, 또는 서버에서의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 5에 도시된 하나 이상의 단계는 생략되거나 상이한 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 3에 도시되지 않은 추가 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 1에 도시된 컴퓨팅 디바이스(101) 및 도 2에 도시된 시스템과 관련하여 전술된 컴포넌트들을 참조하여 설명된다.
도시된 실시예에서, 프로세스(500)는 프로세서(102)와 같은 프로세서가 수정된 시각적 효과를 결정할 때 단계 502에서 시작한다. 프로세서(102)는 하나 이상의 센서(108)로부터 센서 신호들을 수신한다. 센서 신호들을 사용하여, 프로세서(102)는 환경을 분석하여 프록시 객체(202)의 특성들을 식별한다. 이러한 특성들에 기초하여, 프로세서(102)는 수정된 시각적 효과를 결정할 수 있다. 예를 들어, 프로세서(102)는 프록시 객체(202), 이 경우, 신발에 디스플레이할 청색 가죽 재료를 결정할 수 있다. 센서들(108)로부터의 데이터에 기초하여, 프로세서(102)는 사용자에 의한 신발의 임의의 움직임을 분석하고, 신발 상에 청색 가죽 재료를 디스플레이하기 위한 적절한 수정된 시각적 효과를 결정할 수 있다.
단계 504에서, 프로세서(102)는 다음에 센서들(108)로부터 수신된 신호들에 기초하여 햅틱 효과를 결정한다. 단계 502와 유사하게, 프로세서(102)는 센서들(108)로부터 센서 신호들을 수신하고, 그러한 센서 신호들을 사용하여, 환경을 분석하여 프록시 객체(202)의 특성들을 식별하여 햅틱 효과를 결정한다. 일부 실시예들에서, 프로세서(102)는 텍스처들의 라이브러리를 사용하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(102)는 햅틱 효과로서 출력하기 위한 신발의 청색 가죽 재료의 적절한 텍스처를 결정할 수 있다. 일부 실시예들에서, 프로세서(102)는 메모리(114) 내의 텍스처들의 라이브러리에 저장된 청색 가죽 햅틱 효과에 기초하여 신발 상에 청색 가죽 재료를 시뮬레이팅하기 위해 출력할 햅틱 효과를 결정할 수 있다. 프로세서(102)는 또한 신발의 임의의 움직임을 모니터링하는 센서(108)로부터 데이터를 수신하여, 신발의 움직임이 햅틱 효과에 의해 생성된 청색 가죽 텍스처와 간섭하지 않는 것을 보장하기 위해 출력할 햅틱 효과를 결정할 수 있다.
단계 506에서, 프로세서(102)는 수정된 시각적 효과와 연관된 디스플레이 신호를 증강 현실 디스플레이로, 예를 들어 웨어러블 AR 디바이스(204)로 송신한다. 예를 들어, 웨어러블 AR 디바이스(204)를 통해 볼 때, 신발은 청색 가죽 재료로 만들어진 것으로 보일 것이다. 증강 현실 디스플레이는 웨어러블 디바이스 또는 모바일 디바이스 중 적어도 하나를 포함할 수 있다. 일부 실시예들에서, 수정된 시각적 효과는 프록시 객체(202)의 외관을 증강 현실 디스플레이를 통해 수정한다.
단계 508에서, 프로세서(102)는 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신한다. 예를 들어, 신발 내의 햅틱 출력 디바이스(들)는 신발 상에 청색 가죽의 텍스처를 시뮬레이팅하는 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 프록시 객체(202)는 하나 이상의 햅틱 출력 디바이스(118)를 포함할 수 있다. 프록시 객체(202)는 신발, 의류 물품, 전자 디바이스, 디스플레이, 인터페이스 객체, 또는 차량의 내부 중 하나 이상일 수 있다.
단계 510에서, 프로세서는 입력 캡처 디바이스로부터 입력 신호를 수신한다. 일부 실시예들에서, 사용자는 어떤 텍스처가 디스플레이될 필요가 있는지를 시스템에 지시하기 위해 입력 캡처 디바이스, 예를 들어 오디오 캡처 디바이스, 터치스크린, 키보드, 마우스, 조이스틱, 또는 증강 현실 제어 보드를 사용할 수 있다. 예를 들어, 사용자는 "적색 스웨드 재료를 신발에 적용"을 마이크로폰에 말할 수 있다. 프로세서(102)는 이 명령어를 나타내는 입력 신호를 마이크로폰으로부터 수신한다. 프로세서(102)는 그 후 이 신호에 기초하여 시각적 또는 햅틱 효과에 대한 임의의 필요한 수정들을 결정할 수 있다. 그래서, 웨어러블 AR 디바이스(204)의 디스플레이는 청색 가죽 재료로부터 적색 스웨드 재료로의 신발 변화 및 청색 가죽 텍스처로부터 적색 스웨드 텍스처로의 신발 변화에 의해 출력되는 햅틱 효과를 나타낸다.
본 명세서에서 설명되는 일부 실시예들은 AR 공간을 실세계 햅틱 효과들의 특징을 이루는 실제 프록시 객체들과 결합함으로써 더 몰입적이고, 더 양호하게 최적화된 경험을 제공한다. 다른 실시예들에서, 모든 햅틱 피드백이 햅틱 액추에이터들에 의해 렌더링될 필요가 있는 것은 아니기 때문에, 프록시 객체들은 더 강렬한 햅틱들을 가능하게 하기 위해 웨어러블 주변 디바이스들과 결합된다. 프록시 객체의 텍스처 및 외관을 변경하는 것의 용이함으로 인해, 제품 설계가 더 효율적이고 비용 효과적으로 된다.
일반적인 고려사항들
위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 적절한 경우 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있고/있거나, 다양한 스테이지들이 추가, 생략, 및/또는 조합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들에서 조합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 진화하고, 따라서, 요소들 중 다수가 예들이고 본 개시내용 또는 청구항들의 범위를 제한하지 않는다.
예시적인 구성들(구현들을 포함함)의 철저한 이해를 제공하기 위해 특정 상세들이 설명에 주어진다. 그러나, 구성들은 이들 특정 상세들 없이 실시될 수 있다. 예를 들어, 구성들을 불명확하게 하지 않기 위해 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 불필요한 상세 없이 나타내었다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 앞선 구성들의 설명은 본 기술분야의 통상의 기술자에게 설명된 기술들을 구현 가능하게 하는 설명을 제공할 것이다. 다양한 변화들이 본 개시내용의 사상 또는 범위에서 벗어나지 않고서 요소들의 기능 및 배열에서 이루어질 수 있다.
또한, 구성들은 흐름도 또는 블록도로서 도시되는 프로세스로서 설명될 수 있다. 이들 각각은 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 게다가, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language)들, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들이 설명된 작업들을 수행할 수 있다.
여러 예시적 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 수정들, 대안적 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 위의 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들은 본 발명의 응용보다 우선할 수 있거나 또는 이를 다른 방식으로 수정할 수 있다. 또한, 위의 요소들이 고려되기 전에, 그 동안에, 또는 그 이후에 다수의 단계가 착수될 수 있다. 따라서, 위의 설명은 청구항들의 범위를 제한하지 않는다.
본 명세서에서 "~하는 데 적응하게 되는" 또는 "~하도록 구성되는"의 사용은 부가의 작업들 또는 단계들을 수행하는 데 적응하게 되는 또는 부가의 작업들 또는 단계들을 수행하도록 구성되는 디바이스들을 제외시키지 않는 개방적이고 포괄적인 어구로서 의도된다. 추가로, “에 기초한”의 사용은 하나 이상의 열거된 조건들 또는 값들”에 기초한” 프로세스, 단계, 계산, 또는 다른 액션은, 실제로는, 열거된 것들 이외에 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된다. 본 명세서에 포함된 표제들, 목록들, 및 번호 기재는 설명의 편의를 위한 것일 뿐이며 제한하는 것으로 의도된 것은 아니다.
본 주제의 양태들에 따른 실시예들은, 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결되는 RAM(Random Access Memory) 등의 컴퓨터-판독가능 매체로의 액세스를 포함하거나 또는 구비한다. 프로세서는 센서 샘플링 루틴, 선택 루틴들, 및 전술한 방법들을 수행하기 위해 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같은 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field programmable gate arrays), 및 상태 머신들을 포함할 수 있다. 이러한 프로세서는 PLC들, PIC(programmable interrupt controller)들, PLD(programmable logic device)들, PROM(programmable read-only memory)들, 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM)들, 또는 기타 유사한 디바이스들 등의 프로그램가능 전자 디바이스들을 추가로 포함할 수 있다.
그러한 프로세서들은 매체, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 도움을 받아 여기에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 유형의(tangible) 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 저장 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 일례들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로만 제한되지는 않는다. 또한, 라우터, 사설 또는 공공 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는 하나 이상의 구조일 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 기술된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.
본 주제는 그의 특정 실시예들에 관련하여 상세히 설명되었지만, 본 기술분야의 통상의 기술자들은, 전술한 내용을 이해하게 되면, 그러한 실시예들의 변경들, 변형들, 및 동등물들을 쉽게 만들어 낼 수 있음을 알 것이다. 따라서, 본 개시내용은 제한보다는 예시의 목적으로 제시되었고, 본 기술분야의 통상의 기술자가 쉽게 알 수 있을 본 주제에 대한 그러한 변경들, 변형들 및/또는 추가들을 포함하는 것을 배제하지 않는다.

Claims (21)

  1. 시스템으로서,
    햅틱 출력 디바이스;
    시각적 효과를 출력하도록 구성된 디스플레이;
    프록시 객체의 위치를 추적하기 위한 센서; 및
    프로세서를 포함하고, 상기 프로세서는:
    상기 센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하고;
    상기 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하고;
    상기 수정된 시각적 효과와 연관된 디스플레이 신호를 상기 디스플레이로 송신하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 상기 햅틱 출력 디바이스로 송신하고;
    상기 햅틱 출력 디바이스를 사용하여 상기 햅틱 효과를 출력하도록 구성되는 시스템.
  2. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 상기 프록시 객체에 결합되는 시스템.
  3. 제2항에 있어서,
    상기 프록시 객체는 신발, 의류 물품, 전자 디바이스, 디스플레이, 인터페이스 객체, 또는 차량의 내부 중 하나 이상을 포함하는 시스템.
  4. 제2항에 있어서,
    상기 프록시 객체는 중립 물리적 특성들을 포함하는 시스템.
  5. 제2항에 있어서,
    증강 현실 시각적 효과는 상기 디스플레이를 통해 상기 프록시 객체의 외관을 수정하도록 구성되는 시스템.
  6. 제1항에 있어서,
    상기 디스플레이는 웨어러블 디바이스 또는 모바일 디바이스 중 적어도 하나를 포함하는 시스템.
  7. 제1항에 있어서,
    상기 센서는 카메라, 레이저, 레이더, 가속도계, 자이로미터, 압력 센서, 자기 센서, 광 센서, 추적 센서, 또는 마이크로폰 중 적어도 하나를 포함하는 시스템.
  8. 제1항에 있어서,
    상기 프로세서는 입력 캡처 디바이스로부터 입력 신호를 수신하고 상기 입력 캡처 디바이스로부터 수신된 데이터에 부분적으로 기초하여 상기 햅틱 효과를 결정하도록 추가로 구성되는 시스템.
  9. 제1항에 있어서,
    상기 햅틱 효과는 상기 프록시 객체의 텍스처를 수정하도록 구성되는 시스템.
  10. 제9항에 있어서,
    상기 햅틱 효과는, 가죽, 플라스틱, 고무, 금속, 삼베(burlap), 스웨드(suede), 데님(denim), 나무, 천, 세라믹, 발포 재료, 또는 유리 중 하나 이상의 텍스처를 시뮬레이팅하도록 구성되는 시스템.
  11. 방법으로서,
    센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하는 단계;
    상기 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하는 단계;
    상기 수정된 시각적 효과와 연관된 디스플레이 신호를 디스플레이로 송신하는 단계;
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하는 단계; 및
    상기 햅틱 출력 디바이스를 사용하여 상기 햅틱 효과를 출력하는 단계를 포함하는 방법.
  12. 제11항에 있어서,
    상기 햅틱 출력 디바이스는 프록시 객체에 결합되는 방법.
  13. 제12항에 있어서,
    상기 프록시 객체는 신발, 의류 물품, 전자 디바이스, 디스플레이, 인터페이스 객체, 또는 차량의 내부 중 하나 이상을 포함하는 방법.
  14. 제12항에 있어서,
    상기 프록시 객체는 중립 물리적 특성들(neutral physical characteristics)을 포함하는 방법.
  15. 제12항에 있어서,
    증강 현실 시각적 효과는 상기 디스플레이를 통해 상기 프록시 객체의 외관을 수정하도록 구성되는 방법.
  16. 제11항에 있어서,
    상기 디스플레이는 웨어러블 디바이스 또는 모바일 디바이스 중 적어도 하나를 포함하는 방법.
  17. 제11항에 있어서,
    상기 센서는 카메라, 레이저, 레이더, 가속도계, 자이로미터, 압력 센서, 자기 센서, 광 센서, 추적 센서, 또는 마이크로폰 중 적어도 하나를 포함하는 방법.
  18. 제11항에 있어서,
    입력 캡처 디바이스로부터 입력 신호를 수신하고 상기 입력 캡처 디바이스로부터 수신된 데이터에 부분적으로 기초하여 상기 햅틱 효과를 결정하는 단계를 추가로 포함하는 방법.
  19. 제12항에 있어서,
    상기 햅틱 효과는 상기 프록시 객체의 텍스처를 수정하도록 구성되는 방법.
  20. 제19항에 있어서,
    상기 햅틱 효과는, 가죽, 플라스틱, 고무, 금속, 캔버스, 에나멜, 삼베, 스웨드, 데님, 나무, 천, 세라믹, 발포 재료 또는 유리 중 하나 이상의 텍스처를 시뮬레이팅하도록 구성되는 방법.
  21. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
    센서로부터 수신된 데이터에 부분적으로 기초하여 수정된 시각적 효과를 결정하고;
    상기 센서로부터 수신된 데이터에 부분적으로 기초하여 햅틱 효과를 결정하고;
    상기 수정된 시각적 효과와 연관된 디스플레이 신호를 디스플레이로 송신하고;
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스로 송신하고;
    상기 햅틱 출력 디바이스를 사용하여 상기 햅틱 효과를 출력하게 하도록 구성되는 비일시적 컴퓨터 판독가능 매체.
KR1020190069219A 2018-06-15 2019-06-12 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들 KR102201678B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/010,230 US10665067B2 (en) 2018-06-15 2018-06-15 Systems and methods for integrating haptics overlay in augmented reality
US16/010,230 2018-06-15

Publications (2)

Publication Number Publication Date
KR20190142226A true KR20190142226A (ko) 2019-12-26
KR102201678B1 KR102201678B1 (ko) 2021-01-12

Family

ID=66867068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190069219A KR102201678B1 (ko) 2018-06-15 2019-06-12 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US10665067B2 (ko)
EP (1) EP3582080A1 (ko)
JP (1) JP6732078B2 (ko)
KR (1) KR102201678B1 (ko)
CN (1) CN110609615A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500470B2 (en) * 2019-12-23 2022-11-15 Robert Bosch Gmbh System and method of vehicle aware gesture recognition in vehicles with smart helmets
WO2021134269A1 (zh) * 2019-12-30 2021-07-08 瑞声声学科技(深圳)有限公司 车载装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
WO2017024181A1 (en) * 2015-08-06 2017-02-09 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US20180144549A1 (en) * 2016-11-18 2018-05-24 Toyota Jidosha Kabushiki Kaisha Augmented Reality for Providing Vehicle Functionality through Virtual Features

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
WO2009092107A2 (en) 2008-01-17 2009-07-23 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
CN103077633A (zh) 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训***和方法
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
GB2521138B (en) 2013-12-10 2019-01-02 Flexenable Ltd Source/Drain Conductors for Transistor Devices
US9392094B2 (en) 2014-01-15 2016-07-12 Sony Corporation Mobile electronic wearable device and method for providing haptic notification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9773389B2 (en) 2014-07-28 2017-09-26 Ck Materials Lab Co., Ltd. Tactile information supply module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9535550B2 (en) * 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
WO2017053878A1 (en) 2015-09-25 2017-03-30 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
CA3031769A1 (en) * 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
WO2017024181A1 (en) * 2015-08-06 2017-02-09 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US20180144549A1 (en) * 2016-11-18 2018-05-24 Toyota Jidosha Kabushiki Kaisha Augmented Reality for Providing Vehicle Functionality through Virtual Features

Also Published As

Publication number Publication date
US20190385419A1 (en) 2019-12-19
JP6732078B2 (ja) 2020-07-29
JP2019220170A (ja) 2019-12-26
US10665067B2 (en) 2020-05-26
CN110609615A (zh) 2019-12-24
KR102201678B1 (ko) 2021-01-12
EP3582080A1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
US10890983B2 (en) Artificial reality system having a sliding menu
US20200409532A1 (en) Input device for vr/ar applications
EP2942693B1 (en) Systems and methods for viewport-based augmented reality haptic effects
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实***
KR20220030294A (ko) 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스
TW202046085A (zh) 基於捏合和拉放手勢偵測人工實境系統中的輸入
US10474238B2 (en) Systems and methods for virtual affective touch
CN110633006A (zh) 用于虚拟现实用户的真实世界触觉交互
US20170307889A1 (en) Vision-assisted input within a virtual world
US10955929B2 (en) Artificial reality system having a digit-mapped self-haptic input method
KR20190122559A (ko) 증강 또는 가상 현실 환경들에 대한 동적 햅틱 재생을 제공하기 위한 시스템들 및 방법들
JP7033218B2 (ja) 仮想オブジェクトとしての物理入力デバイスの表示
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
WO2020008293A1 (en) Rendering of mediated reality content
KR102201678B1 (ko) 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들
WO2014138880A1 (en) System and method for controlling an event in a virtual reality environment based on the body state of a user
EP4321974A1 (en) Gesture locomotion in an artifical reality environment
US20210096652A1 (en) Finger Orientation Touch Detection
CN118012265A (zh) 人机交互方法、装置、设备和介质

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant