KR20170069936A - 위치 기반 햅틱 효과를 위한 시스템 및 방법 - Google Patents

위치 기반 햅틱 효과를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20170069936A
KR20170069936A KR1020160165843A KR20160165843A KR20170069936A KR 20170069936 A KR20170069936 A KR 20170069936A KR 1020160165843 A KR1020160165843 A KR 1020160165843A KR 20160165843 A KR20160165843 A KR 20160165843A KR 20170069936 A KR20170069936 A KR 20170069936A
Authority
KR
South Korea
Prior art keywords
haptic
user
computing device
gesture
haptic effect
Prior art date
Application number
KR1020160165843A
Other languages
English (en)
Inventor
바히드 코쉬카바
빈센트 레베스크
후안 마누엘 크루즈-헤르난데즈
만수르 알그후네
윌리엄 린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170069936A publication Critical patent/KR20170069936A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 명세서에 개시되는 하나의 예시적인 시스템은 제스처를 검출하고 연관된 센서 신호를 전송하도록 구성된 센서를 포함한다. 제스처는 표면으로부터 거리를 두고 있는 제1 위치 및 표면과 접촉하는 제2 위치를 포함한다. 본 시스템은 또한 센서와 통신하는 프로세서를 포함하고, 프로세서는 센서로부터 센서 신호를 수신하고 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하도록 구성된다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 프로세서는 또한 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고 하나 이상의 햅틱 신호들을 전송하도록 구성된다. 본 시스템은 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하는 햅틱 출력 디바이스를 포함한다.

Description

위치 기반 햅틱 효과를 위한 시스템 및 방법{SYSTEMS AND METHODS FOR POSITION-BASED HAPTIC EFFECTS}
본 발명은 사용자 인터페이스 디바이스의 분야에 관한 것이다. 더욱 구체적으로는, 본 발명은 위치 기반 햅틱 효과에 관한 것이다.
사람들이 컴퓨터 기반 시스템들과 상호작용하는 데 사용되는 인터페이스들의 품질이 점점 더 중요하게 되고 있다. 보다 직관적이고 향상된 사용자 경험들을 생성하기 위해, 이러한 시스템들은 물리적 세계에서의 상호작용들의 양태들을 재현하기 위해 시각적, 오디오, 및/또는 햅틱 피드백을 사용할 수 있다. 이러한 피드백은 종종 사용자가 터치스크린 디스플레이 또는 다른 사용자 인터페이스 컨트롤과 접촉하는 것에 의해 발생된다. 예를 들어, 컴퓨터 기반 시스템은 사용자가 터치스크린 디스플레이 상의 가상 버튼과 접촉할 때 햅틱 피드백을 발생시킬 수 있다. 그렇지만, 접촉 기반 햅틱 피드백은 현실 세계 객체와의 상호작용을 정확하게 시뮬레이트하지 않을 수 있다. 따라서, 햅틱 피드백을 제공하는 부가의 시스템 및 방법이 필요하다.
본 개시내용의 실시예들은 위치 기반 햅틱 효과들을 발생시키도록 구성된 컴퓨팅 디바이스들을 포함한다. 일 실시예에서, 본 개시내용의 시스템은 제스처를 검출하고 제스처와 연관된 센서 신호를 전송하도록 구성된 센서를 포함할 수 있다. 제스처는 적어도 2개의 위치를 포함할 수 있고, 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 적어도 2개의 위치 중 제2 위치는 표면과의 접촉을 포함한다. 본 시스템은 또한 센서와 통신하는 프로세서를 포함할 수 있다. 프로세서는 센서로부터 센서 신호를 수신하도록 구성될 수 있다. 프로세서는 또한 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하도록 구성될 수 있다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성될 수 있다. 프로세서는 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고 하나 이상의 햅틱 신호들을 전송하도록 추가로 구성될 수 있다. 본 시스템은 프로세서와 통신하는 햅틱 출력 디바이스를 추가로 포함할 수 있다. 햅틱 출력 디바이스는 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하도록 구성될 수 있다.
다른 실시예에서, 본 개시내용의 방법은 센서로부터 제스처와 연관된 센서 신호를 수신하는 단계를 포함할 수 있고, 여기서 제스처는 적어도 2개의 위치를 포함하고, 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 적어도 2개의 위치 중 제2 위치는 표면과의 접촉을 포함한다. 본 방법은 또한 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하는 단계를 포함할 수 있다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 본 방법은 게다가 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키는 단계, 및 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하는 단계를 추가로 포함할 수 있다. 햅틱 출력 디바이스는 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하도록 구성될 수 있다. 또 다른 실시예는 이러한 방법을 구현하기 위한 컴퓨터 판독가능 매체를 포함한다.
이 예시적인 실시예들은 본 발명 요지의 범위를 제한하거나 한정하기 위한 것이 아니라 그의 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들이 발명을 실시하기 위한 구체적인 내용에서 논의되어 있으며, 추가적인 설명이 그곳에서 제공된다. 다양한 실시예들에 의해 제공되는 장점들이 또한 본 명세서를 살펴보면 그리고/또는 청구된 발명 요지의 하나 이상의 실시예들을 실시해보면 이해될 수 있다.
자세한 실시가능한 개시 내용이 명세서의 나머지 부분에 보다 상세히 기재되어 있다. 명세서는 이하의 첨부 도면들을 참조하고 있다.
도 1a는 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타낸 도면;
도 1b는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타낸 도면;
도 2는 위치 기반 햅틱 효과들을 제공하는 시스템을 나타낸 블록도;
도 3은 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타낸 도면;
도 4는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타낸 도면;
도 5는 위치 기반 햅틱 효과들을 제공하는 시스템의 또 다른 실시예를 나타낸 도면;
도 6은 일 실시예에 따른, 위치 기반 햅틱 효과들을 제공하는 방법을 수행하는 단계들의 플로우차트.
이제부터, 다양한 그리고 대안의 예시적인 실시예들 및 첨부 도면들에 대해 상세히 언급할 것이다. 각각의 예는 제한이 아니라 설명으로서 제공되어 있다. 수정들 및 변형들이 행해질 수 있다는 것이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술된 특징들이 다른 추가의 실시예를 산출하기 위해 다른 실시예에서 사용될 수 있다. 따라서, 본 개시내용이 첨부된 청구항들 및 그의 등가물들의 범주 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도되어 있다.
위치 기반 햅틱 효과들의 예시적인 예
본 개시내용의 하나의 예시적인 실시예는 모바일 디바이스(예컨대, 스마트폰, 태블릿, e-리더(e-reader) 등)를 포함한다. 모바일 디바이스는 하나 이상의 가상 버튼들을 갖는 그래픽 사용자 인터페이스(GUI)를 출력하도록 구성된 터치 스크린 디스플레이를 포함한다. GUI는, 예를 들어, 모바일 디바이스 상에 저장된 프로그램들과 연관된 다수의 아이콘들을 포함하는 홈 화면을 포함할 수 있다. 사용자는, 예컨대, 프로그램을 실행하거나 입력을 모바일 디바이스에 다른 방식으로 제공하기 위해 가상 버튼과 상호작용할 수 있다.
예시적인 실시예에서, 사용자가, 예컨대, 가상 버튼과 상호작용하기 위해, 터치 스크린 디스플레이에 접근하고 궁극적으로 그와 접촉할 때, 모바일 디바이스는 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하도록 구성된다. 예를 들어, 예시적인 실시예에서, 모바일 디바이스는 사용자의 손가락과 터치 스크린 디스플레이 사이의 거리를 검출하도록 구성된다. 사용자의 손가락이 터치 스크린 디스플레이 상의 가상 버튼 출력에 점점 더 가까이 다가갈 때, 모바일 디바이스는 원격 햅틱 효과들(예컨대, 공기 뿜기, 초음파 압력파, 및/또는 레이저 빔 자극)을 사용자의 손가락에 실질적으로 연속적으로 출력하도록 구성된다. 일부 실시예에서, 모바일 디바이스는 사용자가 터치 스크린 디스플레이에 접근함에 따라 강도가 점차적으로 증가하는 원격 햅틱 효과들을 출력한다. 이것은, 전형적으로 실제의 물리적 버튼과 연관된, 스프링 힘 또는 다른 형태의 저항을 시뮬레이트할 수 있다. 게다가, 예시적인 실시예에서, 모바일 디바이스는 사용자가 터치 스크린 디스플레이를 통해 가상 버튼과 접촉한 것에 응답하여 로컬 햅틱 효과(예컨대, 클릭 느낌)를 출력하도록 구성된다. 로컬 햅틱 효과는 물리적 버튼의 작동을 시뮬레이트할 수 있다. 이러한 실시예에서, 사용자가 터치 스크린 디스플레이 상에 출력되는 가상 버튼에 접근하고 궁극적으로 그와 접촉할 때 연속적인 햅틱 피드백을 제공하는 것은 물리적 버튼과의 실제 상호작용을 보다 정확하게 시뮬레이트하고 그리고/또는 그렇지 않았으면 2차원인 사용자 인터페이스에 3차원 느낌을 제공할 수 있다.
다른 예시적인 실시예에서, 모바일 디바이스는 사용자와 상호작용할 수 있는 다수의 사용자 인터페이스 레벨들을 포함하는 GUI를 포함한다. 사용자가 터치 스크린 디스플레이에 접근하고 궁극적으로 그와 접촉할 때, 모바일 디바이스는 상이한 사용자 인터페이스 레벨들을 활성화시키도록 구성된다. 사용자는 사용자 인터페이스 레벨과 연관된 (모바일 디바이스로부터의) 거리에서 제스처를 수행하는 것에 의해 특정의 사용자 인터페이스 레벨과 상호작용할 수 있다.
예를 들어, 일부 실시예에서, 모바일 디바이스는 다수의 사용자 인터페이스 레벨들을 갖는 GUI를 포함하는 의료 시뮬레이션을 실행할 수 있다. 각각의 사용자 인터페이스 레벨은 신체 부위(예컨대, 사람의 팔)의 상이한 측면들의 영상을 출력하고 그리고/또는 그들과 연관된 정보를 제공하도록 구성될 수 있다. 예를 들어, 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스로부터 먼 거리에 있다는 것을 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제1 사용자 인터페이스 레벨은 신체 부위(예컨대, 피부, 털 등)의 외부의 영상을 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스로부터 중간 거리에 있다는 것을 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제2 사용자 인터페이스 레벨은 주요 특징들이 라벨링되어 있는 신체 부위와 연관된 조직 및/또는 인대의 영상을 출력할 수 있다. 모바일 디바이스는, 사용자가 모바일 디바이스와 접촉한 것에 응답하여, 제3 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제3 사용자 인터페이스 레벨은 신체 부위와 연관된 뼈의 영상을 출력할 수 있다. 이와 같이, 사용자가 모바일 디바이스에 접근하고 그리고/또는 그와 접촉할 때, 모바일 디바이스는, 사용자가 점차적으로 보다 많은 및/또는 상이한 정보에 액세스할 수 있는, "보다 깊은" 사용자 인터페이스 레벨들을 활성화시킬 수 있다. 이것은, 그에 부가하여 또는 대안적으로, 3차원 느낌을 그렇지 않았으면 2차원인 인터페이스에 제공할 수 있다.
일부 실시예에서, 사용자가 터치 스크린 디스플레이에 접근하고 그와 접촉할 때, 모바일 디바이스는 사용자 인터페이스 레벨들과 연관된 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 전술한 의료 시뮬레이션 예에서, 사용자가 터치 스크린 디스플레이에 접근하고 그와 접촉할 때, 모바일 디바이스는 실제 신체 부위의 상이한 계층들을 통해 손가락을 보다 깊게 미는 것을 시뮬레이트하도록 구성된 실질적으로 연속적인 햅틱 피드백을 출력할 수 있다. 이러한 실시예에서, 모바일 디바이스는, 사용자의 손가락이 제1 사용자 인터페이스 레벨과 연관된 거리에 있다는 것을 검출한 것에 응답하여, 피부 및/또는 털을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 제2 사용자 인터페이스 레벨과 연관된 거리에 있다는 것을 검출한 것에 응답하여, 조직 및/또는 인대를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스와 접촉했다는 것을 검출한 것에 응답하여, 뼈를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 예컨대, 실질적으로 연속적인 방식으로 제공되는, 햅틱 효과들의 조합은 신체 부위와의 현실 세계 상호작용을 보다 실감나게 시뮬레이트할 수 있다.
이상에서의 예시적인 실시예의 설명은 단지 일 예로서 제공되어 있다. 본 발명의 다양한 다른 실시예들이 본 명세서에 기술되어 있고, 이러한 실시예들의 변동들이 본 기술 분야의 통상의 기술자에 의해 이해될 것이다. 다양한 실시예들에 의해 제공되는 장점들이 또한 본 명세서를 살펴보면 그리고/또는 청구된 발명 요지의 하나 이상의 실시예들을 실시해보면 이해될 수 있다.
위치 기반 햅틱 효과를 위한 예시적인 시스템
도 1a는 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타내고 있다. 이 실시예에서, 본 시스템은, 사용자가 컴퓨팅 디바이스(100)에 접근하고 궁극적으로 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된 컴퓨팅 디바이스(100)를 포함한다. 그에 부가하여 또는 대안적으로, 컴퓨팅 디바이스(100)가 사용자에 접근하고 궁극적으로 그와 접촉할 때, 컴퓨팅 디바이스(100)는 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같이, 실질적으로 연속적인 햅틱 피드백은 실질적으로 사용자에 의해 수행되는 제스처의 지속기간 동안 내내 제공되는 하나 이상의 햅틱 효과들을 포함한다.
제스처는 의미 또는 사용자 의도를 전달하는 신체 및/또는 물리 객체의 임의의 움직임 및/또는 위치결정(positioning)이다. 보다 복잡한 제스처들을 형성하기 위해 간단한 제스처들이 결합될 수 있다는 것이 인식될 것이다. 예를 들어, 손가락을 표면과 접촉시키는 것은 "핑거 온(finger on)" 제스처라고 지칭될 수 있는 반면, 손가락을 표면으로부터 떼어내는 것은 별개의 "핑거 오프(finger off)" 제스처라고 지칭될 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 짧은 경우, 결합된 제스처는 "탭핑(tapping)"이라고 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 긴 경우, 결합된 제스처는 "긴 탭핑(long tapping)"이라고 지칭될 수 있으며; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원(x, y) 위치들 사이의 거리가 비교적 큰 경우, 결합된 제스처는 "스와이핑(swiping)"이라고 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원(x, y) 위치들 사이의 거리가 비교적 작은 경우, 결합된 제스처는 "스미어링(smearing)", "스머징(smudging)", 또는 "플리킹(flicking)"이라고 지칭될 수 있다. 제스처들은, 그에 부가하여 또는 대안적으로, 3차원일 수 있다. 예를 들어, 제스처는 신체 부위 및/또는 물리 객체를 현실 공간에서의 특정의 위치에 위치시키는 것을 포함할 수 있다. 일부 실시예에서, (예컨대, 현실 공간에서의) 손가락 움직임 동안 3차원(x, y, z) 위치들 사이의 거리가 비교적 큰 경우, 결합된 제스처는 "스와이핑(swiping)"이라고 지칭될 수 있다. 손가락 움직임 동안 3차원(x, y, z) 위치들 사이의 거리가 비교적 작은 경우, 결합된 제스처는 "스미어링", "스머징", 또는 "플리킹"이라고 지칭될 수 있다. 임의의 수의 다른 제스처들을 형성하기 위해 임의의 수의 간단하거나 복잡한 2차원 또는 3차원 제스처들이 임의의 방식으로 결합될 수 있다. 제스처는 또한 컴퓨팅 디바이스(100)에 의해 인식되어 전자 신호들로 변환되는 (예컨대, 신체 부위 또는 물리 객체의) 임의의 형태의 움직임 또는 위치결정일 수 있다. 이러한 전자 신호들은, 실질적으로 연속적인 햅틱 피드백과 같은, 햅틱 효과를 활성화시킬 수 있고, 여기서 위치 센서(104)는 햅틱 효과를 발생시키는 사용자 의도를 포착한다.
일부 실시예에서, 컴퓨팅 디바이스(100)는 사용자를 터치 스크린 디스플레이(102) 상에 출력되는 특정의 가상 객체(예컨대, 인에이블된 가상 버튼)의 위치로 안내하기 위해 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 사용자가 특정의 가상 객체 상에 위치된 것을 검출한 것에 응답하여, (예컨대, 햅틱 출력 디바이스(106)를 통해) 원격 햅틱 효과를 출력하도록 구성된다. 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있지 않을 때는, 원격 햅틱 효과가 사용자에 의해 인지가능할 수 있다. 원격 햅틱 효과는 사용자가 처음에 가상 객체를 위치확인하는 데 도움을 줄 수 있다. 이러한 실시예에서, 사용자가 가상 객체 위에 위치된 채로 있는 동안 터치 스크린 디스플레이(102) 쪽으로 제스처를 할 때, 컴퓨팅 디바이스(100)는 원격 햅틱 효과들을 사용자에게 연속적으로 출력하도록 추가로 구성된다. 이것은 사용자가 가상 객체에 접근하고 있다는 것을 사용자에게 통지할 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(100)는 또한 사용자가 터치 스크린 디스플레이(102)를 통해 가상 버튼과 접촉하는 것을 검출한 것에 응답하여 로컬 햅틱 효과를 출력하도록 구성된다. 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있을 때는, 로컬 햅틱 효과가 사용자에 의해 인지가능할 수 있다. 로컬 햅틱 효과는 사용자가 가상 객체와 상호작용했다는 것을 사용자에게 통지할 수 있다. 사용자가 가상 객체 위에서 호버링하고, 그에 접근하며, 궁극적으로 그와 접촉할 때의 연속적인 햅틱 피드백은, 예컨대, 사용자가 터치 스크린 디스플레이(102)를 쳐다볼 필요 없이, 사용자를 가상 객체로 안내할 수 있다.
보다 구체적인 예로서, 일부 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에 있는) 컴퓨팅 디바이스(100)로부터의 제1 거리에서 제스처를 검출한 것에 응답하여, 제1 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(106)를 통해) 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 거리 범위(114) 내에 있지만 컴퓨팅 디바이스(100)와 접촉하지 않는) 컴퓨팅 디바이스(100)로부터의 제2 거리에서 제스처를 검출한 것에 응답하여, 제2 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(108)를 통해) 출력하도록 구성된다. 게다가, 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 컴퓨팅 디바이스(100) 및/또는 터치 스크린 디스플레이(102)와 접촉하는) 컴퓨팅 디바이스(100)로부터의 제3 거리에서 제스처를 검출한 것에 응답하여, 제3 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(110)를 통해) 출력하도록 구성된다. 제1 햅틱 효과, 제2 햅틱 효과, 및/또는 제3 햅틱 효과는 서로 동일하거나 상이할 수 있다. 예를 들어, 제1 햅틱 효과는 공기 뿜기를 포함할 수 있고, 제2 햅틱 효과는 (예컨대, 도 2와 관련하여 보다 상세히 기술되는 바와 같은) 정적 ESF 효과를 포함할 수 있으며, 제3 햅틱 효과는 진동을 포함할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(100)는, 적어도 2개의 햅틱 효과들 사이의 전환이 사용자에게 매끄럽게 인지가능하도록, 적어도 2개의 햅틱 효과들의 특성들(예컨대, 출력의 파형, 유형, 진폭, 지속기간, 주파수, 및/또는 시간)을 구성한다. 예를 들어, 컴퓨팅 디바이스(100)는, 햅틱 효과들 사이의 전환이 사용자에게 매끄럽게 인지가능하도록, 제1 햅틱 효과, 제2 햅틱 효과, 및 제3 햅틱 효과의 특성들을 구성할 수 있다. 이것은, 예컨대, 제스처 동안 내내, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다. 예를 들어, 이것은, 사용자가 컴퓨팅 디바이스(100)에 접근하고, 그와 접촉하며, 그리고/또는 그로부터 멀어지는 쪽으로 움직일 때, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는, 적어도 2개의 햅틱 효과들이 사용자에게 명확히 구별가능하도록, 적어도 2개의 햅틱 효과들의 특성들을 구성한다. 예를 들어, 컴퓨팅 디바이스(100)는, 햅틱 효과들 사이의 적어도 하나의 전환이 사용자에게 구별되게 인지가능하도록, 제1 햅틱 효과, 제2 햅틱 효과, 및 제3 햅틱 효과의 특성들을 구성할 수 있다. 이것은, 사용자의 신체 부위와 컴퓨팅 디바이스(100) 사이의 거리와 같은, 정보를 사용자에게 제공할 수 있다.
실시예들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 임의의 수 및 구성의 햅틱 효과들을 출력할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)로부터 다른 거리 범위 내에서 다른 제스처를 검출한 것에 응답하여 제4 햅틱 효과를 출력하고, 컴퓨팅 디바이스(100)로부터 또 다른 거리 범위 내에서 또 다른 제스처를 검출한 것에 응답하여 제5 햅틱 효과와 제6 햅틱 효과를 출력하며, 기타이다.
앞서 논의된 실시예들이 사용자가 컴퓨팅 디바이스(100)에 접근하고 궁극적으로 그와 접촉하는 것에 대한 것이지만, 일부 실시예는 사용자가 (예컨대, 컴퓨팅 디바이스(100)의) 표면과 접촉하고 있지 않는 적어도 하나의 위치 및 사용자가 표면과 접촉하고 있는 하나의 위치를 포함하는 임의의 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공할 수 있다. 예를 들어, 일부 실시예는 사용자가 손가락으로 컴퓨팅 디바이스(100)에 접근하고, 손가락으로 컴퓨팅 디바이스(100)와 접촉하며, 이어서 컴퓨팅 디바이스(100)로부터 멀어지게 손가락을 들어올리는 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공할 수 있다. 이와 같이, 실질적으로 연속적인 햅틱 피드백이 시작되고 사용자가 컴퓨팅 디바이스(100)와 접촉하지 않는 것에 의해 끝날 수 있다.
다른 예로서, 일부 실시예는 사용자가 컴퓨팅 디바이스(100)와 접촉한 후에 시작되고 사용자가 컴퓨팅 디바이스(100)로부터 떨어지게 손가락을 들어올린 후에 끝나는 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공한다. 예를 들어, 사용자는 신체 부위로 컴퓨팅 디바이스(100)의 표면(예컨대, 터치 스크린 디스플레이(102))과 상호작용할 수 있다. 컴퓨팅 디바이스(100)는 사용자 상호작용을 검출하고 로컬 햅틱 효과를 출력할 수 있다. 사용자는 이어서 (예컨대, 사용자가 컴퓨팅 디바이스(100)와 상호작용하는 것을 끝냈을 때) 신체 부위를 컴퓨팅 디바이스(100)로부터 떨어지게 들어올릴 수 있다. 일부 실시예에서, 예컨대, 사용자의 신체 부위가 컴퓨팅 디바이스(100)로부터 거리 범위(114) 및/또는 거리 범위(112) 내에 있는 동안, 컴퓨팅 디바이스(100)는 햅틱 피드백을 (예컨대, 원격 햅틱 효과들의 형태로) 사용자에게 계속 출력할 수 있다. 예컨대, 사용자의 신체 부위와 컴퓨팅 디바이스(100) 사이의 거리가 문턱값을 초과할 때까지, 컴퓨팅 디바이스(100)는 이러한 햅틱 피드백을 출력할 수 있다. 이와 같이, 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있는 동안 실질적으로 연속적인 햅틱 피드백이 시작되고 사용자가 컴퓨팅 디바이스(100)와 접촉하지 않는 동안 끝날 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(100)는, 예컨대, 제스처 동안 내내 상이한 위치들에서 상이한 느낌들을 사용자에게 출력하기 위해 동일한 부류의 햅틱 효과들(예컨대, 정적 ESF 햅틱 효과들)을 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에서 제스처를 검출한 것에 응답하여 (예컨대, 하위 크기 진동을 시뮬레이트하도록 구성된) 제1 정적 ESF 효과, 컴퓨팅 디바이스(100)로부터 거리 범위(114) 내에서 제스처를 검출한 것에 응답하여 (예컨대, 중간 크기 진동을 시뮬레이트하도록 구성된) 제2 정적 ESF 효과, 및/또는 컴퓨팅 디바이스(100)와 접촉하는 것을 포함하는 제스처를 검출한 것에 응답하여 제3 정적 ESF 효과(예컨대, 상위 크기 진동)를 출력하도록 구성될 수 있다.
도 1b는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타내고 있다. 이 실시예에서, 본 시스템은 사용자와 상호작용할 수 있는 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를 (예컨대, 터치 스크린 디스플레이(102)를 통해) 출력하도록 구성된 컴퓨팅 디바이스(100)를 포함한다. 사용자 인터페이스는 임의의 수의 사용자 인터페이스 레벨들을 포함할 수 있다. 게다가, 컴퓨팅 디바이스(100)는 임의의 수 및/또는 구성의 사용자 위치들을 제스처 동안 내내 임의의 수 및/또는 구성의 사용자 인터페이스 레벨들과 연관시킬 수 있다. 예를 들어, 일부 실시예에서, 모바일 디바이스는 3개의 상이한 사용자 위치들을 제스처 동안 내내 동일한 사용자 인터페이스 레벨과 연관시킬 수 있다. 일부 실시예에서, 사용자 인터페이스 레벨들은, 예를 들어, 시뮬레이트된 깊이를 사용자 인터페이스에 제공하기 위해, 서로 오버레이하는 것으로서 시뮬레이트될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 각각의 사용자 인터페이스 레벨과 연관된 하나 이상의 기능들을 실행하도록 구성된다.
도 1b에 도시된 실시예에서, 컴퓨팅 디바이스(100)는 내비게이션 애플리케이션과 연관된 가상 지도를 출력하고 있다. 사용자가 (예컨대, 파선으로 도시된 바와 같이) 컴퓨팅 디바이스(100)에 접근하고 그리고/또는 그와 접촉할 때, 컴퓨팅 디바이스(100)는 하나 이상의 사용자 인터페이스 레벨들을 순환하도록 구성되며, 예컨대, 가상 지도와 연관된 상이한 레벨들의 세부를 사용자에게 제공하도록 구성된다. 예를 들어, 사용자가 손가락을 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에 위치시킨 것에 응답하여 컴퓨팅 디바이스(100)는, 예컨대, 가상 지도 상의 주 또는 도시와 연관된 정보를 출력하도록 구성된 제1 사용자 인터페이스 레벨을 활성화시킬 수 있다. 사용자가 손가락을 컴퓨팅 디바이스(100)로부터 제2 거리 범위(114) 내로 그러나 그와 접촉하지 않게 움직일 때, 컴퓨팅 디바이스(100)는, 예컨대, 소도시(town) 또는 거리 이름과 같은, 세부를 가상 지도에 추가하도록 구성된 제2 사용자 인터페이스 레벨을 활성화시킬 수 있다. 사용자가 컴퓨팅 디바이스(100)와 접촉한 것에 응답하여, 컴퓨팅 디바이스(100)는, 예컨대, 가상 지도 상의 특정의 위치에서 줌인하도록 구성된 제3 사용자 인터페이스 레벨을 활성화시킬 수 있다. 이와 같이, 컴퓨팅 디바이스(100)는, 사용자가 컴퓨팅 디바이스(100)로부터 상이한 거리 범위들 내에서 제스처를 하는 것을 검출한 것에 응답하여, 가상 지도와 연관된 상이한 사용자 인터페이스 레벨들을 활성화시킬 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(100)는 사용자 인터페이스 레벨 및/또는 제스처에 적어도 부분적으로 기초하여 출력할 햅틱 효과를 결정하도록 구성된다. 이러한 햅틱 효과들은, 예컨대, 사용자와 상호작용하고 있는 특정의 사용자 인터페이스 레벨을 그리고/또는 사용자가 사용자 인터페이스 레벨들 간에 전환했다는 것을 사용자에게 통지하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는, 제1 사용자 인터페이스 레벨을 활성화시킨 것에 응답하여, 제2 사용자 인터페이스 레벨을 활성화시키는 것과 연관된 제2 햅틱 효과와 명확히 구별가능한 제1 햅틱 효과를 출력할 수 있다. 구별가능한 햅틱 효과들이 사용자가 사용자 인터페이스 레벨들 간에 전환했다는 것을 사용자에게 통지할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)가 제스처를 검출했던 정밀도를 표시하도록 구성된 햅틱 효과들을 출력하도록 구성된다. 예를 들어, 제스처가 컴퓨팅 디바이스(100)로부터 보다 먼 거리에서 수행될 때, 컴퓨팅 디바이스(100)는 제스처(예컨대, 또는, 사용자의 특정의 위치와 같은, 제스처의 일부분)를 보다 낮은 정밀도로 검출할 수 있다. 예를 들어, 제스처가 컴퓨팅 디바이스(100)로부터 1 미터의 거리에서 수행될 때, 컴퓨팅 디바이스(100)는 제스처와 연관된 위치를 실제 위치로부터 1 센티미터 내로 검출할 수 있다. 제스처가 컴퓨팅 디바이스(100)로부터 1 센티미터의 거리에 있을 때, 컴퓨팅 디바이스(100)는 제스처와 연관된 위치를 실제 위치로부터 1 밀리미터 내로 검출할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 보다 낮은 정밀도로 제스처를 검출한 것에 응답하여 사용자가 애매한 것으로 인지하는 햅틱 효과를 출력한다. 컴퓨팅 디바이스(100)는 보다 높은 정밀도로 제스처를 검출한 것에 응답하여 사용자가 뚜렷한 것으로 인지하는 햅틱 효과를 출력한다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 보다 낮은 정밀도로 제스처를 검출한 것에 응답하여 사용자의 신체의 보다 큰 표면적에 햅틱 효과를 출력한다. 컴퓨팅 디바이스(100)는 보다 높은 정밀도로 제스처를 검출한 것에 응답하여 사용자의 신체의 보다 작은 표면적에 햅틱 효과를 출력할 수 있다.
도 2는 일 실시예에 따른, 위치 기반 햅틱 효과들을 위한 시스템을 나타낸 블록도이다. 컴퓨팅 디바이스(201)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 게임 컨트롤러, 게임패드, 리모콘(remote control), 의료 디바이스, 자동차 컴퓨팅 디바이스(예컨대, 스테레오, HVAC, 조명, 내비게이션, 또는 다른 차량 기능들과 같은 하나 이상의 자동차 시스템들 또는 디바이스들을 제어하기 위한 컴퓨터), 완드(wand), 스타일러스, 펜, 및/또는 휴대용 게임 디바이스를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 웨어러블 디바이스(예컨대, 반지, 신발, 완장, 소매, 재킷, 안경, 장갑, 손목시계, 손목 밴드, 팔찌, 의복, 모자, 헤드밴드, 및/또는 보석류)와 연관되고, 사용자에 의해 착용되고 그리고/또는 사용자의 신체에 결합되도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스(201)의 컴포넌트들(예컨대, 프로세서(202), 네트워크 인터페이스 디바이스(210), 햅틱 출력 디바이스(218), 센서들(230), 위치 센서(232), 터치 감응 표면(216) 등)은 단일의 하우징 내에 통합될 수 있다. 다른 실시예에서, 컴포넌트들은 (예컨대, 다수의 하우징들 또는 위치들 간에) 분산되고 서로 전기 통신할 수 있다. 컴퓨팅 디바이스(201)는 도 2에 도시된 컴포넌트들 전부를 포함할 수 있거나 전부를 포함하는 것은 아닐 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는 센서(230)를 포함하지 않을 수 있다.
컴퓨팅 디바이스(201)는 버스(206)를 통해 다른 하드웨어와 인터페이싱하는 프로세서(202)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한 유형적(tangible)(및 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(204)는 컴퓨팅 디바이스(201)의 동작을 구성하는 프로그램 컴포넌트들을 구현할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 하나 이상의 네트워크 인터페이스 디바이스들(210), 입출력(I/O) 인터페이스 컴포넌트들(212), 및 부가의 저장소(214)를 추가로 포함할 수 있다.
네트워크 인터페이스 디바이스(210)는 네트워크 연결을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타내거나 전자 디바이스들 사이의 통신을 다른 방식으로 용이하게 할 수 있다. 예로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface), 및/또는 IEEE 802.11, 블루투스, NFC(near-field communication) 인터페이스, RFID 인터페이스, 또는 셀룰러 전화 네트워크에 액세스하는 무선 인터페이스(radio interface)(예컨대, CDMA, GSM, UMTS 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)와 같은 무선 인터페이스(wireless interface)가 있지만, 이들로 제한되지 않는다.
I/O 컴포넌트들(212)은 하나 이상의 디스플레이들, 터치 감응 표면들(216), 키보드들, 마우스들, 스피커들, 마이크로폰들, 버튼들, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 사용되는 다른 하드웨어와 같은 디바이스들에의 연결을 용이하게 하는 데 사용될 수 있다. 저장소(214)는 컴퓨팅 디바이스(201)에 포함되거나 프로세서(202)에 결합된 판독 전용 메모리, 플래시 메모리, F-RAM(ferroelectric RAM), 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장소를 나타낸다.
컴퓨팅 디바이스(201)는 터치 감응 표면(216)을 포함할 수 있다. 일부 실시예에서, 터치 감응 표면(216)은 연성이거나 변형가능하다. 터치 감응 표면(216)은 사용자의 촉각 입력을 감지하도록 구성되어 있는 임의의 표면을 나타낸다. 하나 이상의 터치 센서들(208)은 (예컨대, 사용자의 손가락 또는 스타일러스와 같은 객체가 터치 감응 표면(216)과 접촉할 때) 터치 영역에서 터치를 검출하고 터치와 연관된 신호들을 프로세서(202)로 전송하도록 구성되어 있다. 임의의 적당한 수, 유형 또는 배열의 터치 센서들(208)이 사용될 수 있다. 예를 들어, 일부 실시예에서, 저항성 및/또는 용량성 센서들이 터치 감응 표면(216)에 매립되고 터치의 위치 및, 터치의 압력, 속력, 및/또는 방향과 같은, 다른 정보를 결정하는 데 사용될 수 있다. 일부 실시예에서, 용량성 센서들은 (예컨대, 터치 감응 표면(216)에 매립된) 터치 센서(208)에의 사용자의 손가락의 근접성을 검출할 수 있다. 예를 들어, 터치 센서(208)는 사용자의 손가락이 터치 센서(208)에 접근할 때 커패시턴스의 변화를 검출하도록 구성된 용량성 센서를 포함할 수 있다. 터치 센서(208)는 커패시턴스의 변화에 기초하여 사용자의 손가락이 터치 센서(208)로부터 특정의 거리 내에 있는지를 결정할 수 있다.
터치 센서(208)는, 그에 부가하여 또는 대안적으로, 다른 유형의 센서들을 포함할 수 있다. 예를 들어, 터치 감응 표면(216)의 뷰와 함께 광학 센서들이 터치 위치를 결정하는 데 사용될 수 있다. 다른 예로서, 터치 센서(208)는 디스플레이의 측면에 탑재된 LED(Light Emitting Diode) 손가락 검출기를 포함할 수 있다. 일부 실시예에서, 터치 센서(208)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(208)는 사용자 상호작용의 속력, 압력, 및 방향을 검출하고, 이 정보를 프로세서(202)로 전송되는 신호 내에 포함시킬 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(201)는 터치 감응 표면(216)과 디바이스의 디스플레이를 겸비한 터치 지원 디스플레이를 포함한다. 터치 감응 표면(216)은 디스플레이 외부 또는 디스플레이의 컴포넌트들 상의 하나 이상의 재료 층들에 대응할 수 있다. 다른 실시예에서, 터치 감응 표면(216)은, 컴퓨팅 디바이스(201)의 특정의 구성에 따라, 디스플레이를 포함하지 않을 수 있다(또는 다른 방식으로 그에 대응할 수 있다).
일부 실시예에서, 컴퓨팅 디바이스(201)는 하나 이상의 센서(들)(230)를 포함한다. 센서(들)(230)는 센서 신호들을 프로세서(202)로 전송하도록 구성된다. 센서(들)(230)는, 예를 들어, 레인지 센서(range sensor), 깊이 센서, 바이오센서, 카메라, 및/또는 온도 센서를 포함할 수 있다. 컴퓨팅 디바이스(201)는 센서(230)로부터의 센서 신호들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가 적용될 사용자의 신체 부위의 하나 이상의 특성들을 결정하기 위해 센서(들)(230)로부터의 데이터를 사용할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 인지된 햅틱 효과의 품질을 개선시키기 위해 그리고/또는 사용자에 대한 부상을 방지하기 위해, 신체 부위에 기초하여 햅틱 효과의 하나 이상의 특성들을 결정할 수 있다.
예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는, 전쟁 게임과 같은, 게임을 실행한다. 컴퓨팅 디바이스(201)는, 가상 폭발과 같은, 게임 이벤트에 응답하여, 햅틱 효과(예컨대, 원격 햅틱 효과)를 출력하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 센서(230)(예컨대, 사용자의 신체가 보이는 곳에 있는 카메라)로부터 하나 이상의 영상들을 수신할 수 있다. 컴퓨팅 디바이스(201)는 영상들을 분석하고 햅틱 효과를 위한 사용자의 신체 상의 목적지 위치가, 예컨대, 털을 포함한다고 결정할 수 있다. 일부 실시예에서, 사용자는 털을 포함하는 신체 부위 상에서 털이 없는 신체 부위 상에서보다 더 약한 것으로 햅틱 효과를 인지할 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(201)는 검출된 털에 기초하여 햅틱 효과를 결정하고 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 증가된 진폭을 포함하는 햅틱 효과를 결정하고 출력할 수 있다. 이것은 사용자에 의해 인지되는 햅틱 효과의 품질을 개선시킬 수 있다.
다른 예로서, 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과(예컨대, 투사된/원격 햅틱 효과)가 적용되어야 하는 신체 부위가, 예컨대, 특히 민감한 신체 부위(예컨대, 귀 또는 눈)를 포함한다고 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 센서(230)로부터의 하나 이상의 영상들을 분석하고, 영상들에 기초하여, 컴퓨팅 디바이스(201)가 햅틱 효과를 특정의 신체 부위로 출력할 것이라고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 룩업 테이블 및/또는 알고리즘을 사용하여, 특정의 신체 부위가 민감한 신체 부위를 포함한다고 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 특정의 신체 부위를 대응하는 민감도 레벨에 매핑하기 위해 룩업 테이블을 사용할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 신체 부위에 대한 부상의 가능성을 방지하고 그리고/또는 감소시키도록 구성된 하나 이상의 특성들(예컨대, 유형, 진폭, 파형, 주파수, 또는 다른 특성)을 갖는 햅틱 효과를 결정할 수 있다.
예를 들어, 컴퓨팅 디바이스(201)는 가상 벌레들을 시뮬레이트하는 게임을 실행하고 있을 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 사용자의 귀와 같은, 사용자 상에 기어다니는 벌레들을 시뮬레이트하도록 구성된 햅틱 효과들을 결정하고 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 예컨대, 사용자의 귀에 있는 벌레를 시뮬레이트하기 위해, 사용자의 귀 쪽으로 방출되어야 하는 공기 뿜기(또는 초음파)를 포함하는 원격 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 사용자의 귀가 민감한 신체 부위라고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 사용자를 다치게 할 가능성을 줄이기 위해 햅틱 효과의 특성을 변경할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 예컨대, 사용자의 청각을 손상시킬 가능성을 줄이기 위해, 공기 뿜기(또는 초음파)의 진폭 또는 세기를 감소시킬 수 있다.
다른 예로서, 컴퓨팅 디바이스(201)는 사용자가 가상 캐릭터를 제어할 수 있는 군사 게임을 실행하고 있을 수 있다. 가상 캐릭터가 총탄을 맞은 것에 응답하여, 컴퓨팅 디바이스(201)는 햅틱 효과(예컨대, 원격 햅틱 효과)를 가상 캐릭터가 총탄을 맞은 곳과 연관된 사용자의 신체의 일부분으로 출력하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 단단한 재료(예컨대, 플라스틱 총알)를 가상 캐릭터가 총탄을 맞은 곳과 연관된 사용자의 신체의 일부분 쪽으로 투사하도록 구성될 수 있다. 이것은 사격을 시뮬레이트할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가, 사용자의 눈과 같은, 사용자의 신체의 민감한 부분에 적용되거나 그 쪽으로 투사되어야 한다고 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 그에 응답하여, 햅틱 효과를 한 유형(예컨대, 플라스틱 총알과 같은, 단단한 재료의 방출을 포함하는 원격 햅틱 효과)으로부터 다른 유형(공기의 분출과 같은, 기체의 방출을 포함하는 원격 햅틱 효과)으로 변경할 수 있다. 이것은 사용자의 눈에 대한 부상의 가능성을 줄일 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가 민감한 신체 부위에 적용되거나 그 쪽으로 투사될 위험이 있다고 결정할 수 있다. 예를 들어, 상기 군사 게임 실시예에서, 컴퓨팅 디바이스(201)는 사용자의 코 쪽으로 투사되도록 구성된 원격 햅틱 효과를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 사용자의 가상 캐릭터가 코에 총탄을 맞은 것에 응답하여, 플라스틱 총알이 사용자의 코 쪽으로 투사되어야 하는 것으로 결정할 수 있다. 그러나 컴퓨팅 디바이스(201)는 또한 사용자가 움직이고 있어, 투사된 재료가, 사용자의 눈과 같은, 민감한 신체 부위와 접촉할지도 모를 가능성을 증가시키고 있다고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 햅틱 효과를 한 유형(예컨대, 플라스틱 총알과 같은, 단단한 재료의 방출을 포함하는 원격 햅틱 효과)으로부터 다른 유형(거품과 같은, 부드러운 재료의 방출을 포함하는 원격 햅틱 효과)으로 변경할 수 있다. 이것은 민감한 신체 부위에 대한 부상의 가능성을 감소시킬 수 있다.
일부 실시예에서, 센서(230)(예컨대, 온도 센서)는 사용자의 온도(예컨대, 사용자의 피부 온도)를 검출하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 온도에 기초하여 햅틱 효과의 특성을 수정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 예컨대, 가상 폭발과 같은, 게임 이벤트에 응답하여, 사용자의 신체의 적어도 일부분(예컨대, 사용자의 복부)에 열을 가하는 것을 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자의 체온이 문턱값 초과라는 것을 나타내는 센서(230)로부터의 센서 신호에 응답하여 햅틱 효과 없음을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 사용자의 신체가 너무 뜨겁다고 결정한 것에 응답하여, 햅틱 효과를 출력하지 않을 수 있다. 이것은 사용자에 대한 부상(예컨대, 열사병)의 가능성을 방지하고 그리고/또는 줄일 수 있다.
컴퓨팅 디바이스(201)는 위치 센서(232)와 통신한다. 일부 실시예에서, 위치 센서(232)는 카메라, 3D 영상 시스템(예컨대, Microsoft Kinect ®라는 상표명으로 흔히 판매되는 3D 영상 시스템), 깊이 센서, 초음파 트랜스듀서, 가속도계, 자이로스코프, RFID(radio frequency identification) 태그 또는 판독기, 실내 근접 시스템, NFC 통신 디바이스, 글로벌 포지셔닝 시스템(global positioning system)(GPS) 디바이스, 자력계, 무선 인터페이스(예컨대, IEEE 802.11 또는 블루투스 인터페이스), 적외선 센서, 레인지 센서, 및/또는 LED 기반 추적 시스템을 포함한다. 위치 센서(232)는 사용자의 신체 부위 및/또는 물리 객체의 하나 이상의 위치들을 검출하고 하나 이상의 연관된 센서 신호들을 프로세서(202)로 전송하도록 구성된다. 위치는 현실 공간에서의 3차원 위치 또는 컴퓨팅 디바이스(201)에 대한 상대 위치일 수 있다. 일부 실시예에서, 위치 센서(232)는, 예컨대, 사용자의 신체 부위 및/또는 물리 객체의 복수의 검출된 3차원 위치들에 기초하여, 현실 공간에서 3차원 제스처를 검출하도록 구성된다.
일부 실시예에서, 프로세서(202)는 위치 센서(232)로부터의 하나 이상의 센서 신호들에 기초하여 제스처를 결정하도록 구성된다. 예를 들어, 사용자는 제스처(예컨대, 현실 공간에서의 스와이핑 제스처)를 행할 수 있다. 컴퓨팅 디바이스(201)는 (예컨대, 위치 센서(232)에 의해 촬영된) 제스처와 연관된 복수의 카메라 영상들을 분석하고 복수의 카메라 영상들에 기초하여 제스처의 하나 이상의 특성들(예컨대, 제스처의 유형)을 결정할 수 있다. 예를 들어, 프로세서(202)는 카메라 영상들에 기초하여 사용자가 특정 유형의 제스처를 행했다고 결정할 수 있다. 다른 예로서, 일부 실시예에서, 위치 센서(232)는 사용자가 착용한 그리고/또는 사용자의 신체에 결합된(예컨대, 사용자가 잡고 있는) 전자 디바이스에 의해 방출되는 무선 신호의 강도를 검출하도록 구성되어 있는 무선 인터페이스를 포함한다. 위치 센서(232)는 무선 신호 강도와 연관된 센서 신호를 프로세서(202)로 전송할 수 있다. 어떤 기간에 걸쳐 위치 센서(232)에 의해 검출된 복수의 상이한 무선 신호 강도들에 기초하여, 프로세서(202)는, 예를 들어, 전자 디바이스가 특정의 제스처와 연관된 특정의 패턴으로 움직였다고 결정할 수 있다.
일부 실시예에서, 위치 센서(232)는 (예컨대, 도 3과 관련하여 도시된 바와 같이) 컴퓨팅 디바이스(201)의 외부에 있고 컴퓨팅 디바이스(201)와 유선 또는 무선 통신을 한다. 예를 들어, 위치 센서(232)는 웨어러블 디바이스(예컨대, 안경 또는 넥타이)와 연관된 카메라를 포함하고 컴퓨팅 디바이스(201)와 통신할 수 있다. 다른 예로서, 위치 센서(232)는 컴퓨팅 디바이스(201)의 외부에(예컨대, 사용자의 집에서 선반 위에) 위치된 3D 영상 시스템 및/또는 LED 기반 추적 시스템을 포함하고 컴퓨팅 디바이스(201)와 통신할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(201)는 프로세서(202)와 통신하는 햅틱 출력 디바이스(218)를 포함한다. 일부 실시예에서, 단일의 햅틱 출력 디바이스(218)가 로컬 햅틱 효과와 원격 햅틱 효과 둘 다를 출력하도록 구성된다. 햅틱 출력 디바이스(218)는, 햅틱 신호에 응답하여, 햅틱 효과(예컨대, 원격 햅틱 효과 및/또는 로컬 햅틱 효과)를 출력하도록 구성된다. 햅틱 효과는, 예를 들어, 온도의 변화, 쓰다듬는 느낌, 전기 촉각 효과, 온도의 변화, 및/또는 표면 변형(예컨대, 컴퓨팅 디바이스(201)와 연관된 표면의 변형)을 포함할 수 있다. 게다가, 일부 햅틱 효과들은 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스들(218)을 순차적으로 그리고/또는 한꺼번에 사용할 수 있다. 도 2에 단일의 햅틱 출력 장치(218)가 도시되어 있지만, 실시예들은 햅틱 효과를 생성하기 위해 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스들(218)을 사용할 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)의 외부에 있고 (이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, 블루투스, 또는 무선 인터페이스(radio interface)와 같은 무선 인터페이스(wireless interface)를 통해) 컴퓨팅 디바이스(201)와 통신할 수 있다. 예를 들어, 햅틱 출력 디바이스(218)는 웨어러블 디바이스와 연관(예컨대, 그에 결합)되고 프로세서(202)로부터 햅틱 신호들을 수신하도록 구성될 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 진동을 포함하는 햅틱 효과를 출력하도록 구성된다. 햅틱 출력 디바이스(218)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체, 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 및/또는 전극들 사이의 정전기 인력 및 척력으로 인해 진동하도록 구성된 복수의 전도성 전극들 중 하나 이상을 포함할 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 햅틱 출력 디바이스(218)와 연관된 표면의 인지된 마찰 계수를 변조하는 햅틱 효과를 출력하도록 구성된다. 일 실시예에서, 햅틱 출력 디바이스(218)는 초음파 액추에이터를 포함한다. 초음파 액추에이터는 초음파 주파수, 예를 들어, 20 kHz로 진동하여, 연관된 표면의 인지된 계수를 증가 또는 감소시킬 수 있다. 일부 실시예에서, 초음파 액추에이터는 압전 재료를 포함할 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 정전기 햅틱 효과를 출력하기 위해 정전기 인력을 사용한다. 일부 실시예에서, 정전기 햅틱 효과는 시뮬레이트된 텍스처, 시뮬레이트된 진동, 쓰다듬는 느낌, 및/또는 컴퓨팅 디바이스(201)와 연관된 표면 상에서의 마찰 계수의 인지된 변화를 포함할 수 있다.
예를 들어, 일부 실시예에서, 햅틱 출력 디바이스(218)는 전도층 및 절연층을 포함할 수 있다. 일부 실시예에서, 전도층은, 구리, 알루미늄, 금, 은, 그래핀, 탄소 나노튜브, ITO(Indium tin oxide), 백금, 폴리(3,4-에틸렌디옥시티오펜) 폴리스티렌 술폰산염("PEDOT:PSS), 또는 이들의 임의의 조합과 같은, 임의의 반도체 또는 다른 전도성 재료를 포함할 수 있다. 일부 실시예에서, 절연층은 유리, 플라스틱, 중합체, 실리카, 파릴렌, 캡톤 테이프, 이산화실리콘(SiO2), 산화알루미늄(Al2O3), 질화실리콘(Si3N4), 또는 이들의 임의의 조합을 포함할 수 있다. 게다가, 프로세서(202)는 전기 신호, 예를 들어, AC 신호를 전도층에 인가함으로써 햅틱 출력 디바이스(218)를 작동시킬 수 있다. 일부 실시예에서, 고전압 증폭기는 AC 신호를 발생시킬 수 있다. 전기 신호는 전도층과 햅틱 출력 디바이스(218)의 근방에 있거나 그와 맞닿은 객체(예컨대, 사용자의 손가락, 머리, 발, 팔, 어깨, 다리, 또는 다른 신체 부위, 또는 스타일러스) 사이에 용량성 결합을 발생시킬 수 있다. 객체와 전도층 사이의 인력 레벨들을 변화시키는 것은 사용자에 의해 인지되는 햅틱 효과를 변화시킬 수 있다.
일부 실시예에서, 전도층은 복수의 전극들을 포함한다. 복수의 전극들은 특정의 패턴 또는 구성으로 배열될 수 있다. 예를 들어, 복수의 전극들은 복수의 전극 스트립들을 포함할 수 있다. 전극 스트립들은 컴퓨팅 디바이스(201)의 하나 이상의 표면들에 걸쳐 대각 패턴, 수평 패턴, 수직 패턴, 또는 다른 패턴으로 배열될 수 있다. 다른 예로서, 전극들 중 하나 이상은 원형, 삼각형, 타원형, 정사각형, 직사각형, 또는 다른 형상을 포함할 수 있다. 예를 들어, 전극들의 주변부 또는 외주부는 원형, 삼각형, 타원형, 정사각형, 직사각형, 또는 다른 형상을 포함할 수 있다. 복수의 전극들은, 임의의 구성으로 배열되고 임의의 수의 형상들을 포함하는, 임의의 수의 전극들을 포함할 수 있다. 일부 실시예에서, 프로세서(202)는 복수의 전극들 전부 또는 그의 서브셋에 전기 신호를 인가하는 것에 의해 햅틱 출력 디바이스(218)를 작동시킬 수 있다. 전기 신호는 전극들과 전극들의 근방에 있거나 그와 접촉하는 객체 사이에 용량성 결합을 발생시킬 수 있다. 사용자는 용량성 결합을 햅틱 효과로서 인지할 수 있다.
일부 실시예에서, 정전기 햅틱 효과는 "동적 ESF 효과"를 포함한다. 동적 ESF 효과는 사용자의 신체 부위(예컨대, 손가락)가 햅틱 출력 디바이스(218)와 연관된 표면에 대해 움직일 때 사용자에 의해 인지가능한 정전기 햅틱 효과를 포함할 수 있다. 예를 들어, 동적 ESF 효과는 사용자가 햅틱 출력 디바이스(218)의 절연체층의 표면을 따라 손가락을 슬라이딩시킬 때 사용자에 의해 인지가능할 수 있다. 다른 예로서, 동적 ESF 효과는 (예컨대, 사용자가 정지한 채로 있는 동안) 컴퓨팅 디바이스(201)가 사용자의 신체와 맞닿아 움직일 때 사용자에 의해 인지가능할 수 있다.
예를 들어, 컴퓨팅 디바이스(201)는 하나 이상의 가상 사용자 인터페이스 컴포넌트들(예컨대, 버튼, 슬라이더, 노브 등)을 포함하는 그래픽 사용자 인터페이스(GUI)를 터치 스크린 디스플레이 상에 출력할 수 있다. 예를 들어, GUI는 가상 버튼을 포함할 수 있다. 사용자 인터페이스 컴포넌트는, 플라스틱 텍스처와 같은, 가상 텍스처를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 사용자가 사용자 인터페이스 컴포넌트와 연관된 터치 스크린 디스플레이 상의 위치를 가로질러 손가락을 슬라이딩시킨 것에 응답하여, 햅틱 효과를 출력할 수 있다. 햅틱 효과는, 예컨대, 플라스틱 텍스처를 시뮬레이트하도록 구성된 동적 ESF 효과를 포함할 수 있다.
일부 실시예에서, 정전기 햅틱 효과는 정적 ESF 효과를 포함한다. 정적 ESF 효과는 사용자가 신체 부위를 햅틱 출력 디바이스(218)와 연관된 표면에 대해(예컨대, 그를 가로질러 또는 그에 수직으로) 움직일 필요 없이 사용자에 의해 인지가능한 정전기 햅틱 효과를 포함할 수 있다. 예를 들어, 사용자는 표면에 대해 실질적으로 움직이지 않고 여전히 햅틱 효과를 인지할 수 있다. 게다가, 사용자는 정적 ESF 효과를 인지하기 위해 표면과 전혀 접촉할 필요가 없을 수 있다. 예를 들어, 상기 GUI 환경에서, 컴퓨팅 디바이스(201)는, 사용자가 손가락을 터치 스크린 디스플레이 위쪽에서 그리고 사용자 인터페이스 컴포넌트 상에서 호버링한 것에 응답하여, 정적 ESF 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 정적 ESF 효과는, 예컨대, 진동 느낌을 발생시키기 위해 정전기력을 사용하여 사용자의 신체 부위(예컨대, 손가락)를 반복하여 끌어당기고 밀어내는 것을 포함한다. 햅틱 효과는, 예를 들어, 사용자가 인에이블된 버튼 또는 디스에이블된 버튼에 접근하고 그리고/또는 그 위쪽에 호버링하고 있다는 것을 사용자에게 통지할 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 햅틱 효과를 출력하도록 구성된 변형 디바이스를 포함한다. 변형 햅틱 효과는 컴퓨팅 디바이스(201)와 연관된 표면의 부분들을 상승 또는 하강시키는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 울퉁불퉁한 텍스처를 발생시키기 위해 컴퓨팅 디바이스(201)의 표면의 부분들을 상승시키는 것을 포함할 수 있다. 일부 실시예에서, 변형 햅틱 효과는 컴퓨팅 디바이스(201)와 연관된 표면을 굴곡시키는 것, 주름지게 하는 것, 롤링하는 것, 휘는 것, 쥐어짜는 것, 구부리는 것, 그의 형상을 변경하는 것, 또는 다른 방식으로 변형시키는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면에 힘을 가하여, 그로 하여금 굴곡하거나, 주름지거나, 롤링하거나, 휘거나, 쥐어짜지거나, 구부러지거나, 형상을 변경하거나, 또는 다른 방식으로 변형되게 할 수 있다. 예를 들어, 사용자가 컴퓨팅 디바이스(201)에 접근한 것에 응답하여, 컴퓨팅 디바이스(201)는 컴퓨팅 디바이스(201)로 하여금 사용자 쪽으로 굴곡하게 하도록 구성된 햅틱 효과를 출력할 수 있다. 이 변형 햅틱 효과는, 사용자가 컴퓨팅 디바이스(201)에 접근하고 궁극적으로 그와 접촉할 때, 사용자에게 제공되는 실질적으로 연속적인 햅틱 피드백의 적어도 일부일 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 햅틱 효과를 출력하도록(예컨대, 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 굴곡시키거나 변형시키도록) 구성된 유체 또는 다른 재료들을 포함한다. 예를 들어, 유체는 스마트 젤(smart gel)을 포함할 수 있다. 스마트 젤은 자극 또는 자극들(예컨대, 전기장, 자기장, 온도, 자외광, 흔들림, 또는 pH 변동)에 응답하여 변하는 기계적 또는 구조적 특성들을 갖는 재료를 포함한다. 예를 들어, 자극에 응답하여, 스마트 젤은 강성, 체적, 투명도, 및/또는 색상이 변할 수 있다. 일부 실시예에서, 강성은 컴퓨팅 디바이스(201)와 연관된 표면의 변형에 대한 내성을 포함할 수 있다. 일부 실시예에서, 하나 이상의 와이어들이 스마트 젤에 매립되거나 그에 결합될 수 있다. 와이어들을 통해 전류가 흐를 때, 열이 방출되어, 스마트 젤을 팽창 또는 수축시킨다. 이것은 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 변형시킬 수 있다.
다른 예로서, 유체는 유변(예컨대, 자기 유변 또는 전기 유변) 유체를 포함할 수 있다. 유변 유체는 유체(예컨대, 오일 또는 물)에 현탁되어 있는 금속 입자들(예컨대, 철 입자들)을 포함한다. 전기장 또는 자기장에 응답하여, 유체에서의 분자들의 순서가 재정렬되어, 유체의 전체적인 감쇠 및/또는 점도를 변경시킬 수 있다. 이것은 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 변형시킬 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 기계적 변형 디바이스를 포함한다. 예를 들어, 일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 컴포넌트를 회전시키는 아암(arm)에 결합된 액추에이터를 포함할 수 있다. 변형 컴포넌트는, 예를 들어, 타원형, 별 모양의, 또는 물결 모양의 형상을 포함할 수 있다. 변형 컴포넌트는 컴퓨팅 디바이스(201)와 연관된 표면은 어떤 회전 각도로 움직이고 다른 것들은 움직이지 않도록 구성될 수 있다. 액추에이터는 압전 엑추에이터, 회전/선형 액추에이터, 솔레노이드, 전기 활성 중합체 액추에이터, 매크로 섬유 복합재(macro fiber composite)(MFC) 액추에이터, 형상 기억 합금(shape memory alloy)(SMA) 액추에이터, 및/또는 다른 액추에이터를 포함할 수 있다. 액추에이터가 변형 컴포넌트를 회전시킬 때, 변형 컴포넌트는 표면을 움직여, 표면을 변형시킬 수 있다. 이러한 실시예에서, 변형 컴포넌트는 표면이 편평한 위치에서 시작될 수 있다. 프로세서(202)로부터 신호를 수신한 것에 응답하여, 액추에이터는 변형 컴포넌트를 회전시킬 수 있다. 변형 컴포넌트를 회전시키는 것은 표면의 하나 이상의 부분들을 상승 또는 하강시킬 수 있다. 변형 컴포넌트는, 일부 실시예에서, 프로세서(202)가 변형 컴포넌트를 다시 그의 원래의 위치로 회전시키라고 액추에이터에 신호할 때까지, 이 회전된 상태에 있는 채로 있을 수 있다.
게다가, 컴퓨팅 디바이스(201)와 연관된 표면을 변형시키기 위해 그리고/또는 햅틱 효과들을 다른 방식으로 발생시키기 위해 다른 기법들 또는 방법들이 사용될 수 있다. 예를 들어, 햅틱 출력 디바이스(218)는, (예컨대, 섬유 및 나노튜브(이들로 제한되지 않음)를 포함하는) 표면 재구성가능 햅틱 기판으로부터의 접촉에 기초하여, 그의 표면을 변형시키거나 그의 텍스처를 변화시키도록 구성된 연성 표면층을 포함할 수 있다. 일부 실시예에서, 햅틱 출력 디바이스(218)는, 예컨대, 와이어들에 결합된 모터, 공기 또는 포켓, 공진 기계 요소, MEMS(micro-electromechanical systems) 요소 또는 펌프, 열 유체 포켓, 가변 다공성 막, 또는 층류 변조(laminar flow modulation)를 사용하여 변형되거나 햅틱 효과들을 다른 방식으로 발생시킨다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 (예컨대, 원격 햅틱 효과들을 발생시키기 위해) 햅틱 출력들을 사용자에게 원격적으로 투사하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(218)는 재료들(예컨대, 고체, 액체, 기체, 또는 플라즈마)을 사용자(예컨대, 사용자의 신체 부위) 쪽으로 방출하도록 구성된 하나 이상의 분출구들을 포함할 수 있다. 하나의 이러한 실시예에서, 햅틱 출력 디바이스(218)는 햅틱 신호의 수신 시에 다양한 특성들을 갖는 산소, 질소, 또는 다른 기체의 뿜기 또는 흐름을 방출하도록 구성된 기체 분출구를 포함한다. 다른 예로서, 햅틱 출력 디바이스(218)는 압력파들을 사용자의 방향으로 투사하도록 구성된 하나 이상의 초음파 트랜스듀서들 또는 스피커들을 포함할 수 있다. 하나의 이러한 실시예에서, 프로세서(202)는, 사용자가 현실 공간에서 제스처를 한 것에 응답하여, 햅틱 출력 디바이스(218)로 하여금 집중된 압력파를 사용자 쪽으로 방출하게 할 수 있다. 집중된 압력파는 사용자의 신체의 일부분(예컨대, 사용자의 손가락)을 진동시킬 수 있다. 사용자는 진동을 햅틱 효과로서 인지할 수 있다.
일부 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)의 하우징의 일부분일 수 있다. 다른 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)와 연관된 표면(예컨대, 컴퓨팅 디바이스(201)의 전면 또는 배면)을 덮고 있는 연성 하우징 내부에 하우징될 수 있다. 일부 실시예에서, 햅틱 출력 디바이스(218) 자체가 연성일 수 있다.
메모리(204)를 살펴보면, 일부 실시예에서 어떻게 디바이스가 위치 기반 햅틱 효과들을 제공하도록 구성될 수 있는지를 보여주기 위해 모듈들(224, 226, 및 228)이 도시되어 있다. 일부 실시예에서, 제스처 검출 모듈(224)은, 예를 들어, 사용자에 의한 제스처를 결정하기 위해 프로세서(202)에 의해 사용가능한 하나 이상의 알고리즘들 또는 룩업 테이블들을 포함한다.
일부 실시예에서, 제스처 검출 모듈(224)은 컴퓨팅 디바이스(201)와의 접촉을 검출하기 위한 코드를 포함한다. 예를 들어, 이러한 실시예에서, 제스처 검출 모듈(224)은 사용자가 터치 감응 표면(216)과 접촉했는지를 결정하기 위해 터치 센서(208)를 샘플링할 수 있다. 다른 이러한 실시예에서, 제스처 검출 모듈(224)은 위치 센서(232)로부터의 복수의 화상들을 분석하고 사용자의 신체 부위에 대응하는 픽셀들이 컴퓨팅 디바이스(201)와 연관된 픽셀들을 오버레이하고 있는지를 결정할 수 있다. 그러한 경우, 제스처 검출 모듈(224)은, 예컨대, 사용자가 컴퓨팅 디바이스(201)와 접촉하고 있다고 결정할 수 있다.
일부 실시예에서, 제스처 검출 모듈(224)은 컴퓨팅 디바이스(201)에 대한 사용자의 위치를 결정하기 위해 네트워크 인터페이스 디바이스(210)를 통해 수신된 데이터를 분석하기 위한 코드를 포함한다. 예를 들어, 일부 실시예에서, 사용자는 GPS 센서를 포함하는, 스마트 반지 또는 스마트 워치와 같은, 디바이스를 착용하고 있을 수 있다. 이러한 실시예에서, 디바이스는 디바이스의 GPS 위치(예컨대, 사용자의 신체 부위의 GPS 위치)와 연관된 신호들을 컴퓨팅 디바이스(201)로 전송하도록 구성될 수 있다. 일부 실시예에서, 제스처 검출 모듈(224)은 디바이스로부터 GPS 위치를 수신하고 GPS 위치를 (예컨대, 센서(230)에 의해 검출되는 바와 같은) 컴퓨팅 디바이스(201)의 GPS 위치와 비교하기 위한 코드를 포함한다. 이것은 컴퓨팅 디바이스(201)가 컴퓨팅 디바이스(201)에 대한 디바이스(예컨대, 사용자)의 위치를 결정할 수 있게 할 수 있다. 제스처 검출 모듈(224)은 위치에 기초하여 제스처를 결정하기 위한 코드를 포함할 수 있다.
햅틱 효과 결정 모듈(226)은 발생시킬 햅틱 효과를 결정하기 위해 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 햅틱 효과 결정 모듈(226)은 하나 이상의 알고리즘들 또는 룩업 테이블들을 사용하여 출력할 하나 이상의 햅틱 효과들을 선택하는 코드를 포함할 수 있다. 일부 실시예에서, 햅틱 효과 결정 모듈(226)은 검출된 제스처에 기초하여 출력할 하나 이상의 햅틱 효과들을 결정하기 위한 코드를 포함한다. 예를 들어, 프로세서(202)는 특정 제스처를, 공기 뿜기 또는 정전기 햅틱 효과와 같은, 특정의 햅틱 효과에 매핑하기 위해 햅틱 효과 결정 모듈(226)에 저장된 룩업 테이블에 액세스할 수 있다.
일부 실시예에서, 햅틱 효과 결정 모듈(226)은, 예컨대, 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해, 하나 이상의 햅틱 출력 디바이스들(218)을 사용하여 출력할 복수의 햅틱 효과들을 결정하는 코드를 포함한다. 예를 들어, 햅틱 효과 결정 모듈(226)은, 사용자가 컴퓨팅 디바이스(201)에 접근하고 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 서로 결합하여 사용할 복수의 이용가능한 햅틱 출력 디바이스들 중에서 2개 이상의 상이한 햅틱 출력 디바이스들을 선택하기 위한 코드를 포함할 수 있다.
햅틱 효과 발생 모듈(228)은, 선택된 햅틱 효과를 발생시키기 위해, 프로세서(202)로 하여금 햅틱 신호들을 발생시켜 햅틱 출력 디바이스(218)로 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 햅틱 효과 발생 모듈(228)은 원하는 햅틱 효과를 생성하기 위해 햅틱 출력 디바이스(218)로 송신할 저장된 파형들 또는 커맨드들에 액세스할 수 있다. 일부 실시예에서, 햅틱 효과 발생 모듈(228)은 햅틱 신호를 결정할 알고리즘들을 포함할 수 있다. 게다가, 일부 실시예에서, 햅틱 효과 발생 모듈(228)은 햅틱 효과에 대한 목표 좌표들(예컨대, 햅틱 효과를 출력할 사용자의 신체 상의 위치에 대한 좌표들)을 결정하는 알고리즘들을 포함할 수 있다.
모듈들(224, 226, 228)이 도 2에서 메모리(204) 내에 프로그램 컴포넌트들로서 도시되어 있지만, 일부 실시예에서, 모듈들(224, 226, 228)이 하드웨어를 포함할 수 있다. 예를 들어, 모듈들(224, 226, 228)은 아날로그-디지털 변환기, 프로세서, 마이크로컨트롤러, 비교기, 증폭기, 트랜지스터, 및 다른 아날로그 또는 디지털 회로부를 포함할 수 있다.
도 3은 위치 기반 햅틱 효과들을 제공하는 시스템(300)의 일 실시예를 나타내고 있다. 시스템(300)은 웨어러블 컴퓨팅 디바이스(302), 파지가능 컴퓨팅 디바이스(304), 위치 센서(316), 및/또는 네트워크(314)에 연결된 원격 햅틱 출력 디바이스(318)를 포함한다. 웨어러블 컴퓨팅 디바이스(302) 및/또는 파지가능 컴퓨팅 디바이스는 도 2의 컴퓨팅 디바이스(201)와 실질적으로 동일하게 구성될 수 있다.
컴퓨팅 디바이스들(302, 304), 위치 센서(316), 및/또는 원격 햅틱 출력 디바이스(318)는 서로 직접 통신할 수 있고 그리고/또는 네트워크(314)를 통해 서로 통신할 수 있다. 예를 들어, 웨어러블 컴퓨팅 디바이스(302)는 (예컨대, 블루투스를 사용하여) 파지가능 컴퓨팅 디바이스(304)와 직접 무선으로 통신할 수 있다.
시스템(300)은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 임의의 수, 조합, 및/또는 구성의 웨어러블 컴퓨팅 디바이스들(302), 파지가능 컴퓨팅 디바이스들(304), 위치 센서들(316), 및/또는 원격 햅틱 출력 디바이스들(318)을 사용할 수 있다. 예를 들어, 일부 실시예에서, 웨어러블 컴퓨팅 디바이스(302), 파지가능 컴퓨팅 디바이스(304), 위치 센서(316), 및 원격 햅틱 출력 디바이스(318)는, 예컨대, 사용자가, 트리거(306), 조이스틱(308), 버튼(310), 및/또는 방향 패드(312)와 같은, 파지가능 컴퓨팅 디바이스(304)의 사용자 인터페이스 컴포넌트에 접근하고, 그와 접촉하며 그리고/또는 그로부터 손가락을 들어올릴 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하기 위해 협력한다.
특정의 예로서, 일부 실시예에서, 사용자는 사용자의 시야가 실질적으로 차단되는 비디오 게임을 플레이하기 위해 가상 현실 헤드셋을 착용하고 있을 수 있다. 이러한 실시예에서, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)에 접근하고 그를 궁극적으로 집어들 때, 사용자가 그렇지 않았으면 볼 수 없을지도 모르는 파지가능 컴퓨팅 디바이스(304)로 사용자를 안내하기 위해 실질적으로 연속적인 햅틱 피드백을 출력하도록 구성될 수 있다. 예를 들어, 위치 센서(316)는 사용자가 파지가능 컴퓨팅 디바이스(304)에 접근하는 것을 검출하고 연관된 센서 신호들을 웨어러블 컴퓨팅 디바이스(302) 및/또는 원격 햅틱 출력 디바이스(318)로 전송할 수 있다. 웨어러블 컴퓨팅 디바이스(302) 및/또는 원격 햅틱 출력 디바이스(318)는, 그에 응답하여, 햅틱 효과들을, 사용자가 파지가능 컴퓨팅 디바이스(304)에 보다 가까워짐에 따라, 예컨대, 감소하는 크기들로 출력할 수 있다. 사용자가 최종적으로 파지가능 컴퓨팅 디바이스(304)와 접촉한 것에 응답하여, 파지가능 컴퓨팅 디바이스(304)는, 진동과 같은, 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 시스템(300)의 다양한 컴포넌트들로부터의 햅틱 효과들의 조합은, 예컨대, 사용자를 파지가능 컴퓨팅 디바이스(304) 쪽으로 안내하기 위해, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공할 수 있다.
일부 실시예에서, 시스템(300)은 정보를 사용자에게 제공하도록 구성된 하나 이상의 햅틱 효과들을 출력하도록 구성된다. 예를 들어, 사용자는, 예컨대, 비디오 게임을 플레이하기 위해, 파지가능 컴퓨팅 디바이스(304)를 잡을 수 있다. 시스템(300)은 사용자의 신체 부위가 파지가능 컴퓨팅 디바이스(304)(예컨대, 트리거(306))의 특정의 사용자 인터페이스 컴포넌트와 접촉하지 않고 그 위쪽에 호버링하는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은, 그에 응답하여, 햅틱 효과(예컨대, 공기 뿜기)를 사용자 쪽으로(예컨대, 트리거(306) 위쪽에서 사용자의 손가락의 배면 쪽으로) 출력할 수 있다. 햅틱 효과는, 예를 들어, 사용자 인터페이스 컴포넌트의 특성을 사용자에게 통지하도록 구성될 수 있다. 예를 들어, 이러한 실시예에서, 햅틱 효과는, 사용자 인터페이스 컴포넌트가 인에이블되어 있는지와 같은, 사용자 인터페이스 컴포넌트의 유형, 위치, 기능, 및/또는 상태를 사용자에게 통지할 수 있다. 이것은 사용자가, 예를 들어, 특정의 사용자 인터페이스가 사용자 인터페이스 컴포넌트와 물리적으로 접촉함이 없이 인에이블되어 있는지를 결정할 수 있게 할 수 있다.
게다가, 일부 실시예에서, 시스템(300)은, 사용자가 사용자 인터페이스 컴포넌트 위쪽에서 호버링하고, 그에 접근하며, 궁극적으로 그와 접촉할 때, 연속적인 햅틱 피드백을 제공하도록 구성된다. 일부 실시예에서, 시스템(300)은, 그에 부가하여 또는 대안적으로, 사용자가 (예컨대, 사용자 인터페이스 컴포넌트와 상호작용한 후에) 사용자 인터페이스 컴포넌트로부터 멀어지게 손가락을 움직일 때, 연속적인 햅틱 피드백을 제공하도록 구성된다. 사용자가 사용자 인터페이스 컴포넌트로부터 멀어지게 움직일 때의 햅틱 피드백 출력은 사용자가 사용자 인터페이스 컴포넌트에 접근하고 그리고/또는 그와 접촉할 때의 햅틱 피드백 출력과 상이할 수 있다. 예를 들어, 시스템(300)은, 사용자가 사용자 인터페이스 컴포넌트가 더 이상 인에이블되어 있지 않다는 것을 사용자에게 알려주도록 구성되어 있는 사용자 인터페이스 컴포넌트로부터 멀어지게 움직일 때, 햅틱 피드백을 출력할 수 있다.
일부 실시예에서, 시스템(300)은, 그에 부가하여 또는 대안적으로, 다수의 사용자 인터페이스 레벨들을 갖는 사용자 인터페이스를 (예컨대, 디스플레이를 통해) 출력한다. 예를 들어, 시스템(300)은 사용자 인터페이스를 포함하는 비디오 게임을 실행할 수 있다(예컨대, 파지가능 컴퓨팅 디바이스(304) 자체가 비디오 게임을 실행할 수 있다). 비디오 게임은, 가상 레이저 건과 같은, 가상 객체를 포함할 수 있다. 일부 실시예에서, 시스템(300)은, 제1 제스처(예컨대, 사용자가 신체 부위 및/또는 물리 객체를 파지가능 컴퓨팅 디바이스(304)에 대해 제1 위치에 위치시키는 것)에 응답하여, 사용자가 사용자 인터페이스의 제1 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)의 트리거(306) 위쪽에서 손가락을 호버링하는 것에 응답하여, 사용자가 제1 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제1 사용자 인터페이스 레벨과 연관된 기능(예컨대, 탄창을 가상 레이저 건에 장전하는 것)을 수행할 수 있다. 그에 부가하여 또는 대안적으로, 시스템(300)은, 탄창을 가상 레이저 건에 장전하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다.
게다가, 일부 실시예에서, 시스템(300)은, 사용자가 신체 부위를 파지가능 컴퓨팅 디바이스(304)에 대해 제2 위치에 위치시키는 것에 응답하여, 사용자가 제2 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)에 보다 가깝게 트리거(306) 위쪽에서 손가락을 호버링하는 것에 응답하여, 사용자가 제2 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제2 사용자 인터페이스 레벨과 연관된 기능(예컨대, 가상 레이저 건에 장전하는 것)을 수행할 수 있다. 시스템(300)은, 그에 부가하여 또는 대안적으로, 가상 레이저 건에 장전하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다.
게다가, 일부 실시예에서, 시스템(300)은, 사용자가 신체 부위를 파지가능 컴퓨팅 디바이스(304)에 대해 제3 위치에 위치시키는 것에 응답하여, 사용자가 제3 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)의 트리거(306)를 누르는 것에 응답하여, 사용자가 제3 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제3 사용자 인터페이스 레벨과 연관된 기능(예컨대, 가상 레이저 건을 발사하는 것)을 수행할 수 있다. 시스템(300)은, 그에 부가하여 또는 대안적으로, 가상 레이저 건을 발사하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제3 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 이와 같이, 사용자는 신체 부위를 특정의 사용자 인터페이스 컴포넌트 위쪽에서 상이한 위치들에 위치시키는 것에 의해 복수의 기능들을 수행할 수 있을 수 있다. 이것은 사용자에 대한 보다 직관적이고 단순화된 경험을 제공할 수 있다.
도 4는 위치 기반 햅틱 효과들을 제공하는 시스템(400)의 다른 실시예를 나타내고 있다. 시스템(400)은 차량을 포함한다. 차량은 (예컨대, 차량의 내부에 있는) 컴퓨팅 디바이스를 포함한다. 도 4의 차량이 자동차를 포함하지만, 다른 실시예에서, 차량은 트럭, 보트, 비행기, 모터사이클 등을 포함할 수 있다.
컴퓨팅 디바이스는 하나 이상의 사용자 인터페이스 컴포넌트들(예컨대, 조이스틱, 버튼, 트리거, 스위치, 노브, 터치 감응 표면 등)을 통신한다. 도 4에 도시된 예에서, 컴퓨팅 디바이스는 터치스크린 디스플레이(402) 및 다수의 버튼들(406)과 통신한다. 시스템(400)은 또한 위치 센서(404) 및 햅틱 출력 디바이스를 포함한다. 햅틱 출력 디바이스는 로컬 및/또는 원격 햅틱 효과들을 사용자에게 제공하도록 구성된다.
일부 실시예에서, 컴퓨팅 디바이스는, 현실 공간에서의 제스처에 응답하여, 햅틱 피드백(예컨대, 실질적으로 연속적인 햅틱 피드백)을 사용자에게 제공하도록 구성된다. 예를 들어, 컴퓨팅 디바이스는, 예컨대, 오디오 볼륨, 라디오 방송국, 에어컨 또는 열 레벨, 및/또는 GPS 내비게이션 설정과 같은, 하나 이상의 차량 설정들을 변경하도록 구성된 GUI를 터치스크린 디스플레이(402)를 통해 출력할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 GUI의 특정의 가상 객체(예컨대, 오디오 볼륨을 조절하기 위한 가상 버튼)에 접근하고, 그와 접촉하며, 그리고/또는 그로부터 멀어지게 움직일 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스는, 사용자가 더 이상 가상 객체 위쪽에서 제스처하는 것(예컨대, 가상 객체 위쪽에서 손가락을 호버링하는 것)을 하지 않는 것, 및/또는 가상 객체와 사용자 사이의 거리가 문턱값을 초과한다(예컨대, 사용자가 가상 객체로부터 충분히 멀리 떨어지게 움직였다)는 것을 검출한 것에 응답하여, 햅틱 피드백을 출력하는 것을 중단할 수 있다. 일부 실시예에서, 이러한 연속적인 햅틱 피드백은 사용자가 원하는 사용자 인터페이스 컴포넌트를 위치확인할 수 있게 하고 그리고/또는, 예컨대, 시각적으로 터치스크린 디스플레이 상에 집중하지 않고, 컴퓨팅 디바이스와 안전하게 상호작용할 수 있게 할 수 있으며, 이는 사고 또는 부상을 방지할 수 있다.
일 예로서, 일부 실시예에서, 컴퓨팅 디바이스는 사용자가, 예컨대, 라디오 방송국을 변경하기 위해, GUI 상에 출력되는 가상 버튼 위쪽에서 (예컨대, 손가락으로) 제스처하는 것을 검출하도록 구성된다. 컴퓨팅 디바이스는, 그에 응답하여, 예컨대, 사용자가 특정의 가상 객체 위쪽에서 제스처하고 있다는 것을 사용자에게 통지하도록 구성된 원격 햅틱 효과(예컨대, 초음파 압력파)를 출력하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 가상 버튼에 접근한다는 것을 검출한 것에 응답하여, 원격 햅틱 효과들을 계속 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스는, 예컨대, 사용자가 원격 햅틱 효과들을 실질적으로 일정한 크기를 갖는 것으로 인지하도록, 원격 햅틱 효과들의 강도를 변조할 수 있다. 이와 같이, 예컨대, 사용자가 원격 햅틱 효과들의 소스에 보다 가까이에서 움직이고 있을 수 있더라도, 사용자는 원격 햅틱 효과들을 실질적으로 일정한 크기를 갖는 것으로 인지할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 사용자가 (예컨대, 터치스크린 디스플레이(402) 및/또는 위치 센서(404)를 통해) 가상 객체와 접촉한 것을 검출하도록 구성된다. 컴퓨팅 디바이스는, 그에 응답하여, 원격 햅틱 효과들을 출력하는 것을 중단하고 그리고/또는, 예컨대, 펄스형 진동을 포함하는 로컬 햅틱 효과를 출력할 수 있다. 이것은 컴퓨팅 디바이스가 사용자 입력을 수신했다는 것을 사용자에게 확인시켜줄 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 예컨대, 컴퓨팅 디바이스가 사용자가 신체 부위를 가상 객체로부터 멀어지게 움직인 것 및/또는 그와 더 이상 접촉하지 않는 것을 검출할 때까지, 로컬 햅틱 효과를 연속적으로 출력하도록 구성된다. 컴퓨팅 디바이스는 이어서, 예컨대, 사용자와 가상 객체 사이의 거리가 문턱값을 초과할 때까지, 하나 이상의 원격 햅틱 효과들을 출력할 수 있다.
상기 논의가 (예컨대, 터치스크린 디스플레이(402) 상에 출력되는) 가상 객체를 참조하지만, 일부 실시예에서, 컴퓨팅 디바이스는, 버튼들(406), 트리거들, 스위치들, 조이스틱들(408), 노브들 등과 같은, 하나 이상의 물리적 사용자 인터페이스 컴포넌트들에 대해 수행되는 제스처들에 기초하여 햅틱 효과들을 출력하도록 구성될 수 있다.
일부 실시예에서, 컴퓨팅 디바이스는 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를, 예컨대, 터치스크린 디스플레이(402)를 통해, 출력한다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스는 자동차에 있는 라디오와 연관된 GUI를 출력하도록 구성된다. 일부 실시예에서, 사용자는 터치스크린 디스플레이(402) 상에 출력되는, 라디오 방송국 스캔 버튼과 같은, 가상 버튼 위쪽에서 손가락을 호버링하는 것에 의해 사용자 인터페이스의 제1 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 제1 사용자 인터페이스 레벨과 연관된 기능을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스는, "HOVER CLOSER TO SCAN, TAP TO TURN OFF"와 같은, 가상 버튼과 연관된 기능의 설명을 (예컨대, 터치스크린 디스플레이(402)를 통해) 출력할 수 있다. 컴퓨팅 디바이스는, 예컨대, 물리 버튼의 존재 또는 작동을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 게다가, 일부 실시예에서, 사용자는 가상 버튼에 보다 가까이에서 제스처하는 것에 의해 제2 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 그에 응답하여, 복수의 라디오 방송국들을 스캔하도록 구성된다. 게다가, 일부 실시예에서, 사용자는 터치스크린 디스플레이(402)(예컨대, 및/또는 그 상에 출력되는 가상 버튼)와 접촉하는 것에 의해 제3 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 그에 응답하여, 라디오를 끄도록 구성된다. 이와 같이, 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 다양한 사용자 인터페이스 레벨들과 상호작용한 것에 응답하여, 다수의 기능들을 수행하도록 구성된다.
도 5는 위치 기반 햅틱 효과들을 제공하는 시스템의 또 다른 실시예를 나타내고 있다. 본 시스템은 가상 객체(506)를 디스플레이(예컨대, 터치스크린 디스플레이) 상에 출력하는 컴퓨팅 디바이스(502)(예컨대, 스마트폰 또는 태블릿)를 포함한다. 컴퓨팅 디바이스(502)는, 예컨대, 불을 포함하는 가상 객체(506)를 (예컨대, 디스플레이를 통해) 출력하고 있다. 컴퓨팅 디바이스(502)는, (예컨대, 파선 화살표로 도시된 바와 같이) 사용자가 가상 객체(506)에 접근하고 그리고/또는 그로부터 멀어지게 움직이는 것과 같은, 제스처를 검출하고, 그에 응답하여, 햅틱 효과들을 출력하도록 구성된다. 햅틱 효과들은 사용자에 대한 보다 실감나고 그리고/또는 몰입적인 햅틱 경험을 제공하도록 구성된다. 예를 들어, 햅틱 효과들은, 예컨대, 불의 열을 시뮬레이트하도록 구성될 수 있다. 예를 들어, 도 5에 도시된 예에서, 컴퓨팅 디바이스(502)는 사용자가 컴퓨팅 디바이스(502)에 접근하는 것을 검출한 것에 응답하여 증가하는 세기들 및/또는 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것에 응답하여 감소하는 세기들을 포함하는 햅틱 효과들(예컨대, 진동 또는 투사된 열)을 출력하도록 구성된다. 게다가, 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 컴퓨팅 디바이스(502)와 접촉하는 것을 검출한 것에 응답하여, 강타 또는 충격 느낌과 같은, 로컬 햅틱 효과를 출력하도록 구성된다. 일부 실시예에서, 실질적으로 연속적인 원격 및/또는 로컬 햅틱 효과들의 조합은, 사용자가 불에 대해 움직일 때 불의 증가하거나 감소하는 열과 같은, 가상 객체의 특성을 보다 실감나게 시뮬레이트할 수 있다.
다른 예로서, 일부 실시예에서, 컴퓨팅 디바이스(502)는, 예컨대, 자석 및/또는 역장(force field)을 포함하는 가상 객체(506)를 (예컨대, 디스플레이를 통해) 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)에 접근하는 것을 검출한 것에 응답하여, 증가하는 세기들을 포함하는 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 효과는 사용자의 움직임에 저항하도록 구성된 유체 또는 기체의 흐름을 포함할 수 있다. 이것은 사용자가 가상 객체(506)에 접근하는 것에 대해 저항할 수 있다(예컨대, 자기 저항 또는 역장을 시뮬레이트함). 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것을 검출한 것에 응답하여, 감소하는 세기들을 포함하는 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 효과는 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것을 돕도록 구성된 유체 또는 기체의 흐름을 포함할 수 있다. 이것은 자석의 자기장 및/또는 역장의 효과들을 보다 실감나게 시뮬레이트할 수 있다.
일부 실시예에서, 햅틱 효과들은 정보를 사용자에게 제공하도록 구성된다. 예를 들어, 컴퓨팅 디바이스(502)는 애플리케이션을 실행할 수 있다. 애플리케이션은 기능이 중단되는 경우, 예컨대, 컴퓨팅 디바이스(502)에 손상을 야기할 수 있는 기능을 실행할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 (예컨대, 위치 센서(504)를 통해) 컴퓨팅 디바이스(502) 쪽으로 제스처하는 것을 검출하고, 그에 응답하여, 예컨대, 컴퓨팅 디바이스(502) 쪽으로의 사용자의 움직임에 저항하도록 구성된 원격 햅틱 효과를 출력하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)에 계속 접근할 때, 저항의 세기 및/또는 양을 증가시킬 수 있다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용해서는 안된다는 것을 사용자에게 알려줄 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 궁극적으로 컴퓨팅 디바이스(502)와 접촉하는 것을 검출하고, 그에 응답하여, 예컨대, 일련의 펄스형 진동들을 포함하는 햅틱 효과를 출력하도록 구성된다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용해서는 안된다는 것을 사용자에게 알려줄 수 있다. 게다가, 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 손가락을 컴퓨팅 디바이스(502)의 표면을 가로질러 (예컨대, 터치 스크린 디스플레이 상에 출력되는 가상 버튼 쪽으로) 슬라이딩하는 것을 검출하고, 그에 응답하여, 예컨대, 마찰 계수의 인지된 증가를 포함하는 햅틱 효과를 출력하도록 구성된다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용하는 것을 물리적으로 보다 어렵게 만들 수 있다. 햅틱 효과들의 조합은 애플리케이션의 상태, 특성, 및/또는 다른 특징을 사용자에게 보다 적절히 통지할 수 있다.
일부 실시예에서, 컴퓨팅 디바이스(502)는, 그에 부가하여 또는 대안적으로, 예컨대, 상이한 깊이들에서 가상 객체(506)와 상호작용하는 것 및/또는 가상 객체(506)의 상이한 표면들과 상호작용하는 것을 시뮬레이트하도록 구성된, 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를 출력한다. 예를 들어, 가상 객체(506)는, 복숭아와 같은, 가상 과일을 포함할 수 있다. 사용자는 현실 공간에서의 제1 위치에서 제스처하는 것(예컨대, 신체 부위를 위치시키는 것)에 의해, 외부 층과 같은, 가상 과일의 일부분과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 제스처를 검출하고, 그에 응답하여, 예컨대, 과일의 솜털 또는 외피를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 게다가, 사용자는, 현실 공간에서의 제2 위치에서 제스처하는 것에 의해, 내부 층과 같은, 가상 과일의 다른 부분과 상호작용할 수 있다. 제2 위치는 제1 위치보다 컴퓨팅 디바이스(502)에 더 가까울 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 제2 위치에서 제스처를 검출하고, 그에 응답하여, 예컨대, 질척질척하거나 부드러운 텍스처와 같은, 과일의 내부 특성을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 이러한 방식으로, 컴퓨팅 디바이스(502)는, 상이한 제스처들에 응답하여, 가상 객체(506)의 상이한 표면들 및/또는 깊이들을 시뮬레이트할 수 있다.
위치 기반 햅틱 효과를 제공하는 예시적인 방법
도 6은 일 실시예에 따른, 위치 기반 햅틱 효과들을 제공하는 방법을 수행하는 단계들의 플로우차트이다. 일부 실시예에서, 도 6에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예에서, 이 단계들은 일군의 프로세서들에 의해 구현될 수 있다. 일부 실시예에서, 도 6에 도시된 하나 이상의 단계들이 생략되거나 상이한 순서로 수행될 수 있다. 이와 유사하게, 일부 실시예에서, 도 6에 도시되지 않은 부가 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 2에 도시된 컴퓨팅 디바이스(201)와 관련하여 앞서 기술한 컴포넌트들을 참조하여 기술된다.
간단함을 위해, 이하의 단계들은 드로잉 애플리케이션을 참조하여 기술된다. 그러나, 이하의 단계들은 이러한 실시예로 제한되지 않고, 단계들의 임의의 조합이 다른 유형의 애플리케이션들 및/또는 디바이스들을 통해 이용될 수 있다.
방법(600)은 프로세서(202)가 적어도 (예컨대, 컴퓨팅 디바이스(201)의) 표면과의 접촉 및 표면과의 비접촉을 포함하는 제스처와 연관된 센서 신호를 수신하는 단계(602)에서 시작된다. 예를 들어, 프로세서(202)는 드로잉 애플리케이션을 실행할 수 있다. 사용자는, 예컨대, 드로잉 애플리케이션에서 하나 이상의 드로잉 동작들을 수행하기 위해, 스타일러스(예컨대, 또는 펜 또는 다른 객체)를 컴퓨팅 디바이스(201) 쪽으로 움직일 수 있다. 위치 센서(232)(예컨대, 카메라)는 스타일러스의 움직임과 연관된 하나 이상의 영상들을 포착하고 연관된 센서 신호를 프로세서(202)로 전송할 수 있다. 이러한 실시예에서, 영상들은, 스타일러스의 일부분과 같은, 전경 특징들 및, 의자, 테이블, 벽, 책상 등과 같은, 배경 특징들을 포함할 수 있다.
방법(600)은 프로세서(202)가 제스처에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하는 단계(604)에서 계속된다. 일부 실시예에서, 프로세서(202)는 사용자 인터페이스 레벨을 결정하기 위해 메모리(204)에 포함된 프로그래밍, 룩업 테이블, 및/또는 알고리즘에 의존하도록 구성된다. 예를 들어, 프로세서(202)는 (제스처와 연관되어 있는) 현실 공간에서의 위치를 드로잉 애플리케이션의 특정의 사용자 인터페이스 레벨에 매핑하기 위해 룩업 테이블을 사용할 수 있다. 예를 들어, 프로세서(202)는 컴퓨팅 디바이스(201)로부터 먼 거리에 있는 현실 공간에서의 제1 위치를 드로잉 애플리케이션에서 출력되는 드로잉의 사시도와 연관된 제1 사용자 인터페이스 레벨에 매핑할 수 있다. 프로세서(202)는 컴퓨팅 디바이스(201)로부터 중간 거리에 있는 제2 위치를 드로잉 애플리케이션에서 출력되는 드로잉의 확대도 및/또는 단면도와 연관된 제2 사용자 인터페이스 레벨에 매핑할 수 있다.
일부 실시예에서, 프로세서(202)는 단일의 제스처를 사용자 인터페이스 레벨과 연관시킬 수 있다. 예를 들어, 프로세서(202)는 하나의 특정 제스처를 제1 사용자 인터페이스 레벨과 그리고 다른 제스처를 제2 사용자 인터페이스 레벨과 연관시킬 수 있다. 다른 실시예에서, 프로세서(202)는 복수의 제스처들을 사용자 인터페이스 레벨과 연관시킬 수 있다. 예를 들어, 일부 실시예에서, 프로세서(202)는 컴퓨팅 디바이스(201)로부터 일정 범위의 거리들 내에(예컨대, 컴퓨팅 디바이스(201)의 표면으로부터 4 인치 내지 8 인치에서) 일어나는 임의의 제스처들을 단일의 사용자 인터페이스 레벨과 연관시킬 수 있다.
방법(600)은 프로세서(202)가 제스처에 기초하여 사용자 상호작용을 결정하는 단계(606)에서 계속된다. 예를 들어, 프로세서(202)는, 예컨대, 제스처의 3차원 시작 위치 및/또는 끝 위치에 기초하여, 제스처가 스와이프 제스처, 호버링 제스처, 또는 다른 유형의 제스처를 포함한다고 결정할 수 있다. 프로세서(202)는 제스처의 특정의 유형 및/또는 위치를, 선 도구, 정사각형 형상 도구, 페인트 브러시 크기 수정 도구 등을 활성화시키는 것과 같은, 드로잉 애플리케이션과 연관된 특정 사용자 상호작용에 상관시킬 수 있다.
방법(600)은 프로세서(202)가 사용자 인터페이스 레벨 및/또는 사용자 상호작용에 적어도 부분적으로 기초하여 기능을 결정하는 단계(608)에서 계속된다. 일부 실시예에서, 기능은 오디오 데이터, 비디오 데이터, 및/또는 정보(예컨대, 근방의 주유소, 레스토랑, 극장, 경찰서, 또는 병원, 또는 교통 상황 또는 속도 제한)를 출력하는 것; 전화를 거는 것; 문자 메시지, SMS 메시지, 또는 이메일을 송신하는 것; 웹 브라우저를 여는 것 또는 웹 사이트에 액세스하는 것; 애플리케이션을 여는 것; 애플리케이션을 닫는 것; 백그라운드 처리(background processing)를 수행하는 것; 포어그라운드 처리(foreground processing)를 수행하는 것; 파일을 저장하는 것; 파일을 여는 것; 게임 기능을 수행하는 것; 데이터를 수신하는 것; 데이터를 송신하는 것; 애플리케이션 설정을 변경하는 것; 네트워크를 통해 제품을 주문하는 것; 문서를 인쇄하는 것; 엔트리를 목록에 추가하는 것; 목록으로부터 엔트리를 제거하는 것; 사운드를 녹음하는 것; 미디어 콘텐츠를 재생하는 것; e-북(e-book)을 여는 것; 계산을 수행하는 것; 가격 비교를 수행하는 것; 은행 잔고를 검사하는 것; 및/또는 임의의 다른 수 및/또는 구성의 컴퓨터 기능들을 포함한다.
일부 실시예에서, 기능은 사용자 인터페이스에서 가상 객체를 출력하는 것, 제거하는 것, 변경하는 것, 업데이트하는 것, 및/또는 삭제하는 것을 포함한다. 예를 들어, 드로잉 애플리케이션 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)로부터 먼 거리에서 손가락 또는 스타일러스를 호버링하는 것을 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨과 연관된 제1 기능을 결정할 수 있다. 제1 기능은, 예컨대, 드로잉의 사시도를 출력하는 것을 포함할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 컴퓨팅 디바이스(201)로부터 먼 거리에서 현실 공간에서의 다른 제스처를 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨과 연관된 제2 기능을 추가로 결정할 수 있다. 제2 기능은, 예컨대, 가상 캔버스 상에서 (예컨대, 가상 페인트 브러시로) 제스처의 움직임에 의해 정의되는 경로를 따라 드로잉을 하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)로부터 중간 거리에서 손가락을 호버링하는 것을 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨과 연관된 제3 기능을 결정할 수 있다. 이 기능은, 예컨대, 드로잉의 확대도 및/또는 단면도를 출력하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 컴퓨팅 디바이스(201)로부터 중간 거리에서 다른 제스처를 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨과 연관된 제4 기능을 추가로 결정할 수 있다. 제4 기능은, 예컨대, 제스처의 움직임에 의해 정의된 경로를 따라 소거하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)와 접촉하는 것을 검출한 것에 응답하여, 제3 사용자 인터페이스 레벨과 연관된 제5 기능을 결정할 수 있다. 이 기능은, 예컨대, 가상 영상을 저장하는 것을 포함할 수 있다.
방법(600)은 프로세서(202)가 기능을 실행하는 단계(610)에서 계속된다. 일부 실시예에서, 프로세서(202)는 하나 이상의 하위기능들을 실행하는 것에 의해 기능을 실행할 수 있다. 예를 들어, 기능이 가상 영상을 저장하는 것을 포함하는 경우, 프로세서(202)는 가상 영상을 데이터베이스에 안전하게 저장하기 위한 비밀 키 또는 패스워드를 획득하기 위해 하나 이상의 서버들(예컨대, 영상 저장 데이터베이스)과 통신할 수 있다. 프로세서(202)는 이어서 영상을 데이터베이스에 저장할 수 있다.
방법(600)은 프로세서(202)가 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된 하나 이상의 햅틱 효과들을 결정하는 단계(612)에서 계속된다.
일부 실시예에서, 프로세서(202)는 제스처 및/또는 제스처와 연관된 현실 공간에서의 위치에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정한다. 예를 들어, 프로세서(202)는 제스처 동안 내내의 위치들을 특정 햅틱 효과들에 매핑하기 위해 메모리(204)에 저장된 룩업 테이블에 액세스할 수 있다. 이러한 실시예에서, 룩업 테이블은 메모리에 미리 프로그래밍되고 그리고/또는 사용자에 의해 프로그래밍가능할 수 있다.
일부 실시예에서, 프로세서(202)는 사용자와 컴퓨팅 디바이스(201) 사이의 거리에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정한다. 예를 들어, 일부 실시예에서, 사용자는, 예컨대, 투사된 고체, 액체, 기체, 플라즈마, 음압파(sound pressure wave), 및/또는 레이저 빔을 포함하는, 제1 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제1 거리 범위 내에서(예컨대, 1 mm 내지 10 cm에서) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제1 거리 범위 내에(예컨대, 1 mm 내지 10 cm에) 위치되어 있다는 것을 검출한 것에 응답하여, 제1 원격 햅틱 효과를 결정한다.
다른 예로서, 일부 실시예에서, 사용자는, 예컨대, 정전기 기반 용량성 결합을 포함하는, 제2 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제2 거리 범위 내에서(예컨대, 0 mm 내지 1 mm에서) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제2 거리 범위 내에 위치되어 있다는 것을 검출한 것에 응답하여, 제2 햅틱 효과를 결정한다. 또 다른 예로서, 일부 실시예에서, 사용자는, 예컨대, 로컬 햅틱 효과를 포함하는, 제3 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제3 거리 범위 내에서(예컨대, 0 mm 및/또는 컴퓨팅 디바이스(201)와 접촉함) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제3 거리 범위 내에 위치되어(예컨대, 컴퓨팅 디바이스와 접촉하고) 있다는 것을 검출한 것에 응답하여, 제3 햅틱 효과를 결정한다.
일부 실시예에서, 프로세서(202)는, 사용자가, 예컨대, 컴퓨팅 디바이스(201)에 접근하고 컴퓨팅 디바이스(201)로부터 다양한 거리 범위들에 걸쳐 움직일 때, 복수의 햅틱 효과들을 결정한다. 복수의 햅틱 효과들은 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하기 위해 원격 및/또는 로컬 햅틱 효과들의 임의의 조합을 포함할 수 있다.
일부 실시예에서, 프로세서(202)는 이전에 출력된 햅틱 효과와 실질적으로 동일한 것으로 사용자에 의해 인지되도록 구성된 하나 이상의 특성들(예컨대, 크기, 주파수, 지속기간)을 포함하는 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자가 현실 공간에서 제스처하는 것(예컨대, 손가락을 컴퓨팅 디바이스(201) 쪽으로 움직이는 것)을 검출할 수 있다. 이러한 실시예에서, 프로세서(202)는, 그에 따라, 사용자가 컴퓨팅 디바이스(201)에 보다 가까워지게 움직이고 있다고 결정한 것에 응답하여, 햅틱 효과의 크기를 감소시키고 그리고/또는, 사용자가 컴퓨팅 디바이스(201)로부터 보다 멀어지게 움직이고 있다고 결정한 것에 응답하여, 햅틱 효과의 크기를 증가시킬 수 있다. 이것은, 예컨대, 사용자가 컴퓨팅 디바이스(201)(예컨대, 햅틱 출력 디바이스(218))에 얼마나 가깝게 또는 멀리 있는지에 관계없이, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다.
일부 실시예에서, 프로세서(202)는 이전에 출력된 햅틱 효과와 별개이고 그리고/또는 구별가능한 것으로 사용자에 의해 인지되도록 구성된 하나 이상의 특성들(예컨대, 크기, 주파수, 지속기간)을 포함하는 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자가 현실 공간에서 제스처하는 것을 검출할 수 있다. 이러한 실시예에서, 프로세서(202)는, 그에 응답하여, 햅틱 효과의 특성들을 일정하게 유지할 수 있다. 사용자가, 제스처를 하는 동안, 햅틱 효과의 소스에 보다 가까워지게 그리고/또는 그로부터 보다 멀어지게 움직이고 있을 수 있기 때문에, (예컨대, 프로세서(202)가 햅틱 효과의 특성들을 일정하게 유지하고 있더라도) 사용자는 햅틱 효과의 강도가 변하는 것으로 인지할 수 있다. 이것은, 사용자가 컴퓨팅 디바이스(201)에 얼마나 가까이 있는지와 같은, 정보를 사용자에게 제공할 수 있다.
일부 실시예에서, 프로세서(202)는 사용자 인터페이스 레벨, 제스처, 및/또는 사용자 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(202)는 (예컨대, 드로잉 애플리케이션에서 보는 것 또는 가상 캔버스 상에 드로잉하는 것과 연관된) 사용자 인터페이스 레벨을, 공기 뿜기 또는 다른 원격 햅틱 효과와 같은, 특정 햅틱 효과들에 매핑하기 위해 메모리(204)에 저장된 룩업 테이블에 액세스할 수 있다. 일부 실시예에서, 프로세서(202)는 제스처의 유형, 위치, 지속기간, 및/또는 다른 특성들에 기초하여 햅틱 효과를 결정하도록 구성된다. 일부 실시예에서, 프로세서(202)는 사용자 상호작용의 유형, 위치, 지속기간, 및/또는 다른 특성들에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자 상호작용이 드로잉 애플리케이션에서 영상을 소거하도록 구성되어 있다고 결정하고, 이 사용자 상호작용에 기초하여, 예컨대, 칠판지우개로 칠판을 지우는 느낌을 시뮬레이트하도록 구성되어 있는 연관된 햅틱 효과를 결정한다.
일부 실시예에서, 프로세서(202)는 기능(예컨대, 기능과 연관된 특성)에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 기능의 유형과 연관된 햅틱 효과를 결정할 수 있다. 예를 들어, 일 실시예에서, 프로세서(202)는, 기능이, 드로잉 애플리케이션과 같은, 애플리케이션을 여는 것을 포함하는 경우, 한 번의 짧은 공기 뿜기를 포함하는 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 프로세서(202)는, 기능이 애플리케이션을 닫는 것을 포함하는 경우, 세 번의 짧은 공기 뿜기를 포함하는 햅틱 효과를 결정할 수 있다. 이것은 사용자에게 기능을 알려줄 수 있다. 일부 실시예에서, 프로세서(202)는 기능이 실행되었다는 것을 알려주도록 구성된 햅틱 효과를 결정한다. 예를 들어, 프로세서(202)는, 드로잉 애플리케이션에서 페인트 브러시 도구에 대한 새로운 색상을 선택하는 것을 포함하는 기능이 실행되었으면, 정전기 햅틱 효과를 포함하는 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 프로세서(202)는 기능을 실행한 결과에 기초하여 상이한 햅틱 효과들을 결정하도록 구성된다. 예를 들어, 프로세서(202)는, 기능이 성공적으로 실행된 경우, 기능이 성공적으로 실행되지 않은 경우와 상이한 햅틱 효과를 출력할 수 있다.
방법(600)은 프로세서(202)가 하나 이상의 햅틱 효과들을 출력하는 단계(614)에서 계속된다. 프로세서(202)는 하나 이상의 햅틱 효과들과 연관된 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스(218)로 전송하고, 햅틱 출력 디바이스(218)는 하나 이상의 햅틱 효과들을 출력한다. 일부 실시예에서, 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 프로세서(202)는 복수의 햅틱 효과들(예컨대, 원격 및/또는 로컬 햅틱 효과들)과 연관된 복수의 햅틱 신호들을 전송할 수 있다. 복수의 햅틱 효과들은 제스처 및/또는 현실 공간에서의 다른 움직임 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다.
위치 기반 햅틱 효과들의 장점들
위치 기반 햅틱 효과들의 수많은 장점들이 있다. 예를 들어, 이러한 시스템들은 보다 실감나거나 몰입적인 사용자 경험을 제공할 수 있다. 예를 들어, 일부 실시예에서, 이러한 시스템들은 제스처 동안 내내, 예컨대, 사용자가 컴퓨팅 디바이스에 접근하고 그리고/또는 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공할 수 있다. 이것은 중력, 자기장, 전기장, 바람 부는 것, 힘의 인가에 대한 저항, 및/또는 열과 같은, 물리적 현상들을 보다 실감나게 시뮬레이트할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스는 가상 원자로가 노심 용해되는 가상 종말 게임을 실행할 수 있다. 컴퓨팅 디바이스는 사용자가 컴퓨팅 디바이스 쪽으로 제스처하는 것을 검출하고, 그에 응답하여, 예컨대, 방사능 오염을 시뮬레이트하도록 구성된 햅틱 효과들을 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 사용자가 컴퓨팅 디바이스에 접근하는 것을 검출한 것에 응답하여 증가하는 진폭을 갖고, 사용자가 컴퓨팅 디바이스와 접촉한 것에 응답하여 강렬한 진동으로 끝나는 원격 햅틱 효과들을 실질적으로 연속적으로 출력할 수 있다. 연속적인, 격렬해지는 햅틱 효과들은 방사능으로 오염된 현장에 접근하는 것을 보다 실감나게 시뮬레이트할 수 있다.
다른 예로서, 일부 실시예에서, 사용자는 제1 사용자 인터페이스 레벨과 연관된 현실 공간에서의 제1 위치에서 제스처하는 것에 의해 (예컨대, 디스플레이 상에 출력되는) 가상 객체와 상호작용할 수 있다. 컴퓨팅 디바이스는, 그에 응답하여, 가상 객체와 연관된 표면(예컨대, 베개 상의 베개 시트)을 시뮬레이트하도록 구성된 햅틱 피드백을 출력할 수 있다. 사용자는 제2 사용자 인터페이스 레벨과 연관된 제2 위치에서 제스처하는 것에 의해 가상 객체와 추가로 상호작용할 수 있다. 컴퓨팅 디바이스는, 그에 응답하여, 가상 객체와 연관된 상이한 표면(예컨대, 깃털 또는 메모리폼과 같은, 베개의 내부)을 시뮬레이트하도록 구성된 햅틱 피드백을 출력할 수 있다. 일부 실시예에서, 이것은 가상 객체가 보다 실감나게 그리고/또는 3차원으로 느껴지게 할 수 있다. 게다가, 상이한 햅틱 효과들을 상이한 사용자 인터페이스 레벨들과 연관시키는 것에 의해, 사용자는 단일의 가상 객체와 상호작용하면서 복수의 햅틱 효과들을 인지할 수 있을 것이다. 이것은 보다 큰 범위의 햅틱 경험들을 가능하게 할 수 있다.
일부 실시예에서, 위치 기반 햅틱 효과들은 사용자가 디바이스를 쳐다보지 않고 상태 결정(예컨대, 디바이스가 있는 모드를 결정하는 것)을 할 수 있게 할 것이다. 이와 같이, 사용자는 다른 작업들에 초점을 유지할 수 있을 것이다. 예를 들어, 컴퓨팅 디바이스는 프로그램에서 또는 사용자 인터페이스 상에서 이용가능한 동작들과 연관된 원격 햅틱 효과들을 사용자에게 투사할 수 있다. 이것은 사용자가, 시각적으로 디스플레이 상에 집중할 필요 없이, 사용자 인터페이스와 상호작용할 수 있게 할 수 있다. 이와 유사하게, 햅틱 효과는 동작이 이용가능하거나, 완료되었거나, 특정 중요도를 갖는다는 확인으로서 역할할 수 있다.
일부 실시예에서, 위치 기반 햅틱 효과들은 보다 독자적이고, 상호작용적이며, 효과적인 사용자 인터페이스들을 가능하게 할 수 있다. 예를 들어, 일부 실시예에서, 사용자는 사용자 인터페이스 컴포넌트와 연관된 상이한 사용자 인터페이스 레벨들과 상호작용하면서 광범위한 기능들을 수행할 수 있을 것이다. 게다가, 일부 실시예에서, 사용자는 사용자 인터페이스 컴포넌트 위쪽에서 신체 부위를 호버링하는 것에 의해 사용자 인터페이스 컴포넌트의 위치를 위치확인하고 신체 부위를 현실 공간에서의 다른 위치로(예컨대, 사용자 인터페이스 컴포넌트 쪽으로) 움직이는 것에 의해 사용자 인터페이스 컴포넌트를 활성화시킬 수 있을 것이다. 이것은 사용자가, 예컨대, 사용자 인터페이스 컴포넌트와 물리적으로 접촉하는 것(예컨대, 사용자 인터페이스 컴포넌트를 탭핑하는 것 및/또는 그 상에서 제스처하는 것) 없이 사용자 인터페이스와 상호작용할 수 있게 할 것이다. 사용자 인터페이스 컴포넌트와 물리적으로 접촉하는 것이, 예를 들어, 주변 움직임, 인지 부하, 및 시각적 주의산만이 사용자 인터페이스 컴포넌트를 정확하게 탭핑하는 것을 어렵게 만들 수 있는, 움직이는 차량에서는 어려울 수 있다.
다른 실시예에서, 위치 기반 햅틱 효과들은 비시각 인터페이스(non-visual interface)를 가능하게 할 수 있다. 예를 들어, 일부 실시예에서, 사용자는 현실 공간에서(예컨대, 사용자 인터페이스 레벨과 연관된 위치에서) 제스처하는 것에 의해 사용자의 손가락으로 비시각 사용자 인터페이스를 탐색할 수 있을 것이다. 사용자의 손가락이 보이지 않는 인터페이스 컴포넌트(예컨대, 가상 볼륨 스위치)의 위치와 상호작용할 때, 컴퓨팅 디바이스는 햅틱 피드백을 출력할 수 있다. 이것은 사용자가 보이지 않는 인터페이스 컴포넌트의 위치를 식별할 수 있게 할 것이다. 인터페이스 컴포넌트의 위치를 식별할 때, 사용자는, 예컨대, 사용자의 손가락을 (예컨대, 다른 사용자 인터페이스 레벨과 연관된) 현실 공간에서의 다른 위치로 움직이는 것에 의해, 인터페이스 컴포넌트와 상호작용할(예컨대, 인터페이스 컴포넌트를 누를) 수 있을 것이다. 이것은 컴퓨팅 디바이스로 하여금 보이지 않는 인터페이스 컴포넌트와 연관된 기능(예컨대, 볼륨 레벨을 증가시키는 것)을 수행하게 할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 사용자 입력의 수신을 확인해주기 위해 햅틱 피드백을 사용자에게 추가로 제공할 수 있다.
일반 고려사항
앞서 논의된 방법들, 시스템들 및 디바이스들은 예이다. 다양한 구성들은, 적절한 경우, 다양한 절차들 또는 컴포넌트들을 생략, 치환 또는 추가할 수 있다. 예를 들어, 대안의 구성들에서, 방법들이 기술된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 특정의 구성들과 관련하여 기술된 특징들이 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양태들 및 요소들이 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전하고, 따라서 요소들 중 다수는 예이고, 본 개시내용 또는 청구항들의 범주를 제한하지 않는다.
예시적인 구성들(구현들을 포함함)에 대한 완전한 이해를 제공하기 위해 구체적인 상세들이 설명에 제공되어 있다. 그렇지만, 구성들이 이 구체적인 상세들 없이 실시될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들이 구성들을 불명료하게 하는 것을 피하기 위해 불필요한 상세 없이 나타내어져 있다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범주, 적용성 또는 구성을 제한하지 않는다. 오히려, 구성들에 대한 이상의 설명은 기술된 기법들을 구현하는 것을 가능하게 하는 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 본 개시내용의 사상 또는 범주를 벗어나지 않고, 요소들의 기능 및 배열에 다양한 변경들이 행해질 수 있다.
또한, 구성들이 흐름도 또는 블록도로서 나타내어져 있는 프로세스로서 기술될 수 있다. 각각이 동작들을 순차적 프로세스로서 기술할 수 있지만, 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 그에 부가하여, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가의 단계들을 가질 수 있다. 게다가, 방법들의 예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language), 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.
몇몇 예시적인 구성들을 기술하였지만, 본 개시내용의 사상을 벗어나지 않고 다양한 수정들, 대안의 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 이상의 요소들은 보다 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들이 본 발명의 응용분야보다 우선순위를 가지거나 다른 방식으로 그 응용분야를 수정할 수 있다. 또한, 이상의 요소들이 고려되기 전에, 그 동안에, 또는 그 후에, 다수의 단계들이 행해질 수 있다. 그에 따라, 이상의 설명은 청구항들의 범주를 한정하지 않는다.
본 명세서에서 "~하도록 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업들 또는 단계들을 수행하도록 되어 있거나 구성되어 있는 디바이스들을 배제하지 않는 개방적이고 포함적인 표현으로서 의도되어 있다. 그에 부가하여, "~에 기초하여"의 사용은, 하나 이상의 언급된 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산 또는 다른 동작이, 실제로는, 언급된 것들 이외의 부가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포함적인 것으로 의도되어 있다. 본 명세서에 포함되는 제목들, 목록들 및 번호 매기기는 단지 설명의 편의를 위한 것이고 제한하는 것으로 의도되어 있지 않다.
본 발명 요지의 양태들에 따른 실시예들은 디지털 전자 회로부에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합들로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 결합된 랜덤 액세스 메모리(RAM)와 같은, 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 앞서 기술된 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 다른 유사한 디바이스들과 같은 프로그래밍가능 전자 디바이스들을 추가로 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 것으로 본 명세서에 기술되는 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 유형적 컴퓨터 판독가능 매체를 포함할 수 있거나 그와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 저장 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 예는 컴퓨터 프로세서가 판독할 수 있는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사적 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은, 다양한 다른 디바이스들은 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조물들에 있을 수 있고, 하나 이상의 구조물들에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술되는 방법들 중 하나 이상(또는 방법들의 일부)을 수행하기 위한 코드를 포함할 수 있다.
본 발명 요지가 그의 특정 실시예들과 관련하여 상세히 기술되어 있지만, 본 기술분야의 통상의 기술자가, 이상의 내용을 이해할 때, 이러한 실시예들에 대한 변경들, 그의 변형들 및 그에 대한 등가물들을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 그에 따라, 본 기술 분야의 통상의 기술자에게는 곧바로 명백할 것인 바와 같이, 본 개시내용이 제한이 아니라 예로서 제시되어 있고 본 발명 요지에 이러한 수정들, 변형들 및/또는 추가들을 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.

Claims (23)

  1. 시스템으로서,
    제스처를 검출하고 상기 제스처와 연관된 센서 신호를 전송하도록 구성된 센서 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -; 및
    상기 센서와 통신하는 프로세서 - 상기 프로세서는
    상기 센서로부터 상기 센서 신호를 수신하고,
    상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하고 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내(throughout the gesture) 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -,
    상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고,
    상기 하나 이상의 햅틱 신호들을 전송하도록 구성됨 -; 및
    상기 프로세서와 통신하고, 상기 하나 이상의 햅틱 신호들을 수신하여 상기 하나 이상의 햅틱 효과들을 출력하도록 구성되는 햅틱 출력 디바이스
    를 포함하는, 시스템.
  2. 제1항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 시스템.
  3. 제1항에 있어서, 상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나는, 시스템.
  4. 제3항에 있어서, 상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고, 상기 프로세서는
    상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
    상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 추가로 구성되는, 시스템.
  5. 제4항에 있어서, 상기 햅틱 출력 디바이스는 사용자에 의해 착용되도록 구성된 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
    상기 프로세서는
    상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
    상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 추가로 구성되는, 시스템.
  6. 제4항에 있어서,
    상기 제스처는 신체 부위의 움직임을 포함하고;
    상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
    상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
    상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(global positioning system)(GPS), 발광 다이오드(light emitting diode)(LED), 적외선 센서, 또는 초음파 트랜스듀서를 포함하는, 시스템.
  7. 제1항에 있어서, 상기 프로세서는
    상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하고;
    상기 사용자 인터페이스 레벨과 연관된 기능을 결정하며;
    상기 기능을 실행하도록 추가로 구성되는, 시스템.
  8. 제1항에 있어서, 상기 프로세서는
    제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하고;
    상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하며;
    상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하고;
    상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하도록 추가로 구성되는, 시스템.
  9. 방법으로서,
    센서로부터 제스처와 연관된 센서 신호를 수신하는 단계 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -;
    상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하는 단계 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -;
    상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키는 단계; 및
    상기 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하는 단계 - 상기 햅틱 출력 디바이스는 상기 하나 이상의 햅틱 신호들을 수신하고 상기 하나 이상의 햅틱 효과들을 출력하도록 구성됨 - 를 포함하는, 방법.
  10. 제9항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 방법.
  11. 제9항에 있어서, 상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나는, 방법.
  12. 제11항에 있어서, 상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고, 상기 방법은
    상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 원격 햅틱 효과를 출력하는 단계; 및
    상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 로컬 햅틱 효과를 출력하는 단계를 추가로 포함하는, 방법.
  13. 제12항에 있어서, 상기 햅틱 출력 디바이스는 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
    상기 방법은
    상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스를 통해 상기 원격 햅틱 효과를 출력하는 단계; 및
    상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스를 통해 상기 로컬 햅틱 효과를 출력하는 단계를 추가로 포함하는, 방법.
  14. 제12항에 있어서,
    상기 제스처는 신체 부위의 움직임을 포함하고;
    상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
    상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
    상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(GPS), 또는 초음파 트랜스듀서를 포함하는, 방법.
  15. 제9항에 있어서,
    상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하는 단계;
    상기 사용자 인터페이스 레벨과 연관된 기능을 결정하는 단계; 및
    상기 기능을 실행하는 단계를 추가로 포함하는 방법.
  16. 제9항에 있어서,
    제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하는 단계;
    상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하는 단계;
    상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하는 단계; 및
    상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하는 단계를 추가로 포함하는, 방법.
  17. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    센서로부터 제스처와 연관된 센서 신호를 수신하게 하고 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -;
    상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하게 하며 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -;
    상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키게 하고;
    상기 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하게 하도록 - 상기 햅틱 출력 디바이스는 상기 하나 이상의 햅틱 신호들을 수신하고 상기 하나 이상의 햅틱 효과들을 출력하도록 구성됨 - 구성되는, 비일시적 컴퓨터 판독가능 매체.
  18. 제17항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  19. 제17항에 있어서,
    상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나며;
    상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고;
    상기 비일시적 컴퓨터 판독가능 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
    상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
  20. 제19항에 있어서, 상기 햅틱 출력 디바이스는 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
    상기 비일시적 컴퓨터 판독가능 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
    상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
  21. 제19항에 있어서,
    상기 제스처는 신체 부위의 움직임을 포함하고;
    상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
    상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
    상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(GPS), 또는 초음파 트랜스듀서를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  22. 제17항에 있어서, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하게 하고;
    상기 사용자 인터페이스 레벨과 연관된 기능을 결정하게 하며;
    상기 기능을 실행하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
  23. 제17항에 있어서, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
    제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하게 하고;
    상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하게 하며;
    상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하게 하고;
    상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
KR1020160165843A 2015-12-11 2016-12-07 위치 기반 햅틱 효과를 위한 시스템 및 방법 KR20170069936A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/966,652 US9990078B2 (en) 2015-12-11 2015-12-11 Systems and methods for position-based haptic effects
US14/966,652 2015-12-11

Publications (1)

Publication Number Publication Date
KR20170069936A true KR20170069936A (ko) 2017-06-21

Family

ID=57530612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160165843A KR20170069936A (ko) 2015-12-11 2016-12-07 위치 기반 햅틱 효과를 위한 시스템 및 방법

Country Status (5)

Country Link
US (3) US9990078B2 (ko)
EP (1) EP3179340A1 (ko)
JP (2) JP7182851B2 (ko)
KR (1) KR20170069936A (ko)
CN (1) CN106896910A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185441B2 (en) 2015-12-11 2019-01-22 Immersion Corporation Systems and methods for position-based haptic effects
KR20190058111A (ko) * 2017-11-21 2019-05-29 삼성전자주식회사 진동을 제공하기 위한 장치 및 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10241581B2 (en) 2015-04-30 2019-03-26 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN108351713B (zh) * 2015-10-14 2022-03-08 麦克赛尔株式会社 输入终端装置和操作输入方法
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
EP3502841B1 (en) * 2016-08-18 2023-07-26 Sony Group Corporation Information processing device, information processing system and information processing method
JP2018045349A (ja) * 2016-09-13 2018-03-22 カシオ計算機株式会社 処理装置、処理方法及びプログラム
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
FR3059945B1 (fr) * 2016-12-14 2019-10-04 Faurecia Interieur Industrie Dispositif de commande en particulier pour vehicule
JP7000683B2 (ja) * 2017-01-20 2022-01-19 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US10559283B2 (en) * 2017-03-20 2020-02-11 Paypal, Inc. Automated user device damage remediation
US11126265B2 (en) * 2017-06-14 2021-09-21 Ford Global Technologies, Llc Wearable haptic feedback
CN107309874B (zh) * 2017-06-28 2020-02-07 歌尔科技有限公司 一种机器人控制方法、装置和机器人
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
CA3125495C (en) 2017-09-06 2023-01-03 Damon Motors Inc. Motorcycle with haptic feedback
US10474236B1 (en) 2017-09-13 2019-11-12 Facebook Technologies, Llc Haptic device for variable bending resistance
WO2019084663A1 (en) 2017-11-02 2019-05-09 Damon Motors Inc. Anticipatory motorcycle safety system
US10678333B2 (en) * 2017-11-14 2020-06-09 Verizon Patent And Licensing Inc. Methods and systems for presenting haptically perceptible virtual objects
KR102486453B1 (ko) * 2017-12-08 2023-01-09 삼성디스플레이 주식회사 표시 장치
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
CN111602171A (zh) * 2019-07-26 2020-08-28 深圳市大疆创新科技有限公司 一种点云特征点提取方法、点云传感***及可移动平台
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN118192796A (zh) 2019-08-30 2024-06-14 谷歌有限责任公司 移动设备的输入方法
CN113892072A (zh) 2019-08-30 2022-01-04 谷歌有限责任公司 用于暂停的雷达姿势的视觉指示器
DE102019216411B4 (de) * 2019-10-24 2022-09-29 Volkswagen Aktiengesellschaft Vorrichtung zum Erfassen einer Eingabe mittels eines Betätigungsobjekts und Verfahren zum Betreiben einer Vorrichtung zum Erfassen einer Eingabe
WO2021207330A2 (en) * 2020-04-08 2021-10-14 Tactual Labs Co. Non-uniform electrode spacing with a bend sensor
JP2021192178A (ja) * 2020-06-05 2021-12-16 ソニーグループ株式会社 デバイス、制御方法及びプログラム
CN114429811A (zh) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 挂号***
US11681399B2 (en) * 2021-06-30 2023-06-20 UltraSense Systems, Inc. User-input systems and methods of detecting a user input at a cover member of a user-input system
CN113703607A (zh) * 2021-08-25 2021-11-26 北京京东方技术开发有限公司 一种交互显示装置
US11681373B1 (en) 2021-12-08 2023-06-20 International Business Machines Corporation Finger movement management with haptic feedback in touch-enabled devices

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
CN103513764B (zh) 2007-09-18 2017-04-26 森赛格公司 用于感觉刺激的方法和设备
WO2009067224A1 (en) * 2007-11-19 2009-05-28 Cirque Corporation Touchpad combined with a display and having proximity and touch sensing capabilities
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101481556B1 (ko) * 2008-09-10 2015-01-13 엘지전자 주식회사 이동 단말기 및 이를 이용한 객체 표시방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
KR20120028553A (ko) * 2010-09-15 2012-03-23 삼성전자주식회사 다기능 터치 패널과, 이를 포함하는 휴대 단말기 및 그의 운용 방법
JP5728866B2 (ja) * 2010-09-24 2015-06-03 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法およびコンピュータプログラム
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
JP6157486B2 (ja) 2011-10-20 2017-07-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療処置のためのホログラフィユーザインターフェース
US9733706B2 (en) * 2011-10-26 2017-08-15 Nokia Technologies Oy Apparatus and associated methods for touchscreen displays
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
US9269037B2 (en) * 2011-12-29 2016-02-23 Mighty Cast, Inc. Interactive base and token capable of communicating with computing device
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013186737A (ja) * 2012-03-08 2013-09-19 Stanley Electric Co Ltd タッチパネル式操作装置
US9201585B1 (en) * 2012-09-17 2015-12-01 Amazon Technologies, Inc. User interface navigation gestures
KR102035134B1 (ko) * 2012-09-24 2019-10-22 엘지전자 주식회사 영상표시장치, 및 그 동작방법
KR102091077B1 (ko) * 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP2014222488A (ja) 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム
KR20160019468A (ko) 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
JP6117075B2 (ja) * 2013-10-10 2017-04-19 株式会社東海理化電機製作所 触覚呈示装置
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
CN106104426B (zh) 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的***、方法和计算机可读介质
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10031582B2 (en) 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
KR102328100B1 (ko) * 2014-11-20 2021-11-17 삼성전자주식회사 복수의 입출력 장치를 제어하는 방법 및 장치
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US20160342208A1 (en) 2015-05-20 2016-11-24 Immersion Corporation Haptic effects based on predicted contact
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185441B2 (en) 2015-12-11 2019-01-22 Immersion Corporation Systems and methods for position-based haptic effects
US10551964B2 (en) 2015-12-11 2020-02-04 Immersion Corporation Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
KR20190058111A (ko) * 2017-11-21 2019-05-29 삼성전자주식회사 진동을 제공하기 위한 장치 및 방법
US11262845B2 (en) 2017-11-21 2022-03-01 Samsung Electronics Co., Ltd. Device and method for providing vibration

Also Published As

Publication number Publication date
JP2017107567A (ja) 2017-06-15
JP7182851B2 (ja) 2022-12-05
US10551964B2 (en) 2020-02-04
US10185441B2 (en) 2019-01-22
CN106896910A (zh) 2017-06-27
US20170168630A1 (en) 2017-06-15
JP2022003535A (ja) 2022-01-11
US20190179477A1 (en) 2019-06-13
US9990078B2 (en) 2018-06-05
EP3179340A1 (en) 2017-06-14
US20180321787A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
US10551964B2 (en) Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
US10606356B2 (en) Systems and methods for haptically-enabled curved devices
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
US10474238B2 (en) Systems and methods for virtual affective touch
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
US20180011538A1 (en) Multimodal haptic effects
JP2016219002A (ja) 予測される接触に基づく触覚効果
KR20190073281A (ko) 2-차원 및 3-차원 추적을 위해 사용가능한 햅틱방식-인에이블형 주변기기
EP3367216A1 (en) Systems and methods for virtual affective touch
US20200286298A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal