KR20130050251A - 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들 - Google Patents

터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20130050251A
KR20130050251A KR1020120124681A KR20120124681A KR20130050251A KR 20130050251 A KR20130050251 A KR 20130050251A KR 1020120124681 A KR1020120124681 A KR 1020120124681A KR 20120124681 A KR20120124681 A KR 20120124681A KR 20130050251 A KR20130050251 A KR 20130050251A
Authority
KR
South Korea
Prior art keywords
contact
signal
touch sensitive
processor
actuator
Prior art date
Application number
KR1020120124681A
Other languages
English (en)
Other versions
KR102104463B1 (ko
Inventor
대니 에이. 그랜트
주안 마누엘 크루즈-헤르난데즈
알리 모다레스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20130050251A publication Critical patent/KR20130050251A/ko
Application granted granted Critical
Publication of KR102104463B1 publication Critical patent/KR102104463B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/38—Chord
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들이 기술된다. 한 방법의 기술된 일 실시예는 터치 감지 입력 디바이스에서의 제1 물체의 제1 접촉에 응답해서 터치 감지 입력 디바이스로부터 제1 센서 신호를 수신하는 단계 - 상기 제1 센서 신호는 제1 접촉의 제1 로케이션 및 제1 압력을 포함함 - , 제1 접촉과 실질적으로 동시에 터치 감지 입력 디바이스에서의 제2 물체의 제2 접촉에 응답해서 터치 감지 입력 디바이스로부터 제2 센서 신호를 수신하는 단계 - 상기 제2 센서 신호는 제2 접촉의 제2 로케이션 및 제2 접촉의 제2 압력을 포함함 - , 제1 센서 신호 및 제2 센서 신호에 적어도 부분적으로 기초하여 신호를 생성하는 단계 - 상기 신호는 촉각 효과를 야기하도록 구성됨 - , 및 신호를 출력하는 단계를 포함한다.

Description

터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR MULTI-PRESSURE INTERACTION ON TOUCH-SENSITIVE SURFACES}
본 발명은 일반적으로 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들에 관한 것이다.
핸드헬드 디바이스들, 특히 터치 감지 표면들(예를 들면, 터치 스크린들)을 가진 휴대폰의 인기가 커짐에 따라, 전형적으로 기계 버튼들에 의해 제공되었던 물리적 촉감들은 더 이상 이러한 새로운 세대의 디바이스들의 분야에서 적용되지 않는다. 대신, 촉각 효과들(haptic effects)이 핸드헬드 디바이스들에 의해 출력되어서, 사용자에게 각종 이벤트들을 알릴 수 있다. 이러한 촉각 효과들은 버튼 누름, 착신 호출, 또는 텍스트 메시지를 나타내거나, 또는 오류 상태들을 나타내기 위한 진동들을 포함할 수 있다.
본 발명의 실시예들은 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들을 제공한다. 예를 들어, 본 명세서에 기술된 한 방법의 일 실시예에서, 본 방법은 터치 감지 입력 디바이스에서의 제1 물체의 제1 접촉에 응답해서 터치 감지 입력 디바이스로부터 제1 센서 신호를 수신하는 단계 - 상기 제1 센서 신호는 제1 접촉의 제1 로케이션 및 제1 압력을 포함함 - , 제1 접촉과 실질적으로 동시에 터치 감지 입력 디바이스에서의 제2 물체의 제2 접촉에 응답해서 터치 감지 입력 디바이스로부터 제2 센서 신호를 수신하는 단계 - 상기 제2 센서 신호는 제2 접촉의 제2 로케이션 및 제2 접촉의 제2 압력을 포함함 - , 제1 센서 신호 및 제2 센서 신호에 적어도 부분적으로 기초하여 신호를 생성하는 단계 - 상기 신호는 촉각 효과를 야기하도록 구성됨 - , 및 신호를 출력하는 단계를 포함한다. 다른 실시예에서, 컴퓨터 판독 가능 매체는 프로세서가 이러한 방법을 실행하게 야기하기 위한 프로그램 코드를 포함한다.
본 예시적인 실시예들은 본 발명을 제한하거나 한정하기 위해서가 아니라, 오히려 그의 이해를 돕기 위한 일례들을 제공하려고 언급된 것이다. 예시적인 실시예들은, 본 발명의 추가 설명을 제공하는 상세한 설명에서 논의된다. 본 발명의 각종 실시예들에 의해 제공되는 장점들은 본 명세서를 검토함으로써 더 이해될 수 있다.
본 명세서에 포함되고 본 명세서의 일부를 구성하는 첨부 도면들은 실시예들의 하나의 또는 그 이상의 일례들을 도시하고, 일례의 실시예들의 설명과 함께, 실시예들의 원리들 및 구현들을 설명하는 데 사용된다.
도 1은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스를 도시한다.
도 2는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스를 도시한다.
도 3은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스에서의 접촉을 검출하고 이에 응답하는 방법에 관한 흐름도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스의 동작을 도시한다.
도 5는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스에서의 접촉을 검출하고 이에 응답하는 방법에 관한 흐름도를 도시한다.
도 6a-6c는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스의 동작을 도시한다.
도 7은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스의 동작을 도시한다.
도 8은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스에서의 접촉을 검출하고 이에 응답하는 방법에 관한 흐름도를 도시한다.
도 9는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스의 동작을 도시한다.
일례의 실시예들은 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들의 문맥에서 본 명세서에 기술된다. 이하의 설명은 오직 예시적인 것으로 어떻게든 제한하려는 의도가 아님을 당업자가 알 것이다. 본 발명의 혜택을 받은 당업자들에게는 다른 실시예들이 쉽게 머리에 떠오를 것이다. 첨부 도면들에 도시된 일례의 실시예들의 구현들에 대해 이제부터 상세히 언급될 것이다. 동일한 참조 부호들이 동일하거나 또는 유사한 항목들을 나타내도록 도면들 및 이하의 설명의 도처에서 사용될 것이다.
명료성의 관점에서, 본 명세서에 기술된 구현들의 판에 박힌 특징들은 모두 도시 및 기술되지 않는다. 물론, 임의의 이러한 실제 구현의 전개에서, 애플리케이션-관련 및 비즈니스-관련 제약들에 순응함 등, 개발자의 특정 목표들을 달성하기 위해 다수의 구현-특정 결정들이 이루어져야만 하고, 이들 특정 목표들은 구현마다 다르고 개발자마다 서로 다름을 알 것이다.
다중 압력 터치 감지 입력 디바이스의 예시적인 동작
도 1을 참조하면, 도 1은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스(100)를 도시한다. 디바이스(100)는 사용자에게 웹 페이지의 일부분을 디스플레이한다. 본 일례의 실시예에서, 사용자는 터치 감지 표면(120)에서의 다중 터치, 다중 압력 입력들을 사용해서 페이지를 탐색(navigate)할 수 있다. 예를 들어, 사용자가 2개의 손가락들로 실질적으로 동시에 터치 감지 표면(120)을 터치하고, 다른 손가락보다 스크린 하부에 더 가까이 위치한 손가락으로 더 세게 압력을 가하면, 디바이스(100)는 디스플레이가 웹 페이지를 스크롤 다운하도록 야기할 것이다. 대안으로, 사용자는 다른 손가락보다 스크린 상부에 더 가까이 위치한 손가락으로 더 세게 압력을 가해서, 디바이스(100)가 웹 페이지를 스크롤 업하도록 야기할 수 있다. 일부 실시예들에서, 스크롤 레이트 또는 속도는 2개의 또는 그 이상의 압력들에 적어도 부분적으로 기초한다. 예를 들어, 스크롤 레이트는 2개의 압력들의 차이의 함수일 수 있다. 일 실시예에서, 촉각 효과는 스크롤 레이트에 대응하는 주파수 또는 크기로 출력된다.
사용자가 가한 다중 압력 입력들에 기초하여 웹 페이지를 스크롤하는 것 외에, 디바이스(100)는 또한 입력에 응답해서 취해진 동작을 나타내는 촉각 효과들을 출력한다. 예를 들어, 웹 페이지를 스크롤 다운하는 동안, 디바이스(100)는 디바이스(100)의 상부로부터 디바이스(100)의 하부로 이동하고, 사용자가 계속해서 웹 페이지를 스크롤하는 동안 반복해서 순환하는 것처럼 보이는 촉각 효과를 출력할 수 있다. 또는, 사용자가 웹 페이지를 스크롤 업하고 있다면, 촉각 효과는 디바이스(100)의 하부에서 시작해서 디바이스(100)의 상부 쪽으로 이동하고 사용자가 계속해서 웹 페이지를 스크롤하는 동안 반복해서 순환하는 것처럼 보인다. 따라서, 사용자는 디바이스(100)와 상호 작용하기 위해 다중 터치, 다중 압력 입력을 제공하고 그 입력에 기초한 촉각 피드백을 수신할 수 있다.
본 예시적인 일례는 본 명세서에 기술된 일반적인 주제를 독자에게 소개하기 위해 제공된 것이다. 본 발명은 본 일례로만 제한되지 않는다. 이하의 섹션들은 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 디바이스들, 시스템들, 및 방법들의 각종 추가의 무제한 실시예들 및 일례들을 기술한다.
예시적인 다중 압력 터치 감지 입력 디바이스
이제 도 2를 참조하면, 도 2는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스(200)를 도시한다. 도 2에 도시된 실시예에서, 디바이스(200)는 하우징(205), 프로세서(210), 메모리(220), 터치 감지 디스플레이(230), 액추에이터(240), 및 네트워크 인터페이스(250)를 포함한다. 프로세서(210) 및 메모리(220)는 하우징(205) 내에 배치된다. 터치 감지 표면을 포함하거나 그와 통신하는 터치 감지 디스플레이(230)는, 터치 감지 디스플레이(230)의 적어도 일부분이 디바이스(200)의 사용자에게 노출되도록, 하우징(205) 내에 부분적으로 배치된다. 일부 실시예들에서, 터치 감지 디스플레이(230)는 하우징(205) 내에 배치되지 않을 수 있다. 예를 들어, 디바이스(200)는 개별 하우징 내에 배치된 터치 감지 디스플레이(230)에 연결되거나 또는 달리 그와 통신할 수 있다.
도 2에 도시된 실시예에서, 터치 감지 디스플레이(230)는 프로세서(210)와 통신하고, 프로세서(210)에 신호들을 제공하도록 구성되고, 프로세서(210)는 메모리(220)와도 통신한다. 메모리(220)는 프로세서(210)에 의해 사용되도록 프로그램 코드 또는 다른 데이터, 또는 둘 다를 저장하며, 프로세서(210)는 메모리(220)에 저장된 프로그램 코드를 실행하고 터치 감지 디스플레이(230)로부터 신호들을 수신한다. 프로세서(210)는 또한 터치 감지 디스플레이(230)가 이미지들을 출력하게 야기하는 신호들을 출력하도록 구성된다. 도 2에 도시된 실시예에서, 프로세서(210)는 네트워크 인터페이스(250)와 통신하고, 다른 컴포넌트들 또는 디바이스들과 통신하기 위해 네트워크 인터페이스(250)로부터 신호들을 수신하고 네트워크 인터페이스(250)에 신호들을 출력하도록 구성된다. 또한, 프로세서(210)는 액추에이터(240) 및 액추에이터(260)와 통신하고, 액추에이터(240) 또는 액추에이터(260), 또는 둘 다가 하나의 또는 그 이상의 촉각 효과들을 출력하게 야기하는 신호들을 출력하도록 더 구성된다. 또한, 프로세서(210)는 스피커(270)와 통신하고, 스피커(270)가 소리들(sounds)을 출력하게 야기하는 신호들을 출력하도록 구성된다. 각종 실시예들에서, 디바이스(200)는 더 적은 수의 또는 추가의 컴포넌트들 또는 디바이스들을 포함하거나 또는 그와 통신할 수 있다. 도 2에 도시된 디바이스(200)의 컴포넌트들 및 디바이스(200)와 연관될 수 있는 컴포넌트들의 상세한 설명이 후술된다.
다중 압력 터치 감지 입력 디바이스(200)는 터치 감지 표면에서의 적어도 두 접촉들과 연관된 압력들을 검출할 수 있는, 터치 감지 표면을 포함하거나 또는 그와 통신하는 임의의 디바이스일 수 있다. 예를 들어, 도 2의 디바이스(200)는 터치 감지 표면을 포함하는 터치 감지 디스플레이(230)를 포함한다. 일부 실시예들에서, 터치 감지 표면은 디스플레이(230)에 오버레이될 수 있다. 다른 실시예들에서, 디바이스(200)는 디스플레이 및 개별 터치 감지 표면을 포함하거나 또는 그와 통신할 수 있다.
일부 실시예들에서, 하나의 또는 그 이상의 터치 감지 표면들이 디바이스(200)의 한 측면 또는 그 이상의 측면들에 있을 수 있다. 예를 들어, 일 실시예에서, 터치 감지 표면은 디바이스(200)의 후면 내에 배치되거나 또는 후면을 포함한다. 다른 실시예에서, 제1 터치 감지 표면은 디바이스(200)의 후면 내에 배치되거나 또는 후면을 포함하고, 제2 터치 감지 표면은 디바이스(200)의 측면 내에 배치되거나 또는 측면을 포함한다. 또한, 디바이스(200)가 디바이스(200)의 한 측면 또는 그 이상의 측면들에서 적어도 하나의 터치 감지 표면을 포함하는 실시예들에서, 또는 디바이스(200)가 외부 터치 감지 표면과 통신하는 실시예들에서, 디스플레이(230)는 터치 감지 표면을 포함할 수도 포함하지 않을 수도 있다. 일부 실시예들에서, 하나의 또는 그 이상의 터치 감지 표면들은 유연한 터치 감지 표면을 가질 수 있다. 다른 실시예들에서, 하나의 또는 그 이상의 터치 감지 표면들은 강성일 수 있다. 각종 실시예들에서, 디바이스(200)는 유연한 터치 감지 표면 및 강성의 터치 감지 표면을 둘 다 포함할 수 있다.
각종 실시예들에서, 디바이스(200)는 도 2에 도시된 실시예보다 더 적은 수의 또는 추가의 컴포넌트들을 포함하거나 또는 그와 통신할 수 있다. 예를 들어, 일 실시예에서, 디바이스(200)는 스피커(270)와 통신하지 않으며, 액추에이터(240)를 포함하지 않는다. 다른 실시예에서, 디바이스(200)는 터치 감지 디스플레이(230) 또는 네트워크 인터페이스(250)를 포함하지 않지만, 터치 감지 표면을 포함하고 외부 디스플레이와 통신한다. 다른 실시예들에서, 디바이스(200)는 액추에이터를 전혀 포함하지도 그와 통신하지도 않을 수 있다. 따라서, 각종 실시예들에서, 다중 압력 터치 감지 입력 디바이스(200)는, 예를 들어 본 명세서에 기술된 각종 실시예들뿐만 아니라 당업자에게 명백한 변형들에서, 임의의 수의 컴포넌트들을 포함하거나 또는 그와 통신할 수 있다.
도 2에 도시된 디바이스(200)의 하우징(205)은 디바이스(200)의 컴포넌트들의 적어도 일부에 대한 보호를 제공한다. 예를 들어, 하우징(205)은 비 등의 이물질들로부터 프로세서(210) 및 메모리(220)를 보호하는 플라스틱 케이스일 수 있다. 일부 실시예들에서, 하우징(205)은 사용자가 디바이스(200)를 떨어뜨리는 경우의 손상으로부터 하우징(205) 내의 컴포넌트들을 보호한다. 하우징(205)은, 플라스틱, 고무, 또는 금속을 포함하지만 이들로만 제한되지 않는 임의의 적합한 물질로 이루어질 수 있다. 각종 실시예들은 상이한 타입들의 하우징들 또는 복수의 하우징들을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 다중 압력 터치 감지 입력 디바이스(200)는 휴대 전화, 퍼스널 디지털 어시스턴트(PDA), 랩탑, 태블릿 컴퓨터, 데스크탑 컴퓨터, 디지털 뮤직 플레이어, 게임 콘솔, 게임패드, 의료 기구 등일 수 있다. 다른 실시예들에서, 디바이스(200)는, 예를 들어, 자동차의 콘솔 등의 다른 디바이스에 내장될 수 있다.
도 2에 도시된 실시예에서, 터치 감지 디스플레이(230)는 다중 압력 터치 감지 입력 디바이스(200)와 사용자가 상호 작용하기 위한 메커니즘을 제공한다. 예를 들어, 터치 감지 디스플레이(230)는 사용자가 터치 감지 디스플레이(230) 위를 맴돌거나, 터치하거나, 또는 누름(이 전부는 본 명세서에서 접촉이라고 할 수 있음)에 응답해서 사용자의 손가락의 로케이션 및 압력을 검출한다. 일부 실시예들에서, 터치 감지 디스플레이(230)는, 터치 감지 디스플레이(230)에서의 하나의 또는 그 이상의 접촉들의 로케이션, 압력, 또는 둘 다를 결정하는 하나의 또는 그 이상의 센서들을 포함하거나, 그에 연결되거나, 또는 달리 그와 통신할 수 있다. 예를 들어, 일 실시예에서, 터치 감지 디스플레이(230)는 상호 용량 시스템을 포함하거나 또는 그와 통신할 수 있다. 다른 실시예에서, 터치 감지 디스플레이(230)는 절대 커패시턴스 시스템을 포함하거나 또는 그와 통신할 수 있다. 일부 실시예들에서, 터치 감지 디스플레이(230)는 저항성 패널, 용량성 패널, 적외선 LED들, 광검출기들, 이미지 센서들, 광 카메라들, 또는 그 조합을 포함하거나 또는 그와 통신할 수 있다. 따라서, 터치 감지 디스플레이(230)는, 예를 들어, 저항성, 용량성, 적외선, 광, 열, 분산 신호, 또는 음향 펄스 기술들, 또는 그 조합 등, 터치 감지 표면(120)에서의 접촉을 결정하기 위한 임의의 적합한 기술을 포함할 수 있다.
도 2에 도시된 실시예에서, 액추에이터들(240 및 260)은 프로세서(210)와 통신하고, 하나의 또는 그 이상의 촉각 효과들을 제공하도록 구성된다. 예를 들어, 일 실시예에서, 액추에이션 신호가 프로세서(210)에 의해 액추에이터(240) 또는 액추에이터(260) 또는 둘 다에 제공될 때, 각각의 액추에이터(240, 260)는 그 액추에이션 신호에 기초한 촉각 효과를 출력한다. 예를 들어, 도시된 실시예에서, 프로세서(210)는 아날로그 드라이브 신호를 포함하는 액추에이터 신호를 액추에이터(240)에 송신하도록 구성된다. 그러나, 프로세서(210)는 액추에이터(260)에 커맨드를 송신하도록 구성되고, 커맨드는 액추에이터(260)가 촉각 효과를 출력하게 야기하는 적합한 드라이브 신호를 생성하는데 사용되는 파라미터들을 포함한다. 다른 실시예들에서, 상이한 신호들 및 상이한 신호 타입들이 하나의 또는 그 이상의 액추에이터들 각각에 송신될 수 있다. 예를 들어, 일부 실시예들에서, 프로세서는 촉각 효과를 출력하도록 액추에이터를 구동하기 위해 로우 레벨 드라이브 신호들을 송신할 수 있다. 그 드라이브 신호는 증폭기에 의해 증폭될 수 있으며, 또는 구동되는 특정 액추에이터에 부응하도록 적합한 프로세서들 또는 회로를 사용해서 디지털로부터 아날로그 신호로 또는 아날로그로부터 디지털 신호로 변환될 수 있다.
액추에이터들(240 또는 260) 등의 액추에이터는 하나의 또는 그 이상의 촉각 효과들을 출력할 수 있는 임의의 컴포넌트 또는 컴포넌트들의 집합일 수 있다. 예를 들어, 액추에이터는, ERM(eccentric rotational mass) 액추에이터, LRA(linear resonant actuator), 압전 액추에이터, 보이스 코일 액추에이터, EAP(electro-active polymer) 액추에이터, 형상 기억 합금, 호출기, DC 모터, AC 모터, 이동 자석 액추에이터, E-코어 액추에이터, 스마트겔(a smartgel), 정전 액추에이터, 전기 촉각 액추에이터, 또는 액추에이터의 기능들을 실행하는 임의의 다른 액추에이터 또는 컴포넌트들의 집합을 포함하지만, 이들로만 제한되지 않는 각종 타입들 중 하나일 수 있다. 개별적으로 또는 동시에 작동될 수 있는 다수의 액추에이터들 또는 상이한 크기의 액추에이터들이 다양한 진동수들을 제공하는데 사용될 수 있다. 각종 실시예들은 단일 액추에이터 또는 다수의 액추에이터들을 포함할 수 있으며, 동일한 타입 또는 상이한 타입들의 액추에이터들의 조합을 가질 수 있다.
각종 실시예들에서, 하나의 또는 그 이상의 촉각 효과들은 임의의 수의 방법들로 또는 방법들의 조합으로 생성될 수 있다. 예를 들어, 일 실시예에서, 하나의 또는 그 이상의 진동들이, 예를 들어, 편심 질량(eccentric mass)을 회전시킴으로써 또는 질량을 선형으로 진동시킴으로써, 촉각 효과를 생성하는데 사용될 수 있다. 일부 실시예들에서, 촉각 효과는 전체 디바이스에 또는 오직 한 표면에 또는 디바이스의 제한된 파트에 진동을 전하도록 구성될 수 있다. 다른 실시예에서, 2개의 또는 그 이상의 컴포넌트들 간의 마찰(friction) 또는 적어도 한 컴포넌트와 적어도 한 접촉 간의 마찰이, 예를 들어, 토크를 제공하기 위해 또는 컴포넌트의 이동에 저항을 제공하기 위해, 이동 컴포넌트에 브레이크를 가함으로써, 촉각 효과를 생성하는데 사용될 수 있다. 다른 실시예들에서, 하나의 또는 그 이상의 컴포넌트들의 변형(deformation)이 촉각 효과를 생성하는데 사용될 수 있다. 예를 들어, 표면의 모양 또는 표면의 마찰 계수를 변경하는 하나의 또는 그 이상의 촉각 효과들이 출력될 수 있다. 일 실시예에서, 표면에서의 마찰을 변경하는데 사용되는 정전력들을 생성함으로써 하나의 또는 그 이상의 촉각 효과들이 생성된다. 다른 실시예들에서, 스마트겔을 포함하는 하나의 또는 그 이상의 영역들 등, 투명한 변형 요소들의 배열이 촉각 효과를 생성하는데 사용될 수 있다.
도 2에서, 네트워크 인터페이스(250)는 프로세서(210)와 통신하고, 디바이스(200)로부터 다른 컴포넌트들 또는 다른 디바이스들로의 유선 또는 무선 통신들을 제공한다. 예를 들어, 네트워크 인터페이스(250)는 디바이스(200)와 무선 스피커 또는 무선 액추에이션 디바이스 간의 무선 통신들을 제공할 수 있다. 일부 실시예들에서, 네트워크 인터페이스(250)는, 사용자들이 각각의 디바이스들에서 서로 상호 작용할 수 있게 하기 위해, 다른 디바이스(200) 등의, 하나의 또는 그 이상의 다른 디바이스들에 통신들을 제공할 수 있다. 네트워크 인터페이스(250)는, 다중 압력 터치 감지 입력 디바이스(200)가 다른 컴포넌트 또는 디바이스와 통신할 수 있게 하는 임의의 컴포넌트 또는 컴포넌트들의 집합일 수 있다. 예를 들어, 네트워크 인터페이스(250)는 PCI 네트워크 어댑터, USB 네트워크 어댑터, 또는 이더넷 어댑터를 포함할 수 있다. 네트워크 인터페이스(250)는, 802.11 a, g, b, 또는 n 표준들을 포함하는, 무선 이더넷을 사용해서 통신할 수 있다. 일 실시예에서, 네트워크 인터페이스(250)는 블루투스, CDMA, GSM, TDMA, FDMA, 또는 다른 무선 기술을 사용해서 통신할 수 있다. 다른 실시예들에서, 네트워크 인터페이스(250)는 유선 커넥션을 통해 통신할 수 있으며, 이더넷, 토큰 링, USB, 파이어와이어 1394 등의 하나의 또는 그 이상의 네트워크들과 통신할 수 있다. 또한, 도 2에 도시된 실시예는 네트워크 인터페이스(250)를 포함하지만, 다른 실시예들은 네트워크 인터페이스(250)를 포함하지 않을 수도 있다.
접촉을 검출하고 이에 응답하는 예시적인 방법
이제 도 3을 참조하면, 도 3은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스(100)에서의 접촉을 검출하고 이에 응답하는 방법(300)에 관한 흐름도를 도시한다. 도 3에 도시된 방법은 도 2에 도시된 디바이스와 관련하여 기술될 것이다.
방법(300)은 센서 신호가 수신되는 블록(310)에서 시작된다. 예를 들어, 일 실시예에서, 사용자가 터치 감지 디스플레이(230)에 접촉할 때, 프로세서(210)는 터치 감지 디스플레이(230)로부터 신호를 수신하고, 신호는 터치 감지 디스플레이(230)에서의 접촉의 x, y 로케이션 및 압력 등의 터치 감지 디스플레이(230)에서의 입력 - 또는 상태 - 과 연관된 정보를 포함한다. 다른 실시예들에서, 프로세서(210)는 복수의 센서 신호들을 수신한다. 예를 들어, 프로세서(210)는 터치 감지 디스플레이(230)에서의 제1 입력과 연관된 정보를 포함하는 제1 신호, 터치 감지 디스플레이(230)에서의 제2 입력과 연관된 정보를 포함하는 제2 신호, 및 터치 감지 디스플레이(230)에서의 제3 입력과 연관된 정보를 포함하는 제3 신호를 수신할 수 있다. 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)에서의 접촉의 x, y 로케이션을 포함하는 정보를 포함하는 제1 신호 및 접촉의 압력을 포함하는 정보를 포함하는 제2 신호를 수신한다. 다른 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)에서의 두 접촉들의 x, y 로케이션들을 포함하는 정보를 포함하는 제1 신호 및 두 접촉들의 압력들을 포함하는 정보를 포함하는 제2 신호를 수신한다. 프로세서(210)는 터치 감지 디스플레이(230)에서의 2개의 또는 그 이상의 입력들과 연관된 정보를 포함하는 단일 신호를 수신할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 제1 접촉의 x, y 로케이션 및 압력 및 제2 접촉의 x, y 로케이션 및 압력을 포함하는 단일 신호를 수신한다.
상술된 바와 같이, 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)로부터 신호를 수신한다. 일부 실시예들에서, 디바이스(200)는 터치 감지 디스플레이(230)와 별개인 또는 그 대신의 터치 감지 표면을 포함할 수 있다. 이러한 일 실시예에서, 프로세서(210)는, 터치 감지 표면으로부터, 또는 복수의 터치 감지 표면들이 사용되는 경우, 복수의 터치 감지 표면들 중 하나의 또는 그 이상의 터치 감지 표면들로부터 센서 신호(들)를 수신할 수 있다.
일부 실시예들에서, 프로세서(210)는 네트워크 인터페이스(250)로부터 하나의 또는 그 이상의 센서 신호들을 수신할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(250)는 하나의 또는 그 이상의 컴포넌트들 또는 디바이스들, 또는 둘 다와 통신하고 그로부터 정보를 수신한다. 본 실시예에서, 네트워크 인터페이스(250)는 다른 컴포넌트들 또는 디바이스들, 또는 둘 다로부터의 정보를 포함하는 하나의 또는 그 이상의 신호들을 프로세서(210)에 송신한다. 예를 들어, 네트워크 인터페이스(250)는 다른 다중 압력 터치 감지 입력 디바이스로부터 신호를 수신할 수 있으며, 신호는 다른 디바이스의 터치 감지 디스플레이에서의 입력에 관한 정보를 포함할 수 있다. 네트워크 인터페이스(250)는 다른 디바이스의 디스플레이에서의 입력에 관한 정보를 프로세서(210)에 송신할 수 있다. 다른 실시예에서, 네트워크 인터페이스(250)는 네트워크 인터페이스(250)와 통신하는 무선 터치 감지 표면으로부터 신호를 수신하고, 네트워크 인터페이스(250)는 터치 감지 표면의 입력 또는 상태에 대한 정보를 포함하는 하나의 또는 그 이상의 신호들을 프로세서(210)에 송신한다.
다른 실시예들에서, 네트워크 인터페이스(250)는 네트워크 인터페이스(250)와 통신하는 하나의 또는 그 이상의 컴포넌트들 또는 디바이스들로부터 복수의 센서 신호들을 수신할 수 있으며, 하나의 또는 그 이상의 신호들을 프로세서(210)에 송신할 수 있다. 예를 들어, 일 실시예에서, 네트워크 인터페이스(250)는 무선 터치 감지 표면 및 다른 다중 압력 터치 감지 입력 디바이스와 통신한다. 이러한 일 실시예에서, 네트워크 인터페이스(250)는 무선 터치 감지 표면으로부터 한 신호를 수신하고 다중 압력 터치 감지 입력 디바이스로부터 다른 신호를 수신할 수 있다. 또한, 네트워크 인터페이스(250)는 무선 터치 감지 표면으로부터의 또는 다른 다중 압력 터치 감지 입력 디바이스로부터의, 또는 둘 다로부터의 정보를 포함하는 하나의 또는 그 이상의 신호들을 프로세서(210)에 송신할 수 있다. 따라서, 프로세서(210)는 터치 감지 디스플레이(230) 및 네트워크 인터페이스(250) 둘 다로부터 하나의 또는 그 이상의 신호들을 수신할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)에서의 입력에 대한 정보를 포함하는 제1 신호를 터치 감지 디스플레이(230)로부터 수신하고, 프로세서(210)는 네트워크 인터페이스(250)와 통신하는 다른 다중 압력 터치 감지 입력 디바이스의 디스플레이에서의 입력에 대한 정보를 포함하는 제2 신호를 네트워크 인터페이스(250)로부터 수신한다.
상술된 바와 같이, 일 실시예에서, 프로세서(210)는 사용자가 터치 감지 디스플레이(230)와 접촉할 때 신호를 수신한다. 이러한 일 실시예에서, 프로세서(210)는, 오직 입력이 디스플레이에서 행해질 때만, 터치 감지 디스플레이(230)로부터 신호를 수신할 수 있다. 또는, 프로세서(210)는, 입력이 터치 감지 디스플레이(230)에서 처음에 행해질 때 및 기존 입력에 대한 변경이 이루어질 때 터치 감지 디스플레이(230)로부터 신호를 수신할 수 있다. 예를 들어, 프로세서(210)는 사용자가 터치 감지 디스플레이(230)와 접촉할 때 및 사용자가 터치 감지 디스플레이(230)를 따라 접촉을 이동시킬 때마다 하나의 또는 그 이상의 신호들을 수신할 수 있다. 다른 실시예들에서, 프로세서(210)는 하나의 또는 그 이상의 접촉들의 전체 지속 기간 동안 터치 감지 디스플레이(230)로부터 연속 신호들을 수신할 수 있다. 일 실시예에서, 프로세서(210)는 특정 시간 간격들에서 터치 감지 디스플레이(230)로부터 신호를 수신한다. 예를 들어, 프로세서(210)는 정기적으로, 예를 들어, 매 0.1ms 마다 터치 감지 디스플레이(230)로부터 신호를 수신할 수 있다. 다른 실시예들에서, 프로세서(210)는 터치 감지 디스플레이(230)에서 접촉이 있는지와 무관하게 터치 감지 디스플레이(230)로부터 상태 정보를 포함하는 신호를 수신한다. 예를 들어, 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)에서 접촉이 있는지와 무관하게 특정 시간 간격들에서 터치 감지 디스플레이(230)로부터 연속 신호들을 수신하지만, 터치 감지 디스플레이(230)에서 접촉이 존재하면, 신호는 접촉의 로케이션 및 압력 등의 접촉에 관한 정보를 포함할 수 있다.
상술된 실시예에서, 프로세서(210)가 수신하는 신호는, 터치 감지 디스플레이(230)에서의 접촉의 x, y 로케이션 및 압력 등의 터치 감지 디스플레이(230)에서의 입력 - 또는 상태 - 과 연관된 정보를 포함한다. 각종 실시예들에서, 프로세서(210)에 의해 수신되는 신호는 디바이스(200)에서의 하나의 또는 그 이상의 접촉들에 관한 정보, 디바이스(200)의 컴포넌트에 관한 정보, 또는 프로세서(210)가 접촉을 결정하는데 사용할 수 있는 다른 컴포넌트들 또는 디바이스들에 관한 정보를 제공할 수 있다. 예를 들어, 일 실시예에서, 신호는 접촉이 발생했음을 나타내는 정보를 포함한다. 다른 실시예에서, 신호는 이전 측정값으로부터 현재 측정값까지 접촉의 압력의 변화를 포함할 수 있다. 유사하게, 신호는 이전 로케이션으로부터의 접촉의 로케이션의 변화에 관한 정보를 포함할 수 있다. 각종 실시예들에서, 신호는, 로케이션 데이터, 접촉 데이터, 상호 작용 데이터, 제스처 데이터, 지속 기간 데이터, 압력 데이터, 열 데이터, 파형 데이터, 용량성 데이터, 적외선 데이터, 광검출 데이터, 광 데이터, 접촉을 결정하는데 필요하거나 그와 관련된 다른 데이터를 포함하지만, 이들로만 제한되지 않는 데이터를 포함할 수 있다.
다시 방법(300)을 참조하면, 센서 신호가 수신되었으면, 방법(300)은 블록(320)으로 진행한다. 블록(320)에서, 접촉이 결정된다. 상술된 바와 같이, 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)과의 접촉이 이루어진 때만 신호를 수신한다. 따라서, 본 실시예에서, 디스플레이(230)는 센서 신호를 수신하고, 접촉을 결정하며, 신호를 프로세서(210)에 송신한다. 다른 한편, 접촉이 결정되었을 때만 프로세서(210)가 디스플레이(230)로부터 신호를 수신하기 때문에, 프로세서(210)는 접촉을 결정할 필요가 없다. 따라서, 일부 실시예들에서, 디스플레이(230)는 블록(310)에 명시된 바와 같이 센서 신호들을 수신하고, 블록(320)에 명시된 바와 같이 접촉을 결정하며, 프로세서는 블록(330)에 명시된 바와 같이 응답을 결정한다.
일부 실시예들에서, 프로세서(210)는 블록(320)에 명시된 바와 같이 접촉이 발생했는지를 결정한다. 예를 들어, 디스플레이는 블록(310)에 명시된 바와 같이 센서 신호들을 수신할 수 있으며, 디스플레이는 센서 신호들과 연관된 정보를, 디스플레이가 프로세서(210)와 통신하는 경우에는 직접 또는 네트워크 인터페이스(250)를 통해 프로세서(210)에 송신할 수 있고, 상기 정보를 프로세서(210)가 수신하여 블록(320)에 명시된 바와 같이 접촉이 발생했는지를 결정하는데 사용한다. 일 실시예에서, 프로세서(210)가 수신하는 정보는 접촉이 발생했음을 명시하는 명령을 포함한다. 다른 실시예에서, 프로세서(210)가 수신하는 정보는 접촉이 발생했는지를 나타낸다. 예를 들어, 프로세서(210)가 x 좌표, y 좌표, 및 압력을 포함하는 정보를 수신하면, 프로세서(210)는 이 정보를 사용해서 접촉이 발생했음을 결정할 수 있다. 다른 실시예에서, 프로세서(210)는 압력 정보의 변화에 기초하여 접촉이 발생했는지를 결정하는데 프로세서(210)가 사용하는 압력 정보를 정기적인 간격들에서 수신한다. 다른 실시예들에서, 프로세서(210)가 수신하는 압력 정보가 임계 압력보다 더 작으면, 프로세서(210)는 접촉이 발생하지 않았다고 결정할 수 있으며, 압력이 임계 압력보다 더 크거나 같으면, 프로세서(210)는 접촉이 발생했다고 결정할 수 있다.
상술된 바와 같이, 디바이스(200)와의 접촉은 다수의 방법들로 이루어질 수 있다. 예를 들어, 한 손가락, 여러 손가락들, 또는 연필 등의 하나의 또는 그 이상의 물체들에 의해 터치 감지 디스플레이(230)와의 접촉이 이루어질 수 있다. 일 실시예에서, 접촉은 터치 감지 디스플레이(230)를 물리적으로 접촉하는 것을 포함할 수 있으며, 다른 실시예에서, 접촉은 터치 감지 디스플레이(230)를 물리적으로 접촉하지 않고 터치 감지 디스플레이(230) 위에서 물체를 맴돌게 하는 것을 포함할 수 있다. 따라서, 일부 실시예들에서, 프로세서(210)는 터치 감지 디스플레이(230)와의 물리적인 접촉에 기초하여 접촉을 결정할 수 있으며, 다른 실시예들에서, 프로세서(210)는 터치 감지 디스플레이(230)에 근접한 접촉 또는 그 위를 맴도는 물체에 기초하여 접촉을 결정할 수 있다.
디바이스(200)는 접촉이 발생했는지를 결정하기 위해 또는 접촉과 관련된 정보를 획득하기 위해 각종 기술들을 사용할 수 있다. 예를 들어, 터치 감지 디스플레이(230)의 온도 또는 그 주변의 온도가 접촉이 발생했는지를 결정하기 위해 측정될 수 있다. 따라서, 터치 감지 디스플레이(230)에 접근하는 손가락이 검출될 수 있으며, 디바이스(200) 주변의 주위 온도 및 접근하는 손가락의 온도의 차이에 적어도 부분적으로 기초하여 접촉이 결정될 수 있다. 일 실시예에서, 디바이스(200)는 터치 감지 디스플레이(230)에 접근하는 물체에 기초하여 접촉을 검출하는데 사용되는 하나의 또는 그 이상의 용량성 센서들을 포함한다. 디바이스(200)는, 터치 감지 디스플레이(230)에서의 접촉이 발생했는지를, 적어도 부분적으로, 결정하는데 또는 접촉과 관련된 정보를 획득하는데 사용될 수 있는, 적외선 LED, 광검출기, 이미지 센서, 광 카메라, 또는 그 조합을 포함하지만, 이들로만 제한되지 않는 다른 컴포넌트들을 포함할 수 있다. 따라서, 디바이스(200)는, 터치 감지 디스플레이(230)가 터치 감지 디스플레이(230)에서의 접촉을 결정할 수 있게 하거나, 또는 프로세서(210)가 터치 감지 디스플레이(230)에서의 접촉을 결정하는 것을 돕는 임의의 적합한 기술을 사용할 수 있다.
일부 실시예들에서, 디바이스는 블록(320)에 도시된 바와 같이 접촉이 발생했는지를 결정하기 위해 프로세서(210)가 사용하는 정보를 네트워크 인터페이스(250)로부터 수신할 수 있다. 예를 들어, 프로세서(210)는 다른 디바이스와 통신하는 네트워크 인터페이스(250)로부터 정보를 수신할 수 있다. 일 실시예에서, 다른 디바이스와 연관된 디스플레이가 입력을 수신할 때 다른 디바이스는 정보를 네트워크 인터페이스(250)에 송신할 수 있으며, 프로세서(210)는 다른 디바이스에서의 입력과 관련된 정보를 네트워크 인터페이스(250)로부터 수신할 수 있다. 일부 실시예들에서, 프로세서(210)는 네트워크 인터페이스와 통신하는 다른 디바이스에 대한 정기적인 정보를 네트워크 인터페이스(250)로부터 수신할 수 있다. 네트워크 인터페이스(250)가 원격 터치 감지 표면과 통신하는 일 실시예에서, 네트워크 인터페이스(250)는 터치 감지 표면으로부터 정보를 수신하고, 프로세서(210)가 접촉을 결정하는데 사용하는 정보를 프로세서(210)에게 송신한다. 또 다른 실시예들에서, 개별 마이크로프로세서 또는 코프프로세서 등의 다른 컴포넌트가 접촉을 결정하고 이러한 정보를 프로세서(210)에 제공할 책임이 있을 수 있다. 각종 실시예들에서, 메모리(220)에 저장되어 프로세서(210)에 의해 실행되는 소프트웨어가, 또한, 예를 들어, 상술된 각종 기술들을 구현함으로써, 접촉이 발생했는지를 결정하는데 사용될 수 있다.
방법(300)을 다시 참조하면, 접촉이 결정되었으면(320), 방법(300)은 블록(330)으로 진행한다. 블록(330)에서, 응답이 결정된다. 상술된 바와 같이, 일 실시예에서, 사용자가 터치 감지 디스플레이(230)에 접촉할 때, 프로세서(210)는 터치 감지 디스플레이(230)로부터 신호를 수신하고, 신호는 터치 감지 디스플레이(230)에서의 접촉의 x, y 로케이션 및 압력을 포함한다. 본 실시예에서, 사용자가 디바이스(200)의 터치 감지 디스플레이(230)에서 디스플레이된 웹 페이지를 보고 있는 경우, 또한, 사용자가 2개의 손가락들로 실질적으로 동시에 터치 감지 디스플레이(230)를 터치하고 있다고 프로세서(210)가 결정하고 두 접촉들이 결정되는 경우, 또한, 사용자가 다른 손가락보다 스크린의 하부에 더 가까이 위치한 손가락으로 더 세게 압력을 가하고 있다고 결정되면, 응답은 웹 페이지를 스크롤 다운하도록 터치 감지 디스플레이(230)를 갱신하고 페이지가 웹 페이지를 스크롤 다운하고 있음을 나타내는 촉각 효과를 출력하는 것이어야 한다고 프로세서(210)가 결정한다. 대안으로, 본 실시예에서, 예를 들어, 프로세서(210)가 터치 감지 디스플레이(230)에서 거의 동시의 두 접촉들을 검출하고 스크린의 상부에 더 가까이 위치한 접촉의 압력이 스크린의 하부에 더 가까이 위치한 접촉의 압력보다 더 크면, 응답은 웹 페이지를 스크롤 업하도록 터치 감지 디스플레이(230)를 갱신하고 페이지가 웹 페이지를 스크롤 업하고 있음을 나타내는 촉각 효과를 출력하는 것이어야 한다고 프로세서(210)가 결정할 수 있다.
일부 실시예들에서, 스크롤 레이트 또는 속도는 압력들에 적어도 부분적으로 기초한다. 예를 들어, 두 접촉들 간의 압력들의 차이가 증가함에 따라 스크롤 레이트는 증가할 수 있다. 일 실시예에서, 하나의 또는 그 이상의 촉각 효과들은, 스크롤 레이트에 기초하여 변하는 주파수들 또는 크기들로 진동하는 등, 스크롤 레이트에 대응하여 출력된다. 따라서, 일부 실시예들에서, 만약 응답이 있는 경우, 프로세서(210)가 블록(330)에 명시된 바와 같이 응답을 결정한다. 다른 실시예들에서, 만약 응답이 있는 경우, 터치 감지 디스플레이(230)가 응답을 결정한다. 또 다른 실시예들에서, 프로세서(210), 터치 감지 디스플레이(230), 또는 네트워크 인터페이스(250)와 통신하는 개별 마이크로프로세서 또는 코프프로세서 등의 다른 컴포넌트가 응답을 결정하고 이러한 정보를 프로세서(210) 또는 네트워크 인터페이스(250)에 제공할 책임이 있을 수 있다. 각종 실시예들에서, 메모리(220)에 저장되어 프로세서(210)에 의해 실행되는 소프트웨어가 접촉이 발생했는지를 결정하는데 또한 사용될 수 있다.
프로세서(210), 터치 감지 디스플레이(230), 또는 다른 컴포넌트는 접촉을 결정하기 위해 수신된 정보 중 임의의 정보 또는 전부를 사용해서 응답을 결정할 수 있다. 따라서, 실시예들에서, 디바이스(200)의 컴포넌트들, 또는 디바이스(200)와 통신하는 컴포넌트들, 또는 디바이스(200)와 통신하는 다른 디바이스의 컴포넌트들은, 로케이션 데이터, 접촉 데이터, 상호 작용 데이터, 제스처 데이터, 지속 기간 데이터, 압력 데이터, 열 데이터, 파형 데이터, 용량성 데이터, 적외선 데이터, 광검출 데이터, 광 데이터, 응답을 결정하는데 필요하거나 그와 관련된 다른 데이터를 포함하지만, 이들로만 제한되지 않는 각종 데이터를 사용할 수 있다. 예를 들어, 일 실시예에서, 두 접촉들에 대한 압력 데이터가 프로세서(210)가 응답을 결정하는데 사용된다. 다른 실시예에서, 터치 감지 디스플레이(230)는 응답을 결정하기 위해 접촉의 압력을 임계 압력과 비교할 수 있다. 다른 실시예들에서, 하나의 또는 그 이상의 접촉들에 관한 정보는 디바이스(200)에 의해 네트워크 인터페이스(250)를 통해 다른 디바이스에 송신되고, 다른 디바이스는, 만약 응답이 있는 경우, 이를 결정하고 임의의 응답에 관한 정보를 디바이스(200)에 다시 송신한다.
프로세서(210), 터치 감지 디스플레이(230), 또는 다른 컴포넌트는 응답이 필요한지를 결정하기 위해, 또한, 응답이 필요하다면, 응답이 무엇이어야만 하는 지를 결정하기 위해 임의의 수의 방법들로 수신된 정보를 사용할 수 있다. 예를 들어, 일 실시예에서, 터치 감지 디스플레이(230)와 연관된 이미지가 이동되어야만 한다고 프로세서(210)는 결정할 수 있다. 다른 실시예에서, 터치 감지 디스플레이(230)에서의 객체의 컬러가 변경되어야만 한다고 터치 감지 디스플레이(230)는 결정할 수 있다. 다른 실시예들에서, 하나의 또는 그 이상의 액추에이터들이 하나의 또는 그 이상의 촉각 효과들을 출력할 필요가 있다고 프로세서(210)는 결정할 수 있다. 각종 추가 응답들이 후술된다.
일부 실시예들에서, 지속 기간 데이터가 프로세서(210), 터치 감지 디스플레이(230), 또는 네트워크 인터페이스(250)에 의해 수신될 수 있고, 만약 응답이 있는 경우, 이를 결정하는데 사용될 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는, 접촉이 터치 감지 디스플레이(230)에 접촉한 시간 길이가 임계 지속 기간을 초과하면 특정 응답을 결정할 수 있다. 다른 실시예들에서, 접촉의 지속 기간이 임계 지속 기간 미만이면 응답이 결정될 수 있다. 프로세서(210)는 터치 감지 디스플레이(230)와의 2개의 또는 그 이상의 접촉들의 시간의 지속 기간에 기초하여 응답을 결정할 수 있다. 예를 들어, 일 실시예에서, 제1 접촉의 지속 기간이 제2 접촉의 지속 기간을 초과하면, 프로세서(210)는 응답을 결정할 수 있다. 다른 실시예들에서, 터치 감지 디스플레이(230)와의 제1 접촉 후에 미리 결정된 시간 내에 제2 접촉이 발생하면, 응답이 결정될 수 있다. 예를 들어, 일 실시예에서, 제2 접촉은 프로세서(210)가 응답을 결정하기 위해 제1 접촉과 거의 동시이어야만 한다.
일부 실시예들에서, 로케이션 데이터가 프로세서(210), 터치 감지 디스플레이(230), 또는 네트워크 인터페이스(250)에 의해 수신될 수 있고, 만약 응답이 있는 경우, 이를 결정하는데 사용될 수 있다. 접촉의 로케이션은 임의의 수의 방법들로 결정될 수 있다. 예를 들어, 터치 감지 디스플레이(230)는 데카르트 x 및 y 좌표들 또는 극좌표들을 사용해서 어드레싱 가능할 수 있다. 따라서, 일 실시예에서, 제1 접촉의 로케이션이 제2 접촉의 제2 로케이션의 x 좌표보다 더 큰 x 좌표를 가지면, 제1 로케이션이 제2 로케이션보다 더 크다고 디바이스(200)는 결정할 수 있다. 다른 실시예에서, 제1 접촉의 로케이션이 제2 접촉의 제2 로케이션의 y 좌표보다 더 큰 y 좌표를 가지면, 제1 로케이션이 제2 로케이션보다 더 크다고 디바이스(200)는 결정할 수 있다. 또 다른 실시예들에서, 각각의 접촉의 x 및 y 좌표들에 기초한 공식이, 만약 디바이스(200)의 응답이 있는 경우, 이를 결정하는데 사용될 수 있다. 예를 들어, 일 실시예에서, 공식 sqrt(x2+y2)은 접촉이 터치 감지 디스플레이(230) 상의 특정 로케이션으로부터 특정 영역 또는 거리 내에 있는지를 결정하는데 사용될 수 있다. 다른 실시예에서, 공식 x+2y는 접촉이 터치 감지 디스플레이(230) 상의 지정된 좌표로부터 직사각형 내에 있는지를 결정하는데 사용될 수 있다. 일 실시예에서, 디바이스(200)는 터치 감지 디스플레이(230)를 섹션들로 논리적으로 나눔으로써 접촉의 로케이션을 결정할 수 있다. 예를 들어, 디바이스(200)는 직사각형 터치 감지 디스플레이(230)를 3개의 행들 및 3개의 열들로 논리적으로 나누어, 더 상세히 후술되는 바와 같이, 도 4에 도시된 9개의 접촉 셀들을 생성할 수 있다.
도 4를 다시 참조하면, 터치 감지 디스플레이(230) 상의 섹션 "B"의 접촉 및 섹션 "F"의 거의 동시의 접촉은, 검출된 접촉들에 대한 응답이 터치 감지 디스플레이(230)에 디스플레이된 페이지를 북동 방향으로 스크롤하는 것이라고 디바이스(200)가 결정하게 야기할 수 있다. 유사하게, 섹션 "B"의 접촉 및 섹션 "D"의 접촉은, 검출된 접촉들에 대한 응답이 터치 감지 디스플레이(230)에 디스플레이된 페이지를 북서 방향으로 스크롤하는 것이라고 디바이스(200)가 결정하게 야기할 수 있다. 일 실시예에서, 페이지가 터치 감지 디스플레이(230)에서 스크롤되는 속도는 하나의 또는 그 이상의 접촉들의 압력 또는 다수의 접촉들 간의 압력의 차이에 기초한다. 하나의 또는 그 이상의 촉각 효과들이, 상호 작용이 검출되었거나, 응답이 발생중이거나, 또는 예를 들어, 페이지가 스크롤 중인 것과 같이, 응답이 완료되었음을 사용자에게 알리는 것이어야 한다고 디바이스(200)는 결정할 수 있다. 일 실시예에서, 촉각 효과는 페이지가 스크롤 중인 방향에 따라 변할 수 있다.
예를 들어, 터치 감지 디스플레이(230)와의 접촉이 이루어질 때마다 촉각 효과가 출력되어야만 한다고 프로세서(210)는 결정할 수 있다. 따라서, 사용자가 섹션들 "B" 및 "F"에 접촉함에 따라, 촉각 효과가 각각의 접촉에 응답해서 출력되어야만 한다고 프로세서(210)는 결정할 수 있다. 또한, 접촉들이 스크롤 제스처 등의 제스처로서 인식되면, 프로세서(210)는 제스처와 연관된 촉각 효과를 결정할 수 있다.
다른 실시예에서, 검출된 접촉 또는 접촉들의 시퀀스에 대한 응답은 터치 감지 디스플레이(230)에서 디스플레이된 이미지를 갱신하고 촉각 효과를 출력하는 것이라고 프로세서(210)는 결정할 수 있다. 예를 들어, 터치 감지 디스플레이(230)에서 디스플레이된 이미지가 이동되는 것이 응답일 수 있다. 일 실시예에서, 터치 감지 디스플레이(230)에서 디스플레이된 이미지가 회전되는 것이 응답일 수 있다. 예를 들어, 도 4를 다시 참조하면, 섹션들 "B", "D", 및 "F"가 실질적으로 동시에 접촉된 후 해제되고, 후에 섹션들 "B", "D", 및 "H"가 미리 결정된 시간 내에 접촉되면, 터치 감지 디스플레이(230)에서 디스플레이된 이미지가 반시계 방향으로 회전될 수 있다. 유사하게, 섹션들 "B", "D", 및 "F"가 실질적으로 동시에 접촉된 후 해제되고, 후에 섹션들 "B", "H", 및 "F"가 0.1 ms 또는 0.25 ms 또는 0.5 ms 등의 미리 결정된 시간 내에 접촉되면, 터치 감지 디스플레이(230)에서 디스플레이된 이미지는 시계 방향으로 회전될 수 있다. 일부 실시예들에서, 터치 감지 디스플레이(230)에서 이미지가 시계 방향으로 또는 반시계 방향으로 회전되고 있음을 나타내기 위해 적어도 하나의 촉각 효과가 출력되는 것이 응답일 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는, 회전 방향으로 이동하는 것으로 인식될 수 있으며, 또는 이미지가 더 멀리 회전될수록 강도 또는 주파수가 증가할 수 있는 진동 등, 이미지의 회전과 연관된 촉각 효과를 결정할 수 있다. 대안으로, 프로세서(210)는 회전 방향에 기초하여 주파수가 변하는 무방향 진동 결과를 식별할 수 있다. 예를 들어, 일 실시예에서, 진동 주파수는, 이미지가 시계 방향으로 회전하면 증가하고, 이미지가 반시계 방향으로 회전하면 감소할 수 있다. 또한, 프로세서는, 다시 시작 방향으로의 이미지의 회전에 응답해서 팝(pop) 또는 졸트(jolt) 등의 촉각 효과가 출력되도록 결정할 수 있다.
일 실시예에서, 터치 감지 디스플레이(230)에 디스플레이된 그래픽이 줌 인 또는 줌 아웃되는 것이 응답일 수 있다. 예를 들어, 여전히 도 4를 참조하면, 섹션들 "A", "C", "G", 및 "I"가 실질적으로 동시에 접촉되면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽은 줌 아웃될 수 있다. 유사하게, 섹션들 "B", "D", "F", 및 "H"가 실질적으로 동시에 접촉되면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽은 줌 인될 수 있다. 일부 실시예들에서, 프로세서(210)는 하나의 또는 그 이상의 소리들이 출력될 필요가 있는 것이 응답이라고 결정할 수 있으며, 필요한 신호들을 스피커(270)에 출력할 수 있다. 다른 실시예들에서, 터치 감지 디스플레이(230)에서 디스플레이된 그래픽이 줌 아웃 또는 줌 인되고 있음을 나타내기 위해 적어도 하나의 촉각 효과가 출력될 수 있는 것이 응답일 수 있다. 예를 들어, 일 실시예에서, 줌이 클수록 강도 또는 주파수가 증가할 수 있으며, 또는 줌 레벨이 낮을수록 주파수 또는 강도가 감소할 수 있는 진동 등, 이미지의 줌 레벨과 연관된 촉각 효과를 프로세서(210)는 결정할 수 있다. 또한, 다시 시작 방향으로의 이미지의 회전에 응답해서 팝 또는 졸트 등의 촉각 효과가 출력되도록 프로세서(210)는 결정할 수 있다.
다른 실시예들에서, 터치 감지 디스플레이(230)에서의 하나의 또는 그 이상의 접촉들의 로케이션의 변경에 기초하여 응답이 결정될 수 있다. 예를 들어, 프로세서(210)는 북쪽 방향으로 변하는 제1 접촉의 로케이션 및 동쪽 방향으로 변하는 제2 접촉의 로케이션에 기초하여 응답을 결정할 수 있다. 다른 실시예에서, 프로세서(210)는 서쪽 방향으로 이동하는 제1 접촉 및 동쪽 방향으로 이동하는 제2 접촉의 로케이션에 기초하여 응답을 결정할 수 있다. 다른 실시예들에서, 프로세서(210)는 제1 접촉의 로케이션이 터치 감지 디스플레이(230)에서의 제2 접촉의 로케이션과 반대 방향으로 이동중인지의 여부에 기초하여 응답을 결정할 수 있다.
일부 실시예들에서, 디바이스(200)와의 지정된 상호 작용에 기초하여 응답이 결정될 수 있다. 상호 작용은 하나의 또는 그 이상의 접촉들에 기초한 임의의 수의 동작들을 포함할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는, 터치 감지 디스플레이(230) 상의 그래픽 객체에 대응하는 로케이션을 가진 제1 접촉 및 터치 감지 디스플레이(230) 상의 그래픽 객체에 대응하지 않는 로케이션을 가진 제2 접촉을 가진 상호 작용에 기초하여 응답을 결정할 수 있다. 다른 실시예들에서, 상호 작용은, 터치 감지 디스플레이(230) 상의 그래픽 객체에 대응하는 로케이션을 가진 두 접촉들에 기초할 수 있다. 각종 실시예들에서, 상호 작용은, 제1 접촉의 로케이션은 제1 그래픽 객체에 대응하고 제2 접촉의 로케이션은 제2 그래픽 객체에 대응하는 터치 감지 디스플레이(230) 상의 2개의 그래픽 객체들에 기초할 수 있다.
다른 실시예들에서, 프로세서(210)는, 프로세서(210)가 터치 감지 디스플레이(230) 또는 네트워크 인터페이스(250)로부터 수신하는 각종 데이터의 조합 또는 로케이션의 변경 또는 상호 작용 등의 하나의 또는 그 이상의 요인들에 기초하여 터치 감지 디스플레이(230)에서의 접촉에 대한 응답을 결정할 수 있다. 예를 들어, 일 실시예에서, 터치 감지 디스플레이(230)에서의 하나의 또는 그 이상의 접촉들의 압력 및 로케이션 둘 다에 기초하여 프로세서(210)에 의해 응답이 결정될 수 있다. 다른 실시예에서, 프로세서(210)는 압력 및 상호 작용에 기초하여 응답을 결정할 수 있다. 예를 들어, 프로세서(210)는, 그래픽 객체에 대응하는 로케이션을 가진 제1 접촉 및 그래픽 객체에 대응하는 로케이션을 갖지 않는 제2 접촉 및 지정된 압력을 가진 제1 접촉에 기초하여 터치 감지 디스플레이(230)에서 디스플레이된 그래픽 객체의 컬러가 변경될 필요가 있다고 결정할 수 있다. 다른 실시예들이 본 명세서에 기술되며 또 다른 실시예들이 당업자에게 명백할 것이다.
다시 도 3에 도시된 실시예를 참조하면, 블록(330)에 명시된 바와 같이 응답이 결정되면, 프로세서(210)는 블록(340)에 명시된 바와 같이 신호를 생성한다. 예를 들어, 상술된 일 실시예에서, 사용자가 터치 감지 디스플레이(230)에 접촉할 때 프로세서(210)는 터치 감지 디스플레이(230)로부터 신호를 수신하고, 신호는 터치 감지 디스플레이(230)에서의 접촉의 x, y 로케이션 및 압력 등의 터치 감지 디스플레이(230)에서의 입력 - 또는 상태 - 과 연관된 정보를 포함한다. 본 실시예에서, 사용자가 디바이스(200)의 터치 감지 디스플레이(230)에서 디스플레이된 웹 페이지를 보고 있는 경우, 또한, 사용자가 2개의 손가락들(즉, 두 접촉들)로 실질적으로 동시에 터치 감지 디스플레이(230)를 터치하고 있고, 다른 손가락보다 스크린의 하부에 더 가까이 위치한 손가락으로 더 세게 압력을 가하고 있다고 프로세서(210)가 결정하는 경우, 응답은 웹 페이지를 스크롤 다운하도록 터치 감지 디스플레이(230)를 갱신하고 페이지가 웹 페이지를 스크롤 다운하고 있음을 나타내는 촉각 효과를 출력하는 것이어야 한다고 프로세서(210)가 결정한다. 본 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)가 웹 페이지를 스크롤 다운하게 야기하도록 구성된 제1 신호를 생성하고, 프로세서(210)는 페이지가 페이지를 스크롤 다운하고 있음을 나타내는 촉각 효과를 액추에이터(240)가 출력하게 야기하도록 구성된 제2 신호를 생성한다.
일부 실시예들에서, 프로세서(210)는 응답을 결정한 후에 단일 신호를 생성한다. 예를 들어, 터치 감지 디스플레이(230)가 갱신될 필요가 있다고 프로세서(210)가 결정하면, 프로세서(210)는 디스플레이 신호를 생성하고 그 신호를 터치 감지 디스플레이(230)에 송신하고, 터치 감지 디스플레이(230)는 터치 감지 디스플레이(230)와 연관된 그래픽이 갱신되도록 야기한다. 다른 실시예들에서, 프로세서(210)는 2개의, 3개의, 또는 그 이상의 신호들을 생성한다. 예를 들어, 일 실시예에서, 프로세서(210)는 도 3에 도시된 방법(300)의 블록(330)에서 결정된 각각의 응답에 대해 상이한 신호를 생성한다. 따라서, 터치 감지 디스플레이(230)가 갱신될 필요가 있으며, 액추에이터(240)는 제1 촉각 효과를 출력할 필요가 있고, 액추에이터(260)는 제2 촉각 효과를 출력할 필요가 있다고 결정되면, 프로세서(210)는, 터치 감지 디스플레이(230)가 갱신되게 야기하도록 구성된 제1 신호, 액추에이터(240)가 촉각 효과를 출력하게 야기하도록 구성된 제2 신호, 및 액추에이터(260)가 촉각 효과를 출력하게 야기하도록 구성된 제3 신호를 생성할 수 있다. 다른 실시예들에서, 프로세서(210)는, 터치 감지 디스플레이(230), 네트워크 인터페이스(250), 액추에이터(240), 액추에이터(260), 스피커(270), 디바이스(200)의 다른 컴포넌트들, 디바이스(200)와 통신하는 다른 컴포넌트들 또는 디바이스들, 또는 그 조합이 특정 기능을 실행하게 야기하도록 구성된 하나의 또는 그 이상의 신호들을 생성할 수 있다.
일 실시예에서, 생성된 신호는, 촉각 효과를 출력하거나, 이미지를 디스플레이하거나, 소리를 내거나, 또는 메시지를 원격 디바이스에 송신하는 등, 지정된 기능을 실행할 디바이스 또는 컴포넌트에 대한 커맨드를 포함한다. 다른 실시예에서, 생성된 신호는, 응답 또는 응답의 일부 양상을 결정하기 위해 커맨드를 수신하는 디바이스 또는 컴포넌트에 의해 사용되는 파라미터들을 포함한다. 파라미터들은, 예를 들어, 크기들, 주파수들, 지속 기간들, 또는 액추에이터가 촉각 효과를 결정하거나, 촉각 효과를 출력하거나, 그 둘 다를 하는데 사용할 수 있는 다른 파라미터들과 관련된 각종 데이터를 포함할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 액추에이터(240)가 촉각 효과를 출력하게 야기하도록 구성된 신호를 생성한다. 이러한 일 실시예에서, 신호는, 액추에이터(240)가 출력할 촉각 효과의 강도에 대해 사용하는 압력 파라미터를 포함할 수 있다. 예를 들어, 일 실시예에 따라, 액추에이터(240)가 수신하는 압력 파라미터가 클수록, 출력되는 촉각 효과의 강도가 더 세진다. 따라서, 신호는, 특정 응답의 일 양상을 결정하기 위해 액추에이터, 디스플레이, 네트워크 인터페이스, 스피커, 또는 디바이스의 또는 디바이스와 통신하는 다른 컴포넌트에 의해 처리되도록 구성된 데이터를 포함할 수 있다.
다시 도 3을 참조하면, 블록(340)에 명시된 바와 같이 신호가 생성되었으면, 방법(300)의 다음 단계는 블록(350)에 도시된 바와 같이 신호를 출력하는 것이다. 예를 들어, 상술된 일 실시예에서, 프로세서(210)는 터치 감지 디스플레이(230)가 웹 페이지를 스크롤 다운하게 야기하도록 구성된 제1 신호를 생성했고, 프로세서(210)는 페이지가 웹 페이지를 스크롤 다운하고 있음을 나타내는 촉각 효과를 액추에이터(240)가 출력하게 야기하도록 구성된 제2 신호를 생성했다. 이러한 일 실시예에서, 프로세서(210)는 제1 신호를 터치 감지 디스플레이(230)에 출력하고 제2 신호를 액추에이터(240)에 출력한다.
각종 실시예들에서, 프로세서(210)는 임의의 수의 디바이스들에 하나의 또는 그 이상의 생성된 신호들을 출력할 수 있다. 예를 들어, 프로세서(210)는 하나의 신호를 네트워크 인터페이스(250)에 출력할 수 있다. 일 실시예에서, 프로세서(210)는 하나의 생성된 신호를 터치 감지 디스플레이(230)에, 다른 생성된 신호를 네트워크 인터페이스(250)에, 및 다른 생성된 신호를 액추에이터(260)에 출력할 수 있다. 다른 실시예들에서, 프로세서(210)는 단일 생성된 신호를 다수의 컴포넌트들 또는 디바이스들에 출력할 수 있다. 예를 들어, 일 실시예에서, 프로세서(210)는 하나의 생성된 신호를 액추에이터(240) 및 액추에이터(260) 둘 다에 출력한다. 다른 실시예에서, 프로세서(210)는 하나의 생성된 신호를 액추에이터(240), 액추에이터(260), 및 네트워크 인터페이스(250)에 출력한다. 또 다른 실시예에서, 프로세서(210)는 하나의 생성된 신호를 액추에이터(240) 및 액추에이터(260) 둘 다에 출력하고, 제2 생성된 신호를 터치 감지 디스플레이(230)에 출력한다.
상술된 바와 같이, 프로세서(210)는 하나의 또는 그 이상의 신호들을 네트워크 인터페이스(250)에 출력할 수 있다. 예를 들어, 프로세서(210)는 디바이스(200)와 통신하는 다른 컴포넌트 또는 디바이스에 데이터를 송신하도록 네트워크 인터페이스(250)에 명령하는 신호를 네트워크 인터페이스(250)에 출력할 수 있다. 이러한 일 실시예에서, 네트워크 인터페이스(250)는 다른 디바이스에 데이터를 송신할 수 있으며, 다른 디바이스는 다른 디바이스와 연관된 디스플레이를 갱신하는 등의 기능을 실행할 수 있거나, 또는 다른 디바이스는 촉각 효과를 출력할 수 있다. 따라서, 본 발명의 실시예들에서, 제2 디바이스는 제2 디바이스와 통신하는 제1 디바이스와의 상호 작용에 적어도 부분적으로 기초하여 촉각 효과를 출력할 수 있다. 다른 실시예들에서, 제2 디바이스는, 제1 다중 압력 터치 감지 입력 디바이스(200)와의 상호 작용에 적어도 부분적으로 기초하여, 예를 들어, 제2 디바이스와 연관된 디스플레이를 갱신하거나 또는 제2 디바이스와 연관된 스피커에 소리를 출력하는 등, 임의의 수의 기능들을 실행할 수 있다.
각종 실시예들에서, 프로세서(210)가 신호를 컴포넌트에 출력한 후에, 컴포넌트는, 컴포넌트가 신호를 수신했음을 나타내는 확인(confirmation)을 프로세서(210)에 송신할 수 있다. 예를 들어, 일 실시예에서, 액추에이터(260)는 촉각 효과를 출력하라는 커맨드를 프로세서(210)로부터 수신할 수 있다. 액추에이터(260)가 커맨드를 수신하면, 액추에이터(260)는, 커맨드가 액추에이터(260)에 의해 수신되었음을 나타내는 확인 응답을 프로세서(210)에 송신할 수 있다. 다른 실시예에서, 프로세서(210)는, 컴포넌트가 명령을 수신했을 뿐만 아니라 컴포넌트가 응답을 실행했음을 나타내는 완료 데이터를 수신할 수 있다. 예를 들어, 일 실시예에서, 액추에이터(240)는 프로세서(210)로부터 각종 파라미터들을 수신할 수 있다. 이 파라미터들에 기초하여, 액추에이터(240)는 촉각 효과를 출력하고, 액추에이터(240)가 파라미터들을 수신했고 촉각 효과를 출력했음을 나타내는 완료 데이터를 프로세서(210)에 송신할 수 있다.
도 3에 도시된 방법(300)을 구현하고, 도 2에 도시된 디바이스와 관련하여 기술될 본 발명의 다른 실시예는 페인트 혼합 애플리케이션(paint mixing application)이다. 본 실시예에서, 사용자는 제1 컬러를 선택하기 위해 한 손가락으로 터치 감지 디스플레이(230)에 접촉하고, 제2 컬러를 선택하기 위해 제2 손가락으로 터치 감지 디스플레이(230)에 접촉한다. 본 실시예에서, 터치 감지 디스플레이(230)는 제1 컬러가 제2 컬러와 혼합됨을 나타내는 제3 컬러를 도시한다. 예를 들어, 제1 컬러가 레드이고 제2 컬러가 옐로이면, 터치 감지 디스플레이(230)에 도시된 제3 컬러는 오렌지일 수 있다. 일부 실시예들에서, 제3 컬러의 농담(shade)은 제1 손가락 또는 제2 손가락의 접촉의 압력을 증가 또는 감소함으로써 변경될 수 있다. 따라서, 제3 혼합 컬러에 보이는 제1 컬러의 양은 제1 접촉의 압력의 함수이다. 유사하게, 제3 혼합 컬러에 보이는 제2 컬러의 양은 제2 접촉의 압력의 함수이다. 따라서, 터치 감지 디스플레이(230)에 보이는 제3 혼합 컬러는 제1 컬러, 제1 압력, 제2 컬러, 및 제2 압력의 함수이어서, 사용될 새로운 컬러를 생성하기 위한 직관적인 메커니즘을 제공한다. 각종 실시예들에서, 하나의 또는 그 이상의 촉각 효과들이 적어도 한 접촉의 가해진 압력에 적어도 부분적으로 기초하여 출력된다.
도 3에 도시된 방법(300)을 구현하는 조각 기법(sculpting) 애플리케이션의 일 실시예가 도 2에 도시된 디바이스와 관련하여 후술된다. 일 실시예에서, 점토 조각이 터치 감지 디스플레이(230)에 디스플레이된다. 사용자는 터치 감지 디스플레이(230)에 접촉함으로써 점토와 상호 작용하고 점토의 모양을 만들 수 있다. 예를 들어, 사용자가 세 손가락들로 터치 감지 디스플레이(230)에 접촉하고, 3개의 손가락들 각각이 점토의 상이한 로케이션에 대응하면, 터치 감지 디스플레이(230)는 각각의 로케이션에서 변형된 점토를 보여주기 위해 갱신된다. 사용자는 다중 터치, 다중 압력 제스처들을 또한 실행하여, 실제 점토가 조작될 수 있는 방법과 유사한 방식으로 점토의 모양을 또한 만들 수 있다. 따라서, 사용자는 터치 감지 디스플레이(230)에서 점토의 모양을 만들고 구성할 수 있다. 일부 실시예들에서, 접촉의 변형률은, 사용자가 각각의 손가락으로 가하는 압력 또는 이동 속도의 함수일 수 있다. 각종 실시예들에서, 하나의 또는 그 이상의 촉각 효과들이 접촉의 가해진 압력에 적어도 부분적으로 기초하여 출력된다.
본 발명의 일 실시예는 도 3에 도시된 방법(300)을 구현하는 텍스처-기반 애플리케이션에 관한 것이다. 본 실시예는 도 2에 도시된 디바이스와 관련하여 기술될 것이다. 본 실시예에서, 하나의 또는 그 이상의 텍스처들을 나타내는 이미지가 터치 감지 디스플레이(230)에 디스플레이된다. 사용자는 하나의 또는 그 이상의 손가락들로 터치 감지 디스플레이에 접촉하여, 텍스처를 나타내는 이미지에 걸쳐 하나의 또는 그 이상의 손가락들을 드래그할 수 있으며, 응답해서, 하나의 또는 그 이상의 촉각 효과들이 출력될 수 있다. 예를 들어, 일 실시예에서, 사포 조각의 이미지가 터치 감지 디스플레이(230)에 디스플레이된다. 본 실시예에서, 사용자는 손가락으로 터치 감지 디스플레이(230)에 접촉하고, 사포 조각의 이미지가 위치한 디스플레이(230)의 일부분들을 따라 손가락을 이동시킬 수 있다. 응답으로, 촉각 효과들이 사포 조각을 따라 손가락을 실제로 문지르는 느낌을 시뮬레이션하도록, 이미지의 텍스처를 나타내는 하나의 또는 그 이상의 촉각 효과들이 출력될 수 있다. 일부 실시예들에서, 각각의 접촉의 압력에 기초한 촉각 효과들이 출력될 수 있다. 따라서, 사용자가 터치 감지 디스플레이(230)에서의 접촉의 압력을 증가시키면, 하나의 또는 그 이상의 촉각 효과들의 크기도 증가될 수 있고, 또는 예를 들어, 터치 감지 표면의 모양을 변경함으로써, 또는 터치 감지 표면에서의 피처들(features)을 들어올림으로써, 사용자의 손가락들과 터치 감지 표면 간의 마찰이 증가될 수 있다. 따라서, 실시예들에서, 터치 감지 디스플레이(230)에 디스플레이된 하나의 또는 그 이상의 객체들의 텍스처를 시뮬레이션하는 하나의 또는 그 이상의 촉각 효과들이 다중 터치, 다중 압력 접촉들 또는 제스처들에 응답해서 출력될 수 있다.
다른 실시예에서, 키보드의 이미지가 터치 감지 디스플레이(230)에 디스플레이된다. 사용자는 키보드의 키들에 대응하는 로케이션들에서 터치 감지 디스플레이(230)에 접촉함으로써 디바이스와 상호 작용할 수 있다. 일부 실시예들에서, 사용자는 키보드에서 타이핑하기 위해 다수의 손가락들을 사용할 수 있다. 본 실시예에서, 하나의 또는 그 이상의 접촉들의 압력에 기초하여 촉각 효과가 출력될 수 있다. 예를 들어, 일 실시예에서, 촉각 효과의 크기는, 사용자가 터치 감지 디스플레이(230)에 접촉하는 압력의 함수이다. 따라서, 사용자가 터치 감지 디스플레이(230)에 더 세게(즉, 더 센 압력으로) 접촉할수록, 촉각 효과는 더 강해진다.
방법(300)의 단계들이 특정 순서로 도시 및 기술되었지만, 본 발명의 다른 실시예들은 동일한 또는 추가의 단계들을 포함할 수 있으며, 또는 도 3에 도시된 단계들을 상이한 순서로 또는 동시에 실행할 수 있다. 예를 들어, 방법은 복수의 센서 신호들을 수신하고, 응답을 결정하기 전에 실질적으로 동시에 또는 잇달아 복수의 접촉들을 결정할 수 있다.
접촉을 검출하고 이에 응답하는 예시적인 방법
이제 도 5를 참조하면, 도 5는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스에서 액추에이터 신호를 출력하는 방법(500)에 관한 흐름도를 도시한다. 도 5의 방법(500)의 설명은 도 2에 도시된 디바이스(200) 및 도 6에 도시된 일례와 관련하여 기술될 것이다.
도 6a-6c는 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스(200)의 동작을 도시한다. 본 발명의 실시예들은, 사용자가 다중 접촉, 다중 압력 입력들을 사용해서 객체와 상호 작용할 수 있게 할 수 있다. 일부 실시예들에서, 객체는, 버튼, 스크롤 바, 라디오 버튼 등의 그래픽 사용자 객체일 수 있다. 일부 실시예들에서, 객체는 스크린에 디스플레이된 임의의 수의 그래픽 객체 또는 텍스트 객체일 수 있다. 예를 들어, 도 6a에서, 그래픽 객체는 다중 압력 터치 감지 입력 디바이스(200)의 터치 감지 디스플레이(230)에 디스플레이된 수평 보드(620)를 가진 시소(610)이다. 사용자는 각종 로케이션들에서 각종 압력들로 터치 감지 디스플레이(230)에 접촉함으로써 시소(610)와 상호 작용한다.
도 5에 도시된 방법(500)은, 프로세서(210)가 제1 및 제2 센서 신호들을 수신하는 블록(510)에서 시작한다. 예를 들어, 사용자가 디바이스(200)와 상호 작용함에 따라, 사용자가 시소(610)의 좌측과 연관된 터치 감지 디스플레이(230)에서의 로케이션에 접촉하면 제1 접촉과 관련된, 제1 압력 등의 정보가 프로세서(210)에 제공된다. 또한, 사용자가 디바이스(200)와 상호 작용함에 따라, 사용자가 시소(610)의 우측과 연관된 터치 감지 디스플레이(230)에서의 로케이션에 접촉하면 제2 접촉과 관련된, 제2 압력 등의 정보가 프로세서(210)에 제공된다. 센서 신호들을 수신한 후에, 방법(500)은 블록(520)으로 진행한다.
블록(520)에서, 프로세서(210)는, 제1 접촉의 압력이 제2 접촉의 압력보다 더 큰지를 결정한다(520). 제1 접촉의 압력이 제2 접촉의 압력보다 더 크면, 방법(500)은 블록(530)으로 진행하고, 그렇지 않으면, 블록(550)으로 진행한다.
블록(530)에서, 프로세서(210)는 제1 액추에이터 신호를 생성한다. 도 6에 도시된 실시예에서, 제1 압력이 제2 압력보다 더 크기 때문에, 제1 액추에이터 신호는 액추에이터(240)가 아래로 이동중인 보드(620)의 좌측을 시뮬레이션하는 촉각 효과를 출력하게 야기하도록 구성된다. 생성된 신호는 도 3에 도시된 실시예와 관련하여 상술된 데이터, 명령들, 및 파라미터들 중 일부 또는 전부를 포함할 수 있다. 예를 들어, 일 실시예에서, 생성된 신호는 더 큰 압력에 기초하여 촉각 효과의 강도를 결정하기 위해 제1 액추에이터가 사용하는 파라미터를 포함한다. 다른 실시예에서, 생성된 액추에이터 신호는 시소(620)의 좌측에서의 접촉 및 시소(620)의 우측에서의 접촉 간의 압력들의 차이에 기초한 파라미터를 포함할 수 있다. 또 다른 실시예들에서, 생성된 액추에이터 신호는 시소(620)의 좌측이 지면에 얼마나 가까운지와 관련된 정보를 포함할 수 있다. 도 6에 도시된 실시예에서, 프로세서(210)는 도 6b에 도시된 바와 같이 터치 감지 디스플레이(230)가 디스플레이 상의 이미지를 갱신하게 야기하도록 구성된 다른 신호를 생성한다.
프로세서(210)가 블록(530)에 도시된 바와 같이 제1 액추에이터 신호를 생성하면, 프로세서(210)는 블록(540)에 도시된 바와 같이 제1 액추에이터 신호를 출력한다. 예를 들어, 도 6에 도시된 실시예에서, 프로세서(210)는 액추에이터 신호를 액추에이터(240)에 출력한다. 프로세서(210)로부터 신호를 수신함에 응답해서, 액추에이터(240)는 희망 촉각 효과를 출력한다. 도 6에 도시된 실시예에서, 프로세서(210)는 도 6b에 도시된 바와 같이 디스플레이가 갱신되도록 야기하는 다른 신호를 또한 출력한다.
블록(550)에서, 프로세서(210)는 제2 액추에이터 신호를 생성하고, 제2 액추에이터 신호를 액추에이터(260)에 출력한다(560). 본 실시예에서, 제2 액추에이터 신호는, 액추에이터(260)가 희망 촉각 효과를 결정하는데 사용하는 크기 파라미터를 포함하고, 액추에이터(260)는 촉각 효과를 출력한다. 예를 들어, 도 6에 도시된 실시예에서, 제1 압력이 제2 압력보다 더 크지 않으면, 제1 압력이 제2 압력보다 더 크지 않기 때문에, 프로세서(210)는 액추에이터(240)가 아래로 이동중인 보드(620)의 우측을 시뮬레이션하는 촉각 효과를 출력하게 야기하도록 구성된 제2 액추에이터 신호를 생성한다. 또한, 본 실시예에서, 프로세서(210)는, 터치 감지 디스플레이(230)가 디스플레이에서의 이미지를 도 6c에 도시된 바와 같이 갱신하게 야기하도록 구성된 다른 신호를 생성한다. 프로세서(210)가 제2 액추에이터 신호 및 다른 신호를 생성한 후에, 프로세서(210)는 제2 액추에이터 신호를 액추에이터(260)에 출력하고 다른 신호를 터치 감지 디스플레이(230)에 출력한다. 응답으로, 액추에이터(260)는 희망 촉각 효과를 출력하고, 디스플레이는 도 6c에 도시된 바와 같이 디스플레이를 갱신한다.
따라서, 도 6에 도시된 실시예에서, 보드(620)의 각각의 측에서의 접촉들의 압력은 보드(620)의 각각의 측에 가해지는 힘들과 상관될 수 있다. 압력, 즉, 본 실시예에서는 시뮬레이션된 힘이 보드(620) 한 측에서 보드(620)의 다른 측에서보다 더 크면, 터치 감지 디스플레이(230)는, 보드(620)가 더 큰 시뮬레이션된 힘을 받는 측 쪽으로 기우는 것을 나타내도록 갱신되고, 액추에이터는, 보드(620)가 대응 방향으로 기울고 있음을 나타내는 촉각 효과를 출력한다. 일 실시예에서, 더 큰 시뮬레이션된 힘을 받는 측이 기운 정도는 접촉들의 압력의 차이에 좌우된다. 따라서, 압력들의 차이가 도 6c에서는 도 6b에서만큼 크지 않기 때문에, 시소(610)의 보드(620)는 도 6c에서는 도 6b에서만큼 많이 기울지는 않는다. 또한, 이러한 일 실시예에서, 압력들의 차이가 도 6c에서는 도 6b에서만큼 크지 않기 때문에, 도 6b의 촉각 효과 출력은 도 6c의 촉각 효과 출력보다 더 강렬할 수 있다.
도 5에 도시된 방법(500)을 구현하고 도 2에 도시된 디바이스와 관련하여 기술될 본 발명의 다른 실시예는 스노보드 타기 애플리케이션이다. 본 실시예에서, 사용자는 두 손가락들로 터치 감지 디스플레이(230)에 접촉함으로써 디바이스(200)와 상호 작용할 수 있다. 접촉의 압력은 스노보더를 조종하는데 사용될 수 있다. 예를 들어, 스크린의 좌측에 있는 사용자의 손가락이 접촉 압력을 증가할 때, 스노보더가 처음에 터치 감지 디스플레이(230)의 중간에 보인다면, 스노보더는 좌측으로 이동한다. 또는, 스크린의 우측에서의 접촉 압력이 증가되거나 또는 스크린의 좌측에서의 접촉 압력보다 더 크면, 스노보더는 우측으로 이동할 수 있다.
일부 실시예들에서, 하나의 또는 그 이상의 접촉들의 압력은 선회율(rate of turning)을 결정하는데 사용될 수 있다. 예를 들어, 일 실시예에서, 접촉의 압력의 증가는 선회율의 증가를 야기한다. 다른 실시예들에서, 하나의 또는 그 이상의 접촉들의 압력은 방향 및 선회율 둘 다를 결정하는데 사용된다. 예를 들어, 일 실시예에서, 한 접촉의 압력은 스노보더의 방향(즉, 좌 또는 우)을 결정하고, 다른 접촉의 압력은 선회율을 결정한다. 본 실시예에서, 스노보더의 방향은 임계 압력의 함수일 수 있다. 따라서, 스노보더의 방향과 연관된 접촉의 압력이 임계 압력보다 더 크면, 스노보더는 우측으로 이동할 수 있다. 스노보더의 방향과 연관된 접촉의 압력이 임계 압력보다 더 작으면, 스노보더는 좌측으로 이동할 수 있다. 또한, 본 실시예에서, 선회율은 압력의 함수일 수 있다. 따라서, 선회율과 연관된 접촉의 압력의 증가는 스노보더의 선회율의 증가를 야기할 수 있다. 유사하게, 선회율과 연관된 접촉의 압력의 감소는 스노보더의 선회율의 감소를 야기할 수 있다.
실시예들에서, 또한 방향 또는 선회율, 또는 둘 다를 사용자에게 나타내기 위해 하나의 또는 그 이상의 접촉들의 압력에 적어도 부분적으로 기초하여 하나의 또는 그 이상의 촉각 효과들이 출력될 수 있다. 예를 들어, 일 실시예에서, 스노보더가 좌측으로 이동중임을 나타내는 촉각 효과가 출력될 수 있으며, 스노보더가 우측으로 이동중임을 나타내는 다른 촉각 효과가 출력될 수 있다. 예를 들어, 진동이 디바이스의 우측에서 출력될 수 있으며, 또는 진동은 디바이스의 좌측에서 출력되고 스노보더의 선회율에 대응하는 속도로 디바이스의 우측으로 이동할 수 있다. 다른 실시예에서, 예를 들어, 진동 주파수 또는 진동의 크기를 증가 또는 감소함으로써, 스노보더의 선회율이 증가하고 있음을 나타내는 촉각 효과가 출력될 수 있으며, 스노보더의 선회율이 감소하고 있음을 나타내는 다른 촉각 효과가 출력될 수 있다.
접촉을 검출하고 이에 응답하는 예시적인 방법
이제 도 7을 참조하면, 도 7은 본 발명의 일 실시예에 따른 도 2에 도시된 다중 압력 터치 감지 입력 디바이스(200)의 동작을 도시한다. 도 7에 도시된 실시예와 관련하여, 도 5의 방법이 가상 건반(710)을 사용자가 연주함에 따라 촉각 효과를 제공하는데 사용될 수 있다. 도 7에 도시된 실시예에서, 피아노의 키들은 터치 감지 디스플레이(230)에서 디스플레이된다. 사용자가 건반의 "C" 음에 대응하는 터치 감지 디스플레이(230)의 로케이션을 터치함에 응답해서, 디바이스(200)는 오디오 신호를 생성해서 오디오 신호를 스피커(270)에 송신함으로써 "C" 음에 대응하는 주파수를 가진 소리를 출력한다. 유사하게, 사용자가 "C", "E", 및 "G" 음들에 대응하는 터치 감지 디스플레이(230)의 로케이션들을 실질적으로 동시에 터치함에 응답해서, 디바이스(200)는 상이한 오디오 신호를 생성해서 스피커(270)에 송신함으로써 "C-E-G" 화음에 대응하는 주파수를 가진 소리를 출력한다.
다른 실시예에서, 사용자는 "C", "E", 및 "G" 음들에 대응하는 터치 감지 디스플레이(230)의 로케이션들을 한 손으로 터치할 수 있으며, 실질적으로 동시에 사용자는 "D", "F", 및 "A" 음들에 대응하는 터치 감지 디스플레이(230)의 로케이션들을 다른 손으로 터치할 수 있다. 응답으로, 디바이스(200)는 "C-E-G" 화음에 대응하는 주파수를 가진 소리 및 "D-F-A" 화음에 대응하는 주파수를 가진 소리를 출력할 수 있다. 일부 실시예들에서, 디바이스(200)는, 특정 화음 또는 화음들의 조합, 또는 둘 다가 사용자에 의해 눌려지고 있음을 사용자에게 알리기 위해 하나의 또는 그 이상의 촉각 효과들을 출력할 수 있다. 예를 들어, 어떤 화음이 연주되고 있는 지를 나타내는 하나의 또는 그 이상의 촉각 효과들이 출력될 수 있다. 이러한 일 실시예에서, 사용자가 "C-E-G" 화음을 연주하는 경우 한 촉각 효과가 출력되고, 사용자가 "D-F-A" 화음을 연주하는 경우 다른 촉각 효과가 출력된다. 따라서, 청력이 손상된 사용자 또는 디바이스에서의 소리가 뮤트(mute)되기를 원하는 사용자는 시뮬레이션 피아노(710) 연주를 연습할 수 있으며, 디바이스(200)에 의해 출력된 하나의 또는 그 이상의 촉각 효과들에 기초하여 어떤 화음들이 연주되고 있는지를 결정할 수 있다. 다른 실시예에서, 사용자가 시뮬레이션 피아노(710)에서의 각종 접촉들의 압력을, 공손하게, 증가 또는 감소함에 따라, 디바이스(200)에 의해 출력된 하나의 또는 그 이상의 촉각 효과들의 강도는 증가 또는 감소될 수 있다. 따라서, 사용자는, 사용자가 연주하기 원하는 각종 음들에 대응하는 터치 감지 디스플레이(230)에서의 로케이션들을 누름으로써 건반 연주를 시뮬레이션할 수 있으며, 사용자가 누르는 음 또는 음들을 나타내는 촉각 효과를 수신할 수 있다.
일 실시예에서, 프로세서(210)는 소정의 노래에 대해 정확한 시간에 정확한 음들을 사용자가 연주하고 있는지를 결정하는 소프트웨어를 실행한다. 예를 들어, 특정 노래의 경우, 음들 "C" 및 "E"가 동시에 연주된 후, 음들 "D", "F", 및 "A"가 동시에 연주될 필요가 있을 수 있다. 사용자가 음들 "C" 및 "E" 대신 음들 "C" 및 "F"를 잘못 누르면, 디바이스(200)는 부정확한 음이 연주되었음을 사용자에게 알려주는 촉각 효과를 출력할 수 있다. 유사하게, 사용자가 음들 "C" 및 "E"를 동시에 정확하게 연주하고 음들 "D", "F", 및 "A"를 동시이지만 부정확한 타이밍에 연주하면(즉, 음들이 너무 빠르게 또는 너무 느리게 연주되면), 디바이스(200)는 그것들의 타이밍이 부정확했음을 사용자에게 알려주는 상이한 촉각 효과를 출력할 수 있다.
다른 실시예에서, 제1 다중 압력 터치 감지 입력 디바이스(200)가 제2 다중 압력 터치 감지 입력 디바이스(200)와 통신한다. 본 실시예에서, 제1 디바이스(200)의 터치 감지 디스플레이(230)는 제2 디바이스(200)의 터치 감지 디스플레이(230)와 동일한 정보를 디스플레이할 수 있다. 예를 들어, 두 디바이스들은 도 7에 도시된 바와 같은 건반을 디스플레이할 수 있다. 제1 디바이스(200)의 프로세서(210) 및 제2 디바이스(200)의 프로세서(210)는, 제1 디바이스(200)와 상호 작용하는 사용자가 노래의 일부분을 연주하기로 되어 있고, 제2 디바이스(200)와 상호 작용하는 다른 사용자가 노래의 다른 일부분을 연주하기로 되어 있도록, 각각의 디바이스의 메모리(220)에 있는 소프트웨어를 실행할 수 있다. 일 실시예에서, 제1 사용자가 제1 디바이스(200)에서 음을 잘못 연주하면, 촉각 효과가 제1 디바이스(200)에 의해 출력된다. 다른 실시예에서, 제1 사용자가 제1 디바이스(200)에서 음을 잘못 연주하면, 제1 디바이스는 촉각 효과를 출력하라는 커맨드 또는 명령을 제2 디바이스에 송신하고, 제2 디바이스는 촉각 효과를 출력한다. 또 다른 실시예에서, 제1 사용자가 제1 디바이스(200)에서 음을 잘못 연주하면, 제1 디바이스는 제1 사용자가 연주한 부정확한 음에 관한 데이터를 제2 디바이스(200)에 송신하고, 제2 디바이스는, 만약 촉각 효과가 있는 경우, 제2 디바이스(200)에서 또는 제1 디바이스(200)에서, 또는 둘 다에서 촉각 효과가 출력될 필요가 있는지를 결정한다.
접촉을 검출하고 이에 응답하는 예시적인 방법
이제 도 8을 참조하면, 도 8은 본 발명의 일 실시예에 따른 다중 압력 터치 감지 입력 디바이스(200)에서 액추에이터 신호를 출력하는 방법(800)에 관한 흐름도를 도시한다. 도 8의 방법(800)의 설명은 도 2에 도시된 디바이스(200) 및 도 9에 도시된 일례와 관련하여 기술될 것이다.
도 8에 도시된 방법(800)은, 그래픽 객체가 디스플레이되는 블록(810)에서 시작한다. 예를 들어, 도 9에서, 그래픽 객체(910)가 터치 감지 디스플레이(230)에 디스플레이된다. 그래픽 객체를 디스플레이한 후에, 방법(800)은 블록(820)으로 진행한다.
블록(820)에서, 제1 접촉 및 제2 접촉이 수신된다. 예를 들어, 도 9에 도시된 실시예에서, 사용자는 손가락으로 터치 감지 디스플레이(230)에 접촉함으로써 디바이스(200)와 상호 작용할 수 있다. 본 실시예에서, 사용자가 디바이스(200)와 상호 작용함에 따라, 프로세서(210)에, 터치 감지 디스플레이(230)에서의 제1 손가락으로부터의 제1 접촉과 연관된, 제1 x, y 좌표 및 제1 압력 등의 정보가 제공된다. 또한, 사용자가 디바이스(200)와 상호 작용함에 따라, 프로세서(210)에, 터치 감지 디스플레이(230)에서의 제2 손가락으로부터의 제2 접촉과 연관된, 제2 x, y 좌표 및 제2 압력 등의 정보가 제공된다. 일부 실시예들에서, 터치 감지 디스플레이에서의 제1 접촉 및 제2 접촉은 제1 및 제2 접촉의 정보를 프로세서(210)가 수신하기 위해 실질적으로 동시에 발생할 필요가 있을 수 있다.
제1 접촉 및 제2 접촉이 수신되면, 방법(800)은 블록(830)으로 진행한다. 블록(830)에서, 제1 접촉이 그래픽 객체에 대응하는 로케이션에 있는지를 결정한다. 예를 들어, 도 9에 도시된 실시예에서, 제1 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하면, 프로세서(210)는, 제1 접촉이 그래픽 객체에 대한 접촉이라고 결정한다. 그러나, 본 실시예에서, 제1 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하지 않으면, 프로세서(210)는, 제1 접촉이 그래픽 객체에 대한 접촉이 아니라고 결정한다. 제1 접촉이 그래픽 객체에 대한 것이면, 방법(800)은 블록(840)으로 진행하고; 그렇지 않으면, 블록(865)으로 진행한다.
블록(840)에서, 제2 접촉이 그래픽 객체에 대응하는 로케이션에 있는지를 결정한다. 예를 들어, 도 9에서, 제2 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하면, 프로세서(210)는, 제2 접촉이 그래픽 객체에 대한 접촉이라고 결정한다. 그러나, 본 실시예에서, 제2 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하지 않으면, 프로세서(210)는, 제2 접촉이 그래픽 객체에 대한 접촉이 아니라고 결정한다. 제2 접촉이 그래픽 객체에 대한 것이면, 방법(800)은 블록(845)으로 진행하고; 그렇지 않으면, 블록(855)으로 진행한다.
블록(845)에서, 프로세서(210)는 제1 액추에이터 신호를 생성한다. 예를 들어, 도 9에서, 제1 접촉이 그래픽 객체(910)에 대한 것이고 제2 접촉도 또한 그래픽 객체(910)에 대한 것이면, 프로세서(210)는, 응답이 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기를 확대하는 것이라고 결정한다. 또한, 본 실시예에서, 프로세서(210)는, 응답이 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 확대되고 있음을 나타내는 촉각 효과를 출력하는 것이라고 결정한다. 본 실시예에서, 프로세서(210)는, 증가하는-주파수 또는 강도 진동 등, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 확대되고 있음을 나타내는 촉각 효과를 액추에이터(240)가 출력하게 야기하도록 구성된 제1 액추에이터 신호를 생성한다. 또한, 프로세서(210)는 객체에 대한 두 접촉들을 나타내기 위해 팝 또는 졸트 등의 촉각 효과를 또한 포함하는 제1 액추에이터 신호를 생성할 수 있다. 또한, 프로세서(210)는 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기를 터치 감지 디스플레이(230)가 확대하게 야기하도록 구성된 디스플레이 신호를 생성한다.
도 9를 여전히 참조하고 블록(845)을 참조하면, 일 실시예에서, 프로세서(210)는, 제1 접촉의 압력이 임계 압력보다 더 크면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 확대될 필요가 있다고 결정한다. 그렇지 않으면, 본 실시예에서, 프로세서(210)는 응답이 필요하지 않다고 결정할 수 있다. 다른 실시예에서, 프로세서(210)는, 제2 접촉의 압력이 임계 압력 미만일 때까지, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 확대될 필요가 있다고 결정한다.
블록(845)에 도시된 바와 같이 제1 액추에이터 신호가 생성되었으면, 프로세서(210)는 블록(850)에 도시된 바와 같이 제1 액추에이터 신호를 출력한다. 예를 들어, 도 9에 도시된 실시예에서, 프로세서(210)는 생성된 제1 액추에이터 신호를 액추에이터(240)에 출력한다. 액추에이터(240)는 프로세서(210)로부터 제1 액추에이터 신호를 수신하고, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 확대되고 있음을 나타내는 촉각 효과를 출력한다. 또한, 도 9에 도시된 실시예에서, 프로세서(210)는 생성된 디스플레이 신호를 터치 감지 디스플레이(230)에 출력하고, 터치 감지 디스플레이(230)는 터치 감지 디스플레이(230)에 보이는 그래픽 객체(910)의 크기를 갱신한다.
블록(855)에서, 프로세서(210)는 제2 액추에이터 신호를 생성한다. 예를 들어, 도 9에서, 제1 접촉은 그래픽 객체(910)에 대한 것이고 제2 접촉은 그래픽 객체(910)에 대한 것이 아니면, 프로세서(210)는, 응답이 그래픽 객체(910)의 컬러를 변경하는 것이라고 결정한다. 또한, 본 실시예에서, 프로세서(210)는, 응답이 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러가 변경중임을 나타내는 촉각 효과를 출력하는 것이라고 결정한다. 예를 들어, 프로세서(210)는, 컬러가 변경될 때마다 팝 또는 졸트 결과가 출력되어야만 한다고 결정할 수 있다. 본 실시예에서, 프로세서(210)는, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러가 변경중임을 나타내는 촉각 효과를 액추에이터(260)가 출력하게 야기하도록 구성된 제2 액추에이터 신호를 생성한다. 또한, 프로세서(210)는 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러를 터치 감지 디스플레이(230)가 변경하게 야기하도록 구성된 디스플레이 신호를 생성한다.
도 9를 여전히 참조하고 블록(855)을 참조하면, 일 실시예에서, 프로세서(210)는, 제1 접촉의 압력이 임계 압력보다 더 크면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러가 변경될 필요가 있다고 결정한다. 그렇지 않으면, 본 실시예에서, 프로세서(210)는 응답이 필요하지 않다고 결정할 수 있다. 다른 실시예에서, 프로세서(210)는, 제2 접촉의 압력이 임계 압력 미만일 때까지, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러가 변경될 필요가 있다고 결정한다. 예를 들어, 제2 접촉의 압력이 임계 압력 미만일 때까지, 그래픽 객체(910)의 컬러는 옐로로부터 그린으로 블루로 미리 결정된 시간 간격들에 변경될 수 있다. 일 실시예에서, 그래픽 객체(910)의 컬러는 압력에 기초하여 변한다. 예를 들어, 제1 접촉이 압력이 증가함에 따라 그래픽 객체(910)의 컬러는 레드로부터 옐로로 그린으로 블루로 변할 수 있다.
블록(855)에 도시된 바와 같이 제2 액추에이터 신호가 생성되었으면, 프로세서(210)는 블록(860)에 도시된 바와 같이 제2 액추에이터 신호를 출력한다. 예를 들어, 도 9에 도시된 실시예에서, 프로세서(210)는 생성된 제2 액추에이터 신호를 액추에이터(260)에 출력한다. 액추에이터(260)는 프로세서(210)로부터 제2 액추에이터 신호를 수신하고, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 컬러가 변경되고 있음을 나타내는 촉각 효과를 출력한다. 또한, 도 9에 도시된 실시예에서, 프로세서(210)는 생성된 디스플레이 신호를 터치 감지 디스플레이(230)에 출력하고, 터치 감지 디스플레이(230)는 터치 감지 디스플레이(230)에 보이는 그래픽 객체(910)의 컬러를 갱신한다.
제1 접촉이 그래픽 객체에 대응하는 로케이션에 있지 않았다고 블록(830)에서 결정되었으면, 방법은 블록(865)로 진행한다. 블록(865)에서, 제2 접촉이 그래픽 객체에 대응하는 로케이션에 있는지가 결정된다. 예를 들어, 도 9에서, 제2 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하면, 프로세서(210)는, 제2 접촉이 그래픽 객체에 대한 접촉이라고 결정한다. 그러나, 본 실시예에서, 제2 접촉의 로케이션이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션에 대응하지 않으면, 프로세서(210)는, 제2 접촉이 그래픽 객체에 대한 것이 아니라고 결정한다. 제2 접촉이 그래픽 객체에 대한 것이면, 방법(800)은 블록(870)으로 진행하고; 그렇지 않으면, 블록(880)으로 진행한다.
블록(870)에서, 프로세서(210)는 제3 액추에이터 신호를 생성한다. 예를 들어, 도 9에서, 제1 접촉은 그래픽 객체(910)에 대한 것이 아니고 제2 접촉은 그래픽 객체(910)에 대한 것이면, 프로세서(210)는, 응답이 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션을 이동시키는 것이라고 결정한다. 또한, 본 실시예에서, 프로세서(210)는, 응답이 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 로케이션이 변경중임을 나타내는 촉각 효과를 출력하는 것이라고 결정한다. 본 실시예에서, 프로세서(210)는, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 로케이션이 변경중임을 나타내는 촉각 효과를 액추에이터(240)가 출력하게 야기하도록 구성된 제3 액추에이터 신호를 생성한다. 또한, 프로세서(210)는 그래픽 객체(910)가 터치 감지 디스플레이(230)에서 디스플레이된 로케이션을 터치 감지 디스플레이(230)가 변경하게 야기하도록 구성된 디스플레이 신호를 생성한다.
도 9를 여전히 참조하고 블록(870)을 참조하면, 일 실시예에서, 프로세서(210)는, 제1 접촉의 압력이 임계 압력보다 더 크면, 응답은 상향 방향으로 그래픽 객체(910)를 이동시키는 것이다. 제1 접촉의 압력이 임계 압력보다 더 작으면, 응답은 하향 방향으로 그래픽 객체(910)를 이동시키는 것이다. 일부 실시예들에서, 제2 접촉의 압력이 임계 압력보다 더 크면, 응답은 좌측으로 그래픽 객체를 이동시키는 것이다. 제2 접촉의 압력이 임계 압력보다 더 작으면, 응답은 우측으로 그래픽 객체(910)를 이동시키는 것이다. 일부 실시예들에서, 응답은 제1 압력 및 제2 압력 둘 다에 기초하여 결정될 수 있다. 예를 들어, 일 실시예에서, 응답은 제1 압력 및 제2 압력에 기초하여 상향으로 및 좌측으로 그래픽 객체(910)의 로케이션을 이동시키는 것일 수 있다. 다른 실시예에서, 그래픽 객체(910)의 로케이션은 접촉의 로케이션의 변경에 기초하여 변경될 수 있다. 따라서, 제1 접촉의 로케이션이 상향 방향으로 이동하면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 로케이션도 상향 방향으로 이동될 수 있다. 일 실시예에서, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 로케이션 및 컬러 또는 크기 모두가 제1 접촉 및 제2 접촉 둘 다의 로케이션 및 압력에 기초하여 변경될 수 있다.
블록(870)에 도시된 바와 같이 제3 액추에이터 신호가 생성되었으면, 프로세서(210)는 블록(875)에 도시된 바와 같이 제3 액추에이터 신호를 출력한다. 예를 들어, 상술된 일부 실시예들에서, 프로세서(210)는 생성된 제3 액추에이터 신호를 액추에이터(240)에 출력한다. 액추에이터(240)는 프로세서(210)로부터 제3 액추에이터 신호를 수신하고, 터치 감지 디스플레이(230)에서 그래픽 객체(910)가 디스플레이된 로케이션이 변경되고 있음을 나타내는 촉각 효과를 출력한다. 또한, 도 9와 관련하여 도시된 실시예에서, 프로세서(210)는 생성된 디스플레이 신호를 터치 감지 디스플레이(230)에 출력하고, 터치 감지 디스플레이(230)는 터치 감지 디스플레이(230)에 보이는 그래픽 객체(910)의 로케이션을 갱신한다.
블록(880)에서, 프로세서(210)는 제4 액추에이터 신호를 생성한다. 예를 들어, 도 9에서, 제1 접촉도 그래픽 객체(910)에 대한 것이 아니고 제2 접촉도 그래픽 객체(910)에 대한 것이 아니면, 프로세서(210)는, 응답이 그래픽 객체(910)의 크기를 감소시키는 것이라고 결정한다. 또한, 본 실시예에서, 프로세서(210)는, 응답이 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 감소되고 있음을 나타내는 촉각 효과를 출력하는 것이라고 결정한다. 본 실시예에서, 프로세서(210)는, 감소하는-주파수 또는 강도 진동 등, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 감소되고 있음을 나타내는 촉각 효과를 액추에이터(260)가 출력하게 야기하도록 구성된 제4 액추에이터 신호를 생성한다. 또한, 프로세서(210)는 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기를 터치 감지 디스플레이(230)가 감소시키게 야기하도록 구성된 디스플레이 신호를 생성한다.
도 9를 여전히 참조하고 블록(880)을 참조하면, 일 실시예에서, 프로세서(210)는, 제1 접촉의 로케이션의 변경이 오른쪽 방향이고 제2 접촉의 로케이션의 변경이 왼쪽 방향이면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 감소될 필요가 있다고 결정한다. 다른 실시예에서, 제1 접촉의 로케이션의 변경이 제2 접촉의 로케이션의 변경의 반대 방향이고, 제1 접촉 및 제2 접촉이 함께 더 가까워지도록 제1 및 제2 접촉들의 로케이션들이 변경중이면, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기는 감소될 필요가 있다고 프로세서(210)가 결정한다. 일 실시예에서, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기를 감소시키는 것 외에, 프로세서는, 그래픽 객체(910)의 컬러가 변경될 필요가 있다거나 또는 그래픽 객체(910)의 로케이션이 제1 접촉의 압력, 제2 접촉의 압력, 또는 둘 다에 기초하여 이동될 필요가 있다는 응답을 결정할 수 있다.
블록(880)에 도시된 바와 같이 제4 액추에이터 신호가 생성되었으면, 프로세서(210)는 블록(885)에 도시된 바와 같이 제4 액추에이터 신호를 출력한다. 예를 들어, 도 9와 관련하여 상술된 일부 실시예들에서, 프로세서(210)는 생성된 제4 액추에이터 신호를 액추에이터(260)에 출력한다. 액추에이터(260)는 프로세서(210)로부터 제4 액추에이터 신호를 수신하고, 터치 감지 디스플레이(230)에 디스플레이된 그래픽 객체(910)의 크기가 감소되고 있음을 나타내는 촉각 효과를 출력한다. 또한, 도 9에 도시된 실시예들에서, 프로세서(210)는 생성된 디스플레이 신호를 터치 감지 디스플레이(230)에 출력하고, 터치 감지 디스플레이(230)는 터치 감지 디스플레이(230)에 보이는 그래픽 객체(910)의 크기를 갱신한다.
도 8에 도시된 방법(800)을 구현하고 도 2에 도시된 디바이스와 관련하여 기술될 본 발명의 다른 실시예는 네트워킹 애플리케이션이다. 본 실시예에서, 두 다중 압력 터치 감지 입력 디바이스들(200)은 각각의 네트워크 인터페이스들(250)을 통해 서로 통신한다. 예를 들어, 일 실시예에서, 디바이스들(200)은 인터넷을 통해 서로 통신한다. 다른 실시예에서, 통신은 무선 네트워크를 통할 수 있다.
각종 실시예들에서, 하나의 또는 그 이상의 촉각 효과들이 한 디바이스에서의 2개의 또는 그 이상의 접촉들 및 다른 디바이스에서의 2개의 또는 그 이상의 접촉들에 기초하여 출력될 수 있다. 예를 들어, 두 디바이스들(200)은 서로 통신할 수 있으며, 한 디바이스(200)의 사용자는 제1 손가락으로 디스플레이(230) 상의 제1 로케이션을 터치할 수 있으며, 제2 손가락으로 디스플레이(230) 상의 제2 로케이션을 터치할 수 있다. 유사하게, 제2 디바이스(200)의 사용자는 제1 손가락으로 디스플레이(230) 상의 제1 로케이션을 터치할 수 있으며, 제2 손가락으로 디스플레이(230) 상의 제2 로케이션을 터치할 수 있다. 일 실시예에서, 제1 디바이스에서의 제1 접촉의 로케이션이 제2 디바이스에서의 제1 접촉의 로케이션에 실질적으로 대응하고, 제1 디바이스에서의 제2 접촉의 로케이션이 제2 디바이스에서의 제2 접촉의 로케이션에 실질적으로 대응하면, 응답이 발생할 수 있다. 예를 들어, 일 실시예에서, 응답은 파일, 웹사이트, 애플리케이션 등에 대한 액세스를 어느 한 사용자 또는 양 사용자들에게 승인해 주는 것일 수 있다. 실시예들에서, 응답은, 액세스가 승인됨 또는 각각의 디바이스에서의 양 접촉들의 로케이션들이 거의 동일한 로케이션에 있음을 나타내는 하나의 또는 그 이상의 촉각 효과들을 포함할 수 있다. 다른 실시예들에서, 접촉들 중 임의의 접촉이 거의 유사한 로케이션에 있지 않은 경우, 접촉들 중 적어도 한 접촉이 매치하지 않음을 나타내는 하나의 또는 그 이상의 촉각 효과들이 어느 한 디바이스 또는 양 디바이스들에 출력될 수 있다.
일부 실시예들에서, 하나의 또는 그 이상의 촉각 효과들이 제1 디바이스에서의 한 접촉의 압력 및 제2 디바이스의 한 접촉의 압력에 기초하여 출력될 수 있으며, 제1 디바이스 및 제2 디바이스는 서로 통신한다. 예를 들어, 2개의 또는 그 이상의 디바이스들이 서로 통신하는 레슬링 애플리케이션에서, 디바이스들 중 한 디바이스의 사용자는 한 로케이션에서 제1 압력으로 터치 감지 디스플레이(230)에 접촉할 수 있다. 다른 디바이스의 사용자는 제1 디바이스의 디스플레이에서의 제1 로케이션에 대응하는 제2 로케이션에서 제2 압력으로 터치 감지 디스플레이(230)에 접촉할 수 있다. 본 실시예에서, 하나의 또는 그 이상의 촉각 효과들이 접촉들의 압력에 기초하여 한 디바이스 또는 양 디바이스들에서 출력될 수 있다. 예를 들어, 일 실시예에서, 제1 디바이스에서의 제1 접촉의 압력이 제2 디바이스에서의 제2 접촉의 압력보다 더 크면, 제1 사용자가 제2 사용자보다 더 강하게 펀치하고 있음을 나타내는 촉각 효과가 제2 디바이스에서 출력될 수 있다. 다른 실시예에서, 제2 디바이스에서의 제2 접촉의 압력이 제1 디바이스에서의 제1 접촉의 압력보다 더 크면, 제2 사용자가 제1 사용자보다 더 강하게 밀거나 그래플링(grappling)하고 있음을 나타내는 촉각 효과가 제1 디바이스에서 출력될 수 있으며, 제2 사용자가 현재 매치에서 이기고 있음을 나타내는 다른 촉각 효과가 제2 디바이스에서 출력될 수 있다.
일 실시예에서, 하나의 또는 그 이상의 촉각 효과들이 다른 디바이스와 통신하는 디바이스에 출력될 수 있다. 예를 들어, 터치 감지 휴대 전화 등의 제1 디바이스는 하나의 또는 그 이상의 액추에이터들을 가진 착용 암 스트랩(a wearable arm strap) 등의 제2 디바이스와 통신할 수 있다. 터치 감지 휴대 전화에서의 각종 다중 터치, 다중 압력 상호 작용들에 응답해서, 전화는 하나의 또는 그 이상의 액추에이션 커맨드들을 암 스트랩에 송신할 수 있다. 본 실시예에서, 암 스트랩은 하나의 또는 그 이상의 액추에이션 커맨드들을 수신하고, 응답으로, 하나의 또는 그 이상의 촉각 효과들을 출력한다. 따라서, 실시예들에서, 촉각 효과 생성 디바이스가 하나의 또는 그 이상의 촉각 효과들을 출력하는데 사용될 수 있다. 촉각 효과 생성 디바이스는 다중 터치, 다중 압력 접촉들을 수신하는 터치 감지 디바이스와 별개일 수 있다.
일반 개념( General )
본 명세서에서 방법들 및 시스템들은 각종 기계들에서 실행되는 소프트웨어의 면에서 기술되지만, 방법들 및 시스템들은 또한 특별히 각종 방법들을 실행하기 위해 FPGA(field-programmable gate array) 등의 특별히 구성된 하드웨어로서 구현될 수도 있다. 예를 들어, 다시 도 1-2를 참조하면, 실시예들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있다. 일 실시예에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 RAM(random access memory) 등의 컴퓨터 판독 가능 매체를 포함한다. 프로세서는 이미지를 편집하기 위한 하나의 또는 그 이상의 컴퓨터 프로그램들을 실행하는 등, 메모리에 저장된 컴퓨터 실행 가능 프로그램 명령들을 실행한다. 이 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field-programmable gate arrays), 및 상태 기계들을 포함할 수 있다. 이 프로세서들은 PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-only memories), EPROM들(electronically programmable read-only memories), 또는 EEPROM들, 또는 다른 유사한 디바이스들을 더 포함할 수 있다.
이 프로세서들은, 프로세서에 의해 실행될 때, 프로세서가 프로세서에 의해 실행되거나 도움을 받는 대로 본 명세서에 기술된 단계들을 실행하게 야기할 수 있는 명령들을 저장할 수 있는 매체, 예를 들어, 컴퓨터 판독 가능 매체를 포함하거나, 또는 그와 통신할 수 있다. 컴퓨터 판독 가능 매체의 실시예들은, 웹 서버의 프로세서 등의 프로세서에 컴퓨터 판독 가능 명령들을 제공할 수 있는 전자, 광, 자기, 또는 다른 기억 장치를 포함할 수 있지만, 이들로만 제한되지는 않는다. 매체의 다른 일례들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로만 제한되지는 않는다. 프로세서, 및 기술된 프로세싱은 하나의 또는 그 이상의 구조들일 수 있으며, 하나의 또는 그 이상의 구조들을 통해 분산될 수 있다. 프로세서는 본 명세서에 기술된 방법들(또는 방법들의 파트들) 중 하나 또는 그 이상을 실행하기 위한 코드를 포함할 수 있다.
본 발명의 일부 실시예들의 상술된 설명은 도시 및 설명을 위해서만 제시된 것으로 완전하거나 본 발명을 기술된 정확한 형태들로 제한하려고 의도된 것이 아니다. 다수의 변경들 및 조정들이 본 발명의 원리 및 범위를 벗어나지 않은 채로 당업자에게 명백할 것이다.
본 명세서에서 언급된 "일 실시예(one embodiment, an embodiment)"는, 그 실시예와 관련해서 기술된 특정 특징, 구조, 동작, 또는 다른 특성이 본 발명의 적어도 하나의 구현에 포함될 수 있음을 의미한다. 본 발명은 이와 같이 기술된 특정 실시예들로 한정되지 않는다. 명세서의 다양한 장소들에서의 구절 "일 실시예에서(in one embodiment, in an embodiment)"의 출현은 반드시 동일한 실시예와 관련되는 것이 아니다. "일 실시예(one embodiment)"와 관련해서 본 명세서에 기술된 임의의 특정 특징, 구조, 동작, 또는 다른 특성은 임의의 다른 실시예와 관련해서 기술된 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 조합될 수 있다.

Claims (22)

  1. 터치 감지 입력 디바이스에서의 제1 물체의 제1 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제1 센서 신호를 수신하는 단계 - 상기 제1 센서 신호는 상기 제1 접촉의 제1 로케이션 및 제1 압력을 포함함 - ;
    상기 제1 접촉과 실질적으로 동시에 상기 터치 감지 입력 디바이스에서의 제2 물체의 제2 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제2 센서 신호를 수신하는 단계 - 상기 제2 센서 신호는 상기 제2 접촉의 제2 로케이션 및 상기 제2 접촉의 제2 압력을 포함함 - ;
    상기 제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 신호를 생성하는 단계 - 상기 신호는 촉각 효과(a haptic effect)를 야기하도록 구성됨 - ; 및
    상기 신호를 출력하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 신호는 액추에이터가 상기 촉각 효과를 출력하게 야기하도록 구성된 액추에이터 신호를 포함하는 방법.
  3. 제1항에 있어서,
    상기 신호는 제1 압력 임계값에 더 기초하는 방법.
  4. 제1항에 있어서,
    상기 신호는 제2 압력 임계값에 더 기초하는 방법.
  5. 제1항에 있어서,
    상기 신호는 상기 제1 압력과 상기 제2 압력 간의 차이에 적어도 부분적으로 기초하는 방법.
  6. 제1항에 있어서,
    상기 촉각 효과는 진동, 마찰(friction), 텍스처(texture), 또는 변형(deformation) 중 적어도 하나를 포함하는 방법.
  7. 제2항에 있어서,
    상기 제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 제2 액추에이터 신호를 결정하는 단계; 및
    상기 제2 액추에이터 신호를 출력하는 단계
    를 더 포함하는 방법.
  8. 제2항에 있어서,
    상기 액추에이터 신호는 액추에이터에 출력되고, 상기 액추에이터는 상기 터치 감지 입력 디바이스에 상기 촉각 효과를 출력하도록 구성된 방법.
  9. 제8항에 있어서,
    상기 액추에이터는 압전 액추에이터, 회전 모터, 또는 선형 공진 액추에이터를 포함하는 방법.
  10. 제8항에 있어서,
    상기 액추에이터는 복수의 액추에이터들을 포함하고, 상기 액추에이터 신호를 생성하는 단계는 상기 복수의 액추에이터들 중 적어도 하나에 상기 액추에이터 신호를 생성하는 단계를 포함하는 방법.
  11. 제8항에 있어서,
    그래픽 객체의 디스플레이를 야기하도록 구성된 디스플레이 신호를 출력하는 단계를 더 포함하는 방법.
  12. 제11항에 있어서,
    상기 그래픽 객체는 그래픽 사용자 객체를 포함하는 방법.
  13. 제11항에 있어서,
    상기 액추에이터 신호는 상기 제1 접촉, 상기 제2 접촉, 및 상기 그래픽 객체 간의 상호 작용에 더 기초하는 방법.
  14. 제13항에 있어서,
    상기 상호 작용은 상기 제1 물체에 의한 상기 그래픽 객체와의 접촉 및 상기 제2 물체에 의한 상기 그래픽 객체와의 무접촉(no contact)을 포함하는 방법.
  15. 제13항에 있어서,
    상기 상호 작용은 상기 제1 물체에 의한 상기 그래픽 객체와의 무접촉 및 상기 제2 물체에 의한 상기 그래픽 객체와의 무접촉을 포함하는 방법.
  16. 제13항에 있어서,
    상기 그래픽 객체는 제1 그래픽 객체 및 제2 그래픽 객체를 포함하고, 상기 제1 물체가 상기 제1 그래픽 객체와 접촉하고 상기 제2 물체가 상기 제2 그래픽 객체와 접촉할 때, 상기 액추에이터 신호는 상기 액추에이터에 출력되는 방법.
  17. 제1항에 있어서,
    상기 제1 접촉 및 제2 접촉과 연관된 제스처를 결정하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서,
    상기 제스처와 연관된 소리(sound)를 출력하는 단계를 더 포함하는 방법.
  19. 제17항에 있어서,
    상기 제스처는 상기 제1 압력 및 상기 제2 압력에 적어도 부분적으로 기초하는 방법.
  20. 제1항에 있어서,
    상기 신호를 출력하는 단계는 상기 터치 감지 입력 디바이스와 통신하는 제2 디바이스에 상기 신호를 송신하는 단계를 포함하는 방법.
  21. 터치 감지 입력 디바이스; 및
    상기 터치 감지 입력 디바이스와 통신하는 프로세서를 포함하고, 상기 프로세서는,
    상기 터치 감지 입력 디바이스에서의 제1 물체의 제1 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제1 센서 신호를 수신하고 - 상기 제1 센서 신호는 상기 제1 접촉의 제1 로케이션 및 상기 제1 접촉의 제1 압력을 포함함 - ;
    상기 제1 접촉과 실질적으로 동시에 상기 터치 감지 입력 디바이스에서의 제2 물체의 제2 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제2 센서 신호를 수신하며 - 상기 제2 센서 신호는 상기 제2 접촉의 제2 로케이션 및 상기 제2 접촉의 제2 압력을 포함함 - ;
    상기 제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 신호를 생성하고 - 상기 신호는 촉각 효과를 야기하도록 구성됨 - ; 및
    상기 신호를 출력하도록 구성된 시스템.
  22. 프로그램 코드를 포함하는 컴퓨터 판독 가능 매체로서,
    터치 감지 입력 디바이스에서의 제1 물체의 제1 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제1 센서 신호를 수신하기 위한 프로그램 코드 - 상기 제1 센서 신호는 상기 제1 접촉의 제1 로케이션 및 상기 제1 접촉의 제1 압력을 포함함 - ;
    상기 제1 접촉과 실질적으로 동시에 상기 터치 감지 입력 디바이스에서의 제2 물체의 제2 접촉에 응답해서 상기 터치 감지 입력 디바이스로부터 제2 센서 신호를 수신하기 위한 프로그램 코드 - 상기 제2 센서 신호는 상기 제2 접촉의 제2 로케이션 및 상기 제2 접촉의 제2 압력을 포함함 - ;
    상기 제1 센서 신호 및 상기 제2 센서 신호에 적어도 부분적으로 기초하여 신호를 생성하기 위한 프로그램 코드 - 상기 신호는 액추에이터가 촉각 효과를 출력하게 야기하도록 구성됨 - ; 및
    상기 신호를 출력하기 위한 프로그램 코드
    를 포함하는 컴퓨터 판독 가능 매체.
KR1020120124681A 2011-11-07 2012-11-06 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들 KR102104463B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/290,502 US9582178B2 (en) 2011-11-07 2011-11-07 Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US13/290,502 2011-11-07

Publications (2)

Publication Number Publication Date
KR20130050251A true KR20130050251A (ko) 2013-05-15
KR102104463B1 KR102104463B1 (ko) 2020-04-24

Family

ID=47177787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120124681A KR102104463B1 (ko) 2011-11-07 2012-11-06 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (3) US9582178B2 (ko)
EP (2) EP3441866A1 (ko)
JP (3) JP6329723B2 (ko)
KR (1) KR102104463B1 (ko)
CN (2) CN107608518A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9997148B2 (en) 2015-10-20 2018-06-12 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method of sound modulation using touch screen with pressure sensor
US10248204B2 (en) 2014-04-01 2019-04-02 Canon Kabushiki Kaisha Tactile stimulus control apparatus, tactile stimulus control method, and storage medium

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US8426716B2 (en) * 2011-01-07 2013-04-23 Apple Inc. Intelligent keyboard interface for virtual musical instrument
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130093719A1 (en) * 2011-10-17 2013-04-18 Sony Mobile Communications Japan, Inc. Information processing apparatus
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN104471521B (zh) 2012-05-09 2018-10-23 苹果公司 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
AU2013259613B2 (en) 2012-05-09 2016-07-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
KR20140036846A (ko) * 2012-09-18 2014-03-26 삼성전자주식회사 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법
CN109375853A (zh) 2012-12-29 2019-02-22 苹果公司 对用户界面分级结构导航的设备、方法和图形用户界面
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR101812329B1 (ko) 2012-12-29 2017-12-26 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2912542B1 (en) * 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR102178845B1 (ko) 2013-01-29 2020-11-13 삼성전자주식회사 햅틱을 제어하는 휴대 단말 및 방법
US20140237408A1 (en) * 2013-02-15 2014-08-21 Flatfrog Laboratories Ab Interpretation of pressure based gesture
US9436282B2 (en) * 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
WO2014143675A1 (en) * 2013-03-15 2014-09-18 Tk Holdings Inc. Human machine interfaces for pressure sensitive control in a distracted operating environment and method of using the same
US20140267114A1 (en) * 2013-03-15 2014-09-18 Tk Holdings, Inc. Adaptive human machine interfaces for pressure sensitive control in a distracted operating environment and method of using the same
WO2014146164A1 (en) * 2013-03-22 2014-09-25 Lifi Labs Inc Color selection
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
US9672553B2 (en) 2013-04-15 2017-06-06 Ebay Inc. Searchable texture index
WO2014190293A2 (en) * 2013-05-24 2014-11-27 New York University Haptic force-feedback for computing interfaces
CN105452992B (zh) 2013-05-30 2019-03-08 Tk控股公司 多维触控板
EP3008550A1 (en) 2013-06-11 2016-04-20 Immersion Corporation Systems and methods for pressure-based haptic effects
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
JP6352918B2 (ja) * 2013-08-01 2018-07-04 株式会社ニコン 電子機器、および電子機器の制御プログラム
US10037081B2 (en) 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
JP6095527B2 (ja) * 2013-09-04 2017-03-15 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、そのデータ処理方法、およびコンピュータが実行可能なプログラム
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9207764B2 (en) * 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
KR102201731B1 (ko) * 2013-09-26 2021-01-12 엘지전자 주식회사 택타일 피드백을 발생하는 디스플레이 디바이스 및 그 제어 방법
CN105637447B (zh) 2013-10-08 2019-09-20 Tk控股公司 用于将触觉能量直接传送到触摸表面的装置和方法
US10047912B2 (en) 2013-10-15 2018-08-14 LIFI Labs, Inc. Lighting assembly
US9223451B1 (en) 2013-10-25 2015-12-29 Google Inc. Active capacitive sensing on an HMD
US11455884B2 (en) 2014-09-02 2022-09-27 LIFI Labs, Inc. Lighting system
WO2015073890A1 (en) 2013-11-14 2015-05-21 LIFI Labs, Inc. Resettable lighting system and method
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
FR3015108B1 (fr) * 2013-12-13 2019-05-31 Dav Controle d'actionneurs d'une surface de commande sensitive a retour haptique
FR3015381B1 (fr) * 2013-12-19 2016-01-29 Dav Dispositif de controle pour vehicule automobile et procede de commande
FR3015714B1 (fr) * 2013-12-19 2017-04-21 Dav Interface homme machine permettant de commander au moins deux fonctions d'un vehicule automobile
WO2015108479A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Light coupling in tir-based optical touch systems
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
US8941500B1 (en) 2014-01-23 2015-01-27 Google Inc. Somatosensory type notification alerts
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP3120223A1 (en) * 2014-03-21 2017-01-25 Immersion Corporation System, method and computer-readable medium for force-based object manipulation and haptic sensations
US10032345B2 (en) * 2014-04-02 2018-07-24 Immersion Corporation Wearable device with flexibly mounted haptic output device
US10133351B2 (en) * 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
CN106465499B (zh) 2014-05-22 2018-11-30 莱弗实验室公司 定向照明***和方法
WO2015199602A1 (en) 2014-06-27 2015-12-30 Flatfrog Laboratories Ab Detection of surface contamination
US9203951B1 (en) * 2014-07-03 2015-12-01 International Business Machines Corporation Mobile telephone adapted for use with one hand
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
US10552009B2 (en) 2014-09-02 2020-02-04 Apple Inc. Stopwatch and timer user interfaces
US10466826B2 (en) 2014-10-08 2019-11-05 Joyson Safety Systems Acquisition Llc Systems and methods for illuminating a track pad system
CN105630365A (zh) * 2014-10-29 2016-06-01 深圳富泰宏精密工业有限公司 网页调整方法及***
DE102015200036A1 (de) 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zur Eingabe von Daten mit zwei Eingabearten und haptischer Rückkopplung
JP2016133913A (ja) * 2015-01-16 2016-07-25 ソニー株式会社 入力装置
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3537269A1 (en) 2015-02-09 2019-09-11 FlatFrog Laboratories AB Optical touch system
EP3265855A4 (en) 2015-03-02 2018-10-31 FlatFrog Laboratories AB Optical component for light coupling
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
JP6176284B2 (ja) * 2015-05-28 2017-08-09 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) * 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) * 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
KR101749933B1 (ko) * 2015-11-12 2017-06-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN105469003B (zh) * 2015-11-25 2017-06-23 小米科技有限责任公司 屏幕保护方法及装置
EP3387516B1 (en) 2015-12-09 2022-04-20 FlatFrog Laboratories AB Improved stylus identification
JP6645517B2 (ja) * 2016-01-08 2020-02-14 富士通株式会社 電子機器、及び、電子機器の駆動方法
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10747337B2 (en) * 2016-04-26 2020-08-18 Bragi GmbH Mechanical detection of a touch movement using a sensor and a special surface pattern system and method
US10585480B1 (en) * 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
WO2018000382A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 一种查看应用程序的图形用户界面、方法及终端
JP2018032075A (ja) * 2016-08-22 2018-03-01 キヤノン株式会社 表示制御装置およびその制御方法
KR102559407B1 (ko) * 2016-10-19 2023-07-26 삼성전자주식회사 영상을 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN107992259A (zh) * 2016-10-27 2018-05-04 中兴通讯股份有限公司 运动参数的确定方法及装置
US10440794B2 (en) 2016-11-02 2019-10-08 LIFI Labs, Inc. Lighting system and method
US10258859B2 (en) * 2016-11-03 2019-04-16 Ronald J. Meetin Information-presentation structure with visible record of color-changed print area at impact location
US10258825B2 (en) * 2016-11-03 2019-04-16 Ronald J. Meetin Information-presentation structure with separate impact-sensitive and color-change components
US10258860B2 (en) * 2016-11-03 2019-04-16 Ronald J. Meetin Information-presentation structure with compensation to increase size of color-changed print area
EP3545392A4 (en) 2016-11-24 2020-07-29 FlatFrog Laboratories AB AUTOMATIC TACTILE SIGNAL OPTIMIZATION
LT3667475T (lt) 2016-12-07 2022-11-10 Flatfrog Laboratories Ab Lenktas jutiklinis aparatas
US10416768B2 (en) * 2016-12-28 2019-09-17 Immersion Corporation Unitary sensor and haptic actuator
US20180350337A1 (en) * 2017-01-19 2018-12-06 Eric Netherland Electronic musical instrument with separate pitch and articulation control
EP3458946B1 (en) 2017-02-06 2020-10-21 FlatFrog Laboratories AB Optical coupling in touch-sensing systems
US10481737B2 (en) 2017-03-22 2019-11-19 Flatfrog Laboratories Ab Pen differentiation for touch display
EP3602259A4 (en) 2017-03-28 2021-01-20 FlatFrog Laboratories AB TOUCH DETECTION DEVICE AND ITS ASSEMBLY PROCESS
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
JP2018194924A (ja) * 2017-05-12 2018-12-06 アルプス電気株式会社 入力装置
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10725647B2 (en) * 2017-07-14 2020-07-28 Microsoft Technology Licensing, Llc Facilitating interaction with a computing device based on force of touch
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
WO2019045629A1 (en) 2017-09-01 2019-03-07 Flatfrog Laboratories Ab IMPROVED OPTICAL COMPONENT
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US20190317655A1 (en) * 2018-04-12 2019-10-17 Capital One Services, Llc Systems and methods for assisting user interactions with displays
KR102625313B1 (ko) 2018-05-07 2024-01-16 애플 인크. 라이브 비디오 피드들 및 기록된 비디오를 보기 위한 사용자 인터페이스들
GB2574589B (en) 2018-06-06 2020-12-23 Cambridge Touch Tech Ltd Pressure sensing apparatus and method
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10775894B2 (en) * 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
KR20210151192A (ko) 2019-04-17 2021-12-13 애플 인크. 아이템을 추적하고 찾기 위한 사용자 인터페이스
CN114637418A (zh) 2019-04-28 2022-06-17 苹果公司 生成与对象相关联的触觉输出序列
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
EP4231124A1 (en) 2019-05-31 2023-08-23 Apple Inc. User interfaces for audio media control
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
KR20210046256A (ko) 2019-10-18 2021-04-28 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그 제조방법
US11422629B2 (en) 2019-12-30 2022-08-23 Joyson Safety Systems Acquisition Llc Systems and methods for intelligent waveform interruption
US11893189B2 (en) 2020-02-10 2024-02-06 Flatfrog Laboratories Ab Touch-sensing apparatus
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN116634377A (zh) 2020-09-25 2023-08-22 苹果公司 用于跟踪和查找物品的用户界面
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기

Family Cites Families (408)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3919691A (en) 1971-05-26 1975-11-11 Bell Telephone Labor Inc Tactile man-machine communication system
US3875488A (en) 1973-02-15 1975-04-01 Raytheon Co Inertially stabilized gimbal platform
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US3923166A (en) 1973-10-11 1975-12-02 Nasa Remote manipulator system
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4000383A (en) 1975-06-20 1976-12-28 Amp Incorporated Rocker switch having slidable contact carriage biased by positive detent structure
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4127752A (en) 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4311980A (en) 1978-10-12 1982-01-19 Fabrica Italiana Magneti Marelli, S.P.A. Device for pressure measurement using a resistor strain gauge
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4221941A (en) 1979-01-08 1980-09-09 Gte Sylvania Wiring Devices Incorporated Rocker switch having improved contact-operating means
US4334280A (en) 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
NL8006091A (nl) 1980-11-07 1982-06-01 Fokker Bv Vluchtnabootser.
US4362408A (en) 1980-12-01 1982-12-07 Ncr Corporation Means for avoiding accidental actuation of a critical function key
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
US4436188A (en) 1981-11-18 1984-03-13 Jones Cecil R Controlled motion apparatus
DE3382431D1 (de) 1982-01-22 1991-11-14 British Aerospace Steuerungsgeraet.
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4383154A (en) 1982-09-03 1983-05-10 Carlingswitch, Inc. Positive action rocker switch
US4560983A (en) 1982-09-17 1985-12-24 Ampex Corporation Dynamically interactive responsive control device and system
US4477043A (en) 1982-12-15 1984-10-16 The United States Of America As Represented By The Secretary Of The Air Force Biodynamic resistant control stick
GB2142711A (en) 1983-07-04 1985-01-23 Philips Electronic Associated Manually operable x-y signal generator
US4604016A (en) 1983-08-03 1986-08-05 Joyce Stephen A Multi-dimensional force-torque hand controller having force feedback
JPS60159500U (ja) 1984-03-31 1985-10-23 星野楽器株式会社 電子ドラムのパツド
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US4603284A (en) 1984-06-05 1986-07-29 Unimation, Inc. Control system for manipulator apparatus with resolved compliant motion control
SE443057B (sv) 1984-08-09 1986-02-10 Tecator Ab Anordning och sett for registrering av en utmed en strecka gjord analog legesangivelse som en digital signal
US4794384A (en) 1984-09-27 1988-12-27 Xerox Corporation Optical translator device
US4935728A (en) 1985-01-02 1990-06-19 Altra Corporation Computer control
US4782327A (en) 1985-01-02 1988-11-01 Victor B. Kley Computer control
US4791416A (en) 1985-02-05 1988-12-13 Zenith Electronics Corporation Touch control system for controllable apparatus
JPH0537531Y2 (ko) 1985-06-11 1993-09-22
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US5103404A (en) 1985-12-06 1992-04-07 Tensor Development, Inc. Feedback for a manipulator
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
NL8600453A (nl) 1986-02-24 1987-09-16 Tieman F J Bv Op de tastzin werkende weergeefinrichting en werkwijze voor de vervaardiging daarvan.
JPH085018B2 (ja) 1986-02-26 1996-01-24 株式会社日立製作所 遠隔マニピユレ−シヨン方法及び装置
AT387100B (de) 1986-05-06 1988-11-25 Siemens Ag Oesterreich Taktiles punktschrift- bzw. bilddisplay
US4823106A (en) 1986-07-10 1989-04-18 Tapeswitch Corporation Of America Tape element and methods, for heating, pressure measurement and circuit fabrication
JPH048381Y2 (ko) 1986-07-10 1992-03-03
US4689449A (en) 1986-10-03 1987-08-25 Massachusetts Institute Of Technology Tremor suppressing hand controls
NL8602624A (nl) 1986-10-20 1988-05-16 Oce Nederland Bv Invoerinrichting met taktiele terugkoppeling.
US4795296A (en) 1986-11-17 1989-01-03 California Institute Of Technology Hand-held robot end effector controller having movement and force control
JPH0829509B2 (ja) 1986-12-12 1996-03-27 株式会社日立製作所 マニピユレ−タの制御装置
US4821030A (en) 1986-12-19 1989-04-11 Tektronix, Inc. Touchscreen feedback system
US4800721A (en) 1987-02-13 1989-01-31 Caterpillar Inc. Force feedback lever
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
US5986643A (en) 1987-03-24 1999-11-16 Sun Microsystems, Inc. Tactile feedback mechanism for a data processing system
US4839838A (en) 1987-03-30 1989-06-13 Labiche Mitchell Spatial input apparatus
GB2204131B (en) 1987-04-28 1991-04-17 Ibm Graphics input tablet
US4868549A (en) 1987-05-18 1989-09-19 International Business Machines Corporation Feedback mouse
US4840634A (en) 1987-06-10 1989-06-20 Clayton Foundation For Research Calibration controller for controlling electrically operated machines
US4896554A (en) 1987-11-03 1990-01-30 Culver Craig F Multifunction tactile manipulatable control
US4823634A (en) 1987-11-03 1989-04-25 Culver Craig F Multifunction tactile manipulatable control
US4906843A (en) 1987-12-31 1990-03-06 Marq Technolgies Combination mouse, optical scanner and digitizer puck
GB8801951D0 (en) 1988-01-29 1988-02-24 British Aerospace Control apparatus
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4861269A (en) 1988-03-30 1989-08-29 Grumman Aerospace Corporation Sidestick flight control simulator
US4885565A (en) 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
US4926879A (en) 1988-06-13 1990-05-22 Sevrain-Tech, Inc. Electro-tactile stimulator
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US5116180A (en) 1988-07-18 1992-05-26 Spar Aerospace Limited Human-in-the-loop machine control loop
FR2638010B1 (fr) 1988-10-13 1991-01-18 Acroe Clavier retroactif modulaire et actionneur modulaire plat
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
US5044956A (en) 1989-01-12 1991-09-03 Atari Games Corporation Control device such as a steering wheel for video vehicle simulator with realistic feedback forces
US4949119A (en) 1989-01-12 1990-08-14 Atari Games Corporation Gearshift for a vehicle simulator using computer controlled realistic real world forces
US5116051A (en) 1989-01-12 1992-05-26 Atari Games Corporation Strain gauge pressure-sensitive video game control
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
JPH0721710B2 (ja) 1989-01-25 1995-03-08 ヤマハ株式会社 パッド付電子鍵盤楽器
US5186695A (en) 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
GB8904955D0 (en) 1989-03-03 1989-04-12 Atomic Energy Authority Uk Multi-axis hand controller
US4983901A (en) 1989-04-21 1991-01-08 Allergan, Inc. Digital electronic foot control for medical apparatus and the like
US5076517A (en) 1989-08-14 1991-12-31 United Technologies Corporation Programmable, linear collective control system for a helicopter
US5004391A (en) 1989-08-21 1991-04-02 Rutgers University Portable dextrous force feedback master for robot telemanipulation
US5390296A (en) 1989-08-30 1995-02-14 Comshare Incorporated Method and apparatus for calculation with display data
US5121091A (en) 1989-09-08 1992-06-09 Matsushita Electric Industrial Co., Ltd. Panel switch
US5139261A (en) 1989-09-15 1992-08-18 Openiano Renato M Foot-actuated computer game controller serving as a joystick
US5182557A (en) 1989-09-20 1993-01-26 Semborg Recrob, Corp. Motorized joystick
US5065145A (en) 1989-10-06 1991-11-12 Summagraphics Corporation Method and apparatus for producing signals corresponding to the position of a cursor
US4961038A (en) 1989-10-16 1990-10-02 General Electric Company Torque estimator for switched reluctance machines
GB2239376A (en) 1989-12-18 1991-06-26 Ibm Touch sensitive display
US5107080A (en) 1989-12-01 1992-04-21 Massachusetts Institute Of Technology Multiple degree of freedom damped hand controls
JPH0724147Y2 (ja) 1989-12-28 1995-06-05 株式会社平和 パチンコ機の飛距離調整装置
US4983786A (en) 1990-01-17 1991-01-08 The University Of British Columbia XY velocity controller
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
US5184319A (en) 1990-02-02 1993-02-02 Kramer James F Force feedback and textures simulating interface device
US5241308A (en) 1990-02-22 1993-08-31 Paragon Systems, Inc. Force sensitive touch panel
GB9004690D0 (en) 1990-03-02 1990-04-25 Black & Decker Inc Flange mounting arrangement
US5095303A (en) 1990-03-27 1992-03-10 Apple Computer, Inc. Six degree of freedom graphic object controller
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
US5022384A (en) 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
GB9014130D0 (en) 1990-06-25 1990-08-15 Hewlett Packard Co User interface
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5197003A (en) 1990-08-01 1993-03-23 Atari Games Corporation Gearshift for a vehicle simulator having a solenoid for imposing a resistance force
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5053585A (en) 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US5193963A (en) 1990-10-31 1993-03-16 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Force reflecting hand controller
JP3219761B2 (ja) 1990-11-19 2001-10-15 ソニー株式会社 リモートコマンダー
NL194053C (nl) 1990-12-05 2001-05-03 Koninkl Philips Electronics Nv Inrichting met een rotatiesymmetrisch lichaam.
US5223776A (en) 1990-12-31 1993-06-29 Honeywell Inc. Six-degree virtual pivot controller
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5354162A (en) 1991-02-26 1994-10-11 Rutgers University Actuator system for providing force feedback to portable master support
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
WO1992016922A1 (en) 1991-03-21 1992-10-01 Atari Games Corporation Vehicle simulator including cross-network feedback
US5203563A (en) 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
US5341459A (en) 1991-05-09 1994-08-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Generalized compliant motion primitive
WO1992021117A1 (en) 1991-05-23 1992-11-26 Atari Games Corporation Modular display simulator
US5146566A (en) 1991-05-29 1992-09-08 Ibm Corporation Input/output system for computer user interface using magnetic levitation
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5185561A (en) 1991-07-23 1993-02-09 Digital Equipment Corporation Torque motor as a tactile feedback device in a computer system
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5186629A (en) 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5235868A (en) 1991-10-02 1993-08-17 Culver Craig F Mechanism for generating control signals
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5220260A (en) 1991-10-24 1993-06-15 Lex Computer And Management Corporation Actuator having electronically controllable tactile responsiveness
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5335557A (en) 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
US6597347B1 (en) 1991-11-26 2003-07-22 Itu Research Inc. Methods and apparatus for providing touch-sensitive input in multiple degrees of freedom
US5402680A (en) 1991-12-10 1995-04-04 Canon Kabushiki Kaisha Velocity sensor and semiconductor exposing apparatus using such a sensor
US5471571A (en) 1991-12-27 1995-11-28 Xerox Corporation Method and apparatus for setting a graphical object's position and orientation with viscous dragging
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
EP0556999B1 (en) 1992-02-18 1998-05-27 NCR International, Inc. Data processing apparatus with user input feedback
DE4205875A1 (de) 1992-02-26 1993-09-02 Vdo Schindling Bedienvorrichtung
US5589828A (en) 1992-03-05 1996-12-31 Armstrong; Brad A. 6 Degrees of freedom controller with capability of tactile feedback
US6347997B1 (en) 1997-10-01 2002-02-19 Brad A. Armstrong Analog controls housed with electronic displays
US6344791B1 (en) 1998-07-24 2002-02-05 Brad A. Armstrong Variable sensor with tactile feedback
US5246316A (en) 1992-03-06 1993-09-21 Excellon Automation Work table orientation apparatus and method
EP0563477A1 (en) 1992-03-25 1993-10-06 Visage Inc. Touch screen sensing apparatus
JP3199130B2 (ja) 1992-03-31 2001-08-13 パイオニア株式会社 ３次元座標入力装置
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5302132A (en) 1992-04-01 1994-04-12 Corder Paul R Instructional system and method for improving communication skills
US5189355A (en) 1992-04-10 1993-02-23 Ampex Corporation Interactive rotary controller system with tactile feedback
JP2677315B2 (ja) 1992-04-27 1997-11-17 株式会社トミー 運転玩具
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5313230A (en) 1992-07-24 1994-05-17 Apple Computer, Inc. Three degree of freedom graphic object controller
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5402499A (en) 1992-08-07 1995-03-28 Lsi Logic Corporation Multimedia controller
AU658066B2 (en) 1992-09-10 1995-03-30 Deere & Company Neural network based control system
US6008800A (en) 1992-09-18 1999-12-28 Pryor; Timothy R. Man machine interfaces for entering data into a computer
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US5264768A (en) 1992-10-06 1993-11-23 Honeywell, Inc. Active hand controller feedback loop
US5286203A (en) 1992-10-07 1994-02-15 Aai Microflite Simulation International Simulating horizontal stabilizer trimming in an aircraft
US5666473A (en) 1992-10-08 1997-09-09 Science & Technology Corporation & Unm Tactile computer aided sculpting device
JP2804937B2 (ja) 1992-10-15 1998-09-30 矢崎総業株式会社 システムスイッチ装置
US5790108A (en) 1992-10-23 1998-08-04 University Of British Columbia Controller
US5382768A (en) 1992-11-13 1995-01-17 Leviton Manufacturing Co., Inc. Rocker-type electrical switch
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5769640A (en) 1992-12-02 1998-06-23 Cybernet Systems Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5389865A (en) 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
FI92111C (fi) 1992-12-11 1994-09-26 Icl Personal Systems Oy Menetelmä ja järjestely kohdistimen siirtämiseksi tietokoneen näytöllä
US5355148A (en) 1993-01-14 1994-10-11 Ast Research, Inc. Fingerpoint mouse
US5451924A (en) 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5389849A (en) 1993-01-20 1995-02-14 Olympus Optical Co., Ltd. Tactility providing apparatus and manipulating device using the same
EP0607580A1 (en) 1993-01-21 1994-07-27 International Business Machines Corporation Tactile feedback mechanism for cursor control
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5390128A (en) 1993-04-12 1995-02-14 Cargill Detroit Corporation Robotic processing and inspection system
EP0626614B1 (en) 1993-05-26 1999-08-04 Agfa-Gevaert N.V. A red-sensitive silver halide photographic material
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5396266A (en) 1993-06-08 1995-03-07 Technical Research Associates, Inc. Kinesthetic feedback apparatus and method
US5513100A (en) 1993-06-10 1996-04-30 The University Of British Columbia Velocity controller with force feedback stiffness control
US5436622A (en) 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
US5731804A (en) 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
US5721566A (en) 1995-01-18 1998-02-24 Immersion Human Interface Corp. Method and apparatus for providing damping force feedback
WO1995002801A1 (en) 1993-07-16 1995-01-26 Immersion Human Interface Three-dimensional mechanical mouse
US5805140A (en) 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US5739811A (en) 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
US5491477A (en) 1993-09-13 1996-02-13 Apple Computer, Inc. Anti-rotation mechanism for direct manipulation position input controller for computer
US5625576A (en) 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
EP0660258B1 (en) 1993-12-20 2000-03-08 Seiko Epson Corporation Electronic pointing device
US5473235A (en) 1993-12-21 1995-12-05 Honeywell Inc. Moment cell counterbalance for active hand controller
US5461711A (en) 1993-12-22 1995-10-24 Interval Research Corporation Method and system for spatial accessing of time-based information
JPH07111663B2 (ja) 1993-12-28 1995-11-29 コナミ株式会社 操作用フットペダル
US5473344A (en) 1994-01-06 1995-12-05 Microsoft Corporation 3-D cursor positioning device
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
CA2140164A1 (en) 1994-01-27 1995-07-28 Kenneth R. Robertson System and method for computer cursor control
WO1995020788A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Intelligent remote multimode sense and display system utilizing haptic information compression
US5514150A (en) 1994-03-03 1996-05-07 Lsi Logic Corporation Micromachined conveyor devices
US5564004A (en) 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
JP2665313B2 (ja) 1994-04-22 1997-10-22 国際電業株式会社 反力発生装置
US5570778A (en) 1994-04-26 1996-11-05 Leviton Manufacturing Co., Inc. Electrical rocker switch
US5836443A (en) 1994-04-26 1998-11-17 Leviton Manufacturing Co., Inc. Electrical rocker switch
US6004134A (en) 1994-05-19 1999-12-21 Exos, Inc. Interactive simulation including force feedback
US5521336A (en) 1994-05-23 1996-05-28 International Business Machines Corporation Simplified digital pad sensor
US5457479A (en) 1994-06-13 1995-10-10 Primax Electronics Ltd. Apparatus having dual modes for controlling cursor on display screen
FI96730C (fi) 1994-06-17 1996-08-12 Nokia Mobile Phones Ltd Matkapuhelin tärinähälyttimellä
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5565887A (en) 1994-06-29 1996-10-15 Microsoft Corporation Method and apparatus for moving a cursor on a computer screen
US5623582A (en) 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
US5496174A (en) 1994-08-04 1996-03-05 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method and device for producing a tactile display using an electrorheological fluid
US5530455A (en) 1994-08-10 1996-06-25 Mouse Systems Corporation Roller mouse for implementing scrolling in windows applications
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5642469A (en) 1994-11-03 1997-06-24 University Of Washington Direct-drive manipulator for pen-based force display
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US5666138A (en) 1994-11-22 1997-09-09 Culver; Craig F. Interface control
JP3236180B2 (ja) 1994-12-05 2001-12-10 日本電気株式会社 座標指示装置
JPH08235159A (ja) 1994-12-06 1996-09-13 Matsushita Electric Ind Co Ltd 逆コサイン変換装置
US5591082A (en) 1995-01-05 1997-01-07 Thrustmaster, Inc. Side-mounted throttle and weapons controller for computer video games and flight simulation
EP0760118B1 (en) 1995-03-13 2002-07-03 Koninklijke Philips Electronics N.V. Vertical translation of mouse or trackball enables truly 3d input
US5542672A (en) 1995-03-17 1996-08-06 Meredith; Chris Fishing rod and reel electronic game controller
US5882206A (en) 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
KR100429078B1 (ko) 1995-05-10 2004-04-29 닌텐도가부시키가이샤 아날로그 조이스틱을 구비한 조작장치
US5736978A (en) 1995-05-26 1998-04-07 The United States Of America As Represented By The Secretary Of The Air Force Tactile graphics display
US5691898A (en) 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US6166723A (en) 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
US5589854A (en) 1995-06-22 1996-12-31 Tsai; Ming-Chang Touching feedback device
US5724106A (en) 1995-07-17 1998-03-03 Gateway 2000, Inc. Hand held remote control device with trigger button
US5771037A (en) 1995-07-24 1998-06-23 Altra Computer display cursor controller
DE19528457C2 (de) 1995-08-03 2001-03-08 Mannesmann Vdo Ag Bedieneinrichtung
US5805165A (en) 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
JPH0982177A (ja) 1995-09-08 1997-03-28 Toyo Denso Co Ltd スイッチ
US5808601A (en) 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
JPH09167050A (ja) 1995-10-09 1997-06-24 Nintendo Co Ltd 操作装置およびそれを用いる画像処理システム
DE69628727T2 (de) 1995-10-09 2004-05-13 Nintendo Co., Ltd. System zum bearbeiten von dreidimensionalen bildinformationen
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US5754023A (en) 1995-10-26 1998-05-19 Cybernet Systems Corporation Gyro-stabilized platforms for force-feedback applications
US5896125A (en) 1995-11-06 1999-04-20 Niedzwiecki; Richard H. Configurable keyboard to personal computer video game controller adapter
US6473069B1 (en) 1995-11-13 2002-10-29 Cirque Corporation Apparatus and method for tactile feedback from input device
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
US6100874A (en) 1995-11-17 2000-08-08 Immersion Corporation Force feedback mouse interface
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US5877748A (en) 1995-11-20 1999-03-02 Redlich; Sanford I. Computer control input interface system
US6061004A (en) 1995-11-26 2000-05-09 Immersion Corporation Providing force feedback using an interface device including an indexing function
JP2000501033A (ja) 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6147674A (en) 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US5760764A (en) 1995-12-13 1998-06-02 Altra Computer display cursor controller with serial interface
US6078308A (en) 1995-12-13 2000-06-20 Immersion Corporation Graphical click surfaces for force feedback applications to provide user selection using cursor interaction with a trigger position within a boundary of a graphical object
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US5914705A (en) 1996-02-09 1999-06-22 Lucent Technologies Inc. Apparatus and method for providing detent-like tactile feedback
SE519661C2 (sv) 1996-02-23 2003-03-25 Immersion Corp Pekdon och förfarande för markering av grafiska detaljer på en display med sensorisk återkoppling vid påträffande av nämnda detalj
US5642806A (en) 1996-03-07 1997-07-01 Eaton Corporation Rocker actuated switch assembly
DE19646226A1 (de) 1996-03-19 1998-05-14 Bayerische Motoren Werke Ag Bedienvorrichtung für menügesteuerte Funktionen eines Fahrzeugs
US5914708A (en) 1996-04-04 1999-06-22 Cirque Corporation Computer input stylus method and apparatus
US6111577A (en) 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US5823876A (en) 1996-05-03 1998-10-20 Unbehand; Erick Michael Steering wheel simulation assembly
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US5857986A (en) 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
US5802353A (en) 1996-06-12 1998-09-01 General Electric Company Haptic computer modeling system
US5791992A (en) 1996-07-31 1998-08-11 International Business Machines Corporation Video game system with internet cartridge
US6125385A (en) 1996-08-01 2000-09-26 Immersion Corporation Force feedback implementation in web pages
US5943044A (en) 1996-08-05 1999-08-24 Interlink Electronics Force sensing semiconductive touchpad
US5821921A (en) 1996-08-09 1998-10-13 Osborn; John J. Cursor controller having cross-translating platforms with a cantilevered handle
US5990869A (en) 1996-08-20 1999-11-23 Alliance Technologies Corp. Force feedback mouse
US5694013A (en) 1996-09-06 1997-12-02 Ford Global Technologies, Inc. Force feedback haptic interface for a three-dimensional CAD surface
US6024576A (en) 1996-09-06 2000-02-15 Immersion Corporation Hemispherical, high bandwidth mechanical interface for computer systems
US6140987A (en) 1996-09-18 2000-10-31 Intellinet, Inc. User interface for home automation system
DE19638015A1 (de) 1996-09-18 1998-03-26 Mannesmann Vdo Ag Verfahren zur Erzeugung von haptischen Markierungen auf einer Eingabefläche und Anordnung zur Durchführung des Verfahrens
JP3263012B2 (ja) 1996-10-01 2002-03-04 株式会社ソニー・コンピュータエンタテインメント ゲーム機用操作装置
GB9622556D0 (en) 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US6636197B1 (en) 1996-11-26 2003-10-21 Immersion Corporation Haptic feedback effects for control, knobs and other interface devices
US6128006A (en) 1998-03-26 2000-10-03 Immersion Corporation Force feedback mouse wheel and other control wheels
US5912661A (en) 1997-01-14 1999-06-15 Microsoft Corp. Z-encoder mechanism
GB9701793D0 (en) 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
JP3638071B2 (ja) 1997-01-31 2005-04-13 矢崎総業株式会社 システムスイッチ
US5808603A (en) 1997-02-06 1998-09-15 Chen; Mei Yun Computer input device
AU2392597A (en) 1997-04-02 1998-10-22 Aaron Ittah Payment instrument on all types of networks and particularly on internet
US6118435A (en) 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
US6020876A (en) 1997-04-14 2000-02-01 Immersion Corporation Force feedback interface with selective disturbance filter
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
DE19718979B4 (de) 1997-05-05 2007-11-08 Delphi Technologies, Inc., Troy Multifunktionstastschalter
US6339201B1 (en) 1997-05-30 2002-01-15 Leviton Manufacturing Co., Inc. Four function electrical rocker switch
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
US5803243A (en) 1997-07-25 1998-09-08 General Motors Corporation Latching rocker switch
US6097964A (en) 1997-09-04 2000-08-01 Nokia Mobile Phones Limited Navigation key for a handset
US6067871A (en) 1997-09-12 2000-05-30 Eaton Corporation Variable resistance shift rail detent assembly and shift control method employing same
GB2329300B (en) 1997-09-16 2002-07-17 Nokia Mobile Phones Ltd Mobile telephone with handwritten data input
US6002184A (en) 1997-09-17 1999-12-14 Coactive Drive Corporation Actuator with opposing repulsive magnetic forces
US5887995A (en) 1997-09-23 1999-03-30 Compaq Computer Corporation Touchpad overlay with tactile response
US5917906A (en) 1997-10-01 1999-06-29 Ericsson Inc. Touch pad with tactile feature
US6243078B1 (en) 1998-06-23 2001-06-05 Immersion Corporation Pointing device with forced feedback button
US6088019A (en) 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6198206B1 (en) 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
US6078126A (en) 1998-05-29 2000-06-20 Motorola, Inc. Resonant piezoelectric alerting device
US5977867A (en) 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
US5945772A (en) 1998-05-29 1999-08-31 Motorla, Inc. Damped resonant piezoelectric alerting device
US6369803B2 (en) 1998-06-12 2002-04-09 Nortel Networks Limited Active edge user interface
US6184868B1 (en) 1998-09-17 2001-02-06 Immersion Corp. Haptic feedback control devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6262717B1 (en) 1998-07-02 2001-07-17 Cirque Corporation Kiosk touch pad
US6243080B1 (en) 1998-07-14 2001-06-05 Ericsson Inc. Touch-sensitive panel with selector
US6292173B1 (en) 1998-09-11 2001-09-18 Stmicroelectronics S.R.L. Touchpad computer input system and method
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6225976B1 (en) 1998-10-30 2001-05-01 Interlink Electronics, Inc. Remote computer input peripheral
US6218966B1 (en) 1998-11-05 2001-04-17 International Business Machines Corporation Tactile feedback keyboard
AU1055299A (en) 1998-11-12 2000-06-05 Min Chul Shin Computer mouse
US6469695B1 (en) 1999-01-28 2002-10-22 Ncr Corporation Method and apparatus for touch screen touch ahead capability
US6781569B1 (en) 1999-06-11 2004-08-24 Immersion Corporation Hand controller
JP2000299575A (ja) 1999-04-12 2000-10-24 Sony Corp 入力装置
US6389302B1 (en) 1999-04-28 2002-05-14 Ericsson Inc. Methods and apparatus for causing wireless communication devices to vibrate via piezo-ceramic vibrators
US7151528B2 (en) 1999-06-22 2006-12-19 Cirque Corporation System for disposing a proximity sensitive touchpad behind a mobile phone keypad
US6130393A (en) 1999-06-24 2000-10-10 Defond Manufacturing Ltd. Electrical rocker switch
US6368016B1 (en) 1999-07-13 2002-04-09 Wacker Corporation Concrete finishing trowel having an electronically actuated steering assembly
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
MXPA02001014A (es) 1999-07-30 2002-08-12 Boehringer Ingelheim Pharma Nuevos compuestos derivados de succinato utiles como inhibidores de cisteina-proteasa.
JP2001076582A (ja) 1999-09-01 2001-03-23 Matsushita Electric Ind Co Ltd 電子機器
US6175090B1 (en) 1999-09-02 2001-01-16 Trw Inc. Rocker switch
AU1573301A (en) 1999-10-21 2001-04-30 Cirque Corporation Improved kiosk touchpad
US6388655B1 (en) 1999-11-08 2002-05-14 Wing-Keung Leung Method of touch control of an input device and such a device
FR2800966B1 (fr) 1999-11-10 2001-12-21 Jean Max Coudon Dispositif de stimulation tactile destine a etre utilise par une personne sourde
US6498601B1 (en) 1999-11-29 2002-12-24 Xerox Corporation Method and apparatus for selecting input modes on a palmtop computer
US6529122B1 (en) 1999-12-10 2003-03-04 Siemens Technology-To-Business Center, Llc Tactile sensor apparatus and methods
US6535201B1 (en) 1999-12-17 2003-03-18 International Business Machines Corporation Method and system for three-dimensional topographical modeling
US6509892B1 (en) 1999-12-17 2003-01-21 International Business Machines Corporation Method, system and program for topographical interfacing
US6414674B1 (en) 1999-12-17 2002-07-02 International Business Machines Corporation Data processing system and method including an I/O touch pad having dynamically alterable location indicators
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US6445284B1 (en) 2000-05-10 2002-09-03 Juan Manuel Cruz-Hernandez Electro-mechanical transducer suitable for tactile display and article conveyance
WO2001091100A1 (en) 2000-05-24 2001-11-29 Immersion Corporation Haptic devices using electroactive polymers
JP4420364B2 (ja) 2000-06-06 2010-02-24 Ｓｍｋ株式会社 タッチパネルの押圧感発生装置
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6639582B1 (en) 2000-08-10 2003-10-28 International Business Machines Corporation System for combining haptic sensory-motor effects from two separate input devices into resultant sensory-motor effects and for feedback of such resultant effects between the input devices
JP3943876B2 (ja) 2000-08-11 2007-07-11 アルプス電気株式会社 入力装置及びこれを備えた電子機器
DE10046099A1 (de) 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
AU2002213017A1 (en) 2000-10-10 2002-04-22 Motorola Inc., A Corporation Of The State Of Delaware Data entry device
DE10061619A1 (de) 2000-12-11 2002-06-20 Bosch Gmbh Robert Bedienvorrichtung
US7463249B2 (en) 2001-01-18 2008-12-09 Illinois Tool Works Inc. Acoustic wave touch actuated switch with feedback
US6641480B2 (en) 2001-01-29 2003-11-04 Microsoft Corporation Force feedback mechanism for gamepad device
US6543487B2 (en) 2001-02-08 2003-04-08 Air Logistics Corporation Method of securing a curing composite substrate wrap to a structure
JP2002259059A (ja) 2001-03-05 2002-09-13 Sony Corp 入力装置
US6844873B2 (en) 2001-03-09 2005-01-18 Peter W. Johnson Reverse cantilever assembly for input devices
US6885876B2 (en) 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
US6587091B2 (en) 2001-04-23 2003-07-01 Michael Lawrence Serpa Stabilized tactile output mechanism for computer interface devices
US6834373B2 (en) 2001-04-24 2004-12-21 International Business Machines Corporation System and method for non-visually presenting multi-part information pages using a combination of sonifications and tactile feedback
US6636202B2 (en) 2001-04-27 2003-10-21 International Business Machines Corporation Interactive tactile display for computer screen
US6801191B2 (en) 2001-04-27 2004-10-05 Matsushita Electric Industrial Co., Ltd. Input device and inputting method with input device
US6447069B1 (en) 2001-05-08 2002-09-10 Collins & Aikman Products Co. Quick connect/disconnect apparatus for removably securing armrests to vehicle seating assemblies
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
GB0114458D0 (en) 2001-06-14 2001-08-08 Lucas Industries Ltd An in-vehicle display system
US6657617B2 (en) 2001-06-25 2003-12-02 International Business Machines Corporation Method, apparatus and computer program product for three dimensional text creation
US20030022701A1 (en) 2001-07-25 2003-01-30 Aloke Gupta Buttonless communication device with touchscreen display
WO2003017244A1 (en) 2001-08-17 2003-02-27 Multidigit, Inc. System and method for selecting actions based on the identification of user's fingers
CA2398798A1 (en) 2001-08-28 2003-02-28 Research In Motion Limited System and method for providing tactility for an lcd touchscreen
DE10144634A1 (de) 2001-09-11 2003-04-10 Trw Automotive Electron & Comp Bediensystem
JP3798287B2 (ja) 2001-10-10 2006-07-19 Ｓｍｋ株式会社 タッチパネル入力装置
KR101289110B1 (ko) * 2001-11-01 2013-08-07 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
FI115861B (fi) 2001-11-12 2005-07-29 Myorigo Oy Menetelmä ja laite palautteen generoimiseksi
CN1559029A (zh) 2001-11-16 2004-12-29 米厄里戈公司 扩充式键盘
US7009595B2 (en) 2002-01-03 2006-03-07 United States Of America Extended refreshable tactile graphic array for scanned tactile display
US20030128191A1 (en) 2002-01-07 2003-07-10 Strasser Eric M. Dynamically variable user operable input device
US8004496B2 (en) 2002-01-08 2011-08-23 Koninklijke Philips Electronics N.V. User interface for electronic devices for controlling the displaying of long sorted lists
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
US6976562B1 (en) 2003-08-28 2005-12-20 Bte Technologies, Inc. Method of calibrating a brake system for stationary equipment and apparatus using the same
WO2006042309A1 (en) * 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7474983B2 (en) * 2005-01-05 2009-01-06 Massachusetts Institute Of Technology Method for object identification and sensing in a bounded interaction space
JP2009522669A (ja) * 2005-12-30 2009-06-11 アップル インコーポレイテッド マルチタッチ入力を備えた携帯電子装置
JP2008242367A (ja) * 2007-03-29 2008-10-09 Fuji Xerox Co Ltd 表示制御装置、表示装置、表示システム及びプログラム
WO2008131544A1 (en) * 2007-04-26 2008-11-06 University Of Manitoba Pressure augmented mouse
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US20090002328A1 (en) * 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8373549B2 (en) 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
CN106990811A (zh) * 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的***和方法
WO2010009552A1 (en) 2008-07-23 2010-01-28 Research In Motion Limited Tactile feedback for key simulation in touch screens
JP5100556B2 (ja) * 2008-07-30 2012-12-19 キヤノン株式会社 情報処理方法及び装置
US20100088654A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited Electronic device having a state aware touchscreen
US8957865B2 (en) * 2009-01-05 2015-02-17 Apple Inc. Device, method, and graphical user interface for manipulating a user interface object
JP2010211509A (ja) 2009-03-10 2010-09-24 Ricoh Co Ltd 入力装置及び画像形成装置
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US8253712B2 (en) * 2009-05-01 2012-08-28 Sony Ericsson Mobile Communications Ab Methods of operating electronic devices including touch sensitive interfaces using force/deflection sensing and related devices and computer program products
US20110014983A1 (en) * 2009-07-14 2011-01-20 Sony Computer Entertainment America Inc. Method and apparatus for multi-touch game commands
KR20190032632A (ko) * 2009-07-22 2019-03-27 임머숀 코퍼레이션 제어 제스처의 입력 동안에 가상 장비의 제어에 관한 복합 햅틱 자극을 제공하기 위한 시스템 및 방법
JP2011028524A (ja) * 2009-07-24 2011-02-10 Toshiba Corp 情報処理装置、プログラムおよびポインティング方法
US8378798B2 (en) 2009-07-24 2013-02-19 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP2011048606A (ja) 2009-08-27 2011-03-10 Kyocera Corp 入力装置
GB2490272B (en) 2009-12-21 2014-08-06 Promethean Ltd Multi-point contacts with pressure data on an interactive surface
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US9030419B1 (en) * 2010-09-28 2015-05-12 Amazon Technologies, Inc. Touch and force user interface navigation
US20120081337A1 (en) * 2010-10-04 2012-04-05 Sony Ericsson Mobile Communications Ab Active Acoustic Multi-Touch and Swipe Detection for Electronic Devices
US20120126941A1 (en) * 2010-11-19 2012-05-24 Research In Motion Limited Pressure password for a touchscreen device
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US9582178B2 (en) * 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
WO2013134441A2 (en) * 2012-03-06 2013-09-12 Apple Inc. Determining the characteristic of a played note on a virtual instrument
US20150077345A1 (en) * 2013-09-16 2015-03-19 Microsoft Corporation Simultaneous Hover and Touch Interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
KR20110086502A (ko) * 2010-01-22 2011-07-28 전자부품연구원 멀티 터치 압력에 기반한 ｕｉ 제공방법 및 이를 적용한 전자기기

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10248204B2 (en) 2014-04-01 2019-04-02 Canon Kabushiki Kaisha Tactile stimulus control apparatus, tactile stimulus control method, and storage medium
US9997148B2 (en) 2015-10-20 2018-06-12 Industry-Academic Cooperation Foundation, Yonsei University Apparatus and method of sound modulation using touch screen with pressure sensor

Also Published As

Publication number Publication date
US20190227629A1 (en) 2019-07-25
US10775895B2 (en) 2020-09-15
JP2013117951A (ja) 2013-06-13
EP2590067A3 (en) 2015-05-20
EP3441866A1 (en) 2019-02-13
CN103092406A (zh) 2013-05-08
EP2590067A2 (en) 2013-05-08
JP2018010659A (ja) 2018-01-18
KR102104463B1 (ko) 2020-04-24
JP2019204520A (ja) 2019-11-28
JP6329723B2 (ja) 2018-05-23
US20170131776A1 (en) 2017-05-11
CN103092406B (zh) 2017-10-24
JP6553136B2 (ja) 2019-07-31
US10152131B2 (en) 2018-12-11
US9582178B2 (en) 2017-02-28
US20130113715A1 (en) 2013-05-09
CN107608518A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
US10775895B2 (en) Systems and methods for multi-pressure interaction on touch-sensitive surfaces
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
JP6392747B2 (ja) ディスプレイ装置
JP6591805B2 (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
EP2406701B1 (en) System and method for using multiple actuators to realize textures
KR102224434B1 (ko) 햅틱 변환 수행 시스템 및 방법
CN104881175B (zh) 具有动态触觉效应的多触摸装置
US10564721B2 (en) Systems and methods for using multiple actuators to realize textures
US20180011538A1 (en) Multimodal haptic effects

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant