KR20190020180A - 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법 - Google Patents

마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법 Download PDF

Info

Publication number
KR20190020180A
KR20190020180A KR1020197004887A KR20197004887A KR20190020180A KR 20190020180 A KR20190020180 A KR 20190020180A KR 1020197004887 A KR1020197004887 A KR 1020197004887A KR 20197004887 A KR20197004887 A KR 20197004887A KR 20190020180 A KR20190020180 A KR 20190020180A
Authority
KR
South Korea
Prior art keywords
touch
actuator
haptic
friction
haptic effect
Prior art date
Application number
KR1020197004887A
Other languages
English (en)
Inventor
후안 마누엘 크루즈-헤르난데즈
대니 에이. 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190020180A publication Critical patent/KR20190020180A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

복합 햅틱 효과를 제공하는 시스템, 방법 및 컴퓨터 프로그램 제품이 개시된다. 한가지 개시된 방법은, 객체가 터치 표면에 접촉할 때 터치 영역에서 일어나는 터치를 검출하는 단계, 및 터치에 응답하여 생성할 복합 햅틱 효과(composite haptic effect)를 선택하는 단계 - 이 복합 햅틱 효과는 적어도 하나의 표면-기반 햅틱 효과 및 적어도 하나의 다른 효과를 포함함 - 를 포함한다. 선택된 복합 햅틱 효과에 기초하여, 액츄에이터로 하여금 터치 표면의 마찰 계수를 변화시키게 하도록 제1 햅틱 신호가 전송될 수 있고, 제2 액츄에이터로 하여금 마찰 계수의 변화에 부가하여 제2 햅틱 출력을 제공하게 할 수 있다. 제2 햅틱 신호가 제2 액츄에이터 또는 마찰 계수를 변화시키는 데 사용된 동일한 액츄에이터(들)로 전송될 수 있고 제2 햅틱 출력을 생성하는 데 사용될 수 있다.

Description

마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법{SYSTEMS AND METHODS FOR FRICTION DISPLAYS AND ADDITIONAL HAPTIC EFFECTS}
관련 출원들의 상호 참조
이 특허 출원은 2009년 3월 12일자로 출원된, 발명의 명칭이 "Locating Features Using a Friction Display(마찰 디스플레이를 사용한 특징부의 위치 확인)"인 미국 가특허 출원 제61/159,482호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "System and Method for Increasing Haptic Bandwidth in an Electronic Device(전자 장치에서 햅틱 대역폭을 증가시키는 시스템 및 방법)"인 미국 가특허 출원 제61/262,041호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "Friction Rotary Device for Haptic Feedback(햅틱 피드백을 위한 마찰 회전 장치)"인 미국 가특허 출원 제61/262,038호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Providing Features In A Friction Display(마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,893호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Friction Displays And Additional Haptic Effects(마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,900호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects(표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,908호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For A Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,010호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Textures In Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,037호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Multiple Actuators To Realize Textures(다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,042호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
터치-인에이블드 장치(touch-enabled device)가 점점 더 널리 보급되고 있다. 예를 들어, 사용자가 터치 감응 디스플레이의 일부분을 터치함으로써 입력을 제공할 수 있도록 모바일 장치 및 기타 장치가 터치 감응 디스플레이로 구성될 수 있다. 다른 일례로서, 트랙패드(trackpad), 마우스 또는 기타 장치와 같이, 입력을 위해 디스플레이와 분리되어 있는 터치-인에이블드 표면(touch-enabled surface)이 사용될 수 있다.
예를 들어, 사용자는 버튼 또는 컨트롤과 같은 온-스크린 그래픽 사용자 인터페이스(on-screen graphical user interface)에 매핑되는 디스플레이 또는 표면의 일부분을 터치할 수 있다. 다른 일례로서, 일련의 하나 이상의 터치, 표면을 가로지르는 드래그(drag), 또는 장치에 의해 감지되는 다른 인식가능한 패턴과 같은 제스처가 제공될 수 있다. 터치-인에이블드 디스플레이 및 기타 터치-기반 인터페이스가 장치 기능을 크게 향상시켰지만, 단점은 여전히 있다. 예를 들어, 키보드가 화면 상에 표시되더라도, 물리적 키보드에 익숙해져 있는 사용자는 터치-인에이블드 장치를 사용하는 동안 동일한 경험을 하지 못할지도 모른다.
실시예는 터치 표면의 마찰 계수의 변화를 포함하는 복합 햅틱 효과(composite haptic effect) 및 하나 이상의 다른 출력을 제공하는 시스템 및 방법을 포함한다. 이러한 표면-기반 효과를 제공함으로써, 장치는 다른 방식으로 달성될 수 있는 것보다 매력적인 사용자 경험을 제공할 수 있다.
일 실시예에서, 방법은, 적어도 하나의 센서를 사용하여, 객체가 터치 표면에 접촉할 때 터치 영역에서 일어나는 터치를 검출하는 단계를 포함한다. 방법은 터치에 응답하여 생성할 복합 햅틱 효과(composite haptic effect)를 선택하는 단계 - 이 복합 햅틱 효과는 적어도 하나의 표면-기반 햅틱 효과 및 적어도 하나의 다른 효과를 포함함 - 를 더 포함할 수 있다. 선택된 복합 햅틱 효과에 기초하여, 제1 액츄에이터로 하여금 터치 표면의 마찰 계수를 변화시키게 하도록 제1 햅틱 신호가 제1 액츄에이터로 전송될 수 있다. 방법은, 선택된 복합 햅틱 효과에 기초하여, 액츄에이터로 하여금 마찰 계수의 변화에 부가하여 제2 햅틱 출력을 제공하게 하도록 제2 햅틱 신호를 전송하는 단계를 더 포함할 수 있다. 제2 햅틱 신호가 제2 액츄에이터로 전송될 수 있거나, 마찰 계수를 변화시키는 데 사용된 동일한 액츄에이터(들)가 제2 햅틱 출력을 생성할 수 있다. 다른 실시예는 이러한 방법을 수행하기 위해 컴퓨팅 시스템에 의해 실행가능한 프로그램 코드를 구현하는 유형의(tangible) 컴퓨터 저장 매체를 포함한다.
이 예시적인 실시예는 본 발명 대상의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 일례를 제공하기 위해 언급되어 있다. 부가의 실시예는 복합 햅틱 효과를 제공하도록 구성된 시스템 및 장치와 복합 햅틱 효과를 제공하는 프로그램 코드를 구현하는 컴퓨터 저장 매체를 포함한다. 예시적인 실시예가 상세한 설명에서 논의되고 있으며, 추가적인 설명이 그곳에 제공되어 있다. 다양한 실시예에 의해 제공되는 이점이 또한 본 명세서를 살펴보면 및/또는 청구된 발명 대상의 하나 이상의 실시예를 실시해보면 이해될 수 있다.
상세하고 실시가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참조하고 있다.
도 1a는 복합 햅틱 효과를 제공하도록 구성된 예시적인 시스템을 나타낸 블록도.
도 1b 및 도 1c는 복합 햅틱 효과를 제공하도록 구성된 부가의 예시적인 시스템을 나타낸 도면.
도 2a는 복합 햅틱 효과를 제공하도록 구성된 다른 예시적인 시스템을 나타낸 도면.
도 2b는 도 2a에 도시된 시스템의 단면도.
도 3a는 복합 햅틱 효과를 제공하도록 구성된 다른 예시적인 시스템을 나타낸 것이고, 도 3b는 도 3a에 도시된 시스템의 단면도.
도 4는 복합 햅틱 효과를 제공하는 방법에서의 예시적인 단계들을 나타낸 플로우차트.
도 5a 내지 도 5d는 표면-기반 햅틱 효과를 사용하여 시뮬레이트될 수 있는 예시적인 특징부를 나타낸 도면.
도 6a 내지 도 6h는 표면-기반 햅틱 효과를 사용하여 시뮬레이트될 수 있는 예시적인 특징부, 구체적으로는 텍스처를 나타낸 도면.
도 7은 복합 햅틱 효과를 제공하는 다른 방법에서의 예시적인 단계들을 나타낸 플로우차트.
도 8은 복합 햅틱 효과를 생성하는 데 사용하기 위한 참조 파일의 일례를 나타낸 도면.
이제부터, 다양한 대안의 예시적인 실시예 및 첨부 도면에 대해 상세히 언급할 것이다. 각각의 일례는 제한이 아니라 설명으로서 제공되어 있다. 여러 수정 및 변형이 행해질 수 있다는 것이 당업자에게는 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술된 특징부가 다른 실시예에서 사용되어 또 다른 실시예를 생성할 수 있다. 따라서, 본 개시 내용이 첨부된 특허청구범위 및 그 등가물의 범위 내에 속하는 여러 수정 및 변형을 포함하는 것으로 보아야 한다.
복합 햅틱 효과를 제공하도록 구성된 장치의 예시적인 일례
본 발명의 한 예시적인 실시예는 iPod® 휴대용 음악 장치 또는 iPhone® 모바일 장치(둘다 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터 입수가능함) 또는 Zune® 휴대용 장치(미국 워싱턴주 레드몬드 소재의 Microsoft Corporation으로부터 입수가능함)와 같은 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 가속도계와 같은 하나 이상의 센서는 물론 디스플레이 영역(이 일례에서, 장치의 화면에 대응함)에 대한 터치의 위치를 결정하는 센서(예를 들어, 광학, 저항 또는 정전용량)를 포함할 수 있고 및/또는 그와 통신하고 있을 수 있다.
사용자가 장치와 상호작용할 때, 복합 햅틱 효과(이것으로 제한되지 않음)를 비롯한 촉각 효과를 제공하기 위해 하나 이상의 액츄에이터가 사용된다. 복합 햅틱 효과는 마찰 계수의 변화와 관련하여 제시되는 하나 이상의 다른 햅틱 출력과 함께 터치 표면의 마찰 계수의 변화를 이용하는 효과를 포함할 수 있다. 다른 출력(들)이 마찰 계수의 변화와 동시에, 그 직전에 및/또는 그 직후에 제시될 수 있다. 복합 효과는 단일 효과로서 인지될 수 있거나, 복수의 관련 효과로서 인지될 수 있다.
예를 들어, 사용자가 장치를 가로질러 손가락을 움직일 때, 손가락의 위치, 속도 및/또는 가속도에 기초하여 화면의 마찰 계수가 변화될 수 있다. 마찰이 어떻게 변화되는지에 따라, 사용자는 특징부 및/또는 텍스처를 인지할 수 있다. 특정의 일례로서, 사용자가 볼록부, 경계, 또는 온-스크린 버튼의 가장자리에 대응하는 기타 장애물을 인지하도록 마찰이 변화될 수 있다. 복합 햅틱 효과는 온-스크린 버튼이 눌러질 때의 촉각 피드백을 추가로 포함할 수 있다. 다른 일례로서, 사용자가, 제어가 선택/변경될 때를 나타내는 데 사용되는 마찰 계수의 변화에 의해, 제어 영역을 정의하는 볼록부, 경계, 또는 장애물과 같은 특징부를 인지하도록 진동-기반 효과가 생성될 수 있다. 또한, 단일 텍스처 또는 기타 특징부의 인지를 유발하기 위해 마찰의 변화와 진동촉각 효과의 조합이 함께 사용될 수 있다.
마찰 계수의 변화 및 기타 효과(들)가 동일한 액츄에이터에 의해 또는 동시에 동작하고 있는 상이한 액츄에이터들에 의해 생성될 수 있다. 예를 들어, 마찰 계수는 압전 액츄에이터를 사용하여 변화될 수 있는 반면, 진동촉각 효과는 선형 공진 액츄에이터(linear resonant actuator)를 사용하여 생성된다. 마찰 계수의 변화와 함께 사용될 수 있는 햅틱 출력의 일례들 중 다른 일례로서, 터치 표면의 일부분이 (예를 들어, 액츄에이터 또는 형상 기억 합금을 사용하여) 상승/하강될 수 있다.
다른 햅틱 효과과 함께 표면-기반 햅틱 효과를 제공하는 예시적인 시스템
도 1a는 복합 햅틱 효과를 제공하는 예시적인 시스템(100)을 나타낸 것이다. 상세하게는, 이 일례에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스되어 있는 프로세서(102)를 특징으로 하는 컴퓨팅 장치(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한, 유형의(tangible)(및 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 장치의 동작을 구성하는 프로그램 구성요소를 구현한다. 이 일례에서, 컴퓨팅 장치(101)는 하나 이상의 네트워크 인터페이스 장치(110), 입/출력(I/O) 인터페이스 구성요소(112) 및 부가의 저장 장치(114)를 추가로 포함한다.
네트워크 장치(들)(110)는 네트워크 연결을 용이하게 해주는 임의의 구성요소를 나타낼 수 있다. 일례로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface) 및/또는 IEEE 802.11, 블루투스와 같은 무선 인터페이스(wireless interface), 또는 휴대폰 네트워크에 액세스하는 무선 인터페이스(radio interface)(예를 들어, CDMA, GSM, UMTS 또는 기타 이동 통신 네트워크에 액세스하는 송수신기/안테나)가 있지만, 이들로 제한되지 않는다.
I/O 구성요소(112)는 하나 이상의 디스플레이, 키보드, 마우스, 스피커, 마이크, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 사용되는 기타 하드웨어와 같은 장치에의 연결을 용이하게 해주는 데 사용될 수 있다. 저장 장치(114)는 장치(101)에 포함되어 있는 자기, 광학, 또는 기타 저장 매체와 같은 비휘발성 저장 장치를 나타낸다.
시스템(100)은, 이 일례에서 장치(101)와 일체로 되어 있는 터치 표면(116)을 추가로 포함한다. 터치 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되어 있는 임의의 표면을 나타낸다. 하나 이상의 센서(108)는 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하고 프로세서(102)에서 사용하기에 적절한 데이터를 제공하도록 구성되어 있다. 임의의 적당한 수, 유형 또는 배열의 센서가 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서가 터치 표면(116)에 매립되어 있을 수 있고 터치의 위치를 결정하고 기타 정보(터치 압력 등)를 결정하는 데 사용될 수 있다. 다른 일례로서, 광 센서가 사용될 수 있다.
이 일례에서, 프로세서(102)와 통신하고 있는 제1 액츄에이터(118)는 터치 표면(116)에 결합되어 있다. 일부 실시예에서, 제1 액츄에이터(118)는 제1 햅틱 신호에 응답하여 터치 표면의 마찰 계수를 변화시키는 햅틱 출력을 출력하도록 구성되어 있다. 그에 부가하여 또는 다른 대안으로서, 제1 액츄에이터(118)는 제어된 방식으로 터치 표면을 움직임으로써 햅틱 출력을 제공할 수 있다. 어떤 햅틱 출력은 장치의 하우징에 결합된 액츄에이터를 이용할 수 있고, 어떤 햅틱 출력은 다수의 액츄에이터를 순차적으로 및/또는 동시에 사용할 수 있다. 예를 들어, 표면을 상이한 주파수 및/또는 진폭으로 진동시킴으로써 마찰 계수가 변화될 수 있다. 텍스처의 느낌, 장애물 또는 돌출부와 같은 다른 특징부의 존재를 시뮬레이트하기 위해 또는 다른 효과를 제공하기 위해 변화의 상이한 조합/시퀀스가 사용될 수 있다.
여기에 하나의 제1 액츄에이터(118)가 도시되어 있지만, 실시예는 터치 표면의 마찰 계수를 변화시키기 위해 동일한 또는 상이한 유형의 다수의 액츄에이터를 사용할 수 있다. 예를 들어, 일부 실시예에서, 터치 표면(116)의 일부 또는 전부를 초음파 주파수로 수직으로 및/또는 수평으로 변위시키기 위해 압전 액츄에이터가 사용된다.
도 1a는 또한 제2 액츄에이터(119)도 나타내고 있다. 제1 액츄에이터에 의해 제공되는 마찰 계수의 변화에 부가하여 제2 햅틱 출력을 제공하기 위해 제2 액츄에이터(119)가 사용될 수 있다. 예를 들어, 제2 햅틱 출력은 장치 및/또는 터치 표면(116)의 진동과 같은 진동촉각 햅틱 효과를 포함할 수 있다. 다른 일례로서, 제2 햅틱 출력은 터치 표면(116)의 일부분을 상승/하강시킴으로써 생성되는 텍스처, 온도, 또는 색의 변화와 같은 터치 표면(116)의 변화를 포함할 수 있다.
액츄에이터(118, 119) 각각은 다수의 액츄에이터를 포함할 수 있고, 동일한 또는 상이한 유형을 가질 수 있다. 적당한 액츄에이터 유형은 압전 액츄에이터, 형상 기억 합금, 전기 활성 고분자(electroactive polymer), 가요성 복합 압전 액츄에이터(flexible composite piezoelectric actuator)(예를 들어, 가요성 물질을 포함하는 액츄에이터), 전자기 액츄에이터, ERM(eccentric rotational mass) 액츄에이터, 선형 공진 액츄에이터(linear resonant actuator), 보이스 코일 액츄에이터, 정전기 액츄에이터, 및/또는 자기 변형 액츄에이터(magnetostrictive actuator)를 포함하지만, 이들로 제한되지 않는다. 개별적인 요소(118, 119)로서 도시되어 있지만, 개별적인 제1 및 제2 액츄에이터 대신에 터치 표면(116)의 마찰 계수를 변화시키고 또 하나의 햅틱 효과를 생성할 수 있는 단일 액츄에이터가 사용될 수 있다. 그에 부가하여, 실제로는, 액츄에이터들 중 하나 이상의 액츄에이터가 터치 표면(116) 내에 매립되어 있을 수 있다.
메모리(104)와 관련하여, 일부 실시예에서 어떻게 장치가 복합 햅틱 효과를 제공하도록 구성될 수 있는지를 설명하기 위해 예시적인 프로그램 구성요소(124, 126, 및 128)가 나타내어져 있다. 이 일례에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해 센서(들)(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부존재를 추적하고, 터치가 존재하는 경우, 시간에 따른 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 기타 특성을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 터치 특성에 관한 데이터를 분석하여 생성할 복합 햅틱 효과를 선택하는 프로그램 구성요소를 나타낸다. 예를 들어, 일부 실시예에서, 하나 이상의 터치의 시퀀스를 포함하는 입력 제스처가 인식되고 하나 이상의 복합 햅틱 효과와 상관될 수 있다. 다른 일례로서, 터치 표면(116)의 영역의 일부 또는 전부가 그래픽 사용자 인터페이스에 매핑될 수 있다. 특징부를 포함하는 화면 위치에 매핑되는 터치 표면(116)의 일부분에 도달할 때 특징부가 느껴지도록 터치 표면의 마찰을 변화시키고 하나 이상의 다른 햅틱 출력을 제공함으로써 화면 상에 표시된 특징부의 존재를 시뮬레이트하기 위해 상이한 복합 햅틱 효과가 터치의 위치에 기초하여 선택될 수 있다. 그렇지만, 대응하는 요소가 인터페이스에 표시되지 않더라도 터치 표면(116)을 통해 햅틱 효과가 제공될 수 있다(예를 들어, 경계가 표시되지 않더라도 인터페이스에서의 경계를 가로지르는 경우 햅틱 효과가 제공될 수 있다).
햅틱 효과 생성 모듈(128)은, 적어도 터치가 일어나고 있을 때 선택된 복합 햅틱 효과를 생성하기 위해, 프로세서(102)로 하여금 햅틱 신호를 생성하여 액츄에이터(들)(118/119)로 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 생성 모듈(128)은 액츄에이터(118, 119)로 전송할 저장된 파형 또는 명령에 액세스할 수 있다. 다른 일례로서, 햅틱 효과 생성 모듈(128)은 원하는 마찰 계수를 수신하고 신호 처리 알고리즘을 이용하여 액츄에이터(들)(118)로 전송할 적절한 신호를 생성할 수 있다. 모듈(128)은 원하는 햅틱 효과 유형을 수신하고 액츄에이터(119)를 선택하며 선택된 액츄에이터에 원하는 햅틱 효과를 제공하라고 명령할 수 있다.
추가의 일례로서, 원하는 텍스처가 텍스처에 대한 목표 좌표와 함께 표시될 수 있다. 고주파 변위를 사용하여 마찰 계수를 변화시키기 위해 적절한 파형이 압전 또는 기타 액츄에이터로 전송될 수 있고, (상대적으로) 낮은 주파수로 터치 표면(및/또는 다른 장치 구성요소)의 적절한 변위를 생성하기 위해 또는 특징부에 도달할 때 팝(pop), 핑(ping) 또는 기타 효과를 제공하기 위해 다른 파형이 하나 이상의 진동촉각 액츄에이터로 전송될 수 있다.
터치 표면은, 컴퓨팅 시스템의 특정의 구성에 따라, 디스플레이를 오버레이(또는 그렇지 않다면 디스플레이에 대응)하거나 그렇지 않을 수 있다. 도 1b에, 컴퓨팅 시스템(100B)의 외형도가 도시되어 있다. 컴퓨팅 장치(101)는 터치 표면 및 장치의 디스플레이를 겸비하고 있는 터치-인에이블드 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부 또는 실제 디스플레이 구성요소 상의 하나 이상의 물질층에 대응할 수 있다.
이 일례에서 그래픽 사용자 인터페이스(130)의 콘텐츠에 기초하여 복합 햅틱 효과가 선택되는데, 이는 이 일례에서 모바일 장치에 의해 제공될 수 있는 것과 같은 12-키 키패드를 보여준다. 상세하게는, 각각의 키는 경계(132) 및 내부(134)를 포함할 수 있다. 내부(134)에 대응하는 마찰의 변화를 생성하기 위해 복합 햅틱 효과가 선택될 수 있고, 사용자가 경계(132)에 도달할 때를 나타내기 위해 다른 햅틱 출력이 사용될 수 있다. 이 일례에서, (표준 숫자 키패드에서의 "5" 키에 대응하는) 가운데 키에 특징부(136)가 포함되어 있다. 예를 들어, 특징부(136)는 내부(134)의 텍스처와 다른 텍스처 또는 "중심" 특징부로서 역할하는 볼록부 또는 간극과 같은 시뮬레이트된 특징부를 포함할 수 있다. 사용자가 키패드를 가로질러 손가락을 움직일 때, 키들 사이의 경계를 나타내기 위해 그리고 특징부(136)의 인지에 의해 "5" 키에 도달하는 때를 알려주기 위해 복합 효과가 사용될 수 있다.
앞서 살펴본 바와 같이, 터치 표면이 디스플레이를 오버레이할 필요는 없다. 도 1c는 터치-인에이블드 컴퓨팅 시스템(100C)의 다른 일례를 나타낸 것이다. 이 일례에서, 컴퓨팅 장치(101)는 장치(101)에 인터페이스되어 있는 컴퓨팅 시스템(120)에 포함되어 있는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑되는 터치 표면(116)을 특징으로 한다. 예를 들어, 컴퓨팅 장치(101)는 마우스, 트랙패드, 또는 기타 장치를 포함할 수 있는 반면, 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스) 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 다른 일례로서, 디스플레이(122)를 특징으로 하는 랩톱 컴퓨터에 있는 터치-인에이블드 트랙패드와 같이, 터치 표면(116) 및 디스플레이(122)가 동일한 장치에 포함될 수 있다.
디스플레이와 일체로 되어 있든 그렇지 않든 간에, 본 명세서에서의 일례에서 2D 직사각형 터치 표면을 나타내고 있는 것은 제한하기 위한 것이 아니다. 다른 실시예는 추가로 표면-기반 햅틱 효과를 제공하도록 구성되어 있는 곡면이거나 불규칙한 터치-인에이블드 표면을 포함한다.
도 1c로 돌아가서, 이 일례에서, 메뉴 표시줄(140) 및 버튼(142, 144, 및 146)을 포함하는 그래픽 사용자 인터페이스(138)가 도시되어 있다. 예를 들어, 그래픽 사용자 인터페이스는 홈 엔터테인먼트 장치에 대한 온-스크린 메뉴를 포함할 수 있는 반면, 터치 표면(116)은 리모콘 또는 주변 장치 상에 포함되어 있다. 148에 나타낸 바와 같이, 터치 표면의 영역이 메뉴 표시줄(140)에 매핑된다. 사용자가 영역(148)에 접촉할 때, 메뉴 표시줄이 선택되었음을 나타내기 위해 복합 햅틱 효과가 제공된다. 예를 들어, 영역(148)과 영역(150, 152, 및 154)(버튼(142, 144, 및 146)에 각각 대응함) 간에 마찰 계수가 다를 수 있고, 사용자가 영역(148)을 거쳐 움직여 영역들(150, 152, 및 154) 중 하나의 영역 내로 들어갈 때 진동촉각 또는 기타 피드백이 제공된다. 다른 일례로서, 영역들(148, 150, 152, 및 154)에서 상이한 시뮬레이트된 텍스처를 생성하기 위해 진동촉각 또는 기타 햅틱 출력이 사용될 수 있고, 버튼(142, 144, 및/또는 146)이 작동될 때 각각의 영역 내에서 마찰 계수가 변화된다.
도 2a는 터치-인에이블드 디스플레이(202)를 특징으로 하는 다른 컴퓨팅 장치(201)를 나타낸 것인데, 이는 다시 터치 표면에 대응한다. 도 2b는 장치(201)의 단면도를 나타낸 것이다. 도 2b에서 알 수 있는 바와 같이, 이 일례에서, 제2 액츄에이터(219)가 터치 표면(202)을 통해 다른 햅틱 출력을 제공하는 동안 터치 표면(202)의 마찰 계수를 변화시키기 위해 2개의 액츄에이터(218-1, 282-2)가 사용된다. 예를 들어, 액츄에이터(219)는 터치 표면(202)을 통해 팝 또는 핑과 같은 진동촉각 출력을 제공할 수 있거나, 터치 표면(202)의 하나 이상의 부분을 상승/하강시킬 수 있다. 그에 부가하여, 도 2b는 다른 예시적인 액츄에이터(222)를 나타내고 있다. 예를 들어, 액츄에이터들(218-1, 218-2, 또는 219) 중 하나 이상의 액츄에이터에 부가하여 또는 그 대신에 액츄에이터(222)가 사용될 수 있다. 예를 들어, 액츄에이터(219)가 디스플레이(202)의 일부분을 상승/하강시키는 경우, 저주파 진동 출력을 제공하기 위해 액츄에이터(222)가 사용될 수 있다.
도 2a로 돌아가서, 복합 효과를 제공하는 일례가 220에 나타내어져 있다. 구체적으로는, 손가락(226)이 디스플레이와 접촉하고 228로 나타낸 위치로 움직여 시뮬레이트된 특징부(230)에 도달한다. 도 2b에서 알 수 있는 바와 같이, 손가락이 움직일 때, 손가락은 먼저 디스플레이의 제1 영역(232)과 접촉하고, 이어서 제2 영역(234) 및 제3 영역(236)과 접촉한다. 특징부(230)를 시뮬레이트하기 위해 복합 햅틱 효과가 사용될 수 있다. 예를 들어, 손가락이 영역(232)에 도달하여 영역(234) 쪽으로 움직이는 동안, 액츄에이터(218-1/218-2)의 출력을 조정함으로써 디스플레이(202)의 마찰 계수가 증가될 수 있다. 영역(234)에 가까워지고 이어서 그에 도달할 때, 진동촉각 "팝" 효과를 제공하기 위해 액츄에이터(219)가 사용될 수 있다. 손가락이 영역(236)을 가로질러 움직일 때, 디스플레이(202)의 마찰 계수가 감소될 수 있다.
복합 햅틱 효과는 일군의 효과를 포함할 수 있다. 예를 들어, 선(238 및 240)은 226에서 228로 움직이는 손가락이 따라가는 경로를 나타낸다. 일 실시예에서, 복합 햅틱 효과는 손가락이 경로를 벗어나 움직이는 경우 액츄에이터(219 및/또는 222)를 사용하여 생성되는 출력을 포함한다. 예를 들어, 특징부(230)를 시뮬레이트하기 위해 마찰의 변화가 사용될 수 있고, 사용자의 손가락이 선들(238 및 240) 중 어느 하나의 선을 가로지는 경우 특징부(230)가 시뮬레이트되는 동안 진동 출력이 제공될 수 있다.
도 3a 및 도 3b는 복합 햅틱 효과를 제공할 수 있는 장치에 대한 예시적인 하드웨어 아키텍처를 나타낸 것이다. 이 일례에서, 터치 표면은 유리 패널(302)을 포함하지만, 다른 투명 물질(또는 비투명 물질)이 사용될 수 있다. 예를 들어, 유리보다는 터치패드(즉, 터치 감응 장치)가 사용될 수 있다. 한쌍의 압전 굴곡체(piezoelectric bender)(318-1 및 318-2)가 유리에 접합된다. 압전 굴곡체 사이의 자유 공간과 함께 유리 또는 다른 투명 물질을 사용하는 것은 유리 아래에 디스플레이(도시 생략)를 사용하는 것을 가능하게 해줄 수 있다. 일부 실시예에서, 유리(302)의 정지 마찰 계수를 42% 감소시키기 위해 압전 굴곡체가 강제될 수 있다. 일부 실시예는 마찰 계수를 변화시키기 위해 사용되는 변하는 진폭을 갖는 24 kHz의 양극성 펄스폭 변조된 신호(bipolar pulse width modulated signal)를 이용한다. 일례로서, 전압은 20 kHz를 초과하는 주파수로 -80 볼트와 +80 볼트 사이에서 변할 수 있고, 마찰 변화는 전압 크기(또는 전압 크기를 생성하는 PWM 크기)에 따라 0부터 60%까지이다. 이들 예시적인 전압, 주파수 및 변화 범위는 단지 예시를 위한 것이며 제한하려는 것이 아니다.
도 3b의 단면도에서, 복수의 제2 액츄에이터(319-1, 319-2, 및 319-3)가 도시되어 있다. 예를 들어, 액츄에이터(319-2)는 패널(302)에 접합될 수 있고, ERM(eccentric rotating mass) 액츄에이터를 사용하여 저주파 진동 효과를 제공하고 및/또는 선형 공진 액츄에이터(linear resonant actuator)(LRA)를 통해 햅틱 팝(haptic pop), 덜컹거림(jolt) 등을 제공하는 데 사용될 수 있다. 액츄에이터(319-1 및 319-3)는 장치(301)의 케이스 또는 하우징에 접합될 수 있고, 319-2와 동일한 유형의 액츄에이터를 포함할 수 있거나 액츄에이터(319-2)와 (및/또는 서로) 다를 수 있다. 예를 들어, 일 실시예에서, 액츄에이터(319-1)는 ERM 액츄에이터를 포함하고, 액츄에이터(319-2)는 패널(302)을 움직이는 데 사용되는 형상 기억 합금을 포함하며, 액츄에이터(319-3)는 LRA 액츄에이터를 포함한다. 액츄에이터들(319-1, 319-3) 중 어느 하나 또는 둘다가 패널(302) 및 장치(301)의 하우징 둘다에 접합될 수 있다.
제공할 햅틱 효과를 결정하는 예시적인 방법
도 4는 적어도 하나의 표면-기반 햅틱 효과를 포함하는 복합 햅틱 효과를 갖는 인터페이스를 제공하는 예시적인 방법(400)을 나타낸 플로우차트이다. 블록(402)은 터치 영역에서의 터치의 위치를 결정하는 것을 나타낸다. 예를 들어, 프로세서는 표면 상에서의 터치의 위치를 추적하기 위해 터치-인에이블드 디스플레이 또는 표면에 매립되어 있거나 이를 보고 있는 하나 이상의 센서를 이용할 수 있다. 터치의 현재 및/또는 과거 위치에 기초하여, 터치 영역에 매핑되는 그래픽 사용자 인터페이스와의 상호작용이 결정될 수 있다.
상호작용에 기초하여, 블록(404)에서 하나 이상의 복합 햅틱 효과가 선택될 수 있고, 복합 효과는 하나 이상의 다른 햅틱 출력을 제공하는 것과 함께 터치 표면의 마찰을 변화시킴으로써 달성된다.
예를 들어, 그래픽 사용자 인터페이스에서 특정의 텍스처 또는 특징부에 매핑되는 터치 표면에서의 위치에서 터치가 일어날 수 있다. 복합 햅틱 효과는 텍스처 또는 특징부의 시뮬레이션을 포함할 수 있다. 그에 부가하여 또는 다른 대안으로서, 복합 햅틱 효과는 주변 효과(예를 들어, 텍스처/특징부) 및 (특징부에 처음으로 도달될 때 제공되는 출력과 같은) 동적 효과를 포함할 수 있다.
일례로서, 화면을 가로질러 가는 스와이프(swipe)의 방향 및 길이, 패턴에서의 개별 터치의 시퀀스, 또는 다른 인식가능한 상호작용에 기초하는 등과 같이, 제스처가 하나 이상의 터치 또는 터치 패턴의 시퀀스로서 인식될 수 있다. 제스처가 인식되는 경우, 제스처와 연관된 복합 햅틱 효과가 선택될 수 있다. 예를 들어, 제스처가 진행 중인 동안 장치의 프로세서에 의해 수행되는 패턴 인식에 기초하여 "Z"자-형상의 터치 궤적이 일종의 입력 제스처로서 인식될 수 있다. 제스처가 진행 중인 동안 및/또는 제스처가 완료된 후에 출력할 효과를 나타내는 하나 이상의 복합 햅틱 효과가 프로세서에 의해 액세스가능한 데이터에서 "Z"자 제스처와 연관될 수 있다. 예를 들어, 제스처가 거의 완료될 때 데이터는 텍스처 또는 마찰의 변화를 띠게 될 표면을 제공할 수 있다. 그에 부가하여 또는 다른 대안으로서, 제스처의 입력을 확인해주기 위해 제스처가 인식된 후에 디스플레이의 텍스처 또는 마찰 계수가 변할 수 있다.
블록(406)에서, 마찰 계수의 변화를 제공하기 위해 그리고 제2 햅틱 출력(또는 출력들)을 생성하기 위해 하나 이상의 햅틱 신호가 액세스되고 및/또는 생성된다. 예를 들어, 프로세서는, 메모리에 저장되어 있고 특정의 햅틱 효과와 연관되어 있는 구동 신호에 액세스할 수 있다. 다른 일례로서, 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터를 입력함으로써 신호가 생성될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터에 기초하여 구동 신호를 생성하는 데 사용하기 위한 데이터를 출력할 수 있다. 다른 일례로서, 햅틱 신호는 액츄에이터로 전송되어 액츄에이터에 의해 디코딩되는 데이터를 포함할 수 있다. 예를 들어, 액츄에이터 자체가 진폭 및 주파수와 같은 파라미터를 지정하는 명령에 응답할 수 있다.
일례로서, 간극, 장애물 또는 텍스처와 같은 시뮬레이트된 특징부에 대해, 현재 픽셀 위치 및/또는 터치의 속도에 기초한 터치의 예상된 픽셀 위치가 다양한 픽셀 위치에 대한 복합 햅틱 효과를 지정하는 비트맵과 비교될 수 있다. 복합 햅틱 효과(들)에 기초하여, 비트맵에 지정된 출력을 제공하기 위해 적당한 햅틱 신호가 액세스/생성될 수 있다.
다른 일례로서, 터치의 현재 또는 예상된 위치가 그래픽 사용자 인터페이스(GUI) 특징부(컨트롤, 텍스트 콘텐츠, 경계 등과 같은)의 위치를 식별해주는 데이터와 비교될 수 있다. 이어서, GUI 특징부가 그 위치에서 식별되는 경우, 하나 이상의 복합 햅틱 효과를 특징부와 연관시키는 데이터가 액세스될 수 있다. 예를 들어, 프로세서는 터치의 위치를 추적하고, 터치가 그래픽 사용자 인터페이스에서 특정의 컨트롤(예를 들어, 버튼)에 매핑되는 터치 영역 내의 위치에 있거나 그에 근접하고 있는 것으로 판정할 수 있다. 프로세서는 이어서 버튼과 연관된 복합 햅틱 효과(예를 들어, 텍스처, 마찰 변화)를 결정하기 위해 인터페이스 요소의 목록을 조회하고, 햅틱 효과에 기초하여, 복합 햅틱 효과를 생성하기 위해 추가의 조치를 취할 수 있다.
블록(408)은 마찰 계수를 변화시키고 하나 이상의 다른 햅틱 출력을 제공함으로써 복합 햅틱 효과를 달성하기 위해 햅틱 신호 또는 신호들을 하나 이상의 액츄에이터로 전송하는 것을 나타낸다. 예를 들어, 아날로그 구동 신호가 제공되어야 하는 경우, 프로세서는 그 신호를 생성하기 위해 온보드 D/A 변환기를 이용할 수 있다. 디지털 명령이 액츄에이터에 제공되는 경우, 프로세서의 I/O 버스에 의해 적절한 메시지가 생성될 수 있다. 터치 지점에서 및/또는 다른 곳에서 햅틱 효과가 느껴질 수 있다. 예를 들어, 2-손가락 입력 제스처가 제공되는 경우, 제2 손가락의 움직임을 인식한 것에 응답하여 제1 손가락에서의 텍스처/마찰 계수가 변경될 수 있다.
일부 실시예에서, 장치가 생성할 수 있는 잠재적인 효과의 범위를 향상시키기 위해, 선택된 햅틱 효과가 없을 때에도 주변 햅틱 효과(ambient haptic effect)를 생성하기 위해 기준선 햅틱 신호(baseline haptic signal)가 액츄에이터(들)로 전송될 수 있다. 따라서, 햅틱 신호를 전송하는 것은 적절하게 강도를 감소시키기 위해 "정지" 명령, "0" 또는 최소 신호, 또는 다른 신호를 액츄에이터로 전송하는 것을 포함할 수 있다.
일례로서, 압전 액츄에이터와 같은 특정의 액츄에이터를 사용하는 것은 마찰 계수의 증가가 아니라 터치 표면의 마찰 계수의 감소를 가능하게 해줄 수 있다. 일정 범위의 옵션을 제공하기 위해, 터치 표면의 "보통의" 마찰 레벨이 정지해 있을 때 터치 표면이 가지게 될 마찰 계수 미만이도록 기준선 신호가 제공될 수 있다. 그에 따라, 햅틱 효과가 정지 값(static value)이 아닌 기준선 값에 대해 정의될 수 있다. 최대 마찰이 요망되는 경우, 표면의 움직임을 중단시키기 위해 "영" 신호가 압전 액츄에이터로 전송될 수 있다.
표면-기반 햅틱 효과가 임의의 적당한 형태를 취할 수 있다. 예를 들어, 어떤 햅틱 효과는 터치 표면의 마찰의 변화를 포함할 수 있다 - 어떤 부분은 다른 부분보다 "더 매끄럽게" 또는 "더 거칠게" 렌더링될 수 있다. 다른 일례로서, 진동 또는 일련의 진동과 같은 진동촉각 효과가 사용될 수 있다. 경계 또는 장애물과 같은 개별 특징부의 느낌을 시뮬레이트하기 위해 진동촉각 효과 및/또는 마찰 변화가 사용될 수 있다. 예를 들어, 경계 또는 가장자리가 마찰 증가에 의해 시뮬레이트될 수 있고, (어떤 경우에) 경계를 지나가는 경우 마찰이 감소된다.
도 5a 내지 도 5d 각각은 예시적인 시뮬레이트된 특징부를 나타낸 것이다. 도 5a는, 영이 아닌 전압의 PWM 신호를 사용함에 의하는 것과 같이, 백색 영역이 액츄에이터가 작동될 영역을 나타내고 있는 간략화된 일례를 나타낸 것이다. 예를 들어, 백색 영역은 터치 패드의 가운데에 있는 가상 버튼에 대응할 수 있고, 여기서 사용자의 손가락(또는 표면과 접촉하고 있는 다른 객체)은 낮은 마찰 값을 만나게 된다. 도 5b는 정반대의 상황을 나타낸 것으로서, 손가락/객체가 백색 영역에서 자유롭게 이동할 수 있지만, 마찰이 높은 (흑색) 영역에서 느려지거나 정지될 수 있다. 이것은, 예를 들어, 사용자가 터치 영역에서 버튼 또는 기타 위치를 보다 쉽게 찾아낼 수 있게 해줄 수 있다.
도 5c는 복수의 홈을 포함하는 시뮬레이트된 특징부를 나타낸 것이다. 사용자의 손가락 또는 다른 객체가 줄무늬를 가로질러 수평으로 이동함에 따라, 손가락/객체는 일련의 홈으로서 인지되는 증가 및 감소하는 마찰을 만나게 될 것이다.
앞서 살펴본 바와 같이, 표면-기반 햅틱 효과를 제공하도록 구성된 터치 표면을 포함하는 컴퓨팅 시스템은 효과 및 신호를 실시간으로 결정할 수 있다. 예를 들어, 도 5a 내지 도 5d 중 임의의 것에서, 시스템은 먼저 터치 위치가 원의 내부에 있는지를 판정하고, 그러한 경우 적당한 출력 값을 제공하거나(도 5a) 출력을 중단할 수 있다(도 5b). 이와 유사하게, 시스템은, 원하는 높은 마찰을 갖는 영역에서 터치가 일어나는지를 판정함으로써 도 5c의 특징부를 제공할 수 있고, 그러한 경우, 액츄에이터(들)를 구동할 수 있다.
도 5d는 더 복잡한 패턴을 제공한다. 예를 들어, 도 5d에서의 패턴은, 휴대폰 키의 어레이, 시뮬레이트된 키보드, 또는 기타 컨트롤과 같은 키들의 어레이와 연관되어 있는 원하는 특징부에 대응할 수 있다. 도 5a 내지 도 5d 중 임의의 것에 대해 실시간 렌더링이 사용될 수 있지만, 패턴에서의 각각의 특정의 원/버튼을 렌더링하기 위해 더 복잡한 논리가 필요할 수 있다. 이들 및 훨씬 더 임의적인 패턴은 프로그래밍의 복잡도 및 계산 시간을 증가시킬 수 있다. 따라서, 일부 실시예에서, 표면-기반 햅틱 효과가 미리 결정되어 파일에 저장될 수 있다. 런타임 시에, 적절한 햅틱 신호의 보다 신속한 결정 및 생성을 가능하게 해주기 위해 터치 위치에 기초하여 파일이 액세스될 수 있다. 도 5d에서, 이러한 파일은 터치 위치가 원에 매핑될 때 제1 햅틱 효과(예를 들어, 높은 마찰)를 제공하도록 액츄에이터를 구동하는 데이터를 포함할 수 있고, 파일은 터치 위치가 원 외부에 있는 위치에 매핑될 때 제2 효과(예를 들어, 낮은 마찰)를 제공하도록 액츄에이터를 구동하는 데이터를 포함할 수 있다.
도 5a 내지 도 5d의 특징부는 압전 액츄에이터에 부가하여 또는 그 대신에 다른 유형의 액츄에이터를 사용하여 시뮬레이트될 수 있다. 예를 들어, 도 5a, 도 5b 또는 도 5d의 원을 만날 때 및/또는 도 5c의 패턴을 만날 때 진동, 팝, 펄스, 클릭 등(예를 들어, 흑색에서 백색으로 전환할 때마다 팝 또는 클릭)을 제공하기 위해 진동촉각 액츄에이터가 사용될 수 있다. 액츄에이터에 의해 생성될 수 있는 햅틱 효과는 전류, 전압, 주파수는 물론 시작 및 종료 시간에 따라 변할 수 있다. 이러한 햅틱 효과는 진동, 펄스, 팝, 클릭, 댐핑 특성 및 변하는 텍스처를 포함하지만, 이들로 제한되지 않는다. 일 실시예에서, 상이한 응용에 대해 상이한 햅틱 효과를 생성하기 위해 다수의 액츄에이터가 이용된다. 예를 들어, 전술한 바와 같이, 2개의 액츄에이터가 사용자의 손가락 또는 스타일러스가 그래픽 객체(예를 들어, 키보드 키)의 경계를 넘어 지나갈 때 진동 또는 팝을 제공하도록 구성된다.
도 5a 내지 도 5d의 특징부는 복합 햅틱 효과를 사용하여 시뮬레이트될 수 있다. 예를 들어, 표면을 터치하는 물체가 흑색에서 백색으로 또는 그 반대로 움직일 때, 클릭, 팝, 또는 기타 응답과 함께 마찰의 변화가 사용될 수 있다.
다양한 텍스처를 시뮬레이트하기 위해 진동촉각 효과 및/또는 마찰의 변화가 그에 부가하여 또는 다른 대안으로서 사용될 수 있다. 텍스처의 생성 및 사용에 관한 부가의 상세는 앞서 언급한 미국 특허 출원 제12/697,010호, 제12/697,042호, 및 제12/697,037호에서 찾아볼 수 있으며, 이들 출원의 발명의 명칭은 각각 "Systems and Methods for a Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"(대리인 사건 번호 IMM354 (51851-383720)), "Systems and Methods for Using Multiple Actuators to Realize Textures(텍스처를 실현하기 위해 다수의 액츄에이터를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM355 (51851-383719)), 및 "Systems and Methods for Using Textures in Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM356 (51851-383718))이다,
예를 들어, 벽돌, 돌(rocks), 모래, 잔디, 모피, 다양한 직물 유형, 물, 당밀(molasses) 및 기타 액체, 가죽, 목재, 얼음, 도마뱀 가죽, 금속, 및 기타 텍스처 패턴과 같은 텍스처의 느낌을 흉내내기 위해 상이한 마찰의 패턴 또는 진동의 패턴이 제공될 수 있다. "위험" 텍스처가 요망될 때 크기가 큰 진동촉각 또는 기타 피드백과 같은 실세계 텍스처와 유사하지 않은 다른 텍스처도 역시 사용될 수 있다.
일반적으로, 텍스처는 공간적으로 변하는 힘으로서 인지되는 출력을 제공함으로써 표면 속성을 시뮬레이트할 수 있다. 따라서, 비록 물론 진동이 텍스처를 시뮬레이트하는 데 사용될 수 있지만, 텍스처는 시간에 따라 변하는 힘(time varying force)으로서 직접 인지되도록 되어 있는 진동 출력과 대비된다.
일례로서, 텍스처는 막대 또는 손가락이 격자(grating) 위에서 움직일 때 느껴지는 힘을 시뮬레이트할 수 있다. 일 실시예에서, 텍스처 힘(texture force)은 크기 및 그리트(grit)을 포함할 수 있는 파라미터를 사용하여 프로그래머/개발자에 의해 특징지워질 수 있다. 크기는 (예를 들어, 격자의 각각의 "볼록부"에서) 터치 표면과 만나는 객체에 적용되는 힘의 양을 지정한다. 그리트는 기본적으로 힘 사이의 간격(예를 들어, 각각의 격자 볼록부 사이의 간격)이다. 다른 대안으로서, 텍스처 힘의 "볼록부"의 위치를 제어하기 위해 부가의 명령 파라미터가 제공될 수 있다. 예를 들어, 볼록부 사이의 거리가 거리에 따라 지수적으로 변하거나 지정된 수식에 따라 변하도록 지시하기 위한 정보가 포함될 수 있다. 그에 부가하여, 주어진 텍스처가 복수의 중첩된 그리트 및 크기로서 정의될 수 있다.
도 6a는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6a에 도시된 실시예는 벽돌을 포함한다. 벽돌의 텍스처는, 모르타르로부터의 껄끄러운 오목부(gritty valley)의 느낌에 의해 끊어져 있는, 벽돌로부터의 거칠고 불규칙적인 텍스처를 가지는 것을 특징으로 한다. 텍스처 엔진을 위한 시스템은 사용자의 손가락이 움직이고 있는 동안 중간 내지 높은 최대 변화를 갖는 랜덤한 신호로 LRA, LPA, 또는 FPA와 같은 액츄에이터를 구동함으로써 벽돌의 거칠고 불규칙적인 텍스처를 생성할 수 있다. 일부 실시예에서, 상이한 거칠기를 위해 이 변화가 조정될 수 있다. 일부 실시예에서, 벽돌에서 모르타르로의 전환이 ERM에 의해 생성되는 지속기간이 긴 팝(high duration pop)에 의해 렌더링될 수 있다. 그에 부가하여, 벽돌 부분과 모르타르 부분 사이에서 마찰 계수가 변화될 수 있다. 모르타르가 충분히 두꺼운 경우, 벽돌의 텍스처를 출력하는 액츄에이터를 구동하는 데 사용되는 것보다 더 높은 변화를 갖는 더 작은 크기의 신호로 액츄에이터를 구동함으로써 미세 텍스처(fine texture)가 렌더링될 수 있다.
도 6b는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6b에 도시된 실시예는 돌을 포함한다. 돌의 텍스처는 사용자가 돌에서 돌로 움직일 때의 전환에 의해 끊어져 있는 매끄러운 표면을 특징으로 한다. 돌의 텍스처를 출력하기 위해, FPA 및/또는 압전 액츄에이터와 같은 액츄에이터가 낮은 마찰의 패치를 생성하는 데 사용될 수 있다. 개개의 돌은 표시된 이미지의 비시각적 가장자리 맵(non-visual edge map)에 의해, 그리고 터치-감응 인터페이스가 사용자의 움직임을 검출할 때, 큰 크기의 햅틱 신호를 LRA, LPA, 또는 ERM과 같은 액츄에이터로 출력함으로써 렌더링될 수 있다. 예를 들어, 터치-감응 인터페이스가 사용자의 손가락이 하나의 돌에서 다른 돌로 이동하고 있음을 검출할 때마다 큰 크기의 출력이 제공될 수 있다. 또한, 돌 사이에서와 같이 마찰 계수가 변화될 수 있다.
도 6c는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6c에 도시된 실시예는 모래 또는 사포를 포함한다. 모래는 거칠고 껄끄러운 느낌은 물론 모래 입자의 더미가 사용자의 손가락 앞에 쌓여 있는 느낌을 특징으로 한다. 모래의 거칠고 껄끄러운 텍스처를 출력하기 위해, 사용자의 손가락이 움직이고 있는 동안 높은 최대 변화를 갖는 랜덤 신호로 LRA, LPA 또는 FPA와 같은 액츄에이터가 구동된다. 일부 실시예에서, 프로세서는 상이한 정도의 거칠기를 생성하기 위해 신호의 변화를 조정할 수 있다. 모래가 쌓여 있는 느낌을 생성하기 위해, FPA와 같은 액츄에이터가 사용될 수 있다. 이러한 실시예에서, 사용자가 터치 스크린을 가로질러 손가락을 움직일 때, 프로세서는 낮은 강도로 시작하다가 사용자가 한 방향으로 손가락을 움직일 때 높아지는 신호로 액츄에이터를 구동할 것이다. 또한 모래가 쌓여 있는 것을 시뮬레이트하기 위해 마찰 계수를 증가시키는 데 압전 액츄에이터 또는 기타 액츄에이터가 사용될 수 있다.
다른 실시예에서, 도 6c에 도시된 텍스처는 사포를 포함할 수 있다. 사포는 거칠고 껄끄러운 느낌을 갖는 것을 특징으로 한다. 거칠고 껄끄러운 느낌을 생성하기 위해, 프로세서는 높은 최대 변화를 갖는 랜덤 신호로 LRA, LPA 또는 FPA와 같은 액츄에이터를 구동한다. 일부 실시예에서, 이 신호는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직이고 있는 동안에만 출력된다. 일부 실시예에서, 프로세서는 거칠기의 레벨을 변경하기 위해 신호의 변화를 조정할 수 있다. 그에 부가하여, 마찰 계수의 급격한 변화를 통해 거칠기가 생성 또는 강조될 수 있다.
도 6d는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6d에 도시된 실시예에서, 텍스처는 잔디의 텍스처를 포함한다. 잔디는 사용자의 손가락을 간지럽히는 듯한 주기적인 약한 느낌을 특징으로 한다. 잔디의 느낌을 생성하기 위해, 프로세서는 잔디의 패치로 오버레이되어 있는 낮은 마찰의 패치를 생성하도록 구성된 신호로 FPA 또는 압전 액츄에이터와 같은 액츄에이터를 구동할 수 있다. 일부 실시예에서, 프로세서는 표시된 이미지의 비시각적 가장자리 맵을 가지고서 사용자 인터페이스가 시뮬레이트된 풀잎 사이에서의 움직임을 검출할 때 작은 크기의 신호를 LPA 또는 ERM과 같은 액츄에이터로 출력함으로써 개개의 풀잎을 렌더링할 수 있다.
도 6e는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6e에 도시된 실시예에서, 텍스처는 직물의 텍스처를 포함한다. 직물은 가볍고 매끄러운 느낌을 특징으로 한다. 직물의 텍스처의 느낌을 생성하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 작은 크기의 고주파 신호로 LPA 또는 LRA와 같은 액츄에이터를 구동할 수 있다. 직물의 "올(grain)"은 올을 따라 움직일 때 낮은 마찰을 제공하기 위해 디스플레이의 마찰 레벨을 변화시킴으로써 시뮬레이트될 수 있다.
도 6f는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6f에 도시된 실시예에서, 텍스처는 물 또는 당밀(molasses)의 텍스처를 포함한다. 물은 거의 어떤 느낌도 갖지 않는 것을 특징으로 한다. 그렇지만, 교란되는 물은 주변으로 튀겨서 사용자의 손가락에 부딪칠 수 있다. 물의 텍스처를 에뮬레이트하기 위해, 프로세서는 터치-감응 인터페이스의 표면 상에서의 마찰을 감소시키기 위해 FPA와 같은 액츄에이터를 구동할 수 있다. 물이 튀는 것(water sloshing)을 에뮬레이트하기 위해, 프로세서는 사용자가 화면을 터치할 때에만 햅틱 신호를 출력할 수 있다. 당밀 또는 기름과 같은 보다 끈적끈적한 액체의 텍스처를 에뮬레이트하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 사용자의 손가락에 대한 마찰을 증가시키도록 구성된 신호로 액츄에이터를 구동할 수 있다.
도 6g는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6g에 도시된 실시예에서, 텍스처는 가죽의 텍스처를 포함한다. 가죽은 (가죽 표면의 볼록부 및 오목부를 포함하는) 전체적으로 매끄러운 느낌을 특징으로 한다. 가죽의 텍스처의 느낌을 생성하기 위해, 프로세서는 사용자의 손가락이 터치-감응 인터페이스의 표면을 가로질러 움직일 때 마찰을 감소시키는 햅틱 효과를 출력하도록 구성된 신호로 FPA 또는 압전 액츄에이터와 같은 액츄에이터를 구동할 수 있다. 프로세서는 터치-감응 인터페이스가 사용자의 손가락이 움직이고 있다는 것을 검출할 때 아주 짧은 작은 크기의 햅틱 신호로 액츄에이터를 구동함으로써 균열 및 볼록부를 출력할 수 있다.
도 6h는 본 발명의 일 실시예에 따라 텍스처 엔진이 생성할 수 있는 텍스처들 중 하나의 텍스처의 예시이다. 도 6e에 도시된 실시예에서, 텍스처는 목재의 텍스처를 포함한다. 목재는 사용자가 판재에서 판재로 움직일 때 급격한 전환에 의해 끊어져 있는 불규칙적인 울퉁불퉁한 텍스처를 특징으로 할 수 있다. 불규칙적인 울퉁불퉁한 텍스처를 생성하기 위해, 프로세서는 표시된 이미지의 비시각적 가장자리 맵으로 LRA, LPA, 또는 FPA와 같은 액츄에이터를 구동하고 사용자의 손가락이 움직이고 있는 다양한 때에 아주 짧은 작은 크기의 신호로 액츄에이터를 구동할 수 있다. 판재에서 판재로의 전환을 출력하기 위해, 프로세서는 액츄에이터로 하여금 큰 크기의, 지속기간이 짧은 팝을 생성하게 하도록 구성된 햅틱 신호를 출력할 수 있다. 판재 사이를 움직이고 있을 때는 터치 표면의 마찰이 변화될 수 있지만, 목재의 결을 따라 움직이고 있을 때는 터치 표면의 마찰이 유지될 수 있다(또는 약간만 변화될 수 있다).
다른 실시예에서, 상이한 텍스처와 연관된 햅틱 효과가 출력될 수 있다. 예를 들어, 일 실시예에서, 프로세서는 액츄에이터로 하여금 사용자가 얼음의 텍스처와 연관된 텍스처를 느끼게 하도록 구성된 햅틱 효과를 출력하게 하도록 구성되어 있는 햅틱 신호를 전송할 수 있다. 얼음은 낮은 마찰을 특징으로 하고, 일부 실시예에서, 얼음은 완전히 매끄러운 텍스처를 가지며, 다른 실시예에서, 얼음은 미세한 작은 크기의 껄끄러운 텍스처를 포함한다. 얼음의 텍스처를 생성하기 위해, 프로세서는 사용자가 터치-감응 인터페이스의 표면을 가로질러 손가락을 움직이고 있는 동안 액츄에이터로 하여금 가능한 한 많이 마찰을 감소시키게 하도록 구성된 햅틱 신호를 결정할 수 있다. 다른 실시예에서, 프로세서는 사용자가 손가락을 움직이고 있는 동안 작은 크기의 효과를 출력하도록 구성된 햅틱 신호로 LPA 또는 LRA와 같은 액츄에이터를 구동할 수 있다. 이 작은 크기의 효과는 얼음의 표면 상의 결점 또는 티끌과 연관되어 있을 수 있다.
다른 실시예에서, 프로세서는 액츄에이터로 하여금 도마뱀 가죽의 텍스처에 가까운 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 도마뱀 가죽은 가죽 상의 볼록부에서 볼록부로의 전환에 의해 끊어져 있는 전체적으로 매끄러운 느낌을 특징으로 한다. 도마뱀 가죽의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 액츄에이터로 하여금 터치-감응 인터페이스 상에 낮은 마찰의 패치를 생성하게 하도록 구성된 햅틱 신호로 액츄에이터를 구동할 수 있다. 프로세서는 터치-감응 인터페이스가 그의 표면을 가로질러 사용자의 손가락이 움직이고 있다는 것을 검출할 때 큰 크기의 햅틱 신호를 주기적으로 출력함으로써 가죽의 표면에 있는 균열을 렌더링할 수 있다. 이 큰 크기의 신호는 가죽의 표면에 있는 균열을 근사화할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 모피의 텍스처를 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 모피는 촉감이 아주 부드러운 주기적인 약한 느낌을 특징으로 한다. 모피의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 액츄에이터로 하여금 터치-감응 인터페이스의 표면 상에서 사용자가 느끼는 마찰을 감소시키도록 구성된 햅틱 효과를 출력하게 하도록 구성된 햅틱 신호로 액츄에이터를 구동할 수 있다. 프로세서는 또한 터치-감응 인터페이스가 사용자의 움직임을 검출할 때 작은 크기의 펄스 햅틱 신호를 출력함으로써 개개의 털을 렌더링할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 금속의 텍스처를 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 금속은, 일부 실시예에서, 가벼운 티끌을 포함하는 매끄러운 낮은 마찰의 표면을 특징으로 한다. 금속의 텍스처를 포함하는 햅틱 효과를 구현하기 위해, 프로세서는 터치-감응 인터페이스의 표면 상에서 사용자가 느끼는 마찰을 감소시키도록 구성된 신호로 액츄에이터를 구동할 수 있다. 일부 실시예에서, 프로세서는 터치-감응 인터페이스가 그의 표면 상에서 사용자가 움직이고 있다는 것을 검출할 때 짧은 큰 크기의 햅틱 신호를 출력함으로써 개개의 볼록부를 렌더링할 수 있다. 이 짧은 큰 크기의 신호는 금속의 표면에 있는 티끌을 근사화할 수 있다.
또 다른 실시예에서, 프로세서는 액츄에이터로 하여금 다른 느낌, 예를 들어 열을 근사화하는 햅틱 효과를 출력하게 하도록 구성된 신호로 액츄에이터를 구동할 수 있다. 이러한 실시예에서, 프로세서는 사용자가 열과 연관되어 있는 디스플레이의 구성요소를 터치할 때 액츄에이터로 하여금 고주파의 덜컹거림 효과를 출력하게 하도록 구성된 햅틱 신호를 출력할 수 있다.
도 7은 복합 햅틱 효과를 제공하는 다른 방법(700)에서의 예시적인 단계들을 나타낸 플로우차트이다. 도 7은 참조 파일(reference file)을 생성하여 사용함으로써 시뮬레이트된 특징부를 제공하는 예시적인 방법(700)을 나타낸 플로우차트이다. 도 8은 픽셀들의 어레이를 포함하는 참조 파일의 일례를 나타낸 것이다. 블록(702, 704)은 복합 햅틱 효과를 결정하기 위해 참조 파일을 사용하기 전에 일어나는 동작인 전처리를 나타낸 것이다. 이 일례에서, 복합 햅틱 효과를 제공하는 데 사용되는 마찰 값 및 적어도 하나의 다른 햅틱 출력을 결정하기 위해 하나의 참조 파일이 사용된다. 그에 부가하여, "참조 파일"은 함께 사용되는 복수의 파일들을 포함할 수 있다.
블록(702)은 위치의 레이아웃을 생성하는 것을 나타내고, 블록(704)은 레이아웃을 이미지 파일에 저장하는 것(비트맵 또는 다른 이미지 파일에서의 픽셀들의 어레이와 같이)을 나타낸다. 예를 들어, 원하는 마찰 값을 지정하기 위해 임의적인 형상이 "그려질" 수 있다. 도 8에서, 백색 픽셀은 마찰 조정 또는 기타 출력이 의도되지 않은 경우를 나타내기 위해 도시된 것인 반면, 음영된 픽셀은 원하는 마찰 계수의 값 또는 심지어 액츄에이터를 구동하기 위해 사용가능한 값(예를 들어, 원하는 PWM 전압 레벨, 주파수 등)을 나타낸다. 다른 대안으로서, 백색 픽셀은 최대 구동을 나타낼 수 있는 반면, 다양한 음영 정도는 낮은 구동 값을 나타내며, 흑색은 0 구동을 나타낸다. 일 실시예에서, 백색 픽셀 및 흑색 픽셀만이 사용되며, 컬러는 장치의 액츄에이터의 온/오프 상태에 대응한다.
이 일례에서, 상이한 음영 정도가 교차-해칭(cross-hatching)으로 표현되어 있다. 실제로, 각각의 픽셀은 다수의 값을 포함할 수 있고(예를 들어, 각각의 픽셀은 RGB 값을 가질 수 있고), 다수의 값은 상이한 액츄에이터에 대한 구동 레벨 등과 같은 상이한 데이터를 제공한다. 그에 부가하여, 참조 파일은 각각의 픽셀 위치에 대한 다양한 파라미터를 지정하는 다수의 계층을 포함할 수 있다. 예를 들어, 하나의 계층은 마찰 계수의 변화를 정의하는 데 사용될 수 있고, 하나 이상의 다른 계층은 진동촉각 또는 기타 햅틱 출력을 출력하는 데 사용하는 구동 값 또는 기타 정보를 정의하는 데 사용될 수 있다. 이 일례는 비교적 적은 수의 픽셀을 나타내고 있지만, 실제로 어레이는 수천개 또는 수백만개의 픽셀을 포함할 수 있다.
이 일례에서, 세 버튼들(802, 804, 및 806)이 도시되어 있고, 버튼 경계는 실선 음영(solid shading)으로 표시되어 있다. 각자의 내부(808, 810, 및 812)는 상이한 음영을 가지며, 버튼 내부에 대응하는 상이한 텍스처, 마찰 값 또는 기타 효과를 나타내도록 의도되어 있다. 메뉴 표시줄은, 서로 동일한 음영을 갖는 2개의 메뉴 명령(816, 818)과 함께, 814에 다른 음영으로 나타내어져 있으며, 이들은 메뉴 표시줄을 만날 때 그리고 이어서 메뉴 항목들을 만날 때를 표시하는 데 사용될 수 있는 상이한 햅틱 효과에 대응한다. 여기에 도시되어 있지는 않지만, 낮은 마찰과 높은 마찰(또는 높은 마찰과 낮은 마찰) 사이의 또는 기타 효과들 사이의 전환 영역이 포함될 수 있다.
도 7 및 방법(700)으로 되돌아가서, 참조 파일이 생성되면, 출력하기 위한 복합 햅틱 효과를 결정하기 위해 블록(706)에 나타낸 바와 같이 참조 파일이 메모리로 로드되고 판독될 수 있다. 예를 들어, 픽셀 어레이의 일부 또는 전부가 위치 검출 및 특징부 시뮬레이션 루틴을 수행하는 프로세서의 작업 메모리에 유지될 수 있다. 일 실시예에서, 픽셀 어레이가 그래픽 사용자 인터페이스의 대응하는 이미지와 나란히 분포된다. 부가의 실시예에서, 픽셀 어레이는 그래픽 사용자 인터페이스 이미지의 계층 또는 성분이고, 추가의 실시예에서, 어레이는 그래픽 사용자 인터페이스와 연관되지 않은 별도의 파일이다.
블록(708)은 터치의 위치를 결정하는 것을 나타낸다. 예를 들어, 센서는 터치 영역에 매핑되는 픽셀들의 어레이에서의 터치의 픽셀 위치를 결정하는 데 사용되는 데이터를 제공할 수 있다. 터치의 위치를 식별하는 데 비픽셀 좌표(non-pixel coordinate)가 사용될 수 있으며, 이하의 매핑 단계 동안에 적절한 변환이 사용된다.
블록(710)은 터치 위치를 이미지 파일에서의 항목(또는 항목들)에 매핑하는 것을 나타낸다. 예를 들어, 픽셀 (x,y) = (10, 12)에서의 터치의 결과 이미지 (x,y) = (10,12)에서의 이미지 내의 하나 이상의 픽셀 값에 액세스하게 되도록 터치 영역이 직접 매핑될 수 있다. 그렇지만, 더 복잡한 매핑이 사용될 수 있다. 예를 들어, 터치 영역에서의 픽셀 값을 이미지 파일에서의 상이한 픽셀 값에 매핑하기 위해 터치 위치 및 속도가 사용될 수 있다. 예를 들어, 터치 영역의 크기 및 픽셀 어레이의 크기가 다를 수 있고, 터치 위치를 픽셀 값에 매핑하기 위해 스케일링 인자가 사용된다.
블록(712)은 이미지 파일로부터의 데이터에 적어도 부분적으로 기초하여 표면-기반 햅틱 효과를 제공하기 위해 하나 이상의 액츄에이터를 동작시키는 것을 나타낸다. 예를 들어, 이미지 파일에서의 픽셀 값이 원하는 마찰 계수에 매핑될 수 있다. 방법(700)을 수행하는 장치는, 픽셀 위치 및 원하는 마찰 계수에 기초하여, 원하는 마찰 계수를 생성하기 위해 하나 이상의 액츄에이터로 전송할 적당한 신호 또는 신호들을 결정할 수 있다. 다른 일례로서, 픽셀 값은, 압전 액츄에이터로 전송될 PWM 신호에 대한 전압/진폭/주파수 값 또는 오프셋과 같이, 구동 신호를 보다 직접적으로 나타낼 수 있다. 어레이의 데이터는 또한 다른 유형의 액츄에이터에 대한 구동 신호를 생성하는 데 사용하도록 구성될 수 있다.
더 복잡한 일례로서, 각각의 픽셀 주소가 3개의 강도 값(즉, RGB)과 연관되어 있을 수 있다. 3개의 강도 값 각각은, 일부 실시예에서, 대응하는 액츄에이터에 대한 신호 강도/주파수와 연관되어 있을 수 있다. 다른 일례로서, 어떤 값은 강도를 지정할 수 있고, 다른 값은 동일한 액츄에이터에 대한 동작의 지속기간을 지정할 수 있다. 추가의 일례로서, 상이한 픽셀 강도 값이 하나의 텍스처를 시뮬레이트하기 위해 액츄에이터를 구동하는 데 사용되는 상이한 원하는 텍스처 또는 성분과 상관될 수 있다. 예를 들어, 텍스처(808, 810, 및 812)는 마찰 변화 및 진동의 조합을 사용하여 달성될 수 있다. 영역에 매핑되는 위치에서 터치가 일어날 때, 텍스처를 생성하기 위해 적절한 액츄에이터(들)가 사용될 수 있다.
방법(700)은 이미지 파일 내의 다수의 픽셀에 매핑되는 터치 위치를 결정할 수 있다. 예를 들어, 큰 터치는 이미지 파일 내의 일정 범위의 픽셀 주소에 대응할 수 있다. 일정 범위의 픽셀 주소로부터의 값들이 함께 고려될 수 있거나, 터치 위치를 "정확히 찾아내고" 대응하는 단일 픽셀 주소로부터의 값을 사용하기 위해 분석이 행해질 수 있다.
이 일례에서, 방법(700)은 714에서 햅틱 효과에 연계되어 있는 하나 이상의 이벤트가 있는지 검사한다. 앞서 살펴본 바와 같이, 복합 햅틱 효과는 선택을 확인해주거나, 상태의 변화를 나타내거나, 또는 그렇지 않다면 사용자에게 피드백을 제공하기 위해 햅틱 출력을 제공하는 하나 이상의 액츄에이터를 이용할 수 있다. 블록(716)은 이벤트에 대응하는 햅틱 출력을 제공하기 위해 하나 이상의 액츄에이터를 사용하는 것을 나타내고, 이어서 터치 위치를 결정하기 위해 다시 708로 계속된다.
예를 들어, 사용자는 버튼(802)에 매핑되는 터치 표면의 영역을 가로질러 버튼(804)에 매핑되는 영역으로 손가락 또는 기타 객체를 움직일 수 있다. 텍스처(808)가 생성될 수 있고, 이어서 손가락/객체가 버튼(804)으로 움직일 때, 버튼 경계를 나타내기 위해 클릭, 팝, 또는 기타 효과가 출력될 수 있다. 사용자가 소정의 시간 동안 버튼 상에서 머뭇거리는 경우 및/또는 터치-인에이블드 시스템이 터치 또는 압력의 증가를 등록하는 경우, 클릭 또는 버튼-누름 이벤트가 등록될 수 있다. 클릭 이벤트에 응답하여, 물리적 버튼의 응답(또는 다른 응답)을 시뮬레이트하기 위해 클릭, 팝, 또는 기타 효과가 출력될 수 있다.
일부 실시예에서, 표면-기반 햅틱 효과를 갖는 터치 표면을 특징으로 하는 컴퓨팅 장치는 입력 시퀀스에 기초하여 상이한 표면-기반 햅틱 효과를 출력할 수 있다. 따라서, 터치 표면의 시뮬레이트된 특징부는 그 표면과 연관된 장치의 상태에 기초하여 변할 수 있다. 일부 실시예에서, 이것은 다수의 계층을 갖는 참조 파일을 사용하여 구현될 수 있으며, 각각의 계층은 특정의 상태에 대응할 수 있다. 예를 들어, 다양한 입력 조건에 기초하여 상태가 변경될 수 있다.
예를 들어, 모바일 장치에서와 같이, 터치 표면이 키패드로서 역할하도록 구성될 수 있다. 키패드는 숫자 1-9에 대응하는 3개의 키 행 및 "0," "*", 및 "#" 키를 갖는 4번째 행을 특징으로 할 수 있다. 초기 상태에서, 터치 표면은, 레이아웃의 나머지에서보다 "5" 키에서의 더 높은 마찰 레벨과 같이, 중심 특징부를 제공하도록 구성될 수 있다.
컴퓨팅 장치는 터치-감응 영역에 대한 입력을 추적하는 것에 기초하여 사용자 입력에 응답하여 터치 표면의 상태를 변경하도록 구성될 수 있다. 예를 들어, 시스템이 사용자가 "5" 키를 찾아낸 것으로 판정하면(예를 들어, 터치, 호버링(hovering) 또는 키를 찾아냈음(꼭 선택될 필요는 없음)을 나타내는 기타 동작을 검출하는 것에 의해), 다른 상태에 기초하여 표면-기반 효과가 제공될 수 있다. 예를 들어, 다중-계층 참조 파일이 사용되는 경우, 다른 층이 메모리에 로드될 수 있다. 제2 상태에서, 예를 들어, 사용자가 시각적 피드백을 필요로 하지 않고 중심으로부터 원하는 키로 진행할 수 있도록 키들 사이의 경계가 제공될 수 있다(물론 본 발명 대상의 임의의 실시예와 함께 시각적, 청각적 또는 기타 피드백이 제공될 수 있다).
다양한 실시예에서, 표면-기반 햅틱 효과의 정보 내용 또는 의미가 변할 수 있다. 예를 들어, 효과가 그래픽 사용자 인터페이스에서의 영역, 시뮬레이트된 키 또는 기타 컨트롤에 매핑되는 터치 표면의 특정 부분을 식별하기 위해 사용될 수 있거나, 심미적 또는 엔터테인먼트 목적을 위해(예를 들어, 디자인의 일부로서 및/또는 게임에서) 제공될 수 있다. 효과는 또한 통신을 위해 제공될 수 있다. 예를 들어, 점자(Braille) 또는 기타 촉각-기반 통신 방법을 용이하게 할 수 있다.
일반 고려사항
본 명세서에서 "~하는 데 적합하게 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업 또는 단계를 수행하는 데 적합하게 되어 있는 또는 부가의 작업 또는 단계를 수행하도록 구성되어 있는 장치를 제외시키지 않는 개방적이고 포함적인 어구를 의미한다. 또한, "~에 기초한"의 사용은, 하나 이상의 언급된 조건 또는 값에 "기초한" 프로세스, 단계, 계산 또는 기타 동작이 언급된 것 이외의 부가의 조건 또는 값에 기초할 수 있다는 점에서, 개방적이고 포함적임을 의미한다. 본 명세서에 포함된 제목, 목록 및 번호 매기기는 단지 설명의 용이함을 위한 것이고 제한하기 위한 것이 아니다.
본 발명 대상의 측면에 따른 실시예는 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 센서 샘플링 루틴, 햅틱 효과 선택 루틴, 및 상기한 바와 같이 선택된 햅틱 효과를 생성하는 신호를 생성하는 적당한 프로그래밍을 비롯한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다.
이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(digital signal processor)(DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 기계(state machine)를 포함할 수 있다. 이러한 프로세서는 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 장치와 같은 프로그램가능 전자 장치들(programmable electronic devices)을 추가로 포함할 수 있다.
이러한 프로세서는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 본 명세서에 기술된 단계를 수행하게 할 수 있는 명령어를 저장할 수 있는 매체(예를 들어, 유형의 컴퓨터 판독가능 매체)를 포함할 수 있거나 그와 통신하고 있을 수 있다. 컴퓨터 판독가능 매체의 실시예는 프로세서(웹 서버 내의 프로세서 등)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 모든 전자, 광학, 자기 또는 기타 저장 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치와 같은 다양한 기타 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하는 코드를 포함할 수 있다.
본 발명 대상이 그의 특정 실시예와 관련하여 상세히 기술되어 있지만, 당업자가 이상의 내용을 이해할 때 이러한 실시예에 대한 변경, 변형 및 등가물을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 따라서, 당업자에게 즉각적으로 명백한 바와 같이, 본 개시 내용이 제한이 아니라 예시를 위해 제공되어 있고 본 발명 대상에 이러한 수정, 변형 및/또는 추가를 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.

Claims (1)

  1. 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템으로서,
    제1 객체가 터치 표면에 접촉할 때 제1 터치를 검출하고,
    제2 객체가 상기 터치 표면에 접촉할 때 제2 터치를 검출하도록 구성된 센서;
    상기 터치 표면에 결합되어, 제1 햅틱 신호에 응답하여 상기 터치 표면의 마찰 계수를 변화시키는 제1 햅틱 효과를 제공하도록 구성된 제1 액츄에이터;
    상기 터치 표면, 및 상기 터치 표면을 포함하는 하우징 중 적어도 하나에 결합되어, 제2 햅틱 신호에 응답하여 상기 제1 햅틱 효과와는 다른 제2 햅틱 효과를 제공하도록 구성된 제2 액츄에이터; 및
    상기 제1 액츄에이터, 상기 제2 액츄에이터 및 상기 센서와 통신하며,
    상기 터치 표면 내의 상기 제1 터치의 제1 위치에 기초하여 상기 제1 햅틱 효과를 결정하고,
    상기 제1 햅틱 신호를 상기 제1 액츄에이터에 전송하고,
    상기 터치 표면 내의 상기 제2 터치의 제2 위치에 기초하여 상기 제2 햅틱 효과를 결정하고,
    상기 제2 햅틱 신호를 상기 제2 액츄에이터에 전송하도록 구성된 프로세서
    를 포함하고,
    상기 제1 햅틱 효과는 배경 텍스처(texture)를 시뮬레이트하도록 구성되고, 상기 제2 햅틱 효과는 상기 배경 텍스처를 오버레이하는 특징부(feature)의 존재를 시뮬레이트하도록 구성되는, 시스템.
KR1020197004887A 2009-03-12 2010-03-11 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법 KR20190020180A (ko)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,900 2010-01-29
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,010 2010-01-29
US12/697,037 2010-01-29
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/696,893 2010-01-29
PCT/US2010/026907 WO2010105011A1 (en) 2009-03-12 2010-03-11 Systems and methods for friction displays and additional haptic effects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167023565A Division KR101952002B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20190020180A true KR20190020180A (ko) 2019-02-27

Family

ID=73451209

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197004887A KR20190020180A (ko) 2009-03-12 2010-03-11 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
KR1020167023565A KR101952002B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167023565A KR101952002B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법

Country Status (5)

Country Link
EP (2) EP3447614A1 (ko)
JP (1) JP5694205B2 (ko)
KR (2) KR20190020180A (ko)
CN (1) CN102349041B (ko)
WO (1) WO2010105011A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TR200400547T4 (tr) * 2000-12-12 2004-07-21 Franz L�Sser Ag İplik makarası silindiri
US8525778B2 (en) * 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US20100236843A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab Data input device
KR101640043B1 (ko) * 2010-04-14 2016-07-15 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5496032B2 (ja) * 2010-09-17 2014-05-21 京セラ株式会社 触感呈示装置及び触感呈示装置の制御方法
US8773403B2 (en) 2011-05-20 2014-07-08 Sony Corporation Haptic device for position detection
US8956230B2 (en) * 2011-05-20 2015-02-17 Sony Corporation Haptic device for 3-D gaming
US8681130B2 (en) 2011-05-20 2014-03-25 Sony Corporation Stylus based haptic peripheral for touch screen and tablet devices
US8749533B2 (en) 2011-05-20 2014-06-10 Sony Corporation Haptic device for carving and molding objects
WO2013108595A1 (ja) * 2012-01-17 2013-07-25 パナソニック株式会社 電子機器
WO2013157626A1 (ja) * 2012-04-20 2013-10-24 株式会社ニコン 電子機器及び振動制御方法
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
EP2703947B1 (de) 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
US9368005B2 (en) * 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
CN103677374B (zh) * 2012-09-24 2019-07-26 联想(北京)有限公司 一种输出方法以及一种电子设备
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6028534B2 (ja) * 2012-11-19 2016-11-16 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
CN105144035B (zh) 2013-04-26 2019-03-22 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
WO2015016210A1 (ja) * 2013-08-01 2015-02-05 株式会社ニコン 電子機器、および電子機器の制御プログラム
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
JPWO2015121964A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 入力装置
JP6319328B2 (ja) * 2014-02-14 2018-05-09 富士通株式会社 教育用触感提供装置、及び、システム
WO2015121958A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 電子機器、入力装置、及び電子機器の駆動制御方法
CN103995591B (zh) 2014-05-16 2017-03-01 北京智谷睿拓技术服务有限公司 产生触感反馈的方法和设备
US9696806B2 (en) 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN104407707B (zh) * 2014-12-08 2017-07-11 厦门大学 一种大纹理触觉再现***
US9983672B2 (en) * 2015-01-30 2018-05-29 Immersion Corporation Electrostatic haptic actuator and user interface with an electrostatic haptic actuator
CN104679241B (zh) * 2015-01-30 2018-02-06 南京航空航天大学 一种宽幅摩擦力控制触觉再现装置及方法
WO2018017212A1 (en) 2016-07-22 2018-01-25 Harman International Industries, Incorporated Haptic driving guidance system
FR3065547B1 (fr) * 2017-04-24 2019-07-12 Commissariat A L'energie Atomique Et Aux Energies Alternatives Interface a retournement temporel generant une lubrification acoustique
KR102130776B1 (ko) * 2018-05-16 2020-07-08 주식회사 닷 정보 출력 장치
JP6781236B2 (ja) * 2018-11-16 2020-11-04 株式会社デンソーテン 操作装置
US11099664B2 (en) 2019-10-11 2021-08-24 Hovsep Giragossian Talking multi-surface keyboard
JP7497266B2 (ja) 2020-10-06 2024-06-10 株式会社デンソーテン 触感制御装置及び触感制御方法
WO2023155104A1 (en) * 2022-02-17 2023-08-24 Boe Technology Group Co., Ltd. Electronic apparatus and method of operating electronic apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999168A (en) * 1995-09-27 1999-12-07 Immersion Corporation Haptic accelerator for force feedback computer peripherals
JP3987182B2 (ja) * 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
CN2377597Y (zh) * 1998-11-20 2000-05-10 刘中华 平面内特定物***置参数超声传感装置
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
WO2001078238A1 (en) * 2000-04-11 2001-10-18 Cirque Corporation Efficient entry of characters into a portable information appliance
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
JP2005258666A (ja) * 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US8232969B2 (en) * 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
US7616192B2 (en) * 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
KR20150044979A (ko) * 2006-09-13 2015-04-27 임머숀 코퍼레이션 카지노 게이밍 햅틱을 위한 시스템 및 방법
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
JP2010528381A (ja) * 2007-05-30 2010-08-19 マーティン ポインティング ディバイシズ ガイド線を有するタッチ式ポインティング・デバイス
EP2000884A1 (en) * 2007-06-08 2008-12-10 Research In Motion Limited Shape-changing disply for a handheld electronic device

Also Published As

Publication number Publication date
WO2010105011A1 (en) 2010-09-16
EP3447614A1 (en) 2019-02-27
KR101952002B1 (ko) 2019-02-25
EP2406703A1 (en) 2012-01-18
EP2406703B1 (en) 2018-11-28
CN102349041A (zh) 2012-02-08
JP2012520523A (ja) 2012-09-06
CN102349041B (zh) 2015-11-25
JP5694205B2 (ja) 2015-04-01
KR20160104748A (ko) 2016-09-05

Similar Documents

Publication Publication Date Title
KR101952002B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
KR101653330B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
JP6571815B2 (ja) 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
KR101769628B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR101946986B1 (ko) 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
JP2012520523A5 (ko)

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right