KR101769628B1 - 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법 - Google Patents

마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법 Download PDF

Info

Publication number
KR101769628B1
KR101769628B1 KR1020117023987A KR20117023987A KR101769628B1 KR 101769628 B1 KR101769628 B1 KR 101769628B1 KR 1020117023987 A KR1020117023987 A KR 1020117023987A KR 20117023987 A KR20117023987 A KR 20117023987A KR 101769628 B1 KR101769628 B1 KR 101769628B1
Authority
KR
South Korea
Prior art keywords
touch
location
haptic effect
actuator
friction
Prior art date
Application number
KR1020117023987A
Other languages
English (en)
Other versions
KR20110130473A (ko
Inventor
후안 마누엘 크루즈-헤르난데즈
대니 에이. 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20110130473A publication Critical patent/KR20110130473A/ko
Application granted granted Critical
Publication of KR101769628B1 publication Critical patent/KR101769628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치-인에이블드 장치는 터치 영역에 하나 이상의 특징부를 시뮬레이트할 수 있다. 특징부는 표면과 접촉해 있는 객체를 사용하여 인지될 수 있는, 텍스처의 변화 및/또는 터치 표면에서의 경계, 장애물, 또는 기타 불연속의 시뮬레이션을 포함할 수 있지만, 이들로 제한되지 않는다. 시스템은 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하도록 구성된 센서, 액츄에이터, 및 하나 이상의 프로세서를 포함한다. 프로세서는 센서를 사용하여 터치의 위치를 결정하고, 그 위치에 적어도 부분적으로 기초하여, 결정된 위치에 또는 그 근방에 특징부의 존재를 시뮬레이트하기 위한 선택된 햅틱 효과를 생성하기 위해 햅틱 효과를 선택할 수 있다. 프로세서는 액츄에이터를 사용하여 식별된 햅틱 효과를 생성하기 위해 햅틱 신호를 전송할 수 있다. 어떤 특징부는 터치 표면의 마찰 계수를 변화시킴으로써 시뮬레이트된다.

Description

마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법{SYSTEMS AND METHODS FOR PROVIDING FEATURES IN A FRICTION DISPLAY}
관련 출원들의 상호 참조
이 특허 출원은 2009년 3월 12일자로 출원된, 발명의 명칭이 "Locating Features Using a Friction Display(마찰 디스플레이를 사용한 특징부의 위치 확인)"인 미국 가특허 출원 제61/159,482호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "System and Method for Increasing Haptic Bandwidth in an Electronic Device(전자 장치에서 햅틱 대역폭을 증가시키는 시스템 및 방법)"인 미국 가특허 출원 제61/262,041호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2009년 11월 17일자로 출원된, 발명의 명칭이 "Friction Rotary Device for Haptic Feedback(햅틱 피드백을 위한 마찰 회전 장치)"인 미국 가특허 출원 제61/262,038호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Providing Features In A Friction Display(마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,893호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Friction Displays And Additional Haptic Effects(마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,900호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects(표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/696,908호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For A Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,010호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Textures In Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,037호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
이 특허 출원은 2010년 1월 29일자로 출원된, 발명의 명칭이 "Systems And Methods For Using Multiple Actuators To Realize Textures(다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법)"인 미국 실용 특허 출원 제12/697,042호를 기초로 우선권을 주장하며, 이 미국 출원은 참조 문헌으로서 그 전체 내용이 본 명세서에 포함된다.
터치-인에이블드 장치(touch-enabled device)가 점점 더 널리 보급되고 있다. 예를 들어, 사용자가 터치 감응 디스플레이의 일부분을 터치함으로써 입력을 제공할 수 있도록 모바일 장치 및 기타 장치가 터치 감응 디스플레이로 구성될 수 있다. 다른 일례로서, 트랙패드(trackpad), 마우스 또는 기타 장치와 같이, 입력을 위해 디스플레이와 분리되어 있는 터치-인에이블드 표면(touch-enabled surface)이 사용될 수 있다.
예를 들어, 사용자는 버튼 또는 컨트롤과 같은 온-스크린 그래픽 사용자 인터페이스(on-screen graphical user interface)에 매핑되는 디스플레이 또는 표면의 일부분을 터치할 수 있다. 다른 일례로서, 일련의 하나 이상의 터치, 표면을 가로지르는 드래그(drag), 또는 장치에 의해 감지되는 다른 인식가능한 패턴과 같은 제스처가 제공될 수 있다. 터치-인에이블드 디스플레이 및 기타 터치-기반 인터페이스가 장치 기능을 크게 향상시켰지만, 단점은 여전히 있다. 예를 들어, 키보드가 화면 상에 표시되더라도, 물리적 키보드에 익숙해져 있는 사용자는 터치-인에이블드 장치를 사용하는 동안 동일한 경험을 하지 못할지도 모른다.
본 발명의 실시예는 터치 영역에서 하나 이상의 특징부를 시뮬레이트하는 표면-기반 햅틱 효과를 특징으로 하는 장치를 포함한다. 특징부는 표면과 접촉해 있는 객체를 사용하여 인지될 수 있는, 텍스처의 변화 및/또는 터치 표면에서의 경계, 장애물, 또는 기타 불연속의 시뮬레이션을 포함할 수 있지만, 이들로 제한되지 않는다. 표면-기반 햅틱 효과를 포함하는 장치는 보다 사용자에게 친숙할 수 있고 더 매력적인 사용자 경험을 제공할 수 있다.
일 실시예에서, 시스템은 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하도록 구성된 센서, 액츄에이터(actuator), 및 하나 이상의 프로세서를 포함한다. 터치 영역은 손가락 또는 펜과 같은 객체를 통해 사용자와 상호작용하는 디스플레이 영역 및/또는 다른 표면에 대응할 수 있다. 프로세서는 센서로부터의 데이터에 기초하여 터치의 위치를 결정하고, 그 위치에 적어도 부분적으로 기초하여, 결정된 위치에 또는 그 근방에 특징부의 존재를 시뮬레이트하기 위한 선택된 햅틱 효과를 생성하기 위해 햅틱 효과를 선택하도록 구성되어 있을 수 있다. 게다가, 프로세서는 액츄에이터를 사용하여 식별된 햅틱 효과를 생성하기 위해 햅틱 신호를 전송할 수 있다. 액츄에이터는 터치 표면에 결합될 수 있고, 프로세서에 의해 생성되는 햅틱 신호를 수신하고 그에 응답하여 햅틱 효과를 출력하도록 구성될 수 있다. 일부 실시예에서, 햅틱 효과를 선택하는 것은 결정된 위치에 또는 그 근방에 특징부의 존재를 시뮬레이트할 마찰 계수의 변동을 결정하는 것을 포함한다.
이 예시적인 실시예는 본 발명 대상의 범위를 제한하거나 한정하기 위한 것이 아니라 오히려 본 발명의 이해를 돕기 위한 일례를 제공하기 위해 언급되어 있다. 예시적인 실시예가 상세한 설명에서 논의되고 있으며, 추가적인 설명이 그곳에 제공되어 있다. 다양한 실시예에 의해 제공되는 이점이 또한 본 명세서를 살펴보면 및/또는 청구된 발명 대상의 하나 이상의 실시예를 실시해보면 이해될 수 있다.
상세하고 실시가능한 개시 내용이 명세서의 나머지 부분에 더 구체적으로 기술되어 있다. 명세서에서는 이하의 첨부 도면을 참조하고 있다.
도 1a는 표면-기반 햅틱 효과를 제공하는 예시적인 시스템을 나타낸 도면.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외형도.
도 1c는 도 1a에 도시된 시스템의 다른 실시예의 외형도.
도 2a 및 도 2b는 표면-기반 햅틱 효과를 사용하는 특징부를 시뮬레이트하는 일례를 나타낸 도면.
도 3a 및 도 3b는 표면의 마찰 계수를 변화시키는 예시적인 하드웨어 아키텍처를 나타낸 도면.
도 4a 및 도 4b는 표면의 마찰 계수를 변화시키는 다른 예시적인 하드웨어 아키텍처를 나타낸 도면.
도 5는 표면-기반 햅틱 효과를 사용함으로써 시뮬레이트된 특징부를 제공하는 예시적인 방법을 나타낸 플로우차트.
도 6a 내지 도 6d는 각각 예시적인 시뮬레이트된 특징부를 나타낸 도면.
도 7은 참조 파일(reference file)을 사용함으로써 시뮬레이트된 특징부를 제공하는 예시적인 방법을 나타낸 플로우차트.
도 8은 터치 표면의 특징부를 시뮬레이트하는 데이터를 포함하는 참조 파일의 일례를 나타낸 도면.
이제부터, 다양한 대안의 예시적인 실시예 및 첨부 도면에 대해 상세히 언급할 것이다. 각각의 일례는 제한이 아니라 설명으로서 제공되어 있다. 여러 수정 및 변형이 행해질 수 있다는 것이 당업자에게는 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술된 특징부가 다른 실시예에서 사용되어 또 다른 실시예를 생성할 수 있다. 따라서, 본 개시 내용이 첨부된 특허청구범위 및 그 등가물의 범위 내에 속하는 여러 수정 및 변형을 포함하는 것으로 보아야 한다.
가변 마찰 인터페이스를 사용하는 장치의 예시적인 일례
본 발명의 한 예시적인 실시예는 iPod® 휴대용 음악 장치 또는 iPhone® 모바일 장치(둘다 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터 입수가능함) 또는 Zune® 휴대용 장치(미국 워싱턴주 레드몬드 소재의 Microsoft Corporation으로부터 입수가능함)와 같은 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 가속도계와 같은 하나 이상의 센서는 물론 디스플레이 영역(이 일례에서, 장치의 화면에 대응함)에 대한 터치의 위치를 결정하는 센서(예를 들어, 광학, 저항성 또는 정전용량)를 포함할 수 있고 및/또는 그와 통신하고 있을 수 있다.
사용자가 장치와 상호작용할 때, 촉각 효과를 제공하기 위해 하나 이상의 액츄에이터가 사용된다. 예를 들어, 사용자가 장치를 가로질러 손가락을 움직일 때, 손가락의 위치, 속도 및/또는 가속도에 기초하여 화면의 마찰 계수가 변화될 수 있다. 마찰이 어떻게 변화되는지에 따라, 사용자는 표면 마찰이 변화되지 않은 경우 동일한 방식으로(또는 전혀) 인지되지 않을 터치 표면에서의 특징부를 인지할 수 있다. 특정의 일례로서, 사용자가 범프, 경계, 또는 온-스크린 버튼의 가장자리에 대응하는 기타 장애물을 인지하도록 마찰이 변화될 수 있다. 이하에서 더 상세히 논의될 것인 바와 같이, 마찰 계수를 변화시키는 것은 사용자에게 정보를 제공하기 위해 다수의 방식으로 사용될 수 있다. 그에 부가하여, 터치 표면에서의 특징부의 존재는, 마찰 계수를 변화시키는 것에 부가하여 또는 그 대신에, 효과를 사용하여 시뮬레이트될 수 있다.
표면-기반 햅틱 효과를 제공함으로써 특징부를 시뮬레이트하는 예시적인 시스템
도 1a는 표면-기반 햅틱 효과를 제공하는 예시적인 시스템(100)을 나타낸 것이다. 상세하게는, 이 일례에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스하는 프로세서(102)를 특징으로 하는 컴퓨팅 장치(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한, 유형의(tangible)(비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 장치의 동작을 구성하는 프로그램 구성요소를 구현한다. 이 일례에서, 컴퓨팅 장치(101)는 하나 이상의 네트워크 인터페이스 장치(110), 입/출력(I/O) 인터페이스 구성요소(112) 및 부가의 저장 장치(114)를 추가로 포함한다.
네트워크 장치(들)(110)는 네트워크 연결을 용이하게 해주는 임의의 구성요소를 나타낼 수 있다. 일례로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface) 및/또는 IEEE 802.11, 블루투스와 같은 무선 인터페이스(wireless interface), 또는 휴대폰 네트워크에 액세스하는 무선 인터페이스(radio interface)(예를 들어, CDMA, GSM, UMTS 또는 기타 이동 통신 네트워크에 액세스하는 송수신기/안테나)가 있지만, 이들로 제한되지 않는다.
I/O 구성요소(112)는 하나 이상의 디스플레이, 키보드, 마우스, 스피커, 마이크, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 사용되는 기타 하드웨어와 같은 장치에의 연결을 용이하게 해주는 데 사용될 수 있다. 저장 장치(114)는 장치(101)에 포함되어 있는 자기, 광학, 또는 기타 저장 매체와 같은 비휘발성 저장 장치를 나타낸다.
시스템(100)은, 이 일례에서, 장치(101)와 일체로 되어 있는 터치 표면(116)을 추가로 포함한다. 터치 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되어 있는 임의의 표면을 나타낸다. 하나 이상의 센서(108)는 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하고 프로세서(102)에 의해 사용하기에 적절한 데이터를 제공하도록 구성되어 있다. 임의의 적당한 수, 유형 또는 배열의 센서가 사용될 수 있다. 예를 들어, 저항 및/또는 정전용량 센서가 터치 표면(116)에 매몰되어 있을 수 있고 터치의 위치 및 기타 정보(압력 등)를 결정하는 데 사용될 수 있다. 다른 일례로서, 터치 표면의 뷰와 함께 광 센서가 터치 위치를 결정하는 데 사용될 수 있다.
이 일례에서, 프로세서(102)와 통신하고 있는 액츄에이터(118)는 터치 표면(116)에 결합되어 있다. 일부 실시예에서, 액츄에이터(118)는 햅틱 신호에 응답하여 터치 표면의 마찰 계수를 변화시키는 햅틱 효과를 출력하도록 구성되어 있다. 그에 부가하여 또는 다른 대안으로서, 액츄에이터(118)는 제어된 방식으로 터치 표면을 움직이는 진동촉각 햅틱 효과를 제공할 수 있다. 어떤 햅틱 효과는 장치의 하우징에 결합된 액츄에이터를 이용할 수 있고, 어떤 햅틱 효과는 다수의 액츄에이터를 순차적으로 및/또는 동시에 사용할 수 있다. 예를 들어, 표면을 상이한 주파수로 진동시킴으로써 마찰 계수가 변화될 수 있다. 텍스처의 느낌을 시뮬레이트하기 위해 상이한 변동 조합/순서가 사용될 수 있다.
여기에 하나의 액츄에이터(118)가 도시되어 있지만, 실시예는 터치 표면의 마찰 계수를 변화시키기 위해 동일한 또는 상이한 유형의 다수의 액츄에이터를 사용할 수 있다. 예를 들어, 일부 실시예에서, 터치 표면(116)의 일부 또는 전부를 (일부 실시예에서, 20 kHz 초과의 주파수로 움직이는 액츄에이터를 사용하는 등에 의해) 초음파 주파수로 수직으로 및/또는 수평으로 변위시키기 위해 압전 액츄에이터가 사용된다. 일부 실시예에서, 상이한 텍스처 및 기타 햅틱 효과를 제공하기 위해 ERM(eccentric rotating mass) 모터 및 LRA(linear resonant actuator)와 같은 다수의 액츄에이터가 단독으로 또는 동시에 사용될 수 있다.
메모리(104)와 관련하여, 일부 실시예에서 어떻게 장치가 가변 마찰 디스플레이를 제공하도록 구성될 수 있는지를 설명하기 위해 예시적인 프로그램 구성요소(124, 126, 128)가 나타내어져 있다. 이 일례에서, 검출 모듈(124)은 터치의 위치를 결정하기 위해 센서(들)(108)를 통해 터치 표면(116)을 모니터링하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 터치의 존재 또는 부존재를 추적하고, 터치가 존재하는 경우, 시간에 따른 터치의 위치, 경로, 속도, 가속도, 압력 및/또는 기타 특성을 추적하기 위해 센서(108)를 샘플링할 수 있다.
햅틱 효과 결정 모듈(126)은 터치 특성에 관한 데이터를 분석하여 생성할 햅틱 효과를 선택하는 프로그램 구성요소를 나타낸다. 상세하게는, 모듈(126)은, 터치의 위치에 기초하여, 발생할 터치 표면의 시뮬레이트된 특징부를 결정하는 코드 및 특징부를 시뮬레이트하기 위해 제공할 하나 이상의 햅틱 효과를 선택하는 코드를 포함한다. 예를 들어, 터치 표면(116)의 영역의 일부 또는 전부가 그래픽 사용자 인터페이스에 매핑될 수 있다. 특징부의 대응하는 표현이 인터페이스에 보여질 때 특징부가 느껴지도록 터치 표면(116)의 마찰을 변화시킴으로써 특징부의 존재를 시뮬레이트하기 위해 터치의 위치에 기초하여 상이한 햅틱 효과가 선택될 수 있다. 그렇지만, 대응하는 요소가 인터페이스에 표시되지 않더라도 터치 표면(116)을 통해 햅틱 효과가 제공될 수 있다(예를 들어, 경계가 표시되지 않더라도 인터페이스에서의 경계를 가로지르는 경우 햅틱 효과가 제공될 수 있다).
햅틱 효과 생성 모듈(128)은, 적어도 터치가 일어나고 있을 때 선택된 햅틱 효과를 생성하기 위해, 프로세서(102)로 하여금 햅틱 신호를 생성하여 액츄에이터(들)(118)에 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 생성 모듈(128)은 액츄에이터(118)에 전송할 저장된 파형 또는 명령에 액세스할 수 있다. 다른 일례로서, 햅틱 효과 생성 모듈(128)은 원하는 마찰 계수를 수신하고 신호 처리 알고리즘을 이용하여 액츄에이터(들)(118)에 전송할 적절한 신호를 생성할 수 있다. 추가의 일례로서, 표면(및/또는 기타 장치 구성요소)의 적절한 변위를 생성하여 텍스처를 제공하기 위해 하나 이상의 액츄에이터에 전송되는 적절한 파형 및 텍스처에 대한 목표 좌표와 함께, 원하는 텍스처가 표시될 수 있다. 적어도 터치 표면(116)의 마찰 계수를 변화시킴으로써 특징부가 시뮬레이트될 수 있다. 일부 실시예는 특징부를 시뮬레이트하기 위해 다수의 액츄에이터를 동시에 이용할 수 있다. 예를 들어, 각각의 건반이 눌러질 때 진동촉각 효과가 각각의 건반의 응답을 시뮬레이트하는 동안 시뮬레이트된 피아노 건반 사이의 경계를 가로지르는 것을 시뮬레이트하기 위해 마찰의 변동이 사용될 수 있다.
터치 표면은, 컴퓨팅 시스템의 특정의 구성에 따라, 디스플레이를 오버레이(또는 다른 방식으로 디스플레이에 대응)하거나 그렇지 않을 수 있다. 도 1b에, 컴퓨팅 시스템(100B)의 외형도가 도시되어 있다. 컴퓨팅 장치(101)는 터치 표면 및 장치의 디스플레이를 겸비하고 있는 터치-인에이블드 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외부 또는 실제 디스플레이 구성요소 상의 하나 이상의 물질층에 대응할 수 있다.
도 1c는 터치 표면이 디스플레이를 오버레이하고 있지 않은 터치-인에이블드 컴퓨팅 시스템(100C)의 다른 일례를 나타낸 것이다. 이 일례에서, 컴퓨팅 장치(101)는 장치(101)와 인터페이스하는 컴퓨팅 시스템(120)에 포함되어 있는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 표면(116)을 특징으로 한다. 예를 들어, 컴퓨팅 장치(101)는 마우스, 트랙패드, 또는 기타 장치를 포함할 수 있는 반면, 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스) 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 다른 일례로서, 디스플레이(122)를 특징으로 하는 랩톱 컴퓨터에 있는 터치-인에이블드 트랙패드와 같이, 터치 표면(116) 및 디스플레이(122)가 동일한 장치에 포함될 수 있다. 디스플레이와 일체로 되어 있든 그렇지 않든 간에, 본 명세서에서의 일례에서 평면 터치 표면을 나타내고 있는 것은 제한하기 위한 것이 아니다. 다른 실시예는 추가로 표면-기반 햅틱 효과를 제공하도록 구성되어 있는 곡면이거나 불규칙한 터치-인에이블드 표면을 포함한다.
도 2a 및 도 2b는 표면-기반 햅틱 효과를 사용하는 특징부를 시뮬레이트하는 일례를 나타낸 것이다. 도 2a는 터치-인에이블드 디스플레이(202)를 특징으로 하는 컴퓨팅 장치(201)를 포함하는 시스템(200)의 외형도를 나타낸 도면이다. 도 2b는 장치(201)의 단면도를 나타낸 것이다. 장치(201)가 도 1a의 장치(101)와 유사하게 구성될 수 있지만, 명확함을 위해 프로세서, 메모리, 센서 등과 같은 구성요소가 동 도면에 도시되어 있지 않다.
도 2b에서 알 수 있는 바와 같이, 장치(201)는 복수의 액츄에이터(218) 및 부가의 액츄에이터(222)를 특징으로 한다. 액츄에이터(218-1)는 디스플레이(202)에 수직 힘을 가하도록 구성된 액츄에이터를 포함할 수 있는 반면, 액츄에이터(218-2)는 디스플레이(202)를 측방으로 움직일 수 있다. 이 일례에서, 액츄에이터가 디스플레이에 직접 결합되어 있지만, 액츄에이터가 디스플레이(202) 상부의 물질층과 같은 다른 터치 표면에 결합될 수 있다는 것을 잘 알 것이다. 부가의 액츄에이터(222)는 장치(201)의 구성요소를 포함하는 하우징에 결합될 수 있다. 도 2a 및 도 2b의 일례에서, 디스플레이(202)의 영역이 터치 영역에 대응하지만, 이 원리가 디스플레이와 완전히 분리되어 있는 터치 표면에 적용될 수 있다.
일 실시예에서, 액츄에이터(218) 각각은 압전 액츄에이터를 포함하는 반면, 부가의 액츄에이터(222)는 ERM(eccentric rotating mass) 모터, LRA(linear resonant actuator), 또는 다른 압전 액츄에이터를 포함한다. 액츄에이터(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면-기반 햅틱 효과와 관련하여 및/또는 다른 목적을 위해 이용될 수 있다.
일부 실시예에서, 액츄에이터(218-1) 및 액츄에이터(218-2) 중 어느 하나 또는 둘다는 압전 액츄에이터 이외의 액츄에이터를 포함할 수 있다. 액츄에이터들 중 임의의 액츄에이터는, 예를 들어, 압전 액츄에이터, 전자기 액츄에이터, EAP(electroactive polymer), 형상 기억 합금, 가요성 복합 압전 액츄에이터(flexible composite piezo actuator)(예를 들어, 가요성 물질을 포함하는 액츄에이터), 정전기 및/또는 자기 변형 액츄에이터를 포함할 수 있다. 그에 부가하여, 하나의 액츄에이터(222)가 도시되어 있지만, 다수의 다른 액츄에이터가 장치(201)의 하우징에 결합될 수 있고 및/또는 다른 액츄에이터(222)가 다른 곳에 결합되어 있을 수 있다. 장치(201)는 또한 상이한 위치에서 터치 표면에 결합되어 있는 다수의 액츄에이터(218-1/218-2)를 특징으로 할 수 있다.
다시 도 2a를 참조하면, 220에 도시된 바와 같이, 손가락이 움직여 시뮬레이트된 특징부(230)와 만난다. 이 일례에서, 손가락(226)이 아래쪽으로 위치(228)로 움직이는 것에 의해 표현된 터치의 위치에 기초하여 출력할 햅틱 효과가 선택된다. 상세하게는, 도 4b에서 알 수 있는 바와 같이, 232, 234 및 236으로 나타낸 표면-기반 햅틱 피드백을 제공하기 위해 액츄에이터(218-1, 218-2, 및/또는 222)는 적절한 햅틱 신호를 제공받는다. 상이한 교차-해칭(cross-hatching)은 액츄에이터로 인한 터치 표면의 다른 "느낌"을 나타내기 위한 것이다. 예를 들어, 232, 234 및 236은 원하는 햅틱 효과를 생성하는 터치 표면의 텍스처 또는 마찰 계수의 변동을 나타낼 수 있다. 일 실시예에서, 높은 마찰의 제1 영역(232)과 그 다음에 오는 낮은 마찰의 제2 영역(234) 및 높은 마찰의 제3 영역(236)을 가지는 것에 의해 상자의 느낌이 시뮬레이트될 수 있다.
도 3a 및 도 3b는 표면의 마찰 계수를 변화시키는 예시적인 하드웨어 아키텍처를 나타낸 것이다. 이 일례에서, 터치 표면은 유리 패널(302)을 포함하지만, 다른 투명 물질(또는 비투명 물질)이 사용될 수 있다. 예를 들어, 유리보다는 터치패드(즉, 터치 감응 장치)가 사용될 수 있다. 한쌍의 압전 굴곡체(piezoelectric bender)(318-1, 318-2)가 유리에 접합된다. 압전 굴곡체 사이의 자유 공간과 함께 유리 또는 다른 투명 물질을 사용하는 것은 유리 아래에 디스플레이(도시 생략)를 사용하는 것을 가능하게 해줄 수 있다. 일부 실시예에서, 유리(302)의 정적 마찰 계수를 42% 정도 감소시키기 위해 압전 굴곡체가 권장될 수 있다. 일부 실시예는 마찰 계수를 변화시키기 위해 사용되는 변하는 진폭을 갖는 24 kHz의 양극성 펄스폭 변조된 신호를 이용한다. 일례로서, 전압은 20 kHz를 초과하는 주파수로 -80 볼트와 +80 볼트 사이에서 변할 수 있고, 마찰 변동은 전압 크기(예를 들어, 전압 크기를 생성하는 PWM 크기)에 따라 0부터 60%까지이다. 이들 예시적인 전압, 주파수 및 변동 범위는 단지 예시를 위한 것이며 제한하려는 것이 아니다.
도 4a 및 도 4b는 표면의 마찰 계수를 변화시키는 다른 예시적인 하드웨어 아키텍처(400)를 나타낸 것이다. 이 일례에서, 압전 부저(piezo buzzer)는 컴퓨팅 장치(401)의 일부인 압전 표면(piezo surface)(402)을 제공한다. 예를 들어, 일 실시예는 25 mm 직경을 갖는 0.6 mm 두께의 부저를 포함한다. 도 4b에서 알 수 있는 바와 같이, 부저는 압전 세라믹 물질층(402A) 및 금속 디스크(402B)(이 실시예에서, 둘다 0.3 mm 두께임)를 포함한다. 부저가 활성화되지 않을 때 정지 마찰 계수(static coefficient of friction)는 원래의 마찰 값으로부터 최대 88% 감소될 수 있다. 이 일례에서, 표면이 원형으로 도시되어 있지만, 이 원리가 다른 형상/표면에 적용될 수 있다.
표면-기반 햅틱 효과를 제공함으로써 특징부를 시뮬레이트하는 예시적인 방법
도 5는 표면-기반 햅틱 효과를 갖는 인터페이스를 제공하는 예시적인 방법(500)을 나타낸 플로우차트이다. 블록(502)은 터치 영역에서의 터치의 위치를 결정하는 것을 나타낸다. 예를 들어, 프로세서는 표면 상에서의 터치의 위치를 추적하기 위해 터치-인에이블드 디스플레이 또는 표면에 매몰되어 있거나 이를 보고 있는 하나 이상의 센서를 이용할 수 있다. 터치의 현재 및/또는 과거 위치에 기초하여, 현재 위치 또는 예측된 위치가 결정될 수 있다. 일례로서, 터치 위치가 픽셀 좌표로 또는 터치 영역에 대한 다른 좌표계로 제공될 수 있다. 속도/가속도가 결정되면, 터치 위치가 터치의 위치 및 움직임에 관한 벡터 또는 기타 정보와 연관될 수 있다.
블록(504)은 시뮬레이트할 하나 이상의 원하는 특징부를 결정하는 것을 나타낸다. 일부 실시예에서, 컴퓨팅 시스템은 실시간으로 결정되는 원하는 특징부 및 햅틱 신호를 사용하여 액츄에이터(들)가 구동되어야 하는 위치에서 터치가 일어나는지 여부만을 결정할 수 있다. 그렇지만, 부가의 실시예에서, 현재 픽셀 위치 및/또는 터치의 속도에 기초한 터치의 예상된 픽셀 위치가 다양한 픽셀 위치에 대한 원하는 햅틱 효과를 지정하는 비트맵과 비교될 수 있다. 원하는 햅틱 효과(들)에 기초하여, 비트맵에 지정된 출력을 제공하기 위해 적당한 햅틱 신호가 액세스/생성될 수 있다.
다른 일례로서, 터치의 현재 또는 예상된 위치가 그래픽 사용자 인터페이스(GUI) 특징부(컨트롤, 텍스트 콘텐츠, 경계, 기타 등등)의 위치를 식별해주는 데이터와 비교될 수 있다. 이어서, GUI 특징부가 그 위치에서 식별되는 경우, 하나 이상의 햅틱 효과를 특징부와 연관시키는 데이터가 액세스될 수 있다. 예를 들어, 프로세서는 터치의 위치를 추적하고, 터치가 그래픽 사용자 인터페이스에서 특정의 컨트롤(예를 들어, 버튼)에 매핑되는 터치 영역 내의 위치에 있거나 그에 근접하고 있는 것으로 판정할 수 있다. 프로세서는 이어서 버튼과 연관된 햅틱 효과(예를 들어, 텍스처, 마찰 변동)를 결정하기 위해 인터페이스 요소의 목록을 조회하고, 햅틱 효과에 기초하여, 햅틱 효과를 생성하기 위해 추가의 조치를 취할 수 있다.
추가의 일례로서, 특징부는 현재 또는 예상된 위치와 연관된 텍스처를 포함할 수 있다. 예를 들어, 터치 영역의 일부분이 "모피"와 같은 특정의 텍스처를 갖는 것으로 식별될 수 있다. 터치가 그 부분에 있는 것으로 판정될 때, 컴퓨팅 장치는 "모피" 특징부가 요망되는 것으로 판정할 수 있다.
블록(506)은 선택된 햅틱 효과(들)를 생성하기 위해 하나 이상의 햅틱 신호에 액세스하거나 하나 이상의 햅틱 신호를 생성하는 것을 나타낸다. 예를 들어, 프로세서는, 메모리에 저장되어 있고 특정의 햅틱 효과와 연관되어 있는 구동 신호에 액세스할 수 있다. 다른 일례로서, 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터를 입력함으로써 신호가 생성될 수 있다. 예를 들어, 알고리즘은 진폭 및 주파수 파라미터에 기초하여 구동 신호를 생성하는 데 사용하기 위한 데이터를 출력할 수 있다. 다른 일례로서, 햅틱 신호는 액츄에이터에 전송되어 액츄에이터에 의해 디코딩되는 데이터를 포함할 수 있다. 예를 들어, 액츄에이터 자체가 진폭 및 주파수와 같은 파라미터를 지정하는 명령에 응답할 수 있다.
블록(508)은 원하는 효과(들)를 생성하기 위해 햅틱 신호를 액츄에이터(들)에 전송하는 것을 나타낸다. 예를 들어, 아날로그 구동 신호가 제공되어야 하는 경우, 프로세서는 그 신호를 생성하기 위해 온보드 D/A 변환기를 이용할 수 있다. 디지털 명령이 액츄에이터에 제공되는 경우, 적절한 메시지가 프로세서의 I/O 버스에 의해 생성될 수 있고, 액츄에이터 자체는 원하는 출력을 제공하는 데 충분한 처리 능력을 포함하고 있다. 터치 지점에서 및/또는 다른 곳에서 햅틱 효과가 느껴질 수 있다.
일부 실시예에서, 장치가 생성할 수 있는 잠재적인 효과의 범위를 향상시키기 위해, 선택된 햅틱 효과가 없을 때에도 주변 햅틱 효과(ambient haptic effect)를 생성하기 위해 기준선 햅틱 신호(baseline haptic signal)가 액츄에이터(들)에 전송될 수 있다. 따라서, 햅틱 신호를 전송하는 것은, 액츄에이터의 효과에 대한 강도를 차례대로 감소시키고 따라서 마찰을 증가시키기 위해(정지해 있을 때의 터치 표면에 대한 마찰 계수의 레벨 또는 그 근방의 레벨까지 증가시키는 것 등), 0 또는 최소 신호인 중단 명령을 액츄에이터에 전송하는 것 또는 다른 적당한 신호를 액츄에이터에 전송하는 것을 포함할 수 있다.
일례로서, 압전 액츄에이터와 같은 특정의 액츄에이터를 사용하는 것은 마찰 계수의 증가가 아니라 터치 표면의 마찰 계수의 감소를 가능하게 해줄 수 있다. 일정 범위의 옵션을 제공하기 위해, 터치 표면의 "보통의" 마찰 레벨이 정지해 있을 때 터치 표면이 가지게 될 마찰 계수 미만이도록 기준선 신호가 제공될 수 있다. 그에 따라, 햅틱 효과가 정지 값(static value)이 아닌 기준선 값에 대해 정의될 수 있다. 최대 마찰이 요망되는 경우, 표면의 움직임을 중단시키기 위해 "영(zero)" 신호가 압전 액츄에이터에 전송될 수 있다.
도 6a 내지 도 6d는 각각 예시적인 시뮬레이트된 특징부를 나타낸 것이다. 도 6a는 백색 영역이, 영이 아닌 전압의 PWM 신호를 사용하는 등에 의해, 압전 액츄에이터 또는 기타 액츄에이터가 작동될 영역을 나타내고 있는 간략화된 일례를 나타낸 것이다. 예를 들어, 백색 영역은 터치 패드의 가운데에 있는 가상 버튼에 대응할 수 있고, 여기서 사용자의 손가락(또는 표면과 접촉하고 있는 다른 객체)은 낮은 마찰 값을 만나게 된다. 도 6b는 정반대의 상황을 나타낸 것이며, 손가락/객체가 백색 영역에서 자유롭게 이동할 수 있지만, 마찰이 높은(흑색) 영역에서 느려지거나 정지될 수 있다. 이것은, 예를 들어, 사용자가 터치 영역에서 버튼 또는 기타 위치를 보다 쉽게 찾아낼 수 있게 해줄 수 있다.
도 6c는 복수의 홈을 포함하는 시뮬레이트된 특징부를 나타낸 것이다. 사용자의 손가락 또는 다른 객체가 줄무늬를 가로질러 수평으로 이동함에 따라, 손가락/객체는 일련의 홈으로서 인지되는 증가하고 감소하는 마찰을 만나게 될 것이다.
앞서 살펴본 바와 같이, 표면-기반 햅틱 효과를 제공하도록 구성된 터치 표면을 포함하는 컴퓨팅 시스템은 효과 및 신호를 실시간으로 결정할 수 있다. 예를 들어, 도 6a 내지 도 6d 중 임의의 것에서, 시스템은 먼저 터치 위치가 원의 내부에 있는지를 판정하고, 그러한 경우 적당한 출력 값을 제공하거나(도 6a) 출력을 중단할 수 있다(도 6b). 이와 유사하게, 시스템은, 원하는 높은 마찰을 갖는 영역에서 터치가 일어나는지를 판정함으로써 도 6c의 특징부를 제공할 수 있고, 그러한 경우, 액츄에이터(들)를 구동할 수 있다.
도 6d는 더 복잡한 패턴을 제공한다. 예를 들어, 도 6d에서의 패턴은, 휴대폰 키의 어레이, 시뮬레이트된 키보드 또는 기타 컨트롤과 같은 키의 어레이와 연관되어 있는 원하는 특징부에 대응할 수 있다. 도 6a 내지 도 6d 중 임의의 것에 대해 실시간 렌더링이 사용될 수 있지만, 패턴에서의 각각의 특정의 원/버튼을 렌더링하기 위해 더 복잡한 논리가 필요할 수 있다. 이들 및 훨씬 더 임의적인 패턴은 프로그래밍의 복잡도 및 계산 시간을 증가시킬 수 있다. 따라서, 일부 실시예에서, 표면-기반 햅틱 효과가 미리 결정되어 파일에 저장될 수 있다. 런타임 시에, 적절한 햅틱 신호의 보다 신속한 결정 및 생성을 가능하게 해주기 위해 터치 위치에 기초하여 파일이 액세스될 수 있다. 도 6d에서, 이러한 파일은 터치 위치가 원에 매핑될 때 제1 햅틱 효과(예를 들어, 높은 마찰)를 제공하도록 액츄에이터를 구동하는 데이터를 포함할 수 있고, 이 파일은 터치 위치가 원 밖의 위치에 매핑될 때 제2 효과(예를 들어, 낮은 마찰)를 제공하도록 액츄에이터를 구동하는 데이터를 포함할 수 있다.
도 7은 참조 파일(reference file)을 생성하여 사용함으로써 시뮬레이트된 특징부를 제공하는 예시적인 방법(700)을 나타낸 플로우차트이다. 도 8은 픽셀 어레이를 포함하는 참조 파일의 일례를 나타낸 것이다. 블록(702, 704)은 햅틱 효과를 결정하기 위해 참조 파일을 사용하기 전에 일어나는 동작인 전처리를 나타낸 것이다. 이 일례에서, 마찰 값을 결정하기 위해 하나의 참조 파일이 사용된다. 실제로, 참조 파일은, 마찰 변동을 생성하는 것에 부가하여 또는 그 대신에, 햅틱 효과를 생성하는 데 사용하는 다른 데이터를 제공할 수 있다. 그에 부가하여, "참조 파일"은 함께 사용되는 다수의 파일을 포함할 수 있다.
블록(702)은 위치의 레이아웃을 생성하는 것을 나타내고, 블록(704)은 레이아웃을 이미지 파일(비트맵 또는 다른 이미지 파일에서의 픽셀 어레이 등)에 저장하는 것을 나타낸다. 예를 들어, 원하는 마찰 값을 지정하기 위해 임의적인 형상이 "그려질" 수 있다. 도 8에서, 백색 픽셀은 마찰 조정이 의도되지 않은 경우를 나타내기 위해 도시된 것인 반면, 음영된 픽셀은 원하는 마찰 계수의 값 또는 심지어 액츄에이터를 구동하기 위해 사용가능한 값(예를 들어, 원하는 PWM 전압 레벨, 주파수 등)을 나타낸다. 다른 대안으로서, 백색 픽셀은 최대 구동을 나타낼 수 있는 반면, 다양한 음영 정도는 낮은 구동 값을 나타내며, 흑색은 0 구동을 나타낸다. 일 실시예에서, 백색 픽셀 및 흑색 픽셀만이 사용되며, 컬러는 장치의 액츄에이터의 온/오프 상태에 대응한다.
이 일례에서, 상이한 음영 정도가 교차-해칭으로 표현되어 있다. 실제로, 각각의 픽셀은 다수의 값을 포함할 수 있고(예를 들어, 각각의 픽셀은 RGB 값을 가질 수 있고), 다수의 값은 상이한 액츄에이터에 대한 구동 레벨 등과 같은 상이한 데이터를 제공한다. 그에 부가하여, 참조 파일은 각각의 픽셀 위치에 대한 다양한 파라미터를 지정하는 다수의 계층을 포함할 수 있다. 이 일례는 비교적 적은 수의 픽셀을 나타내고 있지만, 실제로 어레이는 수천개 또는 수백만개의 픽셀을 포함할 수 있다.
형상(802)은 속이 채워져 있는 원을 포함한다. 형상(804)도 역시 원을 포함하지만, 이미지 파일이 다수의 레벨의 마찰(또는 기타 햅틱 효과)을 지정하는 데 사용될 수 있다는 것을 나타내기 위해 제공된다. 예를 들어, 낮은 마찰과 높은 마찰(또는 높은 마찰과 낮은 마찰) 사이의 천이 영역(낮은 음영(806)으로부터 중간 음영(808)으로 그리고 마지막으로 전체 음영(810)으로의 천이 등)이 상이한 음영을 사용하여 제공될 수 있다. 천이는 원(804)의 중심에 가까워짐에 따라 증가하는 마찰 레벨(또는 감소하는 마찰 레벨)에 대응할 수 있다.
일부 실시예에서, 천이는 레이아웃 파일이 생성될 때 지정될 수 있다. 어떤 경우에, 시각적 레이아웃에 대한 마찰 값의 오프셋을 제공하기 위해 천이가 사용될 수 있다. 예를 들어, 도 6b로 잠시 되돌아가서, 도 6b의 원과 같은 속이 채워져 있는 형상이 그래픽 사용자 인터페이스에서 제공될 수 있다. 대응하는 마찰 이미지는 천이 효과를 나타내기 위해 "경계가 모호한" 가장자리를 제공하는, 도 8의 원(804)의 스케일링된 버전과 더욱 비슷할 수 있다. 이러한 이미지를 생성하는 한가지 방법은 인터페이스의 이미지를 사용하여 블러(blur) 또는 기타 필터를 적용하는 것을 포함할 수 있으며, 여기서 픽셀 레벨은 햅틱 신호를 생성/선택하는 데 사용될 때 원하는 응답을 제공하기 위해 블러링 후에 조정된다.
도 7 및 방법(700)으로 되돌아가서, 참조 파일이 생성되면, 마찰 값을 결정하기 위해 블록(706)에 나타낸 바와 같이 참조 파일이 메모리로 로드되고 판독될 수 있다. 예를 들어, 픽셀 어레이의 일부 또는 전부가 위치 검출 및 특징부 시뮬레이션 루틴을 수행하는 프로세서의 작업 메모리에 유지될 수 있다. 일 실시예에서, 픽셀 어레이가 그래픽 사용자 인터페이스의 대응하는 이미지와 나란히 분포된다. 부가의 실시예에서, 픽셀 어레이는 그래픽 사용자 인터페이스 이미지의 계층 또는 성분이고, 추가의 실시예에서, 어레이는 그래픽 사용자 인터페이스와 연관되지 않은 별도의 파일이다.
블록(708)은 터치의 위치를 결정하는 것을 나타낸다. 예를 들어, 센서는 터치 영역에 매핑되는 픽셀 어레이에서의 터치의 픽셀 위치를 결정하는 데 사용되는 데이터를 제공할 수 있다. 터치의 위치를 식별하는 데 비픽셀 좌표(non-pixel coordinate)가 사용될 수 있으며, 이하에서 매핑 단계 동안에 적절한 변환이 사용된다.
블록(710)은 터치 위치를 이미지 파일에서의 항목(또는 항목들)에 매핑하는 것을 나타낸다. 예를 들어, 픽셀 (x,y) = (10, 12)에서의 터치의 결과 이미지 (x,y) = (10,12)에서의 이미지 내의 하나 이상의 픽셀 값에 액세스하게 되도록 터치 영역이 직접 매핑될 수 있다. 그렇지만, 더 복잡한 매핑이 사용될 수 있다. 예를 들어, 터치 영역에서의 픽셀 값을 이미지 파일에서의 상이한 픽셀 값에 매핑하기 위해 터치 위치 및 속도가 사용될 수 있다. 예를 들어, 터치 영역의 크기 및 픽셀 어레이의 크기가 다를 수 있고, 터치 위치를 픽셀 값에 매핑하기 위해 스케일링 인자가 사용된다.
블록(712)은 이미지 파일로부터의 데이터에 적어도 부분적으로 기초하여 표면-기반 햅틱 효과를 제공하기 위해 하나 이상의 액츄에이터를 작동시키는 것을 나타낸다. 예를 들어, 이미지 파일에서의 픽셀 값이 원하는 마찰 계수에 매핑될 수 있다. 방법(700)을 수행하는 장치는, 픽셀 위치 및 원하는 마찰 계수에 기초하여, 원하는 마찰 계수를 생성하기 위해 하나 이상의 액츄에이터에 전송할 적당한 신호 또는 신호들을 결정할 수 있다. 다른 일례로서, 픽셀 값은, 압전 액츄에이터에 전송될 PWM 신호에 대한 전압/진폭/주파수 값 또는 오프셋과 같이, 구동 신호를 보다 직접적으로 나타낼 수 있다. 어레이의 데이터는 또한 다른 유형의 액츄에이터에 대한 구동 신호를 생성하는 데 사용하도록 구성될 수 있다.
더 복잡한 일례로서, 각각의 픽셀 주소가 3개의 강도 값(즉, RGB)과 연관되어 있을 수 있다. 3개의 강도 값 각각은, 일부 실시예에서, 대응하는 액츄에이터에 대한 신호 강도/주파수와 연관되어 있을 수 있다. 다른 일례로서, 어떤 값은 강도를 지정할 수 있고, 다른 값은 동일한 액츄에이터에 대한 동작의 지속기간을 지정할 수 있다. 추가의 일례로서, 상이한 픽셀 강도 값이 하나의 텍스처를 시뮬레이트하기 위해 액츄에이터를 구동하는 데 사용되는 상이한 원하는 텍스처 또는 성분과 상관될 수 있다.
방법(700)은 이미지 파일 내의 다수의 픽셀에 매핑되는 터치 위치를 결정할 수 있다. 예를 들어, 큰 터치는 이미지 파일 내의 일정 범위의 픽셀 주소에 대응할 수 있다. 일정 범위의 픽셀 주소로부터의 마찰 값 또는 기타 값이 함께 고려될 수 있거나, 터치 위치를 "정확히 찾아내고" 대응하는 단일 픽셀 주소로부터의 값을 사용하기 위해 분석이 행해질 수 있다.
일부 실시예에서, 표면-기반 햅틱 효과를 갖는 터치 표면을 특징으로 하는 컴퓨팅 장치는 입력 시퀀스에 기초하여 상이한 표면-기반 햅틱 효과를 출력할 수 있다. 따라서, 터치 표면의 시뮬레이트된 특징부는 그 표면과 연관된 장치의 상태에 기초하여 변할 수 있다. 일부 실시예에서, 이것은 다수의 계층을 갖는 참조 파일을 사용하여 구현될 수 있으며, 각각의 계층은 특정의 상태에 대응할 수 있다. 예를 들어, 다양한 입력 조건에 기초하여 상태가 변경될 수 있다.
예를 들어, 모바일 장치에서와 같이, 터치 표면이 키패드로서 역할하도록 구성될 수 있다. 키패드는 숫자 1-9에 대응하는 3개의 키 행 및 "0," "*", 및 "#" 키를 갖는 4번째 행을 특징으로 할 수 있다. 초기 상태에서, 터치 표면은, 레이아웃의 나머지에서보다 "5" 키에서의 더 높은 마찰 레벨과 같이, 중심 특징부를 제공하도록 구성될 수 있다.
컴퓨팅 장치는 터치-감응 영역에 대한 입력을 추적하는 것에 기초한 사용자 입력에 응답하여 터치 표면의 상태를 변경하도록 구성될 수 있다. 예를 들어, 시스템이, 예를 들어, 터치, 호버링(hovering) 또는 키를 찾아냈음(꼭 선택될 필요는 없음)을 나타내는 기타 동작을 검출하는 것에 의해 사용자가 "5" 키를 찾아낸 것으로 판정하면, 다른 상태에 기초하여 표면-기반 효과가 제공될 수 있다. 예를 들어, 다중-계층 참조 파일이 사용되는 경우, 다른 층이 메모리에 로드될 수 있다. 제2 상태에서, 예를 들어, (물론 본 발명 대상의 임의의 실시예와 함께 시각적, 청각적 또는 기타 피드백이 제공될 수 있지만) 사용자가 시각적 피드백을 필요로 하지 않고 중심으로부터 원하는 키로 진행할 수 있도록 키들 사이의 경계가 제공될 수 있다.
시뮬레이트된 특징부의 다른 예시적인 실시예
표면-기반 햅틱 효과가 터치 표면의 마찰 계수를 변화시키는 것에 기초한 효과(이들로 제한되지 않음)를 비롯한 임의의 적당한 형태를 취할 수 있다. 다른 일례로서, 진동 또는 일련의 진동과 같은 진동촉각 효과가 사용될 수 있다. 경계 또는 장애물과 같은 뚜렷한 특징부의 느낌을 시뮬레이트하기 위해 진동촉각 효과 및/또는 마찰 변동이 사용될 수 있다. 예를 들어, 경계 또는 가장자리가 마찰 증가에 의해 시뮬레이트될 수 있고, 전술한 바와 같이 (어떤 경우에) 경계가 교차하는 경우 마찰이 감소된다.
터치 표면을 사용하여 시뮬레이트된 특징부는 시뮬레이트된 간극, 돌출부, 장애물(이들로 제한되지 않음) 등을 비롯한 임의의 불연속점을 포함할 수 있다. 그에 부가하여 또는 다른 대안으로서, 시뮬레이트된 특징부는 변경된 마찰 계수를 갖는 영역을 포함할 수 있다. 예를 들어, 어떤 햅틱 효과는 터치 표면의 마찰의 변동을 포함할 수 있다 - 어떤 부분은 다른 부분보다 "더 매끄럽게" 또는 "더 거칠게" 렌더링될 수 있다. 일부 실시예에서, 시뮬레이트된 특징부는 제어된 방식으로 표면의 마찰 계수를 변화시킴으로써 시뮬레이트된 텍스처를 포함한다.
텍스처의 생성 및 사용에 관한 부가의 상세는 앞서 언급한 미국 특허 출원 제12/697,010호, 제12/697,042호, 및 제12/697,037호에서 찾아볼 수 있으며, 이들 출원의 발명의 명칭은 각각 "Systems and Methods for a Texture Engine(텍스처 엔진에 대한 시스템 및 방법)"(대리인 사건 번호 IMM354 (51851-383720)), "Systems and Methods for Using Multiple Actuators to Realize Textures(텍스처를 실현하기 위해 다수의 액츄에이터를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM355 (51851-383719)), 및 "Systems and Methods for Using Textures in Graphical User Interface Widgets(그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법)"(대리인 사건 번호 IMM356 (51851-383718))이다. 예를 들어, 벽돌, 돌, 모래, 잔디, 모피, 다양한 직물 유형, 물, 당밀(molasses) 및 기타 액체, 가죽, 목재, 얼음, 도마뱀 가죽, 금속, 및 기타 텍스처 패턴과 같은 텍스처의 느낌을 흉내내기 위해 상이한 마찰의 패턴 또는 진동의 패턴이 제공될 수 있다. "위험" 텍스처가 요망될 때 크기가 큰 진동촉각 또는 기타 피드백과 같은 실세계 텍스처와 유사하지 않은 다른 텍스처도 역시 사용될 수 있다.
다양한 실시예에서, 표면-기반 햅틱 효과의 정보 내용 또는 의미가 변할 수 있다. 예를 들어, 효과가 그래픽 사용자 인터페이스에서의 영역, 시뮬레이트된 키 또는 기타 컨트롤에 매핑되는 터치 표면의 특정 부분을 식별하기 위해 사용될 수 있거나, 심미적 또는 엔터테인먼트 목적을 위해(예를 들어, 디자인의 일부로서 및/또는 게임에서) 제공될 수 있다. 효과가 또한 통신을 위해 제공될 수 있다. 예를 들어, 점자(Braille) 또는 기타 촉각-기반 통신 방법이 용이하게 될 수 있다.
일반 고려사항
본 명세서에서 "~하는 데 적합하게 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업 또는 단계를 수행하는 데 적합하게 되어 있는 또는 부가의 작업 또는 단계를 수행하도록 구성되어 있는 장치를 제외시키지 않는 개방적 포함적 어구를 의미한다. 그에 부가하여, "~에 기초한"의 사용은, 하나 이상의 언급된 조건 또는 값에 "기초한" 프로세스, 단계, 계산 또는 기타 동작이, 실제는 언급된 것 이외의 부가의 조건 또는 값에 기초할 수 있다는 점에서, 개방적이고 포함적임을 의미한다. 본 명세서에 포함된 제목, 목록 및 번호 매기기는 단지 설명의 용이함을 위한 것이고 제한하기 위한 것이 아니다.
본 발명 대상의 양태에 따른 실시예는 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 연결된 랜덤 액세스 메모리(RAM) 등의 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 센서 샘플링 루틴, 햅틱 효과 선택 루틴, 및 상기한 바와 같이 선택된 햅틱 효과를 생성하는 신호를 생성하는 적당한 프로그래밍을 비롯한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다.
이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(DSP), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서는 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 장치와 같은 프로그램가능 전자 장치를 추가로 포함할 수 있다.
이러한 프로세서는, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 본 명세서에 기술된 단계를 수행하게 할 수 있는 명령어를 저장할 수 있는 매체(예를 들어, 유형의 컴퓨터 판독가능 매체)를 포함할 수 있거나 그와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예는 프로세서(웹 서버 내의 프로세서 등)에게 컴퓨터 판독가능 명령어를 제공할 수 있는 모든 전자, 광학, 자기 또는 기타 저장 장치를 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 일례는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 기타 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사설망 또는 공중망, 또는 기타 전송 장치와 같은 다양한 기타 장치가 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하는 코드를 포함할 수 있다.
본 발명 대상이 그의 특정 실시예와 관련하여 상세히 기술되어 있지만, 당업자가 이상의 내용을 이해할 때 이러한 실시예에 대한 변경, 변형 및 등가물을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 그에 따라, 당업자에게는 즉각 명백할 것인 바와 같이, 본 개시 내용이 제한이 아니라 예시를 위해 제공되어 있고 본 발명 대상에 이러한 수정, 변형 및/또는 추가를 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.

Claims (21)

  1. 객체가 터치 표면에 접촉할 때 터치 영역에서의 터치를 검출하도록 구성되어 있는 센서,
    상기 터치 표면에 결합되어 있는 액츄에이터 - 상기 액츄에이터는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성되어 있음 -, 및
    상기 액츄에이터 및 센서와 통신하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 센서로부터의 데이터에 기초하여 상기 터치의 위치를 결정하고,
    상기 터치 표면 상의 위치와 연관된 햅틱 파라미터를 포함하는 참조 파일을 수신하고,
    상기 참조 파일 내의 위치에 상기 터치의 위치를 매핑하고,
    상기 터치의 위치, 상기 터치의 위치와 연관된 복수의 픽셀 중 하나 이상과 연관된 색 값 및 음영 정도에 적어도 부분적으로 기초하여 생성할 햅틱 효과를 선택하며 - 상기 햅틱 효과는 상기 결정된 위치에 또는 그 근방에 상기 터치 표면에서의 특징부의 존재를 시뮬레이트하도록 선택되고, 상기 햅틱 효과를 선택하는 것은 상기 특징부의 존재를 시뮬레이트할 마찰 계수의 변동을 결정하는 것을 포함하고, 상기 음영 정도는 상기 마찰 계수의 레벨에 대응함 -,
    상기 액츄에이터를 사용하여 식별된 햅틱 효과를 생성하기 위해 햅틱 신호를 전송하도록 구성되어 있는 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 특징부는 상기 결정된 위치에 또는 그 근방에 있는 텍스처를 더 포함하는 시스템.
  4. 제1항에 있어서, 상기 특징부는 디스플레이 영역에 표시되는 그래픽 사용자 인터페이스에서 제1 영역과 제2 영역 사이의 경계를 포함하는 시스템.
  5. 제4항에 있어서, 상기 경계는 키보드의 2개의 시뮬레이트된 키 사이의 경계를 포함하는 시스템.
  6. 제1항에 있어서, 상기 햅틱 효과를 선택하는 것은,
    상기 터치의 위치를 결정하는 것,
    복수의 위치 각각을 각자의 햅틱 효과에 매핑하는 매핑 파일에 액세스하는 것, 및
    선택된 위치에 매핑되는 햅틱 효과를 식별하는 것 - 상기 선택된 위치는 상기 결정된 터치의 위치에 기초하여 선택됨 - 을 포함하는 시스템.
  7. 제6항에 있어서, 상기 선택된 위치는 상기 터치의 위치에 대응하는 시스템.
  8. 제6항에 있어서, 상기 선택된 위치는 상기 터치의 위치 및 상기 터치의 속도에 기초하여 결정되는 시스템.
  9. 제1항에 있어서, 상기 액츄에이터는 상기 터치 표면을 초음파 주파수로 수직으로, 측방으로, 또는 수직 및 측방으로 변위시키도록 구성되어 있는 시스템.
  10. 제9항에 있어서, 상기 액츄에이터는,
    압전 액츄에이터,
    전자기 액츄에이터,
    EAP(electroactive polymer),
    형상 기억 합금, 또는
    복합체 중 적어도 하나를 포함하는 시스템.
  11. 제1항에 있어서, 상기 프로세서는 또한 상기 센서로부터의 데이터에 기초하여 상기 터치의 압력을 결정하도록 구성되어 있고, 상기 햅틱 효과는 상기 터치의 압력에 적어도 부분적으로 기초하여 선택되는 시스템.
  12. 객체와 터치 표면 사이의 접촉에 응답하여 터치 영역에서의 터치를 검출하는 단계,
    상기 터치의 위치를 결정하는 단계,
    상기 터치 표면 상의 위치와 연관된 햅틱 파라미터를 포함하는 참조 파일을 수신하는 단계,
    상기 참조 파일 내의 위치에 상기 터치의 위치를 매핑하는 단계,
    상기 터치의 위치, 상기 터치의 위치와 연관된 복수의 픽셀 중 하나 이상과 연관된 색 값 및 음영 정도에 적어도 부분적으로 기초하여 생성할 햅틱 효과를 선택하는 단계 - 상기 햅틱 효과는 상기 결정된 위치에 또는 그 근방에 상기 터치 표면에서의 특징부의 존재를 시뮬레이트하도록 선택되고, 상기 햅틱 효과를 선택하는 단계는 상기 특징부의 존재를 시뮬레이트할 마찰 계수의 변동을 결정하는 단계를 포함하고, 상기 음영 정도는 상기 마찰 계수의 레벨에 대응함 -, 및
    상기 터치 표면에 결합된 적어도 하나의 액츄에이터에 햅틱 신호를 제공함으로써 상기 햅틱 효과를 생성하는 단계
    를 포함하는 방법.
  13. 삭제
  14. 제12항에 있어서, 상기 특징부는 상기 결정된 위치에 또는 그 근방에 있는 텍스처를 더 포함하는 방법.
  15. 제12항에 있어서, 상기 특징부는 디스플레이 영역에 표시되는 제1 영역과 상기 디스플레이 영역 내의 제2 영역 사이의 경계를 포함하고, 상기 디스플레이 영역은 상기 터치 영역에 매핑되는 방법.
  16. 제15항에 있어서, 상기 경계는 상기 디스플레이 영역에 표시되는 키보드의 2개의 키 사이의 경계를 포함하는 방법.
  17. 제12항에 있어서, 상기 햅틱 효과를 선택하는 단계는,
    상기 터치의 위치를 결정하는 단계,
    복수의 위치 각각을 각자의 햅틱 효과에 매핑하는 매핑 파일에 액세스하는 단계, 및
    선택된 위치에 매핑되는 햅틱 효과를 식별하는 단계 - 상기 선택된 위치는 상기 결정된 터치의 픽셀 위치에 기초하여 선택됨 -
    를 포함하는 방법.
  18. 제17항에 있어서, 상기 선택된 위치는 상기 터치의 위치에 대응하거나 상기 터치의 픽셀 위치 및 상기 터치의 속도에 기초하여 결정되는 방법.
  19. 제12항에 있어서, 상기 액츄에이터는 상기 터치 표면을 초음파 주파수로 수직으로, 측방으로, 또는 수직 및 측방으로 변위시키도록 구성되어 있는 방법.
  20. 제19항에 있어서, 상기 액츄에이터는,
    압전 액츄에이터,
    전자기 액츄에이터,
    EAP(electroactive polymer),
    형상 기억 합금, 또는
    복합체 중 적어도 하나를 포함하는 방법.
  21. 컴퓨팅 시스템에 의해 실행가능한 프로그램 코드를 구현하는 유형의(tangible) 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는,
    상기 컴퓨팅 시스템으로 하여금 터치 표면 상에서의 터치의 위치를 추적하게 하는 프로그램 코드,
    상기 컴퓨팅 시스템으로 하여금, 상기 터치의 위치에 기초하여, 생성할 상기 터치 표면의 시뮬레이트된 특징부를 식별하게 하는 프로그램 코드,
    상기 컴퓨팅 시스템으로 하여금 상기 터치 표면 상의 위치와 연관된 햅틱 파라미터를 포함하는 참조 파일을 수신하게 하는 프로그램 코드,
    상기 컴퓨팅 시스템으로 하여금 상기 참조 파일 내의 위치에 상기 터치의 위치를 매핑하게 하는 프로그램 코드,
    상기 컴퓨팅 시스템으로 하여금 상기 터치의 위치, 상기 터치의 위치와 연관된 복수의 픽셀 중 하나 이상과 연관된 색 값 및 음영 정도에 부분적으로 기초하여 상기 시뮬레이트된 특징부를 생성하기 위해 햅틱 효과를 선택하게 하는 프로그램 코드 - 상기 햅틱 효과를 선택하는 것은 상기 특징부의 존재를 시뮬레이트할 마찰 계수의 변동을 결정하는 것을 포함하고, 상기 음영 정도는 상기 마찰 계수의 레벨에 대응함 -, 및
    상기 컴퓨팅 시스템으로 하여금 상기 터치 표면의 마찰 계수를 변화시킴으로써 상기 시뮬레이트된 특징부를 생성하기 위해 햅틱 신호를 적어도 하나의 액츄에이터에 전송하게 하는 프로그램 코드
    를 포함하는 유형의 컴퓨터 판독가능 매체.
KR1020117023987A 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법 KR101769628B1 (ko)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,037 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,010 2010-01-29
US12/697,042 2010-01-29
US12/696,893 2010-01-29
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,908 2010-01-29
US12/696,900 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
PCT/US2010/026894 WO2010105001A1 (en) 2009-03-12 2010-03-11 Systems and methods for providing features in a friction display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177022427A Division KR101885740B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110130473A KR20110130473A (ko) 2011-12-05
KR101769628B1 true KR101769628B1 (ko) 2017-08-18

Family

ID=73451202

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020187022146A KR101973918B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR1020117023987A KR101769628B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR1020197011523A KR20190045395A (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR1020177022427A KR101885740B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187022146A KR101973918B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020197011523A KR20190045395A (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR1020177022427A KR101885740B1 (ko) 2009-03-12 2010-03-11 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법

Country Status (5)

Country Link
EP (2) EP3410262A1 (ko)
JP (1) JP5693476B2 (ko)
KR (4) KR101973918B1 (ko)
CN (1) CN102349039B (ko)
WO (1) WO2010105001A1 (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
KR101973918B1 (ko) * 2009-03-12 2019-04-29 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
US9579690B2 (en) 2010-05-20 2017-02-28 Nokia Technologies Oy Generating perceptible touch stimulus
US9110507B2 (en) * 2010-08-13 2015-08-18 Nokia Technologies Oy Generating perceptible touch stimulus
JP5496032B2 (ja) * 2010-09-17 2014-05-21 京セラ株式会社 触感呈示装置及び触感呈示装置の制御方法
JP5778904B2 (ja) * 2010-09-27 2015-09-16 株式会社東海理化電機製作所 タッチ式入力装置
JP5597583B2 (ja) * 2011-03-28 2014-10-01 太陽誘電株式会社 タッチパネル装置及び電子機器
US9733746B2 (en) 2011-05-10 2017-08-15 Northwestern University Touch interface device having an electrostatic multitouch surface and method for controlling the device
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US10007341B2 (en) 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
US20150097786A1 (en) * 2012-05-31 2015-04-09 Nokia Corporation Display apparatus
FR2991791B1 (fr) * 2012-06-06 2014-08-08 Commissariat Energie Atomique Interface de stimulation tactile par retournement temporel
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US10078384B2 (en) * 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
CN103902030B (zh) * 2012-12-26 2017-07-21 联想(北京)有限公司 一种触觉反馈方法、触觉反馈装置、电子设备及触控笔
CN107483829A (zh) * 2013-01-30 2017-12-15 奥林巴斯株式会社 摄像装置、操作装置、对象物确认方法
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
CN105144052B (zh) 2013-04-26 2019-02-15 意美森公司 用于柔性显示器的被动刚度和主动变形触觉输出设备
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
CN104345949B (zh) * 2013-08-07 2017-11-28 联想(北京)有限公司 一种触摸控制方法、***及电子设备
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
EP3108344A4 (en) 2014-02-21 2017-11-22 Northwestern University Haptic display with simultaneous sensing and actuation
CN105094347B (zh) * 2014-05-06 2020-01-31 联想(北京)有限公司 键盘及其驱动方法、包括该键盘的电子设备
CN103984414B (zh) 2014-05-16 2018-12-25 北京智谷睿拓技术服务有限公司 产生触感反馈的方法和设备
JP6294170B2 (ja) * 2014-06-26 2018-03-14 京セラ株式会社 触感呈示装置
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
WO2016120956A1 (ja) 2015-01-26 2016-08-04 富士通株式会社 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
EP3293616A4 (en) * 2015-05-07 2018-05-02 Fujitsu Limited Electronic device and vibration control program
KR20180048629A (ko) * 2015-09-25 2018-05-10 임머숀 코퍼레이션 햅틱 효과 설계 시스템
DE102016200024A1 (de) * 2016-01-05 2017-07-06 Zf Friedrichshafen Ag Berührungsgangwahlschalter als Multimedia-Schnittstelle
DE102016200030A1 (de) * 2016-01-05 2017-07-06 Zf Friedrichshafen Ag Berührungsgetriebewählhebel
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
JP6326193B2 (ja) * 2016-05-25 2018-05-16 レノボ・シンガポール・プライベート・リミテッド 形状記憶合金を利用したアクチュエータの駆動システム、電子機器、パルス幅の決定方法および触覚フィードバックの調整方法
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
KR102247521B1 (ko) * 2018-11-06 2021-05-03 포항공과대학교 산학협력단 질감 신호 제공 장치 및 방법
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
CN117255985A (zh) * 2021-08-30 2023-12-19 京东方科技集团股份有限公司 触觉反馈装置、显示设备和触觉反馈方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1748350A2 (en) 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback
US20070236450A1 (en) * 2006-03-24 2007-10-11 Northwestern University Haptic device with indirect haptic feedback
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL194053C (nl) * 1990-12-05 2001-05-03 Koninkl Philips Electronics Nv Inrichting met een rotatiesymmetrisch lichaam.
US7027032B2 (en) * 1995-12-01 2006-04-11 Immersion Corporation Designing force sensations for force feedback computer applications
JP3987182B2 (ja) * 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
EP1717683A3 (en) * 1998-01-26 2010-03-17 Apple Inc. Method and apparatus for integrating manual input
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2003067135A (ja) * 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
US6703924B2 (en) * 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
JP2005258666A (ja) * 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
JP4066055B2 (ja) * 2004-05-13 2008-03-26 株式会社日立製作所 触覚刺激通信装置
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
US20100315345A1 (en) * 2006-09-27 2010-12-16 Nokia Corporation Tactile Touch Screen
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
KR101973918B1 (ko) * 2009-03-12 2019-04-29 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls
US20050057528A1 (en) 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1748350A2 (en) 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback
US20070236450A1 (en) * 2006-03-24 2007-10-11 Northwestern University Haptic device with indirect haptic feedback

Also Published As

Publication number Publication date
KR101885740B1 (ko) 2018-08-06
JP2012520519A (ja) 2012-09-06
EP3410262A1 (en) 2018-12-05
WO2010105001A1 (en) 2010-09-16
KR20180089558A (ko) 2018-08-08
KR101973918B1 (ko) 2019-04-29
KR20170096060A (ko) 2017-08-23
JP5693476B2 (ja) 2015-04-01
EP2406700B1 (en) 2018-08-29
EP2406700A1 (en) 2012-01-18
CN102349039A (zh) 2012-02-08
CN102349039B (zh) 2016-07-13
KR20110130473A (ko) 2011-12-05
KR20190045395A (ko) 2019-05-02

Similar Documents

Publication Publication Date Title
KR101769628B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
JP6571815B2 (ja) 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
KR101952002B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
KR101653330B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
KR101946986B1 (ko) 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법, 및 유형의 컴퓨터 판독가능 매체
JP2012520523A5 (ko)

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant