JP6148820B2 - サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法 - Google Patents

サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法 Download PDF

Info

Publication number
JP6148820B2
JP6148820B2 JP2011554175A JP2011554175A JP6148820B2 JP 6148820 B2 JP6148820 B2 JP 6148820B2 JP 2011554175 A JP2011554175 A JP 2011554175A JP 2011554175 A JP2011554175 A JP 2011554175A JP 6148820 B2 JP6148820 B2 JP 6148820B2
Authority
JP
Japan
Prior art keywords
touch
haptic effect
location
haptic
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011554175A
Other languages
English (en)
Other versions
JP2012520521A5 (ja
JP2012520521A (ja
Inventor
ファン マニュエル クルス−エルナンデス、
ファン マニュエル クルス−エルナンデス、
ダニー エイ． グラント、
ダニー エイ． グラント、
アリ モダレス、
アリ モダレス、
アンドリュー ゴスリン、
アンドリュー ゴスリン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2012520521A publication Critical patent/JP2012520521A/ja
Publication of JP2012520521A5 publication Critical patent/JP2012520521A5/ja
Application granted granted Critical
Publication of JP6148820B2 publication Critical patent/JP6148820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

（関連出願との相互参照）
本出願は、２００９年３月１２日に提出された、「Locating Features Using a Friction Display」（摩擦ディスプレイを用いる特徴検出）という名称の、米国仮特許出願番号６１／１５９，４８２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２００９年１１月１７日に提出された、「System and Method for Increasing Haptic Bandwidth in an Electronic Device」（エレクトロニックデバイスにおける触覚帯域幅を増加するためのシステム及び方法）という名称の、米国仮特許出願番号６１／２６２，０４１の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２００９年１１月１７日に提出された、「Friction Rotary Device for Haptic Feedback」（触覚フィードバックのための摩擦回転デバイス）という名称の、米国仮特許出願番号６１／２６２，０３８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Providing Features In A Friction Display」（摩擦ディスプレイにあって特徴を提供するためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，８９３の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Friction Displays And Additional Haptic Effects」（摩擦ディスプレイ及び付加的な触覚効果のためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９００の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects」（サーフェースベースの触覚効果を特徴として備えているインターフェースのためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９０８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For A Texture Engine」(テクスチャエンジンのためのシステム及び方法)という名称の、米国実用新案出願番号１２／６９７，０１０の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Textures In Graphical User Interface Widgets」（グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０３７の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Multiple Actuators To Realize Textures」（テクスチャを実現するために複数アクチュエータを用いるシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０４２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
タッチ操作可能デバイスは、人気が高まってきた。例えば、移動可能な及び他のデバイスは、ユーザが接触式表示装置（タッチセンシティブディスプレイ）の一部などに接触（タッチ）することによって入力を提供することができるようにタッチセンシティブディスプレイを有して構成される。他の具体例にあって、ディスプレイから独立したタッチ操作可能な表面（サーフェース）は、トラックパッド、マウス、又は他のデバイスのような入力部によって用いられてもよい。
例えば、ユーザは、ボタン又は制御部（コントロール）のようなオンスクリーングラフィカルユーザインターフェース（ＧＵＩ）に描かれるディスプレイの一部又はサーフェースの一部にタッチする。他の具現化例にあって、一つ以上のタッチのシーケンス、サーフェースを横切るドラッグ又はデバイスによって感知される他の認識パターンのようなジェスチャが提供されてもよい。しかし、タッチ操作可能なディスプレイ、又は他のタッチベースのインターフェースはデバイスの機能性を大きく高めたけれども、欠点は残っている。例えば、キーボードがスクリーン上に表示されるが、物理的なキーボードに慣れたユーザは、タッチ操作可能なデバイスを用いているとはいえ、物理的なキーボードを体験しているのと同じようには感じないかもしれない。
本発明の具現化例は、制限されるものではないが、テクスチャの変化、タッチサーフェースの摩擦係数の変化、及び／又はタッチサーフェースの境界又は障害物のシミュレーションを含むサーフェースベースの触覚効果を特徴とするタッチ操作可能なデバイスを提供する。前記特徴の使用を通して、デバイスはよりユーザフレンドリで、さらに全体的により説得力のある使用体験を提供する。
一具現化例にあって、システムは、物体がタッチサーフェースに接触したときにタッチ領域におけるタッチを検出するように構成されるセンサを含む。前記タッチ領域は、グラフィカルユーザインターフェースのディスプレイ領域に描かれる。前記タッチサーフェースは、前記ディスプレイ領域に対応するか、あるいはコンピューティングデバイスの非ディスプレイサーフェース、或いはコンピューティングデバイスと対話する周辺機器に対応する。
前記システムは、さらに前記プロセッサと通信し、さらに前記タッチサーフェースに接続されるアクチュエータを含む。前記アクチュエータは、触覚効果を出力するように構成される。前記システムは、一つ以上のアクチュエータ及びセンサと通信をするプロセッサであり、前記タッチがテクスチャ、シミュレートされた障害物又は境界のうちの少なくとも一つ、又は前記ディスプレイの調整された摩擦係数を提供するために発生している間に、タッチの位置を識別することに基づいて生成するための触覚効果、さらに前記タッチによって提供される入力ジェスチャを認識すること（ａ）、又は前記タッチ領域内のタッチされたところ又はその近くにおける位置に描かれるディスプレイ領域内の位置でグラフィカルユーザインターフェースにて表示されるコンテンツ（ｂ）の少なくとも一つを選択し、及び前記選択された触覚効果を生成するために前記アクチュエータに触覚信号を送信するように、構成されるプロセッサを備える。前記プロセッサは、前記タッチがそこにあって発生している間に、前記アクチュエータに選択された触覚効果を生成することを命令でき、テクスチャを提供し、障害物又は境界をシミュレートし、及び／又は前記ディスプレイの調整された摩擦係数を提供できる。これらの効果は、触覚効果（制限されるものではないが、振動触覚効果を含んで）を提供するために一つ以上のアクチュエータを用いることによって、及び／又は制御される方法にあって前記ディスプレイの摩擦係数を変化するアクチュエータを用いることによって実現される。
これらの例示された具現化例は、本願の発明の主体を制限するためのものでも、或いは制限を定義するために言及されるものでもなく、本発明の理解を助けるために提供されるだけのものである。例示の具現化例は発明の詳細な説明にあって議論され、さらなる記述が発明の詳細な説明にて提供される。様々な具現化例によってもたらされる有利な長所は、本明細書を調査すること及び／又は請求された発明の主体の一つ以上の具現化例を実行することによってさらに理解されるかもしれない。
全ての及び授権的な開示は、本明細書の残りの部分にて、より具体的に明らかにされる。本願明細書は、以下の添付図面を参考にする。
サーフェースベースの触覚効果を提供するように構成された例示的なシステムを示すブロック図である。 図１Ａに示されたシステムの一具現化例の外観図である。 図１Ａに示されたシステムの他の具現化例を示す図である。 触覚効果を選択するいくつかの具現化例にて用いられる画素配列２００を示す図である。 サーフェースベースの触覚効果との対話を提供するための例示的な方法を示すフローチャートである。 タッチ操作可能ディスプレイを特徴とするコンピューティングデバイスを含むシステムの外観図である。 図４Ａのデバイスの断面図である。 ページめくり入力ジェスチャを認識することに対応する触覚効果を選択するように構成されるプロセッサとしての図４Ａのデバイスにおけるグラフィカルユーザインターフェースの外観図である。 ページめくり入力ジェスチャを認識することに対応する触覚効果を選択するように構成されるプロセッサとしての図４Ａのデバイスにおけるグラフィカルユーザインターフェースの外観図である。 タッチサーフェースを特徴とし、分離されたディスプレイにインターフェースされるコンピューティングデバイスを備えるシステムの図である。 タッチサーフェースを特徴とし、分離されたディスプレイにインターフェースされるコンピューティングデバイスを備えるシステムの図である。
参照は、本明細書において、様々なそして代替の実例となる具現化例及び添付の図面において明らかになるであろう。各具体例は、説明のために提供されるのであり、制限としてのものではない。当業者によって改良及び変更が成されることは容易であろう。例えば、一具現化例の部分として例示されるか或いは説明される特徴は、さらなる具現化例を生じるための他の具現化例にも用いられる。したがって、この開示は、添付される特許請求の範囲及びそれらの等価物の範囲内における改良及び変更を含むことを意図している。
変動可能な摩擦インターフェースを用いるデバイスの例示的な具体例
本発明の一具現化例は、共にCupertino, California のApple Inc.から入手できるｉＰｏｄ（登録商標）携帯音楽デバイス又はｉＰｈｏｎｅ（登録商標）モバイルデバイス、或いはRedmond, WashingtonのMicrosoft Corporationから入手できるＺｕｎｅ（登録商標）携帯デバイスのような、コンピューティングシステムを含む。コンピューティングシステムは、この具体例にて前記デバイスの前記スクリーンに対応するディスプレイ領域に関連する接触（タッチ）の位置を確定するセンサ（例えば、光学的な、抵抗の、又は容量性の）はもとより、加速度計のような一つ以上のセンサを含み、及び／又はそのセンサと通信する。
ユーザが前記デバイスと相互に対話すると、一つ以上のアクチュエータが、触覚効果を提供するために用いられる。例えば、ユーザが指を前記デバイスを横切って動かすと、前記スクリーンの摩擦係数は、指の位置、速度及び／又は加速度に基づいて変化する。前記摩擦がどのように変化するのかに基づいて、ユーザは、特徴物及び／又は手触り（テクスチャ）を知覚する。具体的な実例にあって、前記摩擦は、ユーザが***、境界、又はオンスクリーンボタンのエッジに対応する他の障害物を知覚するように変化する。さらに以下の詳細では、摩擦係数の変化が、ユーザにフィードバックを提供するためのたくさんの方法にて用いられる、ことが説明される。
サーフェースベースの触覚効果を提供するための例示的なシステム
図１Ａは、サーフェースベースの触覚効果を提供する実例のシステム１００を示す。特に、この具体例にあって、システム１００は、バス１０６を介して他のハードウェアと相互通信されるプロセッサ１０２の特色をなすコンピューティングデバイス１０１を備える。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなどのような適切な有体物の（及び一時的ではない）コンピュータにて読み取りされる媒体を備えることができるメモリ１０４は、コンピューティングデバイスの動作を形成するプログラムコンポーネントを備える。この具体例にあって、コンピューティングデバイス１０１は、一つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び付加的なストレージ１１４をさらに備える。
ネットワークデバイス１１０は、ネットワークを容易にするいかなるコンポーネントの役割を果たすこともできる。具体例は、制限されるものではないが、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（登録商標）のような無線インターフェース、又は携帯電話ネットワークにアクセスするためのラジオインターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、又は他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）を含む。
Ｉ／Ｏコンポーネント１１２は、一つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、及び／又はデータを入力又は出力するために用いられる他のハードウェアのようなデバイスの接続を容易にするために用いられる。ストレージ１１４は、磁気、光学又はデバイス１０１に含まれる他のストレージメディアのような不揮発性ストレージである。
システム１００は、この具体例の中では、デバイス１０１と一体化されているタッチサーフェース１１６をさらに備える。タッチサーフェース１１６は、ユーザの接触を感知するために構成されるいかなるサーフェースであることもできる。一つ以上のセンサ１０８は、物体がタッチサーフェースに接触するときタッチエリアにおけるタッチを検出し、さらにプロセッサ１０２による使用のために適切なデータを提供する。いかなる適切な数、タイプ、又はセンサの配置が用いられることもできる。例えば、抵抗及び／又は容量性センサがタッチサーフェース１１６に埋め込まれ、タッチの位置を確定するため、及びタッチ圧力のような他の情報を確定するために用いられる。他の具体例にあって、光学センサが用いられてもよい。
この具体例にあって、プロセッサ１０２と通信するアクチュエータ１１８は、タッチサーフェース１１６に接続される。いくつかの具現化例にあって、アクチュエータ１１８は、触覚信号に応じてタッチサーフェースの摩擦係数を変化する触覚出力を出力するように構成される。付加的に又は代替的に、アクチュエータ１１８は、制御された方法においてタッチサーフェースを動かすことによって触覚出力を提供する。いくつかの触覚出力は、デバイスのハウジングに連結されたアクチュエータを用いてもよいし、さらにいくつかの触覚出力は、直列に接続された及び／又は並列に接続された複数のアクチュエータを用いてもよい。例えば、摩擦係数は、異なる周波数及び／又は振幅にて前記サーフェースを振動することによって変化される。相違の異なる組み合わせ／順序は、テクスチャ、障害物又は突起のような他の特徴物の存在の感覚をシミュレートするために、或いは他の効果を提供するために用いられる。
単一のアクチュエータ１１８がここでは示されるが、具現化例は同一又は異なるタイプの複数のアクチュエータを、タッチサーフェースの摩擦係数を変化するために用いられる。例えば、ピエゾエレクトリックアクチュエータが超音波の周波数にて垂直及び／又は水平にタッチサーフェース１１６を部分的又は全体を表現するためにいくつかの具現化例にあって用いられる。いくつかの具現化例にあって、偏芯回転質量アクチュエータ、線形共振アクチュエータのような複数のアクチュエータは、単独で或いは協働で、異なるテクスチャ、異なる摩擦、及び他の触覚効果を提供するために用いられる。アクチュエータの他の具体例は、電気活性ポリマー、形状記憶合金、静電気、及び静磁気アクチュエータを含む。
メモリ１０４について、例示のプログラムコンポーネント１２４、１２６及び１２８は、いくつかの具現化例にあってはどのようにデバイスが摩擦変化ディスプレイを提供するように形成されているかを示すように描かれている。この具現化例にあって、検出モジュール１２４はセンサ１０８を介してタッチの位置を確定するためにタッチサーフェース１１６を監視するのにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの有無を追跡するためにセンサ１０８をサンプルし、タッチがあれば、位置、経路、速度、加速度、圧力及び／又はタッチの他の特性をある期間にわたって追跡する。
触覚効果判断モジュール１２６は、生成される触覚効果を選択するため、タッチ特性についてデータを解析するプログラムコンポーネントとして描かれる。例えば、いくつかの具現化例にあって、一つ以上のタッチのシーケンスを含む入力動作が認められ、一つ以上の合成触覚効果に相互関係があってもよい。他の具現化例にあって、タッチサーフェース１１６のいくつか又は全てのエリアは、グラフィカルインターフェースにマッピングされる。特徴物について対応する表現がインターフェースに見られるときに、前記特徴物が「感じられる」ように、タッチサーフェース１１６の摩擦を変化することによって特徴物の存在をシミュレートするためにタッチの位置に基づいて異なる触覚効果が選択される。
しかし、触覚効果は、対応するエレメントがインターフェースに表示されていなくてもタッチサーフェース１１６を介して提供されてもよい（例えば、触覚効果は、インターフェースの境界、この境界は表示されていないかもしれないが、横切られると、提供されてもよい）。
触覚効果生成モジュール１２８は、選択された触覚効果を少なくともタッチが生じたときに生成するために、プロセッサ１０２に触覚信号を生成させてアクチュエータ１１８に送信させるプログラミングの役割を果たす。例えば、生成モジュール１２８は、アクチュエータ１１８に送信するために格納されている波形又は命令をアクセスする。他の具現化例にあって、触覚効果生成モジュール１２８は、所望される摩擦係数を受け取り、適切な信号を生成してアクチュエータ１１８に送信するために信号処理アルゴリズムを用いる。他の具現化例にあって、所望されるテクスチャが、そのテクスチャ用のターゲットコーディネィトと調和して示されるかもしれないし、さらに適切な波形が前記テクスチャを提供するのに前記サーフェースの適切な変位を生成するために一つ以上の振動触覚アクチュエータに送られる（及び／又は他のデバイスコンポーネント）。
タッチサーフェースは、コンピューティングシステムの特別な構成に依存してディスプレイを覆ってもよいし、覆わなくてもよい（またはさもなければディスプレイに合致するか、しないかもしれない）。図１Ｂには、コンピューティングシステムの外観が示されている。コンピューティングデバイス１０１は、タッチサーフェースとデバイスのディスプレイを兼ね併せたタッチ−操作可能ディスプレイ１１６を備えている。タッチサーフェースは、ディスプレイの外面又は実際のディスプレイコンポーネントの上の一つ以上の材料層に合致してもよい。
この具現化例にあって、触覚効果は、グラフィカルユーザインターフェース１３０の内容に基づいて選択される。特に、インターフェースエレメント１３２によって示されるような、「find」コマンドは、サーチの問い合わせをトリガーするために用いられる。触角効果は、サーチされるコンテンツに対応するユーザインターフェースにおける位置に描かれる前記タッチ領域におけるいくつかの位置にて触覚効果を生成するために選択される。この具体例にあって、タッチサーフェースは、直接的にディスプレイ領域に描かれるので、サーチされたコンテンツ（語句「patent」）が探し出されると、１３４、１３６、及び１３８で示されるようにインターフェース１３０にて強調表示される。
本出願の発明の主体の局面に応じて、デバイス１０１のプロセッサは、ユーザが１３４、１３６、及び／又は１３８にて、又は近くでスクリーン１１６にタッチすると、スクリーンの摩擦係数が変化されるように、適切な触覚効果を選択することができる。例えば、これは、ユーザに、高い（又は低い）摩擦係数又は他の表示されたコンテンツとは異なるテクスチャを有することによって触覚的に強調された興味を引くテキストにより、彼又は彼女の指を用いてテキストを「スキム（ざっと読ませる）」させる。さらに複雑な効果がつくりだされてもよい。例えば、前記強調された語句の周辺の境界又はテクスチャは、デバイス１０１の一つ以上のアクチュエータの使用によって生成されてもよい。
前述したように、タッチサーフェースは、ディスプレイを覆う必要はない。図１Ｃは、タッチ操作可能なコンピューティングシステム１００Ｃの他の具体例を例示する。この具体例にあって、コンピューティングデバイス１０１は、デバイス１０１にインターフェースされるコンピューティングシステム１２０に含まれるディスプレイ１２２に設けられるグラフィカルユーザインターフェースに描かれるタッチサーフェース１１６を特徴とする。例えば、コンピューティングデバイス１０１は、マウス、トラックパッド、又は他のデバイスを含み、他方、システム１２０はデスクトップ又はラップトップコンピュータ、セットトップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビジョンボックス）、又は他のコンピューティングシステムを含む。他の具現化例にあって、タッチサーフェース１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴とするラップトップコンピュータにおけるタッチ操作可能なトラックパッドのような、同一のシステムに含まれてもよい。
ディスプレイと一体化されるか或いはそうでないかにかかわらず、この明細書における具現化例の２次元の方形のタッチサーフェースは制限されることを意味するものではない。他の具現化例は、サーフェースベースの触覚効果を提供するためにさらに構成された湾曲した又は不定のタッチ操作可能なサーフェースを含む。
図１Ｃに戻り、この具現化例にあって、ユーザインターフェースは、タッチサーフェース１１６を介したユーザのジェスチャ入力に応答して選択されるプロセスにあって、テキストのコンテンツ（語句「Examination」）を特徴とする。具体的には、第１部分１４０はタッチサーフェース１１６の領域１５０を介しての指１４６の動きに基づいて強調される。前記語句が選択されると、指１４６は１４８で示される位置に動くであろうが、グラフィカルユーザインターフェースにあっては前記語句の部分１４２及び１４４が強調される。
触覚効果は、前記ジェスチャに応答し、及び／又は語句のコンテンツに基づいて提供される。例えば、異なるクロスハッチング領域１５０、１５２及び１５４によって示されるように、サーフェース１１６の摩擦係数は、語句が強調されるときに変化される。いくつかの具現化例にあって、選択されたテキストのコンテンツ又は他のアイテムは、触覚効果を確定するために用いられる。
例えば、摩擦は、選択されたテキストにあって、短い文字（「e」、「r」）は低い高さを有し、高い文字（「l」、「f」のような）は高い高さを有するような、「height map」に基づいて変動する。頻発する変化は、語句の頻発するコンテンツを探すために用いられるし、代替的に、文字の間の距離は、語句のための「feel」を確定するために用いられる。他の具現化例にあって、摩擦は、語句、フレーズ、又は他のユニットの終端に到達されると、摩擦が増加するような選択に、単純に基づいて調整される。これは、ユーザがコンテンツ近辺の所望しない部分を選択することを避けるのを助ける。語句の間の境界は、もちろん、スペースを識別することによって認識され、他方、（例えば、コンテキスト、使用法分析）として当分野にて周知の文法分析を用いることによってフレーズが認識される。
この具体例にあって、テキストの選択は、左から右に強調することに基づいて説明された。サーフェースベースのテキストの効果は選択アクションの他のタイプに関連されていてもよい。例えば、ユーザは、元の位置にタッチすることによってボックスを描いてもよく、その後、バウンディングボックスの対角のコーナを示す２点にて、第２の物体により外側にドラックしてもよい。変化する摩擦又はテクスチャのような触覚効果は、選択が推移している間、及び／又は選択が完了した後に、提供される。追加的に或いは代替的に、領域が選択されている間、選択される領域に対応するタッチエリアの一部は、異なるテクスチャ又は摩擦係数を有してもよい。他の具現化例にあって、前記選択された領域は、境界又は外縁部によって触覚的に示される（例えば、触覚クリック、ポップ、又はタッチが選択された領域を内側に横切るから外側に横切るときを識別するための摩擦変化）。
提供のための触覚効果を確定する例示的な方法
図２は、一つ以上の画素配列への検出されたタッチのマッピングに基づいて提供される触覚効果を選択するためのいくつかの具現化例にて用いられることのできる、画素配列２００を例示する図である。画素配列２００は、例えば、ビットマップ或いは各画素に関して一つ以上の値を有する他の画像ファイルを含む。値は、触覚効果がどのように提供されるのかを確定する。この具体例は、比較的に小さい数の画素を示し、具体的には、前記アレイは数千又は数百万の画素を備える。
いくつかの具現化例にあって、タッチサーフェースによって定義されるタッチ領域内のタッチの位置は、戻され、さらにその後、一つ以上の画素アドレスに変換される。画素アドレスに関連する値又は複数の値は、触覚デバイスのアクチュエータを駆動するためにアクセスされ、さらに用いられる（変化される摩擦デバイス又は複数デバイス）。例えば、各画素のアドレスは、ピエゾエレクトリックアクチュエータが駆動される振幅に関係した彩度の値に関連する。さらに複雑な具現化にあって、各画素アドレスは、３つの彩度値（すなわち、ＲＧＢ）に関係する。３つの彩度値の各値は、いくつかの具現化例にあった異なるアクチュエータ彩度に関係する。他の具現化例にあって、いくつかの値は、彩度を規定し、さらに他は、動作の長さを規定する。さらなる具現化例にて、異なる画素彩度値は、異なる所望のテクスチャ又は単一のテクスチャをシミュレートするアクチュエータを駆動するために用いられる部品に、相互に関連する。さらに複数層ＲＧＢ画像ファイルが用いられ、ここにおいて各層は特定のアクチュエータに対応する。
この具体例にあって、第２複数画素２０４は異なるパターンを形成するが、第１複数画素２０２は彩度値と関連し、さらに「ブロック」を形成する。異なるパターンは、どのように物体がパターンに遭遇するかに基づいた異なる効果という結果になる。例えば、上部から底部に動く物体は、パターン２０２によって引き起こされる摩擦の第１変化に遭遇し、その後、異なる変化がパターン２０４によって引き起こされる。逆にした同じパターン（すなわち、底部から上部へ）は、全く異なる感覚をシミュレートする。
タッチサーフェースとグラフィカルユーザインターフェースとの間のマッピングは、絶対的であってもよいし、寸法が変わるものでもよい。例えば、いくつかの具現化例にあって、タッチ位置は、アクチュエータを駆動するための触覚効果を選択するのに用いられる値に関連して、対応する画素アドレス（又は画素の複数アドレス）に直接的に相互に関係する。他の具現化例にあって、タッチ位置及び速度が考慮される。例えば、実際のタッチアドレスは、パターン２０２の上であるが、パターン２０２に向う動きを示すベクトルに関連し、そして、パターン２０２の画素の値は、触覚効果を適切に再生するため遅れずにアクチュエータを駆動するために用いられる。
図３は、サーフェースベースの触覚効果をインターフェースに提供するための例示的な方法３００を示すフローチャートである。ブロック３０２は、タッチエリアにおけるタッチの位置を確定することを表す。例えば、プロセッサは埋め込まれた一つ以上のセンサか、タッチ操作可能なディスプレイを見ることか、或いは前記サーフェース上のタッチ位置を追跡するためのサーフェースを利用する。タッチの現在及び／又は過去の位置に基づいて、タッチ領域に描かれるグラフィカルユーザインターフェースによる対話が確定される。前記対話に基づいて、タッチサーフェースの摩擦を変化すること、及び／又は他の効果のような、一つ以上の触覚効果が選択される。
この具体例にあって、前記対話はブロック３０４及び３１２にて認識され、ジェスチャが示されたのか否かを、方法が３０４にて先ず判定する。ジェスチャが、スクリーンを横切るスワイプの方向及び長さに基づくか、パターンにおける分離タッチのシーケンスか、或いは他の認識される対話のような一つ以上のタッチ又はタッチパターンのシーケンスとして認識される。この具現化例にあって、ジェスチャが認識されると、フローは前記ジェスチャに関連する所望の触覚効果を確定することを示すブロック３０６に移動する。
例えば、「Ｚ」形状のタッチの軌跡が、ジェスチャが行われている間にデバイスのプロセッサによって実行されるパターン認識に基づいた入力ジェスチャのタイプとして認識されるかもしれない。一つ以上の触覚効果は、ジェスチャが進行中の間、及び／又はジェスチャが完了した後に、出力するための効果を示すプロセッサにアクセスできるデータにおける、「Ｚ」ジェスチャに関連付けられる。例えば、データは、ジェスチャが終了に近づくと、テクスチャ又は摩擦の変化の値をとるために、サーフェースに提供される。付加的に或いは代替的に、ディスプレイのテクスチャ又は摩擦係数は、ジェスチャの入力を確認するために、ジェスチャが認識された後に、変化されてもよい。
ブロック３０４にて、ジェスチャが認識されなかったら、フローはブロック３１２に移動する。このブロック３１２にて、方法は、ＧＵＩベースの特徴がタッチ位置にて又は近くで表されたか否かを評価する。この明細書にて議論されているように、様々な特徴物は、タッチサーフェースに描かれるグラフィカルユーザインターフェースにて表されることができる。さらに、前記特徴物は、触覚効果に関係される。前記特徴物は、グラフィカルユーザインターフェースにて実際に表示されるコンテンツに対応してもよいし、しなくてもよい。ブロック３１２は、一つ以上の前記特徴物がタッチされた位置又はタッチされた位置の近くにあるかを確定する役割を果たし、さらにブロック３１４は一つ以上の効果が特徴物に対応するかを確定する役割を果たす。
例えば、タッチについての現在の画素位置及び／又はタッチの速度に基づいて予測される画素位置は、様々な画素位置のために触覚効果を規定するビットマップと比較される。前記触覚効果に基づいて、適切な触覚信号が、ビットマップにあって規定される出力を提供するために、アクセス／生成される。
他の具現化例にあって、タッチの現在又は予測される位置は、コントロール、テクスチャコンテンツ、境界などのようなＧＵＩ特徴物の位置を規定するデータと比較される。その後、ＧＵＩ特徴物が、その位置に識別されると、前記特徴物に一つ以上の触覚効果を関連つけるデータがアクセスされる。例えば、プロセッサは、タッチの位置を追跡し、さらにタッチがあるか、或いはグラフィカルユーザインターフェースにて具体的な制御部（例えばボタン）に描かれるタッチ領域における位置にあるか又はその位置に接近していることを確定する。プロセッサは、その後、前記ボタンに関連される触覚効果（例えば、テクスチャ、摩擦変化）を確定するために、インターフェースエレメントのリスティングを考慮し、さらに触覚効果に基づいて、前記触覚効果を生成するための他のアクションを起こす。
この具現化例にあって、ブロック３０６及び３１４の両方は、ブロック３０８につながる。ブロック３０８は、選択された触覚効果を生成するために一つ以上の触覚信号をアクセスすること又は生成することを行う役割を果たす。例えば、プロセッサは、メモリに蓄えられ、具体的な触覚効果に関係される駆動信号をアクセスする。他の具現化例にあって、信号は、格納されたアルゴリズムにアクセスすることにより、さらには効果に関連するパラメータを入力することにより生成される。例えば、一つのアルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成する使用のためのデータを出力する。他の具現化例にあって、触覚信号は、アクチュエータによって復号されるアクチュエータに送信されるデータを含む。例えば、アクチュエータは、振幅及び周波数のようなパラメータを規定する命令に応答する。
ブロック３１０は、所望された効果を生成するために、触覚信号をアクチュエータに伝送することを表す。例えば、アナログ駆動信号が供給されると、プロセッサはオンボードＤ／Ａ変換器を信号を作り出すために利用する。デジタル命令がアクチュエータに供給されると、プロセッサのＩ／Ｏバスによって適切なメッセージが生成される。触覚効果は、タッチされた位置及び／又は他の位置にて感じられる。例えば、二つの指での入力ジェスチャが提供されると、第１の指にてテクスチャ／摩擦係数が第２の指の認識された動きに応じて変化される。
いくつかの実施例にあっては、デバイスが作り出すことのできる潜在的な効果の範囲を増大させるために、選択された触覚効果の不在時であっても、ベースライン触覚信号が、環境触覚効果を生成するためにアクチュエータに送信され得る。このように、触覚信号を伝送することは、適切に強度を低減するために、アクチュエータに「停止」命令、「ゼロ」又は最小信号、又は他の信号を送信することを含み得る。
一具体例にあって、ピエゾエレクトリックアクチュエータのようなあるアクチュエータの使用は、タッチサーフェースの摩擦係数の低減を行なわせることはあっても、摩擦係数の増加を行わせることはない。様々な選択を提供するため、ベースライン信号は、タッチサーフェースの「普通の」摩擦レベルがタッチサーフェースが静的であるときに有する摩擦係数を下回るように、提供される。つまり、触覚効果は、静的というよりもベースラインの値に関連し定義される。最大摩擦が要求されるのであれば、「ゼロ」信号がサーフェースの動きを止めるためにピエゾエレクトリックアクチュエータに送信される。
サーフェースベースの触覚効果は、いかなる適切な形式をとる。例えば、いくつかの触覚効果は、タッチサーフェースの摩擦にあってバリエーションを含む。いくつかの部分は他の部分より「滑らか」又は「粗い」。他の具体例にあって、振動又は一連の振動のような、振動触覚効果が用いられる。振動触覚効果及び／又は摩擦のバリエーションは、境界又は障害物のような明瞭な特徴物の感覚をシミュレートする。例えば、境界又は端部は、摩擦の増加によってシミュレートされてもよく、境界が横切られると（いくつかの実例にあって）、摩擦を低下する。
振動触覚効果及び／又は摩擦のバリエーションは、付加的又は代替的に様々なテクスチャをシミュレートするために用いられる。テクスチャの生成及び使用に関する他の詳細は、「テクスチャエンジンのためのシステム及び方法」（Attorney Docket IMM354(51851-383720)）、「テクスチャを実現するための複数のアクチュエータを用いるためのシステム及び方法」（Attorney Docket IMM355(51851-383719)）、及び「グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法（Attorney Docket IMM356(51851-383718)）という名称の米国特許出願番号12/697,010、12/697,042、及び12/697,037の各参照文献にそれぞれ見ることができる。例えば、摩擦又は振動のパターンを異ならせるパターンは、レンガ、石、砂、草、毛皮、様々な繊維タイプ、水、糖蜜、及び他の流体、皮、木、氷、爬虫類の皮膚、金属及び他のテクスチュアパターンを真似るために提供される。高マグニチュードの振動触覚又は他のフィードバックのような、実世界のテクスチャに類似してない他のテクスチャも、「危険な」テクスチャが所望されるときに、用いられる。
この具体例のブロック３０４及び３１２は、二者択一にあって考慮されていたが、いくつかの具現化例にあって方法は、一つ以上の触覚特徴物を有するGUIの一部に描かれる位置にて、タッチが生じているか否かの評価の間も、ジェスチャが推移しているか否かを検討することができる。
インターフェースのふるまいの他の例示的な具現化例
図４Ａは、タッチ操作可能なディスプレイ４０２を特徴とするコンピューティングデバイス４０１を含むシステム４００の外観を示す。図４Ｂは、デバイス４０１の断面図を示す。デバイス４０１は、プロセッサ、メモリ、センサなどは簡略化のために図示しないが、図１Ａのデバイス１０１と類似して構成されてもよい。
図４Ｂに示されるように、デバイス４０１は複数のアクチュエータ４１８及び他のアクチュエータ４２２を特徴とする。アクチュエータ４１８−１は、ディスプレイ４０２に垂直な力を与えるように構成されるアクチュエータを含むが、４１８−２はディスプレイ４０２を左右に動かす。この具現化例にあって、前記アクチュエータは、前記ディスプレイに直接的に連結されるが、前記アクチュエータは、ディスプレイ４０２の上部の材料層のような、他のタッチサーフェースに接続されるのを理解すべきである。他のアクチュエータ４２２は、デバイス４０１の部品を収容するハウジングに連結されてもよい。この図４Ａ−４Ｄの具現化例にあって、発明の原理は前記ディスプレイから完全に分離されたタッチサーフェースに適用されることもできるが、ディスプレイ４０２の領域はタッチ領域に対応する。
一具現化例にあって、アクチュエータ４１８はそれぞれピエゾエレクトリックアクチュエータを備え、他方にて、アクチュエータ４２２は偏芯回転質量アクチュエータ、線形共振アクチュエータ、或いは他のピエゾエレクトリックアクチュエータを備える。アクチュエータ４２２は、プロセッサからの触覚信号に応答して振動触覚による触角効果を提供するように構成される。振動触覚による触覚効果は、サーフェースベースの触覚効果及び／又は他の目的に関連して用いられる。
いくつかの具現化例にあって、アクチュエータ４１８−１及び４１８−２の何れか或いは両方は、ピエゾエレクトリックアクチュエータ以外のアクチュエータを備えることができる。付加的には、複数の他のアクチュエータがデバイス４０１のハウジングに結合され、及び／又は他のアクチュエータ４２２が別のところに結合されるが、単一アクチュエータ４２２が示される。デバイス４０１は、同様に、異なる配置にてタッチサーフェースに結合される複数のアクチュエータ４１８−１／４１８−２を特徴としている。
図４Ａに戻って説明すると、グラフィカルユーザインターフェースは汎用化された特徴物４３０を含むように、４２０にて示される。この具現化例にあって、触覚効果は、指４２６の位置４２８への下方の動きによって表わされるタッチの位置に基づく出力用に選択される。具体的には、図４Ｂに示されるように、アクチュエータ４１８−１、４１８−２、及び／又は４２２には、４３２、４３４、及び４３６にて示されるようなサーフェースベースの触覚フィードバックを提供するための適切な触覚信号が供給される。異なるクロスハッチングがアクチュエータによるタッチサーフェースの異なる「感覚」を表わすことを意図している。例えば、４３２、４３４、及び４３６は、所望の触覚効果を生成するタッチサーフェースのテクスチャ又は摩擦係数におけるバリエーションを表わすことができる。一具現化例にあって、ボックスの感覚は、低摩擦の第２領域４３４及び高摩擦の第３領域４３６によって追随される高摩擦の第１領域４３２を有することによってシミュレートされる。
図４Ｃ−４Ｄは、プロセッサがページめくり入力ジェスチャの認識に応答して触覚効果を選択するために構成されるときの、ジェスチャが提供されたときページめくり入力ジェスチャの方向にあってタッチサーフェースを変化するために選択される触覚効果を伴って、グラフィカルユーザインターフェース４２４の具現化例を提供する。図４Ｃは、指４３８がページ４４０の積み重ねのオンスクリーン描写をタッチする第１インターフェース状態４２４−１を示す。
図４Ｄの４４２として示すように、指にて右から左に入力ジェスチャが行なわれる。この具体例にあって、コンピューティングデバイス４０１のソフトウェアは、プロセッサをページめくり入力ジェスチャとしてページのコーナから始まる右から左への軌跡を認識するように構成する。このため、インターフェースは、ページコーナが引き起こされ次にページが４４４にて視認されるステート４２４−２に動く。付加的に、前記ジェスチャが推移していると（及び／又はジェスチャが認識されると）、サーフェースベースの触覚効果が提供される。例えば、指４３８が右から左に移動すると、タッチサーフェースの摩擦係数は、ページめくりの感覚をシミュレートするように変化される（例えば、摩擦係数を増加することによって）。
図５Ａ−５Ｂはそれぞれタッチサーフェース５０２を特徴とするコンピューティングデバイス５０１を含むシステム５００を例示する。コンピューティングデバイス５０１は、図４及び１のデバイス４０１及び１０１と類似して構成される。これらの具現化例にあって、タッチサーフェース５０２はタッチ領域に描かれるグラフィカルユーザインターフェースを特徴とするディスプレイから分離されている。分離されたディスプレイ５０４が図５Ａ−５Ｂに示され、デバイス５０１にインターフェースされる。
例えば、デバイス５０１はディスプレイ５０４にインターフェースされる、タッチサーフェースに対応するビルトイントラックパッド付きのラップトップコンピュータのようなコンピューティングデバイスを示す。他の具現化例としては、コンピューティングデバイス５０１は、それ自身がタッチサーフェース５０２、アクチュエータ、及びデバイス５０１がインターフェースされるコンピューティングデバイスによって命令される適切なプロセッシング回路を備える周辺デバイスであってもよい。いかなるイベントにあっても、図５Ａ−５Ｂにて議論された原理はタッチサーフェースが対応するディスプレイ或いはディスプレイ上の材料の具現化例に等しく適用できる。付加的に、前記原理は、もちろん、タッチサーフェースがディスプレイから分離されたときに、用いられる（例えば、マウス上のタッチサーフェース、コンピュータトラックパッドなど）。
図５Ａに戻って説明すると、この具現化例にあって、デバイス５０１のプロセッサは、第１位置から第２位置へのオンスクリーンコンテンツアイテムの動きを示すジェスチャを認識することに応答して触覚効果を選択するように構成される。グラフィカルユーザインターフェース５０６はウィンドウ５０８及び５１０を備える。エレメント５１２は、ファイル、フォルダ、又はスクリーン上にて操作される他の要素を示す。これらのエレメントはそれぞれ、タッチサーフェース５０２によって定義されるタッチエリアにあって５０８’、５１０’、及び５１２’にて示されるそれぞれの位置に描かれる。この入力は、アイテム５１２の選択として認識される。領域５１２’は明瞭なテクスチャ又はコンテンツに関連する他の触覚効果又はいくつかの具現化例におけるアイテム５１２の識別を有する。
アイテム５１２からウィンドウ５１０に移動するため、ユーザはインターフェース５０６にあってウィンドウ５０８及び５１０の境界に対応して、境界５１４’及び５１６’を越えてタッチサーフェース５０２を横切ってドラッグしてもよい。第２位置（この具現化例にあってはウィンドウ５１０）は保護された領域（例えば、システム又は他の安全なホルダ）に対応し、適切なサーフェースベースの触覚効果は、境界５１６’が接近されるか横断されると、供給される。他の具現化例にあって、エレメント５１２は、保護されたファイルを表わし、触覚効果は境界５１４’にて、或いは近くにて提供される。例えば、摩擦係数は、ウィンドウ５０８の外及び／又はウィンドウ５１０の中の動きを妨げるために著しく増加される。他の具現化例にあって、エレメント５１２のステータスは、保護されていないエレメント（図示せず）である他のものの動きと比較して、領域５１２’にて特別なテクスチャ或いは動きが領域５１２’から始まるときに特別に高に摩擦係数によって示される。
図５Ｂは、プロセッサが、タッチ位置にて、或いは、その近くにてタッチ領域の位置に描かれる位置でグラフィカルユーザインターフェースにて表示されるコントロールに基づいた触覚効果を選択するために構成される具体例を示す。さらに、他のコンテンツに基づいた触覚効果が示される。
具体例に、グラフィカルユーザインターフェース５２０は、コンテンツを表示する第１位置５２２と、オンスクリーンコントロールを特徴とする第２位置５２４を含む。この具現化例にあって、コンテンツ位置５２２は、主要道路５２６、狭い道路５２８及び目的地５３０を備える地図を特徴とする。制御部５２４はスライダ５３２及びボタン５３４及び５３６を含む。いかなる適切なグラフィカル制御エレメントが制限されるものではないが、チェックボックス、ラジオボタン、ドロップダウンメニュ、アコーディションメニュ、ダイアルなどを備えながら、用いられてる。
グラフィカルユーザインターフェース５２０は、タッチサーフェース５０２の領域に描かれる。この具現化例にあって、タッチサーフェース５０２は、多数のサーフェースベースの触覚効果を提供するように表わされている。同時に示されているが、クロスハッチングされることによって様々な触覚効果がタッチが効果を収容する領域にて、或いは近くにて、デバイス５０１によって提供されるであろうことが理解できるであろう。
５３８にて示されるように、コンテンツ部分５２２に描かれるタッチ領域の部分は境界５３８を特徴づける。前記境界は、コンテンツ部分５２２に描かれる部分の境界を示すのを助けるために、テクスチャ又は摩擦のバリエーションを含む。付加的に、サーフェース効果は、５４４及び５４６にて主要道路５２６及び狭い道路５２８を識別するために適用される。
例えば、異なる道路タイプ及び他の地図特徴は、明瞭なテクスチャと摩擦レベルを有する。他の具現化例にあって、オンスクリーンルートは、コンテンツ部分５２２に表示されてもよい。ルートに描かれるタッチサーフェース５０２は、ルートの外の道路に対応する部分よりも異なる摩擦又はテクスチャを有する。例えば、ユーザは、過去の位置５４８に上昇する摩擦により、低摩擦部分５４４及び５４６をたどることによってルートをトレースすることができる。行く先とされるところの、位置５４８は、固有の摩擦又はテクスチャを有する。
タッチサーフェース５０２は、コントロール部５２４に描かれるタッチ領域の部分にむかってユーザをガイドする役割を果たす触覚効果を示す部分５５０を特徴とする。例えば、部５５０は、容易な経路をコントロールに向かわせるための低摩擦係数を特徴とする。
５５２Ａ、５５２Ｂ、及び５５２Ｃによって示されるように、異なる触覚効果は、スライダ５３２の値が増加すると提供される。例えば、摩擦レベルは、スライダが上又は下に移動されると変化される。他の具現化例にあって、ボタン５３４及び５３６は、異なるテクスチャによって規定されるか或いは摩擦バリエーションによってシミュレートされる明瞭な境界領域を特徴つける。いくつかの具現化例にあって、ボタン５３４及び５３６のテクスチャ又は摩擦はボタンの値又は状態に基づいて変動する。テクスチャ及び／又は摩擦に加えて触覚効果も同様に提供される。例えば、ボタンに向かって／或いはボタンから動くと、触角ポップ又は振動が提供される。
サーフェースベースの効果の他の例示的な具現化例
前述の具現化例は、例示を目的として提供されたものであり、制限を目的としたものではない。サーフェースベースの触覚効果の他の具現化例は、以下にて議論される。
いくつかの具現化例にあって、サーフェースベースの効果は、グラフィカルユーザインターフェースへのマッピングから独立して提供される。例えば、タッチサーフェースは、グラフィカルユーザインターフェースにて表示される３次元環境でのグラフィカルエレメントを操作するための入力を提供するように用いられる。例えばタッチサーフェースにおけるｘ軸に沿った第１テクスチャ（又は摩擦）が３次元環境におけるｘ−ｙ平面での変換を示し、他方前記ｘ軸に沿った第２のテクスチャ（又は摩擦）が３次元環境におけるｘ−ｙ平面にて変換を示すが、異なるテクスチャは、異なるコントロール又は動き、を示すために提供される。他の具現化例にあって、３次元環境における物体の操作は、タッチサーフェースの複数の接触位置に沿ってテクスチャ又は摩擦を変化することによって示される。
さらなる具現化例にあって、異なるテクスチャは、異なるタイプのコントロールアクションを示すために用いられる。例えば、コンピュータ支援設計（ＣＡＤ）又は３Ｄ環境にあって、第１テクスチャは、エレメント又は物体を環境内にて動かすときに提供され、他方、第２テクスチャは、視野が変化されるが、要素／物体が動かされないときに提供される。
さらに、具現化例は、絵又は他の入力に関連したテクスチャの変化を含む。例えば、設計のアプリケーションにあって、異なるブラシ又は他のツールが対応するテクスチャを有することができる。ブラシサイズが変化されると、ブラシサイズは、異なるブラシサイズによる異なるテクスチャを提供することによって、及び／又はブラシテクスチャをタッチエリアの広い部分にマッピングすることによって、「感覚」となる。
具現化例は、ファイル又はドキュメントの内容を示すために本発明の主題に対応したテクスチャ、摩擦、及び／又は他の触覚効果を含む。例えば、ユーザインターフェースは、サーフェースベースの触覚効果を含むタイムライン選択機構（例えば、スライダ）を含んでもよい。例えば、オーディオファイルは、一つ以上の特徴（例えば、音量）及び前記特徴（異なるボリューム用の、例えば、異なるテクスチャ、摩擦レベル、など）に描かれるサーフェースベースの触覚効果のために分析されてもよい。ユーザが選択された機構と対話するとき、異なる触覚効果が提供される（例えば、スライダは、増加されたボリュームの一部に遭遇すると、相違を感じる）。
他の具現化例にあって、サーフェースベースの触覚効果は、ゲームと結びつけて用いられてもよい。例えば、参照として全体が本出願に組み込まれている米国特許出願公開第２００８／００６４４９９は、カジノ及び他のゲーム用の触覚効果の使用を説明している。カードプレイ、ゲーム機（例えば、ルーレットホィール、ダイスなど）がタッチサーフェースを介して対話されるとき、及び／又は結果又はゲームルールを示すときに、異なる摩擦／テクスチャのような、サーフェースベースの触覚効果は、そこに説明された効果に加えて、或いは代わりに用いられてもよい（例えば、ユーザが勝つと、異なるテクスチャ、禁止された動きがゲームにて行なわれることを示すために用いられる異なる摩擦値など）。
全般的な考察
この明細書にあっての用語「適合される」又は「構成される」の使用は、付加的なタスク又はステップを実行するために適合される、或いは構成されるデバイスに対してのみあてはめることを主張するのではない開放的及び包括的な意味を有する。さらに、用語「基づいて」の使用は、プロセス、ステップ、計算又は、一つ以上の列挙される条件に「基づいた」他のアクション又は値が、実際に、付加的な条件又はそれら列挙された条件を超える値に基づいているということを意味する。この明細書において含まれる、見出し、リスト及び番号は、説明を容易にするためのものであって、制限することを意味するものではない。
本願の発明の主題に対して対応する具現化例は、デジタル電気回路、コンピュータハードウェア、ファームウェア、ソフトウェハ、又はそれらの組み合わせによって実行される。一つの具現化例にあって、コンピュータは、一つのプロセッサ又は複数のプロセッサを備えてもよい。前記プロセッサは、当該プロセッサに接続されるランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読み取り可能な媒体へのアクセスを含むし、有する。前記プロセッサは、メモリに格納されている、コンピュータにて実行される、センサーサンプリングルーティン、触覚効果選択ルーティン、及び前述された選択される触覚効果を生成するための信号を形成する適切なプログラミングを実行する一つ以上のプログラムのような、プログラム指示を実行する。
前述のようなプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、専用集積回路（ＡＳＩＣ），フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ），及びステートマシンを含む。前記プロセッサは、さらにＰＬＣｓ、プログラマブルインターラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電気的プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ又はＥＥＰＲＯＭｓ）、或いは同様のデバイスのようなプログラマブルエレクトロニックデバイスを備える。
前記プロセッサは、本明細書にはプロセッサによって実行され、或いは支援されるように記載されているステップをプロセッサに実行させる命令を格納している、例えば有体物のコンピュータ読み取り可能媒体である媒体を含むか、或いは前記媒体と通信する。コンピュータ読取可能な媒体は、制限されるものではないが、全ての電気的、光学的、磁気的、又はウェブサーバ内のプロセッサのようなプロセッサにコンピュータ読取可能な命令を提供することができる他のストレージデバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ，ＲＡＭ，ＡＳＩＣ、プロセッサを構成する、全ての光学媒体、全ての磁気テープ、又は他の磁気媒体、或いはコンピュータプロセッサが読み取ることのできるいかなる他の媒体をも含む。さらに、様々な他のデバイスは、ルータ、プライベート又はパブリックネットワーク、又は他の伝送デバイスのような、コンピュータ読取可能媒体を含む。記述された、前記プロセッサ、及びプロセッシングは、一つ以上の構成であるか、さらには一つ以上の構成を通して分散されていてもよい。プロセッサは、本明細書にあって記載された方法（或いは方法のいくつかの部分）を実行するためのコードを含んでもよい。
本発明の主題は、具体的な例の中で詳細に記述されているが、当業者は、前述の理解を成し遂げることで、容易に代替物、変形、及び前記具現化例の等価物を適切に創造できるであろう。すなわち、本開示は、制限というよりもむしろ具体例の目的のために示されたものであり、当業者にとっては容易に明瞭となり、本発明の主題の改良、変形及び／又は付加の包括を排除するものではない。

Claims (22)

  1. 物体がタッチサーフェースに接触すると、グラフィカルユーザインターフェースのディスプレイ領域にマップされるタッチ領域へのタッチを検出するように構成されるセンサと、
    プロセッサと通信をし、さらに前記タッチサーフェースに結合されるアクチュエータであり、触覚信号に応答して触覚効果を出力するように構成されたアクチュエータと、
    アクチュエータ及びセンサと通信をするプロセッサであり、
    （ａ）前記センサから供給されるセンサデータを用いて、タッチの予測される位置を識別すること、
    （ｂ）前記タッチによって提供される入力ジェスチャをパターン認識に基づいて認識すること、
    及び（ｃ）ディスプレイ領域におけるある場所にてグラフィカルユーザインターフェースに表示されるコンテンツに基づいて発生する触覚効果であって、前記タッチの予測される位置が前記コンテンツの場所に対応すると、前記コンテンツをシミュレートするように構成される第１触覚効果と、前記タッチの予測される位置が前記コンテンツの場所とは異なる場所に対応すると前記第１触覚効果とは異なる第２触覚効果を含む前記触覚効果を選択し、
    さらにディスプレイのテクスチャ、シミュレートされた障害物又は境界、又は調整された摩擦係数のうちの少なくとも一つを提供するために前記タッチが生じている間に、前記選択された触覚効果を発生するために前記アクチュエータに触覚信号を送信するように、構成される前記プロセッサと
    を備え、
    前記第２触覚効果は、前記コンテンツの場所に関連するコントロール部にマップされる前記タッチ領域の部分に向かってユーザをガイドする触覚効果を含む、システム。
  2. 前記アクチュエータは、ピエゾエレクトリックアクチュエータを含む請求項１記載のシステム。
  3. 前記触覚効果は、前記タッチサーフェースの摩擦係数を変化することによって発生される請求項１記載のシステム。
  4. 前記触覚効果は、前記タッチサーフェースのテクスチャをシミュレートすることを含む請求項１記載のシステム。
  5. 前記プロセッサは、前記タッチの位置にて、又は近くの前記タッチ領域における位置にマップされる位置におけるディスプレイ領域で表示されるテキストのコンテンツに基づいた触覚効果を選択するように構成される請求項１記載のシステム。
  6. 前記プロセッサはサーチ照会に応答して前記グラフィカルユーザインターフェースに表示されるコンテンツを強調するために構成され、さらに前記触覚効果は前記強調されたコンテンツにて、又はその近くにおける前記ディスプレイ領域の位置にマップされる前記タッチ領域における位置で触覚効果を発生するために選択される請求項１記載のシステム。
  7. 前記プロセッサは、前記タッチの位置にて、又は近くの前記タッチ領域における位置にマップされる位置にてグラフィカルユーザインターフェースに表示されるコントロールに基づいた触覚効果を選択するように構成される請求項１記載のシステム。
  8. 前記プロセッサは、ページめくり入力ジェスチャを認識することに応答して、ジェスチャが行われたときにページめくり入力ジェスチャの方向における摩擦又はテクスチャを変化するための、触覚効果を選択するように構成される請求項１記載のシステム。
  9. 前記プロセッサは、第１の場所から第２の場所へ、オンスクリーンコンテンツアイテムの動きを示すジェスチャの認識に応答して触覚効果を選択するように構成される請求項１記載のシステム。
  10. さらにディスプレイを備え、
    前記ディスプレイは、複数画素を含む、前記ディスプレイ領域を定義し、
    ディスプレイ信号の一部に基づいて画像を出力するように構成され、
    前記タッチサーフェースは前記ディスプレイ又はディスプレイ上の材料に対応し、
    前記プロセッサは前記ディスプレイ信号を出力するように構成される
    請求項１記載のシステム。
  11. 前記プロセッサからの触覚信号に応答して触覚効果を提供するように構成される第２アクチュエータをさらに含む請求項１記載のシステム。
  12. タッチサーフェース上のタッチの予測される位置を追跡するステップであり、前記タッチの予測される位置を、グラフィカルユーザインターフェースにマップされるタッチ領域へのタッチを検出するように構成されるセンサから供給されるセンサデータを用いて追跡する、追跡ステップと、
    前記タッチの予測される位置に基づいて、前記グラフィカルユーザインターフェースとの対話をパターン認識に基づいて識別するステップと、
    前記対話及び表示領域におけるある場所にてグラフィカルユーザインターフェースに表示されるコンテンツに基づいて発生する触覚効果であって、前記タッチの予測される位置が前記コンテンツの場所に対応すると、前記コンテンツをシミュレートするように構成される第１触覚効果と、前記タッチの予測される位置が前記コンテンツの場所とは異なる場所に対応すると前記第１触覚効果とは異なる第２触覚効果を含む前記触覚効果を選択するステップと、
    テクスチャ、シミュレートされた障害物又は境界、又は前記サーフェースの摩擦係数の調整のうちの少なくとも一つを含む、前記選択された触覚効果を少なくとも一つのアクチュエータに発生させるのを命令するステップを備え、
    前記選択された触覚効果を少なくとも一つのアクチュエータに発生させるのを命令するステップは、前記選択された触覚効果に対応する触覚信号を生成し、前記アクチュエータに送信し、
    前記第２触覚効果は、前記コンテンツの場所に関連するコントロール部にマップされる前記タッチ領域の部分に向かってユーザをガイドする触覚効果を含む、方法。
  13. 前記触覚効果は、前記タッチサーフェースの摩擦係数を変化することによって少なくとも一部で発生される請求項１２記載の方法。
  14. 前記対話はオンスクリーンコントロールを調整することを含み、さらに前記触覚効果は前記オンスクリーンコントロールの値に基づいて選択される請求項１２記載の方法。
  15. 前記対話は、前記触覚効果に関連する特徴を有するグラフィカルユーザインターフェースの一部にマップされる位置で、或いはその近くで前記タッチサーフェースにタッチすることを含む請求項１２記載の方法。
  16. 前記特徴は、サーチ命令に応じて強調されるインターフェースにおけるテキストの又はグラフィックのエレメントを備える請求項１５記載の方法。
  17. 前記特徴は、前記グラフィカルまたはテキストのコンテンツである請求項１５記載の方法。
  18. 前記特徴は、前記グラフィカルユーザインターフェースにおける境界を含む請求項１５記載の方法。
  19. 前記対話は、入力ジェスチャを含む請求項１２記載の方法。
  20. 前記触覚効果は、前記入力ジェスチャの間に提供される請求項１９記載の方法。
  21. 前記触覚効果は、前記入力ジェスチャの後に提供される請求項１９記載の方法。
  22. コンピューティングシステムによって実行されるプログラムコードを格納しているコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、
    前記コンピューティングシステムにタッチサーフェース上のタッチの予測される位置を追跡させるプログラムコードであり、前記タッチの予測される位置を、グラフィカルユーザインターフェースにマップされるタッチ領域へのタッチを検出するように構成されるセンサから供給されるセンサデータを用いて追跡してなり、
    前記コンピューティングシステムに前記タッチの予測される位置に基づいて、前記グラフィカルユーザインターフェースとの対話をパターン認識に基づいて識別させるプログラムコードと、
    前記コンピューティングシステムに前記対話及び表示領域におけるある場所にてグラフィカルユーザインターフェースに表示されるコンテンツに基づいて生成する触覚効果であって、前記タッチの予測される位置が前記コンテンツの場所に対応すると、前記コンテンツをシミュレートするように構成される第１触覚効果と、前記タッチの予測位置が前記コンテンツの場所とは異なる場所に対応すると前記第１触覚効果とは異なる第２触覚効果を含む前記触覚効果を選択させるプログラムコードと、
    前記コンピューティングシステムに前記タッチサーフェースの摩擦係数を変化することによって前記選択された触覚効果を発生するため少なくとも一つのアクチュエータに触覚信号を送信させるプログラムコードを備え、
    前記コンピューティングシステムに前記タッチサーフェースの摩擦係数を変化することによって前記選択された触覚効果を発生するため少なくとも一つのアクチュエータに触覚信号を送信させるプログラムコードは、前記コンピューティングシステムに触覚信号を生成させ、前記アクチュエータに送信させ、
    前記第２触覚効果は、前記コンテンツの場所に関連するコントロール部にマップされる前記タッチ領域の部分に向かってユーザをガイドする触覚効果を含む、コンピュータ読み取り可能な記録媒体。
JP2011554175A 2009-03-12 2010-03-11 サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法 Expired - Fee Related JP6148820B2 (ja)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/696,893 2010-01-29
US12/697,010 2010-01-29
US12/697,042 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/696,900 2010-01-29
US12/696,908 2010-01-29
US12/697,037 2010-01-29
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
PCT/US2010/026900 WO2010105006A1 (en) 2009-03-12 2010-03-11 Systems and methods for interfaces featuring surface-based haptic effects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016130597A Division JP6212175B2 (ja) 2009-03-12 2016-06-30 サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法

Publications (3)

Publication Number Publication Date
JP2012520521A JP2012520521A (ja) 2012-09-06
JP2012520521A5 JP2012520521A5 (ja) 2016-02-12
JP6148820B2 true JP6148820B2 (ja) 2017-06-14

Family

ID=73451206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011554175A Expired - Fee Related JP6148820B2 (ja) 2009-03-12 2010-03-11 サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法

Country Status (5)

Country Link
EP (2) EP2406702B1 (ja)
JP (1) JP6148820B2 (ja)
KR (4) KR101670109B1 (ja)
CN (1) CN102349040B (ja)
WO (1) WO2010105006A1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US8954115B2 (en) * 2011-04-28 2015-02-10 Fujitsu Limited Method and apparatus for informing a user through haptic signals
US9122325B2 (en) 2011-05-10 2015-09-01 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
JP5689362B2 (ja) * 2011-05-23 2015-03-25 株式会社東海理化電機製作所 入力装置
WO2012177719A2 (en) 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
WO2013169870A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN106201316B (zh) 2012-05-09 2020-09-29 苹果公司 用于选择用户界面对象的设备、方法和图形用户界面
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
EP3401773A1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
CN104487930A (zh) 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2015127257A1 (en) 2014-02-21 2015-08-27 Northwestern University Haptic display with simultaneous sensing and actuation
US20130311881A1 (en) * 2012-05-16 2013-11-21 Immersion Corporation Systems and Methods for Haptically Enabled Metadata
US20140002336A1 (en) * 2012-06-27 2014-01-02 Greg D. Kaine Peripheral device for visual and/or tactile feedback
EP2703947B1 (de) * 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
CN103677705A (zh) * 2012-09-21 2014-03-26 北京网秦天下科技有限公司 一种显示装置及其显示方法
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
KR101580685B1 (ko) * 2012-12-26 2015-12-30 신성수 3차원 햅틱 구현 방법 및 이를 이용한 디스플레이 기기
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
CN105190644B (zh) * 2013-02-01 2020-12-18 英特尔公司 用于使用触摸控制的基于图像的搜索的技术
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
EP4015054A1 (en) * 2014-03-19 2022-06-22 Virtuix Holdings Inc. Method of generating an input in an omnidirectional locomotion system
CN106687906B (zh) * 2014-09-09 2020-02-28 三菱电机株式会社 触感控制***及触感控制方法
EP3262487A1 (en) * 2015-02-25 2018-01-03 Immersion Corporation Systems and methods for user interaction with a curved display
US9632664B2 (en) * 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
CN104881233B (zh) * 2015-05-15 2019-03-15 广东小天才科技有限公司 触控界面中的滑动控制方法和装置
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7248568B2 (ja) 2016-07-22 2023-03-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚による操縦誘導システム
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
JP7391018B2 (ja) * 2017-11-15 2023-12-04 ザ コカ・コーラ カンパニー 触覚フィードバックタッチ注入ユーザインターフェースを備えたディスペンサ
FR3076017B1 (fr) * 2017-12-21 2020-10-30 Commissariat Energie Atomique Dispositif surfacique offrant une deformation localisee amelioree
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
JP6781236B2 (ja) * 2018-11-16 2020-11-04 株式会社デンソーテン 操作装置
US11158220B2 (en) * 2018-12-10 2021-10-26 Universal City Studios Llc Interactive animated protection window with haptic feedback system
WO2023097557A1 (en) * 2021-12-01 2023-06-08 Boe Technology Group Co., Ltd. Electronic apparatus and method of operation electronic apparatus
WO2023126664A1 (en) * 2021-12-29 2023-07-06 Bosch Car Multimedia Portugal S.A System and method for providing a web browser online user interface with haptic feedback for an automotive setting
EP4270157A1 (en) * 2022-04-28 2023-11-01 eBay, Inc. Replacing physicality

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP3929881B2 (ja) * 2001-12-04 2007-06-13 独立行政法人科学技術振興機構 皮膚感覚提示装置
JP4434609B2 (ja) * 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
FI20022282A0 (fi) * 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
JP2004265281A (ja) * 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
JP3856774B2 (ja) * 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US8232969B2 (en) * 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8677274B2 (en) * 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) * 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
JP2006228151A (ja) * 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US7616192B2 (en) 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP4811206B2 (ja) * 2006-09-12 2011-11-09 トヨタ自動車株式会社 入力装置
EP2062116A2 (en) 2006-09-13 2009-05-27 Immersion Corporation Systems and methods for casino gaming haptics
EP2069893A1 (en) * 2006-09-27 2009-06-17 Nokia Corporation Tactile touch screen
JP2009003867A (ja) * 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
US8639708B2 (en) * 2007-08-31 2014-01-28 Microsoft Corporation Fact-based indexing for natural language search

Also Published As

Publication number Publication date
KR20190015624A (ko) 2019-02-13
KR101670109B1 (ko) 2016-10-27
KR20110130472A (ko) 2011-12-05
KR101796888B1 (ko) 2017-11-10
EP2406702B1 (en) 2019-03-06
WO2010105006A1 (en) 2010-09-16
EP2406702A1 (en) 2012-01-18
CN102349040A (zh) 2012-02-08
KR101946986B1 (ko) 2019-02-13
JP2012520521A (ja) 2012-09-06
EP3467624A1 (en) 2019-04-10
KR20170126028A (ko) 2017-11-15
CN102349040B (zh) 2015-11-25
KR20160126091A (ko) 2016-11-01

Similar Documents

Publication Publication Date Title
JP6212175B2 (ja) サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
JP6148820B2 (ja) サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
JP2012520521A5 (ja)
US10747322B2 (en) Systems and methods for providing features in a friction display
EP2406700B1 (en) System and method for providing features in a friction display
KR101952002B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140401

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140502

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151117

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20151211

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160630

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160707

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170522

R150 Certificate of patent or registration of utility model

Ref document number: 6148820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees