JP2016219002A - 予測される接触に基づく触覚効果 - Google Patents
予測される接触に基づく触覚効果 Download PDFInfo
- Publication number
- JP2016219002A JP2016219002A JP2016084772A JP2016084772A JP2016219002A JP 2016219002 A JP2016219002 A JP 2016219002A JP 2016084772 A JP2016084772 A JP 2016084772A JP 2016084772 A JP2016084772 A JP 2016084772A JP 2016219002 A JP2016219002 A JP 2016219002A
- Authority
- JP
- Japan
- Prior art keywords
- user
- future
- contact
- touch
- haptic effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】振動効果又は振動触感の触覚効果は、電子デバイスのユーザに、特定のイベントに対してユーザに警告するための又はシミュレーションされた環境又は仮想環境内でより大きい没入感覚を作る現実的フィードバックを提供するための手がかりを提供する。【解決手段】触覚対応デバイスはユーザインターフェースを有し、触覚効果を生成する。デバイスは、デバイス上でのユーザによる現存の接触に基づいて、ユーザインターフェースとのユーザによる将来の接触の兆候を受信し、兆候に基づいて、将来の接触の時刻及び位置を予測する。システムは、予測に基づいて応答触覚効果を決定し、触覚出力デバイスを使用して応答触覚効果を生成する。【選択図】図1
Description
1つの実施形態では概ね触覚効果に向けられ、特にデバイス上に生成される触覚効果に向けられる。
携帯電話機、スマートフォン、カメラ付き電話機、カメラ、パーソナル・デジタル・アシスタント(PDAs:personal digital assistants)などのような携帯/移動電子デバイスは、典型的に、デバイスに対して発生する特定のイベントをユーザに警告するための出力機構を含む。例えば、携帯電話機は、通常、着信電話イベントをユーザに可聴的に通知するためのスピーカを含む。可聴信号は、特定の着信音、音楽の一部、効果音などを含むことができる。更に、携帯電話機は、着信電話をユーザに視覚的に通知するために使用することができる表示スクリーンを含むことができる。
幾つかの携帯デバイスでは、より一般的に総称して「触覚フィードバック」又は「触覚効果」として知られる(活性及び抵抗力フィードバックなどの)運動感覚フィードバック及び/又は(振動、手触り、熱などの)触感フィードバックも、ユーザに提供される。触覚フィードバックは、ユーザインターフェースを向上させ、且つ簡素化する手がかりを提供することができる。具体的には、振動効果又は振動触感の触覚効果は、電子デバイスのユーザに、特定のイベントに対してユーザに警告するための又はシミュレーションされた環境又は仮想環境内でより大きい没入感覚を作る現実的フィードバックを提供するための手がかりを提供することに有益である可能性がある。
1つの実施形態はユーザインターフェースを有し、触覚効果を生成する触覚対応デバイスである。デバイスは、デバイス上でのユーザによる現存の接触に基づいてユーザインターフェースとのユーザによる将来の接触の兆候を受信し、兆候に基づいて接触の時刻及び位置を予測する。予測に基づいて、システムは、応答触覚効果を決定し、触覚出力デバイスを使用して応答触覚効果を生成する。
1つの実施形態では、ユーザと携帯デバイスとの接触の時刻及び接触の位置を予測する。予測に基づいて、触覚効果が携帯デバイス上に生成される。
図1は、本発明の実施形態を実装することができる触覚対応携帯デバイス・システム又はシステム10のブロック図である。システム10は、筐体15内に取り付けられるタッチ感応表面11又は他のタイプのユーザインターフェースを含み、機械的なキー/ボタン13を含むことができる。システム10上に触覚効果を生成する触覚フィードバック・システムは、システム10に内在する。1つの実施形態では、触覚効果は、タッチ表面11上、又はシステム10の任意の他の部分上に生成される。
触覚フィードバック・システムはプロセッサ又はコントローラ12を含む。プロセッサ12に結合されるのは、メモリ20及び触覚出力デバイス18に結合される駆動回路16である。プロセッサ12は、如何なるタイプの汎用プロセッサであってもよく、特定用途向け集積回路(「ASIC」application−specific integrated circuit)などの、触覚効果を提供するために特に設計されたプロセッサでもよいであろう。プロセッサ12はシステム10全体を動作させるプロセッサと同じものでもよいし、又は別個のプロセッサであってもよい。プロセッサ12は、高レベルのパラメータに基づいて、再生されるべき触覚効果及びその触覚効果が再生される順序を決定することができる。一般的に、特定の触覚効果を定義する高レベルのパラメータは、大きさ、周波数、及び期間を含む。モータのストリーミング命令などの低レベルのパラメータも特定の触覚効果を決定するために使用されるであろう。触覚効果は、触覚効果が生成される時のこれらのパラメータのある程度の変動又はユーザとの相互作用に基づくこれらのパラメータの変動を含む場合、「動的」と考えることができる。
プロセッサ12は、所望の触覚効果を生成させるために触覚出力デバイス18に必要な電流及び電圧(すなわち、「モータ信号」)を供給するために使用される電子部品及び回路を含む駆動回路16に制御信号を出力する。システム10は、複数の触覚出力デバイス18を含むことができ、各触覚出力デバイスは、個別の駆動回路16を含むことができ、全ては、共通のプロセッサ12に結合される。メモリ・デバイス20は、ランダム・アクセス・メモリ(「RAM」random access memory)又は読み取り専用メモリ(「ROM」read−only memory)などの如何なるタイプの記憶デバイス又はコンピュータ可読媒体とすることができる。メモリ20は、オペレーティング・システム命令などの、プロセッサ12によって実行される命令を格納する。メモリ20は、命令の中に触覚効果生成モジュール22を含み、それは、以下により詳細に開示されるように、プロセッサ12によって実行される時に、予測される接触に基づいて触覚効果を生成する命令である。メモリ20は、プロセッサ12内に位置してもよいし、又は内部メモリ及び外部メモリの如何なる組み合わせであってもよい。
触覚出力デバイス18は、触覚効果を生成する任意のタイプのデバイスとすることができる。1つの実施形態では、触覚出力デバイス18は振動型触覚効果を生成するアクチュエータである。この目的のために使用されるアクチュエータは、モータが偏心質量を移動させる偏心回転質量(「ERM」Eccentric Rotating Mass)、ばねに取り付けられた質量が前後に駆動される線型共振アクチュエータ(「LRA」Linear Resonant Actuator)、又は圧電性物質、電気活性ポリマー、もしくは形状記憶合金などの「スマート材料」などの電磁アクチュエータを含むことができる。触覚出力デバイス18は、静電摩擦(「ESF」electrostatic friction)デバイス又は超音波表面摩擦(「USF」ultrasonic surface friction)などのデバイス、あるいは超音波触覚変換器に音響照射圧を誘発するデバイスであってもよい。他のデバイスは、触覚基板及び可撓性の又は変形可能な表面を使用することができ、デバイスは、空気ジェットなどを使用して一吹きの空気などの突出触覚出力を提供できる。
タッチ表面11を有する実施形態では、タッチスクリーンはタッチを認識し、その表面上のタッチの位置及び大きさを認識することもできる。タッチに対応するデータは、プロセッサ12又はシステム10内の別のプロセッサに送信され、プロセッサ12は、そのタッチを解釈し、それに応答して触覚効果信号を生成する。タッチ表面11は、静電容量感知、抵抗感知、表面弾性波感知、圧力感知、光学感知などを含む感知技術を使用してタッチを感知することができる。タッチ表面11は、複数のタッチの接触を感知することができ、同時に発生する複数のタッチを区別することができる。タッチ表面11は、ユーザがキー、ボタン、ダイヤルなどと相互作用するための画像を生成及び表示するタッチスクリーンであってもよいし、又は最小限の画像を有するもしくは画像を全く有さないタッチパッドであってもよい。
システム10は、携帯電話機、パーソナル・デジタル・アシスタント(「PDA」)、スマートフォン、コンピュータ・タブレット、ゲーム・コンソールなどのハンドヘルド・デバイスもしくは携帯デバイスであってもよいし、又はユーザインターフェースを提供し、1つ以上のアクチュエータを含む触覚効果システムを含む任意の他のタイプのデバイスであってもよい。ユーザインターフェースは、タッチ感応表面でもよいし、又は物理的なボタン、マウス、タッチパッド、ミニ・ジョイスティック、スクロール・ホイール、トラックボール、ドアノブ、ゲーム・パッド、又はゲーム・コントローラなどの任意の他のタイプのユーザインターフェースとすることができる。システム10は、物理的に操作される場合に触覚効果を生成する可撓性の/屈曲可能なデバイスであってもよく、その場合、「ユーザインターフェース」は、そのデバイス自体の可撓性の/屈曲可能な部分である。
システム10は、プロセッサ12に結合される1つ以上のセンサ28を更に含む。センサ28は、プロセッサ12との併用で、ユーザがいつどこでシステム10に、例えばタッチスクリーン11の特定の部分又は特定の物理的キー13に、接触するかを予測する。システム10が可撓性の/屈曲可能なデバイスである場合、予測される接触は、曲げ、圧搾などのタイプ及び量の予測であろう。予測は、ユーザがシステム10を下に置こうとしているという予測などのこれから起きる他のタイプの操作であり得る。
1つの実施形態におけるセンサ28は近接センサである。近接センサは、指(又はスタイラス)がタッチスクリーン11又はシステム10の他の部分のすぐ近傍にあるが接触していない時に検出する。近接センサは、システム10に対しての指の位置(例えば、x、y、z)、方向、速度及び加速度、姿勢(例えば、横揺れ、縦揺れ、偏揺れ)なども検出できる。近接センサは、指又は他の対象物がシステム10に近接していることの感知を可能にする任意の技術を使用することができる。例えば、それは、容量性、電界、誘導性、ホール効果、リード、渦電流、磁気抵抗、光の影、可視光、赤外線、光学的色認識、超音波、音響放射、レーダ、熱、ソナー、導電性又は抵抗性、などを含む感知技術に基づくことができる。
1つの実施形態では、センサ28は、各々がタッチスクリーン11の上に感知フィールドを生成し、対象物が感知フィールドを乱す又は傍受する時に信号を作成する1つ以上の近接センサを含む。各感知フィールドは、典型的には、乱された時に独自の信号を生成する。1つの実施形態では、単一の感知フィールドがタッチスクリーン11の表面全体をカバーするために使用される。別の実施形態では、単一の感知フィールドはタッチスクリーン11の表面の一部のみをカバーするために使用される。別の実施形態では、複数の感知フィールドがタッチスクリーン11の表面全体をカバーするために使用される。任意の数の感知フィールドを使用することができる。幾つかの場合において、追跡を行うために、感知フィールドを、ノードのピクセル化されたアレイとして分散させてさえもよい。幾つかの実施形態では、近接感知は、対象物がタッチスクリーンに比較的近い距離内に存在する時にのみ、且つタッチスクリーンに対しての対象物の動きに応答してのみ、接近を検知することに限定される。
別の実施形態では、センサ28は、例えば参照により本明細書に組み込まれる「M.Noorらによる、“28 Frames Later: Predicting Screen Touches From Back−of−Device Grip Changes” CHM2014、2014年4月26日−5月1日」に開示されているように、デバイスの背後のグリップの変化を使用してシステム10との接触を予測する。この実施形態では、センサ28は、タッチ位置を接触の約200ms前に約18mmの精度で予測できるプロセッサ12によって実装される機械学習手法を有する、システム10の周囲に配置される複数の低解像度の静電容量式タッチセンサである。
別の実施形態では、センサ28は、筋肉活性化センサの形態とすることができる。例えば、ユーザの前腕に配置される腕章は前腕内の筋肉の活性化を感知することができる。筋肉活性化は、ユーザによるシステム10との将来の接触を予測するために使用することができる。
別の実施形態では、センサ28は、マイクロソフト社からの「Kinect」などの3次元カメラ、静電容量感知、又は圧力感知とすることができる。例として、例えば参照により本明細書に組み込まれる「M. Satoらによる、“Enhancing Touch Interaction on Humans,Screens,Liquids,and Everyday Objects”CHI2012:ACM.の議事録、pp.483−492」に開示されている「掃引周波数静電容量感知」を、ドアの取っ手に対するユーザの指の数やグリップのタイプなどの、対象物に対する手の姿勢を検出するために使用することができる。このタイプの感知は、手の姿勢又はグリップの変化を検出し、タッチを予測するために使用することができる。分散した圧力センサもグリップの変化を予測するために使用することができる。加速度計などの他のセンサは、単独でタッチ入力を予測するのに十分でないかもしれないが、前述したような他のセンサと共に使用される場合、精度を向上させることができる。実施形態では、携帯電話機の関連の動きだけでなく姿勢の変化を検出することができ、情報を組み合わせて、タッチ入力をより良く予測することができる。更に、ユーザはタッチを行うであろう場所を見る可能性がより高いので、アイ・トラッカーを同じ目的で使用することができる。
一般的に、触覚フィードバック又は触覚効果は、典型的には、指又は他の対象物がタッチスクリーンにタッチする、又はボタンを押すまで作成されない。しかしながら、タッチ・ジェスチャは、指がインタフェースにタッチするかなり前から始まる可能性があり、タッチ面又はボタンへ向かう指の動きを含む。前述のように、タッチ又は他の接触の予測を、指がそのコントロールにタッチする前に触覚フィードバックを作成するために実施形態で使用することができる、又は指がインタフェースにタッチするまさにその瞬間に触覚フィードバックを作成するための準備として使用することができる。幾つかの実施形態では、予測は、非接触の動き又は近接度を使用せずに、デバイス上でのユーザによる現存の接触に基づく。
1つの実施形態では、接触予測は、タッチ入力が完了する前のタッチ・ジェスチャが開始される時に、触覚フィードバックがデバイスを保持する手に作成される空間的レンダリングに使用される。例えば、触覚効果は、タッチスクリーンから出ている仮想ボタンのたわみをシミュレーションし、タッチスクリーンがタッチされ、ボタンが活性化される時にクリックで終わることができる。
別の実施形態では、接触予測は予め有効にされる出力に対して使用される。例えば、触覚アクチュエータを、指がスクリーンにタッチする時に最大強度となるようにタッチ・ジェスチャの進行中に通電することができる。例えば、ERMを、タッチの瞬間に加速のピークを作成するように予め通電することができるであろう。
別の実施形態では、接触予測は事前計算のために使用される。例えば、触覚効果を作成するために必要な如何なる計算も、タッチ・ジェスチャの進行中に事前に計算することができ、触覚フィードバックにおけるあらゆる遅延を除去できる。例えば、衝突検出アルゴリズムを、タッチ入力の効果及びその結果の触覚フィードバックを決定するために実行する必要がある可能性がある。同様に、触覚効果を、デジタルファイルの形態(例えば、.wavファイル又は他のパルス符号変調(「PCM」Pulse−code modulation)データ)で計算し、再生のために、プロセッサ12と遠隔通信する着用可能な腕輪又は任意のタイプのデバイスなどの、触覚効果を生成するための独自の触覚出力デバイスを含む別個のデバイスに送信する必要がある可能性がある。
別の実施形態では、触覚フィードバックを入力の結果を示すためにタッチ入力の前に生成することができるので、接触予測を動作プレビューに使用する。例えば、ユーザは、指が「削除」ボタンに近づくと不快な振動を感じることができる。入力をより容易に又はより困難にするために、表示装置がその形を変えることもできるであろう。例えば、可撓性の表示装置は危険なタッチ入力から離れるように湾曲することができるであろう。
実施形態での動作プレビューは、タッチ入力の他に他のタイプのユーザ入力にも使用できる。例えば:(1)ボタン、スライダー、又はトリガなどの物理的コントロールに対する動作、(2)ユーザがスライドのジェスチャを中断し指を持ち上げようとしているという予測などのジェスチャの変化、(3)電話機を曲げる又は圧搾するなどの別のタイプの入力の変化、又は(4)ユーザが自分の電話機を下に置こうとしているという事実などのデバイスの取り扱い。
図2は、実施形態に係る、対象物がシステム10に接触するであろうという予測に応じて触覚効果を生成するときの、図1のシステム10の機能のフロー図である。1つの実施形態では、図2のフロー図の機能は、メモリ又は他のコンピュータ可読もしくは有形媒体に格納され、プロセッサによって実行されるソフトウェアで実装される。他の実施形態では、その機能は、ハードウェア(例えば、特定用途向け集積回路(「ASIC」)、プログラマブル・ゲート・アレイ(「PGA」programmable gate array)、フィールド・プログラマブル・ゲート・アレイ(「FPGA」field programmable gate array)などの使用による)又はハードウェア及びソフトウェアの任意の組み合わせで実行されることができる。
202において、システム10は、ユーザによる現存の接触に基づいて、ユーザによる将来の接触又は入力(すなわち、システム10との接触が起きるであろう又は起きるべきであるということを示すユーザによる動作)の兆候を受信する。結果として起きる接触は、ボタン、トリガ、及びスライダーなどの物理的コントロールに対する動作だけでなくタッチスクリーンへのタッチを含むことができる。結果として起きる接触は、ユーザがスライドのジェスチャを中断し、スクリーンを持ち上げるであろう時の予測などの進行中のジェスチャの変化も含むことができる。それは、可撓性のデバイスを曲げる、捻じる、又は圧搾するなどの他の入力機構に関連するグリップの変化も含むことができるであろう。現存の接触は、現在のスライドしているジェスチャ又は、システム10との接触、システム10に対する現在のグリップなどに係わる他のジェスチャを含むことができる。
204において、その兆候に基づいて、システム10は、センサ28からの入力を使用して、接触の特定の時刻及びシステム10上での位置を予測する。
206において、その予測に基づいて、システム10は応答触覚効果を決定する。応答触覚効果は、触覚効果を入力が行われる前に作成しなければならないという判断に基づくことができる。例えば、一連の振動効果をタッチ入力の前及び後の特定の時刻に作成することができるであろう。例えば、強度が増大する振動パルスを入力の100、75、50、25ms前に作成し、続いて入力のまさにその時に強い振動を作成することができるであろう。
システム10は、差し迫ったタッチ入力の結果を判断し、ユーザに対してこの情報をプレビューさせる触覚効果を作成することもできるであろう。例えば、「危険な」操作(例えば、ファイルの削除)を、タッチの前に不快な触覚効果に関連付けることができるであろう。
システム10は、またタッチ入力の瞬間に再生されるべき触覚効果を決定し、予めアクチュエータを通電することができるであろう。例えば、ERMは、正しい時刻に加速のピークに達するように、入力の少し前に通電する必要がある可能性がある。
同様に、システム10は、再生されるべき触覚効果を決定し、それを準備するために事前計算を実行することができるであろう。これは、シミュレーションの計算及びその結果の触覚フィードバックを含むことができるであろう。例えば、3Dモデルは、シミュレーションされることになっている衝突及びその結果の力の計算を必要とするであろう。シミュレーションされた材料に対して軽く接触することをシミュレーションする触覚効果は、摩擦及びその結果の振動の計算を必要とするであろう。幾つかの場合、触覚効果を、再生の前に比較的遅い通信チャネルを介して送信する(例えば、ブルートゥース(登録商標)で.wavファイルを送信する)必要もある可能性がある。
208において、システム10は触覚効果信号を生成し、触覚出力デバイスに送信することによって、206において決定された触覚効果を生成する。
幾つかの実施形態では、接触が予測されることになっている対象物の検出の範囲は、比較的大きい。例えば、幾つかの実施形態では、対象物は、タッチ・ジェスチャの開始を検出するために、タッチスクリーンの近く又はすぐ近くに存在する必要はない(すなわち、近接センサによって検出され得るために近くに存在する必要はない)。更に、1つの実施形態では、対象物を、それがデバイスから引き離され、近接センサの「視線」から外れている場合、検出することができる。その結果、実施形態では、対象物がタッチスクリーンから特定の距離に近づくまで待つ必要がなく、対象物が動き始めるやいなや触覚効果を適用又は準備することができる。
更に、実施形態では、対象物の動きが無い場合でもジェスチャを予測することができる。例えば、実施形態では、電話機が手で支えられている(すなわち、グリップが変わる)ユーザの手のひらを通して姿勢の変化を検出することによって、タッチスクリーンに接触している指が持ち上がろうとしている又はスライドしようとしていることを検出することができる。
本発明の実施形態の使用及び実装の例として、「アリス」が重要な課題に取り組んでいる時に彼女のタブレット上に混乱を招くダイアログが不意に現れると仮定する。彼女は、それを閉じるために指を迅速に「OK」ボタンの方に動かすが、それに近づくにつれて強い振動を感じる。彼女はより詳しく見て、自分が少ないバッテリの電話機の電源を図らずも切ろうとしていたことに気付く。
別の例として、「ボブ」が仮想ボタンを使って彼のスマートフォン上でゲームをしていると仮定する。彼は、ボタンの1つの上に指を保持し、振動が強くなっていることで彼のレーザガンがエネルギーを充填しているのを感じる。彼は、レーザガンが完全にエネルギー充填されていると感じるとその動きを終了し、レーザガンを発射する。
別の例として、「チャールズ」が、彼が着用している2つの無線腕章上にフィードバックを作成するコンソール・ゲームをしていると仮定する。イベントが起きる度に、コンソールは、.wavファイルなどのデジタル・データを触覚効果再生のために腕章に送信する。処理には数百ミリ秒かかるが、チャールズがボタンにタッチしようとする時をコンソールが予測して予め触覚効果信号データを送信するので、彼は遅延に全く気付かない。
別の例として、「ダン」が彼のスマートフォン上で電子メールを送信しようとしている時にテキスト・メッセージで中断されると仮定する。彼はテキスト・メッセージに返信し、そのスマートフォンをテーブル上に下ろし始める。しかしながら、彼がそのようにすると、電話機は穏やかに振動し、未送信の電子メールがあることを彼に思い出させる。彼はスマートフォンを取り上げて送信ボタンを打つ。
別の例として、「エリック」がフレキシブルなゲーム・コントローラを使用して、彼のTV上でゲームをすると仮定する。彼はコントローラの側面をつかみ、鳥に翼を羽ばたかせるようにコントローラを曲げている。かわって、コントローラの仮想ボタンを使うために彼はグリップを変える。彼に気付かれずに、コントローラはジェスチャの変化を検出し、彼が鳥の翼ではなく機関銃を感じることができるように、触覚効果を予めロードした。
一般的に、幾つかのタブレット・コンピュータ及び他のハンドヘルド・デバイスは両手で使用することができる。しかしながら、容量性タッチスクリーン及び近接感知の公知の使用法では、スクリーンが一方の手又は他方の手の指でタッチされているかを判別することはできない。対照的に、上記に開示されている実施形態(例えば、デバイスの背後のグリップの変化の使用)では、どちらの手がこれから起きる接触に使われているかの判別を含む接触予測を行うことができ、それに応答して、ユーザインターフェース及び触覚フィードバックを適切に適応させることができる。例えば、絵画のアプリケーションでは、異なるツールを異なる指又は手に関連付けることができる。左手の人差し指でのタッチは、それに合った触覚を伴って、絵の具を塗ることができるであろう。右手の人差し指でのタッチは、先と同様にそれに合った触覚を伴って、それを消去することができるであろう。
実施形態に係る接触予測は、ユーザがスクリーンにタッチさえしたくない状況に対して使用することができる。例えば、外科医は衛生上の理由からスクリーンにタッチせずにボタンを押すことを好む場合がある。同様に、直接には何もタッチする必要がなければ、キーボード上でタイプし、ゲーム・コントローラ上で軽くたたくことの方がより早い場合がある。実際の接触の有無にかかわらず触覚フィードバックを生成する実施形態では、タッチしていない手(例えば、デバイスを保持している手)に適用される触覚フィードバックを生成するなどを欠落している確認のフィードバックに追加することができる。
実施形態に係る接触予測は、自動的にユーザインターフェースを適合させるように使用することができる。例えば、タッチスクリーン上のボタンは、予測に基づいて、ユーザがタッチしようとしている場所に配置されるように移動することができる。同様に、ゲームのコンテンツを、プレイヤーの指がスクリーンに近づくときに難易度を増大又は減少させるために、シフトさせることができるであろう。
開示されているように、実施形態では、グリップの変化を検出することができ、それ故に、電話機をテーブル上に置くこと、電話機をポケット又はバッグに入れること、電話機を落とすこと、電話機を傾けることなどのような将来の動作を予測できる。1つの実施形態では、接触予測を、ユーザが電話機の向きを変えようとしている時を検出するために使用し、使用されているアプリケーションがこの向きをサポートしていない場合、触覚効果を生成する。例えば、幾つかの携帯用オペレーティング・システム及びアプリケーションはスクリーンの向きをロックすることを可能にしている。例えば、電子書籍アプリケーションは、電話機の向きが変えられたが、そのアプリケーションの向きがロックされている場合に触覚効果を生成することができる。
実施形態は、ハンドヘルド・デバイス以外の対象物との接触を予測するために使用されることができる。例えば、車の座席の背面にあるセンサは、運転者が手を伸ばし、タッチスクリーン・インフォテインメント・システムにタッチするために姿勢を変えている時を検出し、それに応答して触覚効果を適用することができる。
開示されているように、実施形態では、携帯デバイス上の接触の時刻及び接触の位置を予測する。予測の結果として、最終的な接触に対して、より最適化され、より関連する触覚効果が、携帯デバイスによって生成される。
幾つかの実施形態が本明細書に具体的に例示及び/又は記載されている。しかしながら、開示されている実施形態の修正及び変形が、本発明の精神及び意図している範囲から逸脱することなく、上記の教示によってカバーされ、添付の特許請求の範囲内にあることが理解されるであろう。
Claims (25)
- ユーザインターフェースを有するデバイス上に触覚フィードバックを提供する方法であって、
前記デバイス上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信するステップと、
前記兆候に基づいて、前記将来の接触の時刻及び位置を予測するステップと、
前記予測に基づいて、応答触覚効果を決定するステップと、
前記応答触覚効果を生成するステップと、を含む方法。 - 前記デバイス上での前記ユーザによる前記現存の接触は、前記デバイス上での変化しているグリップであり、前記応答触覚効果は、前記将来の接触の前に生成される、請求項1に記載の方法。
- 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項2に記載の方法。
- 前記将来の接触は前記ユーザが前記デバイスのタッチスクリーンをタッチすることを含む、請求項1に記載の方法。
- 前記将来の接触は前記ユーザが前記デバイスの物理的コントロールと相互作用することを含む、請求項1に記載の方法。
- 前記将来の接触は前記ユーザが前記デバイスを変形することを含む、請求項1に記載の方法。
- 前記変形することは前記ユーザが前記デバイスを曲げることを含む、請求項6に記載の方法。
- 前記現存の接触は前記デバイス上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項1に記載の方法。
- 触覚対応のシステムであって、
コントローラと、
プロセッサに結合される触覚出力デバイスと、
前記プロセッサに結合されるユーザインターフェースと、を備え、
前記コントローラは、
前記システム上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信し、
前記兆候に基づいて、前記将来の接触の時刻及び位置を予測し、
前記予測に基づいて、応答触覚効果を決定し、
前記触覚出力デバイスを介して前記応答触覚効果を生成するように構成される、システム。 - 前記システム上での前記ユーザによる前記現存の接触は前記システム上での変化しているグリップであり、前記応答触覚効果は前記将来の接触の前に生成される、請求項9に記載のシステム。
- 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項10に記載のシステム。
- 前記現存の接触は前記ユーザインターフェース上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項9に記載のシステム。
- 前記プロセッサに結合される物理的コントロールを更に備えるシステムであって、
前記将来の接触は前記ユーザが前記物理的コントロールと相互作用することを含む、請求項9に記載のシステム。 - 前記ユーザインターフェースは変形可能な材料を備え、前記将来の接触は前記ユーザが前記変形可能な材料を変形することを含む、請求項9に記載のシステム。
- 前記変形することは前記ユーザが前記ユーザインターフェースを曲げることを含む、請求項14に記載のシステム。
- 前記将来の接触は前記ユーザが前記システムの静止位置を変えることを含む、請求項9に記載のシステム。
- 前記プロセッサに結合されるセンサを更に備えるシステムであって、前記センサは前記兆候を生成する、請求項9に記載のシステム。
- コンピュータ可読媒体上に格納される命令であり、プロセッサによって実行されると前記プロセッサにユーザインターフェースを有するデバイス上に触覚フィードバックを提供させる前記命令を有する前記コンピュータ可読媒体であって、前記提供させることは、
前記デバイス上でのユーザによる現存の接触に基づいて、前記ユーザインターフェースとの前記ユーザによる将来の接触の兆候を受信するステップと、
前記兆候に基づいて、前記将来の接触の時刻及び位置を予測するステップと、
前記予測に基づいて、応答触覚効果を決定するステップと、
前記応答触覚効果を生成するステップと、を含む、コンピュータ可読媒体。 - 前記デバイス上での前記ユーザによる前記現存の接触は前記デバイス上での変化しているグリップであり、前記応答触覚効果は前記将来の接触の前に生成される、請求項18に記載のコンピュータ可読媒体。
- 前記応答触覚効果は前記将来の接触の動作プレビューを提供する、請求項19に記載のコンピュータ可読媒体。
- 前記将来の接触は前記ユーザが前記デバイスのタッチスクリーンをタッチすることを含む、請求項18に記載のコンピュータ可読媒体。
- 前記将来の接触は前記ユーザが前記デバイスの物理的コントロールと相互作用することを含む、請求項18に記載のコンピュータ可読媒体。
- 前記将来の接触は前記ユーザが前記デバイスを変形することを含む、請求項18に記載のコンピュータ可読媒体。
- 前記変形することは前記ユーザが前記デバイスを曲げることを含む、請求項23に記載のコンピュータ可読媒体。
- 前記現存の接触は前記デバイス上でのユーザのジェスチャであり、前記将来の接触は前記ジェスチャの変化を含む、請求項18に記載のコンピュータ可読媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/717,393 US20160342208A1 (en) | 2015-05-20 | 2015-05-20 | Haptic effects based on predicted contact |
US14/717,393 | 2015-05-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016219002A true JP2016219002A (ja) | 2016-12-22 |
Family
ID=55745639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016084772A Withdrawn JP2016219002A (ja) | 2015-05-20 | 2016-04-20 | 予測される接触に基づく触覚効果 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160342208A1 (ja) |
EP (1) | EP3096206A1 (ja) |
JP (1) | JP2016219002A (ja) |
KR (1) | KR20160137378A (ja) |
CN (1) | CN106168851A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021182449A (ja) * | 2017-05-24 | 2021-11-25 | 株式会社村田製作所 | 刺激伝達装置 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9483134B2 (en) * | 2014-10-17 | 2016-11-01 | Elwha Llc | Systems and methods for actively resisting touch-induced motion |
CN105589594B (zh) * | 2014-11-06 | 2019-12-31 | 天马微电子股份有限公司 | 电子装置和电子装置的操作控制方法 |
JP2017111462A (ja) * | 2015-11-27 | 2017-06-22 | 京セラ株式会社 | 触感呈示装置及び触感呈示方法 |
US9990078B2 (en) | 2015-12-11 | 2018-06-05 | Immersion Corporation | Systems and methods for position-based haptic effects |
US9981183B2 (en) * | 2016-05-19 | 2018-05-29 | Immersion Corporation | Haptic peripheral having a haptically-enhanced user input element including a mechanical key and an integrated smart material actuator for providing haptic effects |
JP6342453B2 (ja) * | 2016-07-07 | 2018-06-13 | 本田技研工業株式会社 | 操作入力装置 |
US10721347B2 (en) * | 2018-02-28 | 2020-07-21 | Futurewei Technologies, Inc. | Detecting patterns and behavior to prevent a mobile terminal drop event |
US10775894B2 (en) * | 2018-11-02 | 2020-09-15 | Immersion Corporation | Systems and methods for providing customizable haptic playback |
WO2022046498A1 (en) * | 2020-08-28 | 2022-03-03 | Sterling Labs Llc | Detecting user-to-object contacts using physiological data |
US11775084B2 (en) | 2021-04-20 | 2023-10-03 | Microsoft Technology Licensing, Llc | Stylus haptic component arming and power consumption |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6976215B1 (en) * | 1999-12-20 | 2005-12-13 | Vulcan Patents Llc | Pushbutton user interface with functionality preview |
US20070284154A1 (en) * | 2004-08-12 | 2007-12-13 | Dong Li | User Interface Device, Method and the Portable Terminal Thereof |
US7890863B2 (en) * | 2006-10-04 | 2011-02-15 | Immersion Corporation | Haptic effects with proximity sensing |
CN102971689B (zh) * | 2010-06-28 | 2015-10-07 | 诺基亚公司 | 触觉表面压缩 |
JP5732792B2 (ja) * | 2010-09-17 | 2015-06-10 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
US20130033433A1 (en) * | 2011-08-02 | 2013-02-07 | Honeywell International Inc. | Touch screen having adaptive input requirements |
CN103869939A (zh) * | 2012-12-13 | 2014-06-18 | 富泰华工业(深圳)有限公司 | 触感反馈***及其提供触感反馈的方法 |
-
2015
- 2015-05-20 US US14/717,393 patent/US20160342208A1/en not_active Abandoned
-
2016
- 2016-04-12 EP EP16164778.9A patent/EP3096206A1/en not_active Withdrawn
- 2016-04-20 JP JP2016084772A patent/JP2016219002A/ja not_active Withdrawn
- 2016-05-16 KR KR1020160059457A patent/KR20160137378A/ko unknown
- 2016-05-19 CN CN201610334807.8A patent/CN106168851A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021182449A (ja) * | 2017-05-24 | 2021-11-25 | 株式会社村田製作所 | 刺激伝達装置 |
US11609655B2 (en) | 2017-05-24 | 2023-03-21 | Murata Manufacturing Co., Ltd. | Stimulus transmission device |
JP7245440B2 (ja) | 2017-05-24 | 2023-03-24 | 株式会社村田製作所 | 刺激伝達装置 |
US11880528B2 (en) | 2017-05-24 | 2024-01-23 | Murata Manufacturing Co., Ltd. | Stimulus transmission device |
Also Published As
Publication number | Publication date |
---|---|
EP3096206A1 (en) | 2016-11-23 |
US20160342208A1 (en) | 2016-11-24 |
KR20160137378A (ko) | 2016-11-30 |
CN106168851A (zh) | 2016-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6546301B2 (ja) | 動的な触覚効果を有するマルチタッチデバイス | |
JP2016219002A (ja) | 予測される接触に基づく触覚効果 | |
US10564730B2 (en) | Non-collocated haptic cues in immersive environments | |
US9983676B2 (en) | Simulation of tangible user interface interactions and gestures using array of haptic cells | |
EP2778847B1 (en) | Contactor-based haptic feedback generation | |
CN104679233B (zh) | 用于生成摩擦和振动触感效果的***和方法 | |
KR20170069936A (ko) | 위치 기반 햅틱 효과를 위한 시스템 및 방법 | |
KR20180066865A (ko) | 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법 | |
EP3455704A1 (en) | Multimodal haptic effects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190409 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20200123 |