JP6788719B2 - 力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法 - Google Patents

Description

本開示は、一般に、力ベースの触覚の方法及び装置に関し、より詳細には、力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法に関する。
（関連出願の参照）
本出願は、２０１４年３月２１日に提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｆｏｒｃｅ−Ｂａｓｅｄ Ｏｂｊｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ ａｎｄ Ｈａｐｔｉｃ Ｓｅｎｓａｔｉｏｎｓ”と題された米国仮特許出願第６１／９６８，９１３号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

近代のプロセッサベースの装置の多くは、タッチスクリーン等のタッチセンサ式入力装置を備え、一部は触覚効果を出力することも可能な場合がある。このような装置は、所定の機能を実行し又は１つ以上のアプリケーションを立ち上げるためにアイコン又はウィジェット等のグラフィック表示オブジェクトとユーザが相互作用することを可能にする。ユーザがこうしたタスクを行うためにタッチスクリーンと相互作用する場合、装置は、ユーザがそのオブジェクトをアクティブ化したことを示すためにユーザがこのようなアイコン又はウィジェットにタッチしたときに触覚効果を出力してもよい。

力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法が開示される。例えば、開示された方法の１つは、ユーザ相互作用の場所を示す第１の信号を受信するステップと、第１の力を示す第２の信号を受信するステップとを含む。また、方法は、ユーザ相互作用の場所がディスプレイスクリーン上に表示されたオブジェクトに対応する場合に、第１の触覚効果を引き起こすために第１の触覚信号を触覚出力装置に出力するステップと、第１の力が第１の力閾値に適合する又は超える場合に、第２の触覚効果を引き起こすために第２の触覚信号を触覚出力装置に出力するステップとを含む。一部の例では、コンピュータ可読媒体が、プロセッサにこのような方法を実行させるためのプログラムコードで符号化されてもよい。

こうした例示は、本開示の範囲を限定又は定義するために言及されるのではなく、その理解を支援するための例示を提供するものである。詳細な説明において例示が検討されており、そこには更なる説明が提供されている。様々な例によってもたらされる利点は、本明細書を吟味することにより更に理解され得る。

本明細書に組み込まれてその一部を構成する添付の図面は、１つ以上の例を示しており、例示の説明と共に、力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法の原理及び実装を説明する役割を果たす。
本開示の例による力ベースのオブジェクト操作及び触覚的感覚のためのシステムを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のためのシステムを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法を示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法を示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための状態図を示す。 本開示による力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法の例で使用可能な例示のグラフィカルユーザインターフェースを示す。 本開示の例による力感知面とのユーザ相互作用に関係付けられる力の例示のグラフを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法を示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための状態図を示す。 本開示の例による力感知面とのユーザ相互作用に関係付けられる力の例示のグラフを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法を示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚を提供するためのソフトウェアアプリケーションを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚を提供するためのソフトウェアアプリケーションを示す。 本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法を示す。

本明細書では、力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法の文脈で例示が記載されている。当業者であれば、以下の記載は例示目的であり、如何なる限定も意図していないことを理解するであろう。他の例も、本開示の利益を有する当業者に容易に示唆されるであろう。次に、添付の図面に示された例示的な実装の詳細な参照が行われる。同じ参照記号が同じ又は同様の項目を参照するために図面及び以下の記載を通じて使用されるであろう。

明確のため、本明細書に記載の実装の定型的な特徴の全てが示され且つ記載されているわけではない。勿論、このような実際の実装の開発において、アプリケーション及びビジネス関連の制約の遵守等の多くの実装固有の決定が開発者固有の目的を達成するために行われなければならず、こうした固有の目的は実装ごとに又は開発者ごとに変化することが理解されるであろう。

（力ベースのオブジェクト操作及び触覚的感覚のための例示的なシステム）
図１Ａは、触覚効果のフィードフォワード及びフィードバックのための例示的なシステムを示す。図１Ａに示された例において、システムは、筐体１１０においてタッチセンサ式ディスプレイ１２０（「タッチスクリーン」とも呼ばれる）を有するタブレットコンピュータ１００及びユーザがタッチセンサ式ディスプレイ１２０に接触するとテクスチャをシミュレートすることができる触覚出力装置（図示せず）を有するタブレットコンピュータ１００を含む。更に、タブレット１００は、振動効果をタッチセンサ式ディスプレイ１２０に出力することができる別の触覚出力装置（図示せず）を含む。タブレット１００は、アプリケーションを立ち上げる、スクリーン上に表示されたオブジェクト又は画像を操作する、又は他のやり方で様々なタスクを行うこと等により、タブレット１００とユーザが相互作用することを可能にするためのグラフィカルユーザインターフェース（ＧＵＩ）を提供する。この例示では、タブレット１００はタッチセンサ式ディスプレイ１２０を使用できるので、ユーザは、タッチセンサ式ディスプレイ１２０をタッチすること選択して、アイコンを選択し、タブレットのオペレーティングシステム（ＯＳ）により提供されるＧＵＩに又はアプリケーション、ウィジェット又は他のタイプのソフトウェアを介して利用可能な他のＧＵＩにより入力を提供するためのジェスチャを行ってもよい。

更に、タブレット１００は、例えば、ユーザが指を使ってタッチセンサ式ディスプレイ１２０に接触するときに、タッチセンサ式ディスプレイ１２０に加えられる力を感知する１つ以上の力センサを備える。この例示では、タッチセンサ式ディスプレイ１２０は、マルチタッチ機能を有する。即ち、タッチセンサ式ディスプレイ１２０は、ユーザが複数の指（又はスタイラス等の他の入力装置）を使用してジェスチャを行うことを可能にするために、複数の同時（又は実質的に同時）の接触及び対応する力を解釈することができる。ユーザがタッチセンサ式ディスプレイ１２０にタッチすると、ユーザの接触の場所及び力に基づいて所定のアクションを取るように構成されるタッチセンサ式ディスプレイ１２０及び力センサは、タブレット１００のプロセッサに場所及び力情報を送信する。

例えば、タブレット１００は、タブレット１００にインストールされた異なるアプリケーション又はウィジェットを表すＧＵＩにおけるアイコンの配置を表示してもよい。場合によっては、ユーザは、ＧＵＩのコンポーネントをアクティブ化せずに又は他のやり方で相互作用せずにタッチセンサ式ディスプレイ１２０と相互作用することを望むかもしれない。例えば、タブレット１００は、ユーザがタッチセンサ式ディスプレイ１２０に軽く接触して、アイコン又はウィジェットをアクティブ化せずに又は他のやり方でＧＵＩを操作せずに接触に基づく触覚フィードバックを受信することができるように構成される。従って、ユーザは、タッチセンサ式ディスプレイ１２０上で指をドラッグし、様々な触覚効果に基づいて異なるアイコン又はウィジェットが位置する場所を感じて、タッチセンサ式ディスプレイ１２０を見る必要無しにこうした触覚効果に基づいて異なるアイコン又はウィジェットを区別することができる。このような機能は、例えば、ユーザが運転しながらラジオ局を変えようとしているとき又は温度調節器設定を調節しようとしているとき等、ユーザが他の場所に集中している状況において特に有利であり得る。ユーザがアイコン又はウィジェットを選択すること又は他のやり方でＧＵＩを操作すること（例えば、別のページのアイコンにスワイプすること）を選ぶ場合、ユーザはタッチセンサ式ディスプレイ１２０上でより強く押して所望のジェスチャを行うであろう。タッチセンサ式ディスプレイ１２０上で力を増加することにより、タブレット１００は、ユーザが触覚でスクリーンを探索することができる「探索」モードからユーザがアイコン又はウィジェットをアクティブ化する又は他のやり方でＧＵＩを操作することができる「操作」モードに変化する。一部の例では、ユーザは、タッチセンサ式ディスプレイ１２０上で力を低減することにより探索モードに戻ることができる。

この機能を使用可能にするために、タブレット１００は、ユーザによりカスタマイズされ得る又は装置により経時的に自動的に調整され得る力閾値を決定するためのソフトウェアを含む。このような調整は、ユーザへのメッセージ、例えば、「アプリケーションを立ち上げています．．．ａｐｐを立ち上げることを意図しましたか？」を提示して、「イエス」又は「ノー」を選択するための選択肢をユーザに提供すること等により、透過的に又はインタラクティブに行われてもよい。このような情報は、力閾値の適応的決定にフィードバックされてもよい。従って、（複数の）力閾値とユーザの接触の力を比較することにより、装置は探索モードと操作モードとを切り替えることができる。更に、装置は、追加の触覚効果、ポップアップメッセージ又は表示の変化等の視覚効果（例えば、探索モードの間に機能をグレーアウトすることにより）、又は鐘の音若しくは和音等の可聴効果等、モード又はモードの変化を示すために他のタイプのフィードバックを提供してもよい。

探索モード及び操作モードに加えて、タブレット１００は、それを超えるとＧＵＩの操作が本質的に変化する第２の力閾値も含む。ユーザが特に強く押している場合、このような量の力を制止するために、ＧＵＩは操作にあまり反応しなくなってもよい。このような場合、アイコンは、あたかも粘性材料の中をドラッグされているかのように又はアイコンより下の仮想表面に基づいて摩擦抵抗を受けているかのようによりゆっくりと移動してもよく、又はアプリケーションアイコンは、容易に選択可能であるのではなく最初にユーザの指の下から滑り出てもよい。ユーザの接触力が第２の閾値に適合するか又は超過すると、タブレット１００は、第２の力閾値に到達したことを示すためにユーザに触覚効果を出力してもよい。同様に、ユーザが第２の力閾値より下に力を低減すると、力レベルがＧＵＩを操作するのに適切であることをユーザに確認するために別の触覚効果が出力されてもよい。以下でより詳細に検討される一部の例では、閾値は２つの異なる値を有してもよく、１つは力が増加されているときに使用されるものであり、もう１つは力が減少されているときに使用されるものである。又は、一部の例では、力は、モードが切り替わる前に、最小持続時間の間（ヒステリシス閾値の場合を含む）閾値を下回らなくてはならない。言い換えると、一部の力はヒステリシス又は「粘着性（ｓｔｉｃｋｙ）」であってもよい。これは、相互作用のモードが予想外に操作中に変化した場合にユーザが苛立たないように、ユーザが操作中に無意識に力を低減する場合によりユーザフレンドリなインターフェースを提供してもよい。

先に検討されたマルチモード力インターフェースに加えて、タブレット１００は様々なユーザインターフェースと相互作用するために力ベースのジェスチャにも応答する。例えば、タブレット１００のメインＧＵＩスクリーンは、タイルフォーマットで配置されたアプリケーションを表す多数のアイコンを含んでもよい。ユーザインターフェースの追加スクリーンを見るために、ユーザは、タッチセンサ式ディスプレイ１２０に沿って左又は右にスワイプして、追加アプリケーションを有する他のスクリーンを開示してもよい。しかしながら、ユーザインターフェースは、ユーザがタッチセンサ式ディスプレイ１２０に加える力を増加させて、ユーザがインターフェースを「ズーム」することもできるようにする。例えば、ユーザは、単にタッチセンサ式ディスプレイ１２０を強く押すことによりインターフェースに示されたフォルダ内に進んでもよい。別の例示として、ユーザがマップアプリケーションと相互作用する場合、ユーザは、力を増加又は低減することによりズームレベルを増加又は低減してもよい。一部の例では、ユーザは、特定のユーザインターフェースレベルで表示される情報のタイプを変更することを選んでもよい。例えば、ユーザは、道路及び幹線道路ラインマップから地形マップ、衛星画像、又はマップの可視部分のストリートビューへ等、特定のズームレベルで表示される情報のタイプをカスタマイズしてもよい。従って、力の使用は、他のやり方では２次元インターフェースのように見えるものにおける自由度の数を向上させてもよい。

タブレット１００は、装置との相互作用に基づいてユーザに没入感のある触覚的感覚を提供するために力感知を利用してもよい。先に検討されたように、ユーザインターフェースのメインＧＵＩスクリーンは、タイルフォーマットで配置された多数のアイコンを含んでもよい。ユーザは、タッチセンサ式ディスプレイ１２０上を指で軽くドラッグすると、アイコン上で「ホバリング（ｈｏｖｅｒｉｎｇ）」していることを示すために指がアイコン上を横切ってスライドするときに、静電摩擦効果等の触覚効果を感じてもよい。より情報の多い触覚的感覚を得るために、ユーザは接触力を増加させてもよい。接触力が増加すると、装置は、アイコンにより表されるアプリケーションに関するテクスチャ効果等、ますます詳細な触覚的感覚を提供する。例えば、ユーザがカレンダアプリケーションに関するアイコンを押し始めた場合、タブレット１００は、月毎カレンダの形状を表すグリッドのように感じる触覚テクスチャを出力する。又は、ユーザが電話を掛けるためにアイコンを押し始めた場合、タブレット１００は、タッチセンサ式ディスプレイ１２０上の接触面を変形させる触覚出力装置を使用すること等により、電話の送受話器の形状に対応するテクスチャを出力する。場合によっては、振動触覚効果が使用されてもよい。例えば、タブレット１００がロックされている間にユーザが緊急呼び出しを行うためのアイコンを見つけようとする場合、タブレット１００は、ＳＯＳのモールス信号シーケンスを模倣する触覚効果の反復シーケンスを出力する。即ち、ユーザが正しいアイコンを見つけたことをユーザに示すために、３つの短い振動の後に、３つの長い振動が続いて、その後３つの短い振動を出力する。

従って、図１Ａに示された例示の装置は、ユーザインターフェースの探索及び操作の間に、ユーザにより良好な制御及びセンサフィードバックを可能にするために完全機能の力感知触覚ユーザインターフェースを提供する。こうした例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられており、本開示はこの例示に限定されない。以下の段落では、力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法の様々な追加の非限定的例示が記載されている。

次に図１Ｂを参照すると、図１Ｂは本開示の例による力ベースのオブジェクト操作及び触覚的感覚のためのシステム２００を示す。図１Ｂに示される例では、システム２００は、筐体２１０、プロセッサ２２０、メモリ２３０、タッチセンサ式ディスプレイ２５０、触覚出力装置２４０、通信インターフェース２６０、スピーカ２７０及び力センサ２９０を備える。更に、システム２００は、一部の例示に選択的に結合され又は組み込まれ得る触覚出力装置２８０と通信する。プロセッサ２２０はメモリ２３０と通信しており、この例では、プロセッサ２２０及びメモリ２３０は共に筐体２１０の中に配置される。

タッチセンサ面を備え又はこれと通信するタッチセンサ式ディスプレイ２５０は、タッチセンサ式ディスプレイ２５０の少なくとも一部がシステム２００のユーザに露出されるように筐体２１０の中に部分的に配置される。一部の例では、タッチセンサ式ディスプレイ２５０は、筐体２１０の中に配置されなくてもよい。例えば、システム２００は、別の筐体の中に配置されるタッチセンサ式ディスプレイ２５０と接続され又は通信してもよい。一部の例では、筐体２１０は、互いにスライド可能に結合され、互いに枢動可能に結合され又は互いに解放可能に結合され得る２つの筐体を備えてもよい。更に他の例では、システム２００は、ディスプレイを備え又はこれと通信してもよく、マウス、キーボード、ボタン、ノブ、スライダコントロール、スイッチ、ホイール、ローラ、ジョイスティック、他の操作子、又はこれらの組み合わせ等の他のユーザ入力装置を備え又はこれと通信してもよい。

一部の例では、１つ以上のタッチセンサ面が、システム２００の１つ以上の側部に含まれ又は中に配置されてもよい。例えば、タッチセンサ面は、システム２００の後面の中に配置され又はこれを備えてもよい。別の例では、第１のタッチセンサ面が、システム２００の後面の中に配置され又はこれを備え、第２のタッチセンサ面が、システム２００の側面の中に配置され又はこれを備える。一部の例では、システム２００は、二つ折り（ｃｌａｍｓｈｅｌｌ）配置又はスライド式配置等で２つ以上の筐体要素を備えてもよい。例えば、システム２００は、タッチセンサ式ディスプレイが二つ折りの各部分に配置される二つ折り構成を有してもよい。更に、一部の例では、タッチセンサ式ディスプレイ２５０は、タッチセンサ面を備えなくてもよい（例えば、タッチセンサ面２５０はタッチ入力機能の無いディスプレイであってもよい）。一部の例では、１つ以上のタッチセンサ面は、柔軟性が有り又は変形可能であってもよい。他の例では、１つ以上のタッチセンサ面は、剛性であってもよい。システム２００は、柔軟性及び剛性の双方を有するタッチセンサ面を備えてもよい。

図１Ｂに示される例では、タッチセンサ式ディスプレイ２５０は、プロセッサ２２０と通信し、プロセッサ２２０又はメモリ２３０に信号を提供し、且つプロセッサ２２０又はメモリ２３０から信号を受信するように構成される。メモリ２３０は、プロセッサによって使用されるプログラムコード、データ又は両方を記憶するように構成される。プロセッサ２２０は、メモリ２３０に記憶されたプログラムコードを実行して、タッチセンサ式ディスプレイ２５０に信号を送信し且つタッチセンサ式ディスプレイ２３０から信号を受信するように構成される。図１Ｂに示される例では、プロセッサ２２０は、通信インターフェース２６０とも通信する。プロセッサ２２０は、通信インターフェース２６０から信号を受信して、１つ以上の遠隔コンピュータ又はサーバ等の他のコンポーネント又は装置と通信するために通信インターフェース２６０に信号を出力するように構成される。

更に、プロセッサ２２０は、触覚出力装置２４０及び触覚出力装置２８０と通信し、触覚出力装置２４０、触覚出力装置２８０又は両方に１つ以上の触覚効果を出力させるための信号を出力するように更に構成される。更に、プロセッサ２２０は、スピーカ２７０と通信し、スピーカ２７０に音声を出力させるように構成される。様々な例では、システム２００は、より少ない又は追加のコンポーネント又は装置を備え又はこれらと通信してもよい。例えば、マウス、トラックボール、トラックパッド、キーボード、追加のタッチセンサ式装置又はこれらの任意の組み合わせが、システム２００の中に含まれ又はシステム２００と通信してもよい。別の例示として、システム２００は、１つ以上の加速度計、ジャイロスコープ、デジタルコンパス、及び／又は他のセンサを備え及び／又はこれらと通信してもよい。

図１Ｂに示されたシステム２００の筐体２１０は、システム２００のコンポーネントの少なくとも一部に対する保護を提供する。例えば、筐体２１０は、雨等の外来物からプロセッサ２２０及びメモリ２３０を保護するプラスチックケースであってもよい。一部の例では、筐体２１０は、システム２００がユーザによって落とされた場合の損傷から筐体２１０内のコンポーネントを保護する。筐体２１０は、限定されないが、プラスチック、ゴム又は金属等を含む任意の適切な材料から作られ得る。様々な例示は、異なるタイプの筐体又は複数の筐体を含んでもよい。例えば、一部の例では、システム２００は、携帯装置、ハンドヘルド装置、玩具、トラックボール、マウス、トラックパッド、ゲームコンソール、ハンドヘルドビデオゲームシステム、ゲームパッド、ゲームコントローラ、デスクトップコンピュータ、電子書籍リーダ、カメラ、ビデオカメラ、携帯電話、スマートフォン、個人用デジタル補助装置（ＰＤＡ）、ラップトップ、タブレットコンピュータ、デジタル音楽プレーヤ等の携帯型多機能装置であってもよい。

図１Ｂに示された例では、触覚出力装置２４０及び２８０は、プロセッサ２２０と通信して、１つ以上の触覚効果を提供するように構成される。例えば、プロセッサ２１０が作動信号を触覚出力装置２４０、触覚出力装置２８０又は両方に送信すると、各触覚出力装置２４０、２８０は、作動信号に基づいて触覚効果を出力する。一部の例では、プロセッサ２２０は、アナログ駆動信号を含む触覚出力装置２４０に触覚出力信号を送信するように構成される。他の例では、プロセッサ２２０は、触覚出力装置２８０に高レベルコマンドを送信するように構成される。コマンドは、触覚出力装置２８０に触覚効果を出力させる適切な駆動信号を生成するために使用されるコマンド識別子及びゼロ以上のパラメータを含み得る。異なる信号及び異なる信号タイプが１つ以上の触覚出力装置の各々に送信されてもよい。例えば、プロセッサは、触覚出力装置２４０を駆動して触覚効果を出力するために低レベル駆動信号を送信してもよい。このような駆動信号は、増幅器によって増幅されてもよく、又は駆動される特定の触覚出力装置２４０に対応する適切なプロセッサ又は回路を使用してデジタルからアナログ信号に又はアナログからデジタル信号に変換されてもよい。

触覚効果を生成するために、多くの装置が何らかのタイプのアクチュエータ又は触覚出力装置２４０、２８０を利用する。触覚出力装置２４０、２８０は、偏心質量がモータによって動かされるＥＲＭ（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）、バネに取り付けられた質量が前後に駆動されるＬＲＡ（Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）、又は圧電性物質、電気活性ポリマ若しくは形状記憶合金等の「スマート材料」を含む。また、触覚出力装置は、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ；ＥＳＦ）、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ、ＵＳＦ）、又は超音波触覚トランスデューサによる音響放射圧を含むもの、又は触覚基板及び可撓性若しくは変形可能表面を使用するもの、又は空気ジェットを使用する空気の吹き出し等の投射触覚出力を提供するもの等の他の装置（非機械的及び非振動装置）を広く含む。

一部の例では、触覚効果を生成するために、１つ以上のコンポーネントの変形が使用され得る。例えば、表面の形状又は表面の摩擦係数を変えるために、１つ以上の触覚効果が出力されてもよい。一例では、表面の摩擦を変更するために使用される静電力及び／又は超音波力を生成することによって、１つ以上の触覚効果が生成される。他の例では、触覚効果を生成するために、スマートゲルを含む１つ以上の領域等の透明変形要素の配列が使用されてもよい。

一部の例は、タッチセンサ式ディスプレイ上にオーバレイされる又は他のやり方でタッチセンサ式ディスプレイ２５０に結合される触覚出力装置２４０、２８０を備える。触覚出力装置２４０、２８０は、タッチセンサ式ディスプレイ２５０のタッチセンサ面に摩擦又は変形効果を出力してもよい。一部の例では、システムの他の部分が、例えば、ユーザによって接触され得る筐体の部分又はシステム２００に結合される別個のタッチセンサ式入力装置において、このような力を提供してもよい。２０１１年４月２２日に出願され、参照により全体が本明細書に組み込まれる“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｈａｐｔｉｃ Ｅｆｆｅｃｔｓ”と題される同時係属の米国特許出願第１３／０９２，４８４号には、１つ以上の触覚効果が生成され得る手法が記載され、様々な触覚出力装置２４０、２８０が記載されている。

限定されないが、以下の表１に列記される合成方法の例示を含む１つ以上の触覚効果信号から相互作用パラメータを生成するために任意のタイプの入力合成方法が用いられてもよいことが理解されるであろう。

図１Ｂでは、通信インターフェース２６０は、プロセッサ２２０と通信し、スタイラス２００から他のコンポーネント又は他の装置への有線又は無線通信を提供する。例えば、通信インターフェース２６０は、システム２００と通信ネットワークとの間の無線通信を提供してもよい。一部の例では、通信インターフェース２６０は、別のシステム２００等の１つ以上の他の装置及び／又はテレビ、ＤＶＲ若しくは他のオーディオビジュアルコンポーネント等の１つ以上の他の装置に通信を提供してもよい。通信インターフェース２６０は、システム２００が別のコンポーネント又は装置と通信することを可能にする任意のコンポーネント又はコンポーネントの集合であり得る。例えば、通信インターフェース２６０は、ＰＣＩ通信アダプタ、ＵＳＢネットワークアダプタ、又はＥｔｈｅｒｎｅｔ（登録商標）アダプタを含んでもよい。通信インターフェース２６０は、８０２．１１ａ、ｇ、ｂ、又はｎ標準を含む無線Ｅｔｈｅｒｎｅｔ（登録商標）を使用して通信してもよい。一例では、通信インターフェース２６０は、無線周波数（ＲＦ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＧＳＭ（登録商標）、Ｗｉ−Ｆｉ、衛星又は他のセルラ若しくは無線技術を使用して通信できる。他の例では、通信インターフェース２６０は、有線接続を介して通信してもよく、Ｅｔｈｅｒｎｅｔ（登録商標）、トークンリング、ＵＳＢ、ＦｉｒｅＷｉｒｅ１３９４、光ファイバ等の１つ以上のネットワークと通信してもよい。一部の実施形態では、システム２００は、単一の通信インターフェース２６０を備える。他の例では、システム２００は、２つ、３つ又は４つ以上の通信インターフェースを備える。

図１Ｂに示された例は力センサ２９０も備えるが、一部の例は力センサを備えなくてもよく又は複数の力センサを備えてもよい。更に、力センサ２９０は、システム２００の他のコンポーネントと同じコンポーネントの中に又は別のコンポーネントの中に収容されてもよい。例えば、プロセッサ２２０、メモリ２３０、及びセンサ２９０は、筐体２１０に全て含まれてもよい。力センサ２９０は、プロセッサ２２０と通信して、プロセッサ２２０に力情報を含む１つ以上の信号を送信するように構成される。このような力情報は、振幅、場所、領域、力の変化、力の変化率、及び他のタイプの力情報を含んでもよい。一部の例では、力センサ２９０は、ロードセル、ＦＳＲ（ｆｏｒｃｅ−ｓｅｎｓｉｎｇ ｒｅｓｉｓｔｏｒ）、又はＱＴＣ（ｑｕａｎｔｕｍ ｔｕｎｎｅｌｉｎｇ ｃｏｍｐｏｓｉｔｅ）を備えてもよく、これらは、例えば、加えられた圧力又は力を測定するためにタッチセンサ面の下に取り付けられ得る。また、加えられた圧力又は力は、指腹の色又は接触の領域の変化に基づいて推定され得る。例えば、プロセッサ２２０は、タッチセンサ式ディスプレイ２５０に対するユーザの指腹の接触の領域を示すセンサ信号を力センサ２９０から受信し得る。プロセッサ２２０は、接触の領域に基づいてタッチセンサ式ディスプレイ２５０に加えられている力の量を推定し得る（例えば、より大きな接触領域はより大きな力を有することを示してもよい）。

一部の例では、力センサ２９０は、所望の範囲内で力を感知するように構成される。例えば、力センサ２９０は、８ビット以上の分解能で、１から２００グラム重量の範囲で力を連続的に感知及び測定するように構成される。一部の例では、力センサ２９０は、より粗い測定値を提供してもよい。例えば、１つの適切な力センサ２９０は、３つの値、即ち、加えられた力無し、低い力、及び高い力を出力することが可能であってもよい。

更に追加のタイプの力センサ２９０は、本開示の例によって使用するのに適切であってもよい。例えば、力センサ２９０は２つのスイッチを含み得る。第１のスイッチは、ユーザが第１の閾値を超える力を力センサ２９０に加えるとアクティブ化し得る。第２のスイッチは、ユーザが第２の閾値を超える力を力センサ２９０に加えるとアクティブ化し得る。何れのスイッチもアクティブ化されるとプロセッサ２２０に信号を送信し得る。このようにして、力センサ２９０は、異なる量の力を検出して、関連する信号をプロセッサ２２０に送信することができる。力センサ２９０は、任意の数又は構成の力レベルに応じて任意のやり方で作用する任意の数又は構成のスイッチを含んでもよい。

一部の例では、システム２００は、力センサ２９０を含まなくてもよいが、疑似力を決定してもよい。例えば、タッチセンサ面は、タッチセンサ面との接触に基づいて疑似力信号を生成してもよい。このような例における疑似力は、タッチセンサ面にタッチする導体（例えば、ユーザの指）からもたらされる静電容量の量に基づいてもよい。従って、静電容量の量は、力の直接測定値ではなく、疑似力である。タッチセンサ面によって提供される疑似力は、タッチセンサ面上の単一点における導体による実際の垂直移動の測定値ではなく、静電容量の変化のサイズに基づく垂直移動の推定であってもよい。疑似力は、タッチセンサ面に実際に作用する力の量を正確に表してもよく又は表さなくてもよい。例えば、タッチセンサ面上で使用される導体（例えば、ユーザの指）の表面が大きいほど、作用される力の量ごとの静電容量の変化は大きくなる。ユーザが指の肉厚部でタッチセンサ面を強く押した場合、指で覆われたタッチセンサ面の領域の量は指の同じ部分が軽くタッチしているときよりも大きくなる。また、一部の例では、覆われた領域及び対応する疑似力は、ユーザが骨部分で強く押したときよりも大きくなる。

一部の例では、追加センサ（図示せず）がシステム２００に組み込まれてもよい。例えば、センサは、メモリ２３０及び／又はプロセッサ２２０を収容するもう１つのコンポーネントとは別のコンポーネントに又は筐体２１０内に配置されてもよい。例えば、装着可能なセンサが、有線又は無線接続を介してプロセッサ２２０及びメモリ２３０、ユーザ装置、又は装着可能装置と通信してもよい。一部の例では、このようなセンサは、周囲状態又はセンサに加えられた力の少なくとも１つを表し得る環境要因を感知するように構成されてもよい。追加センサは、任意の数及び／又はタイプの感知コンポーネントを含み得る。例として、センサは加速度計又はジャイロスコープを含んでもよい。センサ及び環境要因の例示の非限定的なリストが以下に示される。

環境要因は、上記の任意の環境要因、又はシステム２００の装置に加えられる又は向けられる力又は周囲状態を表す任意の他の量を含み得る。更に、環境要因は、センサデータから直接評価されてもよく、又は他の環境要因を導出するために装置によって処理されてもよい。例えば、加速度データは、装置の方向、速度及び／又は動作パターンを決定するために使用されてもよい。更なる例として、心拍、皮膚抵抗、及び他の要因等の生理的データが、装置ユーザの生理的状態（例えば、覚醒、ストレス、就寝中、ＲＥＭ睡眠等）を決定するために使用され得る。

一部の例では、システム２００は、マウス、トラックボール、トラックパッド、ジョイスティック、ゲームパッド又は他のユーザインターフェース装置を含む。プロセッサ２２０、メモリ２３０、力センサ２９０、及び／又は触覚出力装置２４０、２８０は、ユーザインターフェース装置内に配置され又はそれに結合されてもよい。一部の例では、力センサ２９０は、ユーザインターフェース装置の１つ以上の操作子（例えば、トラックボール、タッチセンサ面、ボタン又はジョイスティック）に加えられる力の量を検出して、関連するセンサ信号をプロセッサ２２０に送信するように構成され得る。

一部の例では、システム２００は、ユーザに装着されるように構成される。例えば、システム２００は、腕時計、他の宝飾品類、手袋等の装着可能装置に組み込まれ又は結合されてもよい。一例では、システム２００は、手袋の指先に結合される１つ以上の力センサ２９０を備えてもよい。ユーザは、手袋を装着して、テーブル、壁、又は机等の表面と相互作用してもよい。システム２００は、力センサ２９０を介して、ユーザが表面と相互作用するのを検出して、関連するセンサ信号をプロセッサ２２０に送信してもよい。例えば、システム２００は、ディスプレイに（可視又は不可視の）仮想オブジェクトを出力し、又は（例えば、プロジェクタを介して）表面上に仮想オブジェクトを投影してもよい。システム２００は、ユーザが仮想オブジェクトと相互作用するために特定の量の力で及び／又は特定の場所でディスプレイ又は表面に接触することを検出してもよい。ユーザ相互作用に基づいて、システム２００は、（ディスプレイに出力される又は表面に投影される）ＧＵＩを操作し、システム状態又はモード間を切り替え、ユーザインターフェースレベル間を切り替え、及び／又は関連触覚効果を出力してもよい。

例えば、ユーザが異なる量の力でテーブルに対して指を押し付けると、システム２００は、ユーザインターフェースレベル間を切り替え、又は探索モードと操作モードとを切り替えてもよい。別の例示として、システム２００は、ユーザ相互作用に基づいて触覚出力装置２４０、２８０を介して触覚効果を出力してもよい。触覚出力装置２４０、２８０は、装着可能装置、ディスプレイ、表面又はこれらの任意の組み合わせに結合されてもよい。例えば、装着可能装置は、手袋の指先に結合される触覚出力装置２４０、２８０を含み得る。装着可能装置は、触覚出力装置２４０、２８０を介してユーザの指先に触覚効果を出力してもよい。別の例示として、システム２００は、ディスプレイ又は表面に結合される触覚出力装置２８０に触覚信号を（例えば、無線で）送信して、ディスプレイ又は表面にそれぞれ触覚効果（例えば、振動）を出力させてもよい。

次に図２Ａを参照すると、図２Ａは本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法３００を示す。図２Ａは、図１Ｂに示されたシステム２００によって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図１Ｂに示されたシステムのみによる実行に限定されるのではなく、本開示による任意の適切なシステムによって実行されてもよい。

方法３００はブロック３１０で開始し、システム２００は第１の閾値を決定する。第１の閾値を決定するために、システム２００は、ソフトウェアアプリケーション内で符号化されたデフォルト値を使用してもよく、ハードディスクに記憶されている構成ファイル等のコンピュータ可読媒体から第１の閾値を読み込んでもよく、通信ネットワーク上の遠隔装置から第１の閾値を受信してもよく、又はユーザが所望の閾値を入力すること等によりユーザプリファレンス設定から第１の閾値を受信してもよい。一部の例では、第１の閾値は、システム２００が第１の閾値に対して初期値を使用し、使用パターンに基づいて、経時的に第１の閾値を上下に調整するという点で適応的であってもよい。例えば、システム２００は、ユーザが経時的にどのように装置を使用するかに基づいて第１の閾値を上方調整してもよい。

一部の例では、システム２００は、ヒステリシスな第１の閾値を決定してもよい。例えば、図４に示された例では、第１の閾値は、２つの異なる力量、低い力及び高い力を含んでいる。異なる力は、システム２００のモードに依存して使用される。図４で見られるように、システム２００は、探索モード又は操作モードの何れかに有ってもよい。システム２００が探索モードに有る間、第１の閾値は、図４において「操作閾値」と識別されている高い力値に対応する。しかしながら、システム２００が操作モードに有る間、第１の閾値は、「探索閾値」と識別されている低い力値に対応する。このようなヒステリシス閾値は、探索モードから操作モードに遷移するためにユーザが大きな力を加えることを要求とするが、探索モードに戻らずにより快適なレベルへと使用される力をユーザが低減することを可能にするために使用されてもよい。一部の例では、ヒステリシス閾値は、５０グラム重量の第１の力値及び１００グラム重量の第２の力値を含んでもよい。

一部の例では、第１の閾値は、力レベルと持続時間の両方を含んでもよい。このような例では、システム２００は、力閾値に対するユーザの力レベルを確認するが、ユーザが要求された持続時間の間力レベルを維持した後でのみ第１の閾値に適合した又は超えたことを決定するであろう。同様に、第１の閾値を満たした後で、システム２００は、閾値より下に戻ったことを示す前に、その持続時間の間力が第１の閾値力レベルより下がることを要求してもよい。このような条件は、無意識のジェスチャに基づくユーザのフラストレーションを低減するよりフレンドリなユーザインターフェース提供してもよい。一旦第１の閾値が決定されると、方法３００は、ブロック３２０に進む。

ブロック３２０では、システム２００は、力感知面（例えば、タッチセンサ面又は力感知ボタン）とのユーザ相互作用（例えば、接触）を示す１つ以上の信号を受信し、１つ以上の信号は第１の力及び／又は第１の場所を含む。例えば、ユーザがタッチセンサ式ディスプレイ２５０にタッチすると、力感知面は、ユーザ相互作用の場所及び力の量を示す１つ以上の信号を提供してもよい。一部の例では、先に検討されたように、システム２００は、ユーザ相互作用の場所を示す信号を提供するタッチセンサ式ディスプレイ２５０、及び力情報を提供する別個の力センサ２９０を含んでもよい。従って、本開示の一部の例によれば、複数の信号が受信され且つ使用されてもよい。一部の例では、単一の信号が場所情報及び力情報の両方を含んでもよい。１つ以上の信号を受信した後で、方法３００は、ブロック３３０に進む。

ブロック３３０において、システム２００は、ユーザ相互作用がディスプレイスクリーン（例えば、タッチセンサ式ディスプレイ２５０）に表示されたオブジェクトと一致するかどうかを決定する。例えば、システム２００は、ユーザ入力装置により制御可能な仮想カーソルの場所がディスプレイスクリーン上に表示されたオブジェクトと一致するかどうかを決定してもよい。一部の例では、システム２００は、ユーザ相互作用が第１の場所に基づいてオブジェクトに一致するかどうかを決定してもよい。例えば、ディスプレイスクリーンが複数のアイコン及びウィジェットを有するホームスクリーンを示す場合、プロセッサ２２０は、ユーザ相互作用がアイコン又はウィジェットに対応する場所に有るかどうかを決定する。一部の例では、他のオブジェクトがシステム２００によって表示されてもよい。例えば、システム２００は、図３に示されている温度調節システム４０２等、ディスプレイスクリーン上に車用のユーザインターフェースシステムのためのコントロールを表示してもよい。このような例では、システム２００は、ユーザ相互作用が、「Ａ／Ｃ」コントロール又はデフロスターコントロール等、ディスプレイスクリーンに表示されるコントロールに対応するかどうかを決定してもよい。図３に示されたゲーム４０４等のタッチベースのゲームに対応する別の例では、システム２００は、サーフボード上の犬を操作するためにユーザ相互作用がコントロールの１つに対応するかどうかを決定してもよい。他のオブジェクトは、図３に示されるように、ライター４０６の画像、岩４０８の画像、羽４１０の画像を含んでもよい。このような画像は、オブジェクトと相互作用するために要求される圧力又は力の感覚を伝達してもよい。例えば、ユーザは、羽よりも岩と相互作用するのにより大きな力が要求され得る、又はライター等では異なる力が異なる結果をトリガし得ると予測してもよい。ユーザ相互作用がディスプレイスクリーン上のオブジェクトに対応するとシステム２００が決定する場合、方法３００はブロック３４０に進み、そうでない場合、方法３００はブロック３２０に戻る。

ブロック３４０において、システム２００は、第１の力を第１の閾値と比較して、第１の力が第１の閾値に適合するか又は超えるかを決定する。第１の力が第１の閾値に適合するか又は超える場合、方法３００はブロック３５０に進む。先に検討されたように、ヒステリシス閾値が利用される一部の例では、システム２００は、システム２００の状態に依存して第１の閾値に対して異なる値を使用してもよい。図２Ｃに示された状態図３０２を参照すると、システム２００が探索モード３８０に有る場合、第１の閾値は第１の値に対応してもよく、一方でシステム２００が操作モード３５４に有る場合、第１の閾値は第２の値に対応してもよい。更に、一部の例では、閾値決定は、力が最小持続時間の間第１の閾値に適合するか又は超えなければならない（又は下回らなければならない）タイミングコンポーネントを含んでもよい。そうでない場合、方法３００はブロック３４２に進む。

ブロック３４２において、装置２００は、触覚効果を出力するべきかどうかを決定する。この例示では、システム２００は、ユーザ相互作用がオブジェクトに対応する場所に有る場合に触覚効果を出力し、それによりブロック３４４に進むであろう。しかしながら、ユーザが表示されたオブジェクトと相互作用している場合、一部の例では、方法は、追加のユーザ相互作用信号を受信するためにブロック３２０に戻る。一部の例では、方法３００はブロック３１０に戻る。方法３００は、適応的な第１の閾値の場合と同様に、装置の使用に基づいて第１の閾値を再決定するためにブロック３１０に戻ってもよい。

ブロック３５０において、システム２００は、第１の触覚効果を引き起こすように構成される第１の触覚信号を第１の触覚出力装置に出力する。図２Ａに示された例では、第１の触覚効果は、第１の閾値に到達したことをユーザに示すように構成される。一部の例では、第１の閾値に到達するか又は超えると、システム２００は、「探索」モードから「操作」モードに遷移する。従って、触覚効果は、単に閾値に適合したことではなく、システム２００の動作モードの変化又は接触したオブジェクトのアクティブ化をユーザに示すように構成される。システム２００が既に探索モードに有った場合、システム２００は、遷移を示すための触覚効果が出力されるべきではないが、ユーザ相互作用（例えば、ユーザの接触）がタッチセンサ式ディスプレイ２５０上に表示されたオブジェクトに対応する場合、触覚効果を出力し得ることを決定してもよい。一部の例では、触覚効果は、その代わりに、ユーザがオブジェクトの操作を開始したことのみを示すように構成されてもよい。触覚効果信号を出力した後で、方法３００は、ブロック３６０に進む。

ブロック３６０では、システム２００は、ユーザ相互作用に基づいてオブジェクトに関して取るべきアクションを決定する。例えば、オブジェクトがアプリケーションに対応するアイコンである場合、システム２００は、アクションはアプリケーションを立ち上げることであると決定してもよい。代替的に、システム２００は、ユーザがアイコンを移動しようとしており、ユーザ相互作用の移動（例えば、接触場所）に基づいて移動されるアイコンを「ピックアップ」し得ることを決定してもよい。後の時間に、力が第１の閾値より下がると、システム２００は、ユーザがアイコンをドロップしており、ユーザ相互作用の場所に対応する場所にアイコンを残し得ることを決定してもよい。

図３に示された車用の温度調節システム４０２において、システム２００は、アクションが、ボタンの状態を変更すること、温度設定等のコントロール用の新しいオプション又は設定を選択すること、又は空調制御をアクティブ化／非アクティブ化することを含むことを決定してもよい。図３に示されたゲームアプリケーションでは、システム２００は、サーフボード上の犬又はサーフボード自体の方向を変化させること等、ゲームに対応するアクションを決定してもよい。システム２００が取るべきアクションを決定した後で、方法３００は、ブロック３７０に進む。

ブロック３７０において、システム２００はアクションを実行する。先に検討されたように、アプリケーションを立ち上げること、コントロールの設定及び／又はゲームアプリケーションへの入力を変更すること等のアクションは、取るべきアクションを決定することに応じてシステム２００によって実行されてもよい。

図２Ｃは、図２Ａに示された方法３００に対応する状態図３０２を描いている。見て分かるように、状態図は、システム２００の２つの動作状態、探索モード３８０及び操作モード３５４を表している。最初に、システム２００は、ユーザが第１の閾値を超えずにディスプレイスクリーンの様々な場所に接触し得る探索モード３８０に有り、ユーザの接触は、システム２００によって取られるアクションをトリガしない。むしろ、システム２００は、ユーザの接触がディスプレイスクリーンに表示されたオブジェクトに対応するときに触覚効果を出力する。しかしながら、ユーザの接触が第１の閾値に適合するか又は超える場合、システム２００は、オブジェクトに対応するユーザの接触がオブジェクトに対するオブジェクトをトリガし得る操作モード３５４に遷移する。更に、操作モード３５４に有る場合に、システム２００は、接触力がもはや第１の閾値を満たさなくなると探索モード３８０に戻ってもよい。一部の例では、システム２００は、探索モード３８０から操作モード３５４への又は操作モード３５４から探索モード３８０への状態間でシステム２００が遷移するときに触覚効果を出力してもよい。このような遷移触覚効果は、動作モードの変化をユーザに知らせて、より直観的な力ベースのインターフェースを提供するために使用されてもよい。他の例では、システム２００は、システム２００が状態間で変化する直前に、例えば、接触力が第１の閾値に接近すると、触覚効果を出力してもよい。これは、システム２００が状態を変化させようとしていることをユーザに示してもよく、それによりユーザは不注意で状態を変化させることを回避することができる。

次に図２Ｂを参照すると、図２Ｂは、図１Ｂ示されたシステム２００によって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図１Ｂに示されたシステムのみによる実行に限定されるのではなく、本開示による任意の適切なシステムによって実行されてもよい。

図２Ｂの方法３０４は、ブロック３０９で開始する。ブロック３０９において、システム２００は第１の閾値を決定する。第１の閾値を決定することの記載は、図２Ａのブロック３１０に関して先に提供されており、その記載は参照によりここに組み込まれる。更に、システム２００は、第１の閾値よりも大きい第２の閾値も決定する。この文脈では、第２の閾値の振幅の絶対値が第１の閾値の振幅の絶対値よりも大きければ、第２の閾値は第１の閾値よりも大きい。一部の例では、第２の閾値は、ヒステリシス閾値を含んでもよい。また、第２の閾値は、持続時間を含んでもよい。第１及び第２の閾値を決定した後で、方法３０４は、ブロック３２０に進む。

ブロック３２０−３４４の記載は上記の図２Ａに関するものと同様であり、その記載は参照によりここに組み込まれる。しかしながら、ブロック３４０において第１の力を第１の閾値と比較した後で、方法３０４はブロック３５１に進む。

ブロック３５１において、システム２００は、第１の力を第２の閾値と比較する。第１の力が第２の閾値より低い場合、方法３０４はブロック３５０に進む。そうでない場合、方法３０４はブロック３５２に進む。

ブロック３５０、３６０及び３７０において、図２Ａに関して先に検討されたように、それは参照によりここに組み込まれるが、システム２００は、触覚効果信号を出力し、ユーザ相互作用に基づいてオブジェクトに対して取るアクションを決定し、それぞれアクションを実行する。次に、方法３０４はブロック３２０に進む。

ブロック３５２において、システム２００は、触覚効果信号を出力する。このステップは、図２Ａに関して先に検討されたブロック３５０と実質的に同様に行われ得る。触覚効果信号を出力した後で、方法３０４は、ブロック３６１に進む。

ブロック３６１において、システム２００はアクションを決定する。このステップは、図２Ａに関して先に検討されたブロック３５０と実質的に同様に行われ得る。アクションを決定した後で、方法３０４は、ブロック３６２に進む。

ブロック３６２において、システム２００は、取るべきアクションを修正する。例えば、決定されたアクションがアイコンに対応するアプリケーションを立ち上げることである場合、システム２００は、その代わりに、ユーザ相互作用（例えば、カーソルの場所又はユーザの接触）からアイコンを遠ざけるようにアクションを修正することを決定して、振動触覚効果を提供してもよい。図３を再び参照すると、ユーザが温度調節システム４０２と相互作用しており且つＡ／Ｃボタンに接触すると、システム２００は、アクションがＡ／Ｃを使用可能にして、温度設定を最小温度設定に変更することであると決定してもよい。又は、ユーザがゲーム４０４と相互作用している場合、システム２００は、アクションがサーフボードをひっくり返して犬を水中に落下させるように修正されるべきであると決定してもよい。他の例では、決定されたアクションは、異なるやり方で修正されてもよい。アクションを修正した後で、方法３０４は、ブロック３７２に進む。

ブロック３７２において、システム２００は修正されたアクションを実行する。このステップは、図２Ａに関して先に検討されたブロック３７０と実質的に同様に行われ得る。

図２Ｃは、図２Ｂに示された方法３０４に対応する状態図３０６も描いている。状態図３０６は、システム２００に関する動作の３つのモード又は状態、探索モード３８０、操作モード３５４、及び修正操作モード３６４を表す。最初に、システム２００は、ユーザが第１の閾値を超えずにスクリーンの様々な場所に接触し得る探索モード３８０に有り、ユーザの接触は、システムによって取られるアクションをトリガしない。むしろ、システム２００は、ユーザの接触がスクリーンに表示されたオブジェクトに対応するときに触覚効果を出力する。しかしながら、ユーザの接触が第１の閾値に適合するか又は超える場合、システム２００は、オブジェクトに対応するユーザの接触がオブジェクトに対するアクションをトリガし得る操作モード３５４に遷移する。ユーザの閾値が第２の閾値に更に適合するか又は超える場合、システム２００は、方法３０４に関して先に記載されたように、修正操作モード３６４へと遷移する。更に、操作モード３５４に有る場合に、システム２００は、接触力がもはや第１の閾値を満たさなくなると探索モード３８０に戻ってもよい。同様に、修正操作モード３６４に有る場合に、システム２００は、接触力がもはや第２の閾値を満たさなくなると操作モード３５４に戻ってもよい。

次に図４を参照すると、図４は、探索モード及び操作モードの２つのモードを利用する例において、経時的な力感知面（例えば、力感知ボタン、マウス、トラックボール、ジョイスティック又はタッチセンサ面）に加えられるユーザの力のグラフを示す。図２Ａに示された方法３００に関して図４に示されたグラフを考慮すると、図２Ａの第１の閾値は、この例では、第１の閾値が２つの値を有するヒステリシス閾値を含んでいる。即ち、システム２００が探索モードに有る間に使用される第１の値と、システム２００が操作モードに有る間に使用される第２の値である。このような例では、ユーザは、加えられた力が第１の閾値に関する２つの値の高い方を超えるまで探索モードを使用し、その時点でシステム２００は操作モードに遷移する。ユーザがシステム２００と相互作用し続けると、ユーザの接触の力が変化して、第１の閾値の２つの値の低い方を超えたままである間、第１の閾値の２つの値の高い方を下回ってもよい。従って、ユーザは、接触力が探索から操作への遷移をトリガした閾値の上限の範囲を下回ったのにも関わらず操作モードに留まるであろう。

次に図５Ａを参照すると、図５Ａは本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法５００を示す。図５Ｂは、図５Ａの方法５００に関係付けられる状態図５０２を示す。図５Ａは、図１Ｂに示されたシステム２００によって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図１Ｂに示されたシステムのみによる実行に限定されるのではなく、本開示による任意の適切なシステムによって実行されてもよい。

図５Ａの方法は、複数レイヤを有するユーザインターフェースにおいて力ベースのナビゲーションを提供するために有利に利用され得る。例えば、一部の例示に関して先に検討されたように、マップアプリケーション用のユーザインターフェースがマップの同じ部分の複数の異なるビューを有してもよい。一例では、マップは、市街マップレイヤ、道路マップレイヤ、及び地形マップレイヤを提供してもよい。ユーザが力感知面（例えば、タッチセンサ式ディスプレイ２５０上で接触力を増加させると、ユーザインターフェースは、接触力に基づいてユーザインターフェースのレイヤ間を遷移してもよい。これは、機能を実行するためのメニューオプション又はコントロールを見つける必要無しに、容易且つシームレスにユーザが異なるビューに遷移することを可能にしてもよい。一部の例では、ユーザは、ユーザインターフェースの各レイヤにおいてどのような情報が出力されるかをカスタマイズすることができる。例えば、ユーザは、市街マップ、道路マップ、又は地形マップがユーザインターフェースの特定のレイヤで出力されるかどうかをカスタマイズすることが可能であってもよい。

更に、異なるレイヤに遷移することにより、システム２００は、異なるセットの触覚的感覚を提供してもよい。例えば、異なるタイプの視覚情報を有する複数のレイヤを有するマッピングアプリケーションにおいて、システム２００は、異なるセットの触覚情報間を切り替えてもよく、又は触覚効果のより大きなライブラリから異なる触覚効果を選択してもよい。例えば、マッピングアプリケーションが第１のレイヤ、例えば、市街マップレイヤに関する情報を表示している場合に、システム２００は、ユーザが力感知面を介して（例えば、タッチセンサ式ディスプレイ２５０上の場所に接触することにより又はカーソルを介して）マップに示された仮想市街と相互作用すると触覚効果を提供してもよい。このような触覚効果は、ＥＳＦ等によって提供される増加した摩擦を含んでもよく、又はアクチュエータによって出力されるパルス振動を含んでもよい。例えば、振動の強度、又は増加した摩擦を有する領域のサイズは、市街の人工又は市街の地理的サイズにより変化してもよい。

一部の例では、システム２００は、ユーザにレイヤに関する情報を提供するように構成される触覚効果を出力してもよい。例えば、システム２００は、レイヤ数に対応する振動パルスの数を出力してもよい。ユーザは、パルスを知覚して、例えば、入力装置又はディスプレイに視覚的に焦点を合わせなくても、ユーザインターフェースのどのレイヤとユーザが相互作用しているか、システム２００がどのような状態に有るかを決定することが可能であってもよい。これは、システム２００が車内に有る場合に特に有利であり、それによってユーザは道路に焦点を合わせることができる。別の例示として、システム２００は、利用可能なユーザインターフェースレベルの数に関する情報をユーザに提供するように構成される触覚効果を出力してもよい。例えば、オブジェクトと相互作用するためにユーザが入力装置を使用すると、システム２００は、ユーザが相互作用することができるユーザインターフェースレベルの数に対応する振動パルスの数を出力してもよい。これは、一部の例では、ユーザが他のやり方では知ることができないユーザインターフェースに関する情報をユーザに提供してもよい。

ユーザが力感知面に加えられる力を増加させると、システム２００は、道路マップレイヤに対応し得るマップアプリケーションの第２のレイヤに遷移する。このような例では、システム２００は、ユーザの接触が道路に対応する場合にＥＳＦ触覚効果を出力してもよい。更に、システム２００は、ユーザが触覚で道路をトレースすることができるように道路の形状に、又は、マッピングアプリケーションでよりリッチな又は直観的な相互作用をユーザが体験できるように道路のタイプ（未舗装、街路、州道、州間幹線道路）に対応する触覚効果を生成してもよい。一部の例では、システムは、第２のレイヤへの遷移の後で視覚表示及び触覚効果の両方を変化させてもよく、又は視覚表示を変化の無いままにするが、第２のレイヤに関係付けられる効果を提供するために触覚効果を変化させてもよい。従って、ユーザは、ある領域の衛星マップを見続けてもよいが、より強く押すことにより、市街の感覚から異なる道路の感覚へと遷移してもよい。

ユーザが力感知面に加えられる力を再び増加させると、システム２００は、マップの表示部分に対する地形の視覚表現を提供するために第３のレイヤに遷移する。次に、システム２００は、表示された異なるタイプの地形に対応する触覚効果を提供する。例えば、システム２００は木を示す鋭さ又は棘を感じるように力感知面の表面を変形させ、一方で草原又は開放空間は円滑さを感じるように摩擦が低減されてもよい。丘又は山等の他の特徴は、例えば、様々なサイズの凹凸を使用することにより、又は異なる周波数の若しくはタイミングが異なるパルスを有する振動を出力することにより触覚的に表示されてもよい。更に、先に検討されたように、一部の例では、システムは視覚表示を変化していないままにしてもよいが、第３のレイヤに関係付けられる効果を提供するために触覚効果を変化させてもよい。従って、ユーザは、ある領域の衛星マップを見続けてもよいが、より強く押すことにより、異なる道路の感覚からマップ上に表示された様々なタイプの地形の感覚へと遷移してもよい。

更に他の例は、より多くの又は少ない数のレイヤを含んでもよく、ユーザによって選択されたレイヤに基づいて、異なる触覚効果、又は異なる触覚出力装置若しくは触覚出力装置の組み合わせを使用してもよい。

別の例では、このようなレイヤ式ユーザインターフェースは、製図処理を支援するためにユーザインターフェースキューを露出させるために描画アプリケーションにおいて利用されてもよい。例えば、力感知面上で力の量を増加させることにより、ユーザインターフェースは、水平線、整合グリッド、透視線等の支援を表示してもよく、又はＣＡＤシステムにおいて、図面内のユーザに「より近い」オブジェクトによってさもなければ隠されている他のオブジェクトを露出させるために前景オブジェクトのレイヤを剥がしてもよい。別の例では、ユーザは、ＣＴスキャン又はＭＲＩ等の医療処置からもたらされる３次元スキャン等の３次元画像の異なるレイヤを移動することが可能であってもよい。

別の例は、マルチレイヤ又は３次元ユーザインターフェースを含んでもよい。例えば、ユーザインターフェースは、アプリケーションに対応するタイル化されたアイコンのセットとして表示されてもよいが、ユーザインターフェースのより深い「面」又はレイヤにおいて追加のアイコンを表示してもよい。こうした追加レイヤにアクセスするために、ユーザは、力感知面上で力を増加させてもよい。一旦ユーザがより深いレイヤにアクセスすると、ユーザは力感知面上での力を低減させて新しいレイヤに留まってもよく、又は以前のレイヤに戻るために更に力感知面上での力を低減させてもよい。

更に別の例は、マルチレイヤ式「循環」ユーザインターフェースを含んでもよい。例えば、マッピングアプリケーション用のユーザインターフェースは３つのレイヤ、市街レイヤ、道路レイヤ、及び地形レイヤを有してもよい。ユーザが力感知面に閾値を超える量の力を加える度に、システムは次のレイヤに遷移することができる。最後のレイヤに到達して、ユーザが閾値を超える量の力を加える場合、システムは再び第１のレイヤに遷移することができる。例えば、マッピングアプリケーション用のユーザインターフェースは、（例えば、デフォルトで）市街レイヤを出力してもよい。ユーザは、道路レイヤに循環するために閾値を超える量の力を加えてもよい。ユーザは、地形レイヤに循環するために閾値を超える量の力を再び加えてもよい。ユーザが閾値を超える量の力を再び加える場合、システムは再び市街レイヤに循環することができる。このようにして、ユーザは、閾値を超える量の力を加えることによりユーザインターフェースレイヤ中を循環又は遷移することができる。

図５の方法５００はブロック５１０で開始し、システム２００は第１及び第２の閾値を決定する。第１及び第２の閾値を決定することの記載は、図２Ｂのブロック３０９に関して先に提供されており、それは参照によりここに組み込まれる。システム２００が第１及び第２の閾値を決定した後で、方法５００は、ブロック５２０に進む。

ブロック５２０において、システム２００は、力感知面とのユーザ相互作用を示す１つ以上の信号を受信し、１つ以上の信号は第１の力及び／又は第１の場所を含む。力感知面はプロセッサベースの装置と通信してもよく、プロセッサベースの装置はディスプレイスクリーンと通信して複数のレイヤを有するグラフィカルユーザインターフェース（ＧＵＩ）を提供することができる。ディスプレイスクリーンは、ＧＵＩの第１のレイヤを表示することができる。

ブロック５３０において、システム２００は、第１の力を第１の閾値と比較する。第１の力が第１の閾値に適合するか又は超える場合、方法はブロック５４０に進む。そうでない場合、方法３００はブロック５２０に戻る。

ブロック５４０において、システム２００は、ディスプレイスクリーン上にＧＵＩの第２のレイヤを表示させるように構成される信号を生成して、第２のレイヤを表示させる信号を送信する。第２のレイヤに変化した後で、追加レイヤが有る場合、方法はブロック５５０に進む。

ブロック５５０において、システム２００は、第１の力を第２の閾値と比較する。第１の力が第２の閾値に適合するか又は超える場合、方法はブロック５６０に進む。そうでない場合、システムは、ブロック５５５に描かれているように第２のレイヤに留まる。

ブロック５５０において、システム２００は、ディスプレイスクリーン上にＧＵＩの第３のレイヤを表示させるように構成される信号を生成して、第３のレイヤを表示させる信号を送信する。

一部の例では、３つより多くのレイヤが利用されてもよい。一部のこのような例では、追加レイヤへの遷移をトリガするために追加閾値が使用されてもよい。

図５Ｂは、図５Ａに示された方法５００に対応する状態及び状態間の遷移を描く状態図５０２を描いている。状態図５０２は、システム２００のＧＵＩのための３つの異なるレイヤを表す。即ち、レイヤ１状態５３２、レイヤ２状態５３４、及びレイヤ３状態５５２である。最初に、システム２００は、ユーザが第１の閾値を超えずにディスプレイスクリーンの様々な場所に接触し得るレイヤ１状態５３２に有り、ユーザのアクションは、別のレイヤへの変更をトリガしない。しかしながら、ユーザの接触が第１の閾値に適合するか又は超える場合、システム２００はレイヤ２状態５３４に遷移する。ユーザの閾値が第２の閾値に更に適合するか又は超える場合、システムは、方法３０４に関して先に記載されたように、レイヤ３状態５５２へと遷移する。

次に図６を参照すると、図６は、３つのレイヤ、市街レイヤ、道路レイヤ、及び地形レイヤを有するマッピングアプリケーション用のユーザインターフェースを利用する例において経時的に力感知面に加えられるユーザの力のグラフを示す。図６に示されたグラフは、図５Ａに示された方法５００の一例に対応する。この例示では、図５Ａの第１及び第２の閾値はそれぞれヒステリシス閾値を含み、閾値はそれぞれ２つの値、即ち、システム２００がより高いレイヤに有る間に使用される第１の値、及びシステム２００がより低いレイヤに有る間に使用される第２の値を有する。このような例では、ユーザは、加えられた力が第１の閾値に関する２つの値の高い方を超えるまでユーザインターフェースの市街レイヤと相互作用してもよく、その時点でシステム２００はマッピングアプリケーションの道路レイヤに遷移する。ユーザがシステム２００と相互作用し続けると、ユーザの接触の力は、第２の閾値を超えて増加して、システム２００をマッピングアプリケーションの地形レイヤに遷移させる。

ユーザがマッピングアプリケーション内を進み続けると、ユーザによって力感知面に加えられた力は、第２の閾値を下回って、システムをマッピングアプリケーションの道路レイヤに戻してもよい。最終的には、ユーザは第１の閾値より下に力を低減し、システム２００はマッピングアプリケーションを市街レイヤに遷移させる。

一部の例では、第１の閾値及び第２の閾値は、力範囲（力ギャップ）が第１の閾値と第２の閾値との間に有るように構成され得る。システム２００は、ユーザがこの力範囲内に入る力の量を加えると触覚効果を出力し得る。例えば、ユーザによって加えられる力が市街レイヤに関する力閾値と道路レイヤに関する力閾値との間に入る場合、システム２００はパルスを含む触覚効果を出力し得る。これは、ユーザがレイヤを変更しようとしていることをユーザに警告して、及び／又はユーザがユーザインターフェースレイヤ間で不注意に切り替えることを防ぎ得るので、システム２００の安定性を増加させ得る。

次に図７を参照すると、図７は本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法７００を示す。図７は、図１Ｂに示されたシステム２００によって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図１Ｂに示されたシステムのみによる実行に限定されるのではなく、本開示による任意の適切なシステムによって実行されてもよい。

図７の方法７００はブロック７１０で開始し、システム２００は、力感知面とのユーザ相互作用を示す１つ以上の信号を受信し、１つ以上の信号は第１の力及び／又は第１の場所を含む。例えば、ユーザがタッチセンサ式ディスプレイ２５０にタッチすると、タッチセンサ式ディスプレイ２５０は、接触の場所及び力の量を示す１つ以上の信号を提供してもよい。一部の例では、先に検討されたように、システム２００は、接触の場所を示す信号を提供するタッチセンサ式ディスプレイ２５０、及び力情報を提供する別個の力センサ２９０を含んでもよい。従って、一部の例によれば、複数の信号が受信され且つ使用されてもよい。一部の例では、単一の信号が場所情報及び力情報の両方を含んでもよい。１つ以上の信号を受信した後で、方法７００は、ブロック７２０に進む。

ブロック７２０において、システム２００は、ユーザ相互作用が（例えば、第１の場所又は関連するカーソルの場所に基づいて）ディスプレイスクリーンに表示されたオブジェクトと一致するかどうかを決定する。例えば、ディスプレイスクリーンが複数のアイコン及びウィジェットを有するホームスクリーンを示す場合、システム２００は、タッチセンサ式ディスプレイ２５０との相互作用がアイコン又はウィジェットに対応する場所に有るかどうかを決定する。一部の例では、他のオブジェクトがシステム２００によって表示されてもよい。例えば、システム２００は、図３に示されている温度調節システム４０２等、ディスプレイスクリーン上に車用のユーザインターフェースシステムのためのコントロールを表示してもよい。このような例では、システム２００は、ユーザ相互作用が、「Ａ／Ｃ」コントロール又はデフロスターコントロール等、スクリーンに表示されるコントロールに対応するかどうかを決定してもよい。図３に示されたゲーム４０４等のタッチベースのゲームに対応する別の例では、システム２００は、サーフボード上の犬を操作するためにユーザ相互作用がコントロールの１つに対応するかどうかを決定してもよい。他のオブジェクトは、図３に示されるように、ライター４０６の画像、岩４０８の画像、羽４１０の画像を含んでもよい。ユーザ相互作用がオブジェクトに対応すると決定した後で、方法７００は、ブロック７３０に進む。

ブロック７３０において、システム２００は、第１の強度を有する第１の触覚効果を触覚出力装置２４０、２８０に出力させるように構成される第１の触覚信号を（例えば、第１の力及びオブジェクトに関係付けられるテクスチャに基づいて）生成し、第１の触覚信号を触覚出力装置２４０、２８０に出力する。例えば、アイコン、ウィジェット又は他のグラフィカルオブジェクトは、テクスチャに関係付けられてもよい。ユーザは、グラフィカルオブジェクトを横断して指を引くと、テクスチャベースの触覚効果を感じてもよい。この例示では、テクスチャ感覚は、ユーザによって力感知面に加えられた力に基づいて変化する。従って、ユーザは、グラフィカルオブジェクトに対応する場所のタッチセンサ式ディスプレイ２５０に軽くのみ接触する場合、オブジェクトの端（例えば、端触覚効果）のみを感じるが、オブジェクトのテクスチャに関する触覚情報を殆ど又は全く感じなくてもよい。しかしながら、ユーザが接触力を増加させると、システム２００は、オブジェクトに関係付けられるテクスチャをますます多く表す触覚効果を生成し且つ出力する。

例えば、図３に示された画像を参照すると、岩にタッチするユーザは、タッチセンサ式ディスプレイ２５０を軽く押す場合に、岩の全体の形状のみを感じてもよい。しかしながら、ユーザが接触力を増加させると、ユーザは岩の部分の粗さ及び他の部分の円滑さを感じてもよい。そして、ユーザは、接触力を増加し続けると、岩の小さな亀裂又は凹凸、又は岩の粒状性等、岩のテクスチャに関する詳細部分を感じてもよい。更に、岩に対する力を増加させることにより、（視覚的に、触覚的に、又は両方で）岩の見掛けの大きさが増加して、岩に対する力を更に増加することにより、ユーザがより詳細に岩の表面特徴を触覚で探索することが可能になってもよい。この例示では、触覚的感覚の詳細のレベルが、接触力の増加と共に略線形的に増加する。他の例では、触覚的感覚の詳細のレベルは、線形的に増加しなくてもよい。例えば、触覚的感覚の詳細のレベルは、対数的に増加してもよい。一部の例では、テクスチャは、図５−６に関して先に検討されたユーザインターフェースレイヤと類似の異なるテクスチャ「レイヤ」を有してもよく、それにより、ユーザの力が増加すると、それは異なるテクスチャレイヤが触覚効果を通じて提示される閾値に到達する。

一部の例は、ユーザ相互作用に基づいて追加の触覚テクスチャ効果を提供してもよい。例えば、図８Ａを参照すると、２つの異なる触覚対応ソフトウェアアプリケーション８１０、８２０が示されている。第１のソフトウェアアプリケーション８１０は、異なるテクスチャを感じるためにユーザが触覚的に相互作用することができる異なるタイプの皮膚又は毛皮を有する複数の異なる動物をユーザに提示する。例えば、ユーザが力感知面を介して羊と相互作用する場合、システム２００は、羊毛をエミュレートするために柔軟性又は展性を感じる変形効果を、又は狼の硬い毛に対しては粗いテクスチャ、又は金魚に対しては滑らかな又は滑りやすい（例えば、低摩擦の）テクスチャ、又はアルマジロの殻に対しては畝のあるテクスチャをユーザに出力してもよい。

更に、システム２００は、ユーザが力感知面（例えば、タッチセンサ式ディスプレイ２５０）をより強く押すと、効果の強度を増加させるように構成される。例えば、システム２００は、触覚効果の強度を調節するために以下のマッピング関数を利用してもよい。

式１において、Ｖは触覚出力装置２４０、２８０に対する出力電圧に対応し、Ｆ（…）はテクスチャ又は他のレンダリング効果を識別し、ｋ（Ｐ）は力Ｐを０．０から１．０の間の値にマッピングするマッピング関数を提供する。一部の例では、以下の関数のような異なる関数が使用されてもよい。

式２において、Ｖは触覚出力装置２４０、２８０に対する出力電圧に対応し、Ｆ（…）及びＧ（…）はテクスチャ又は他のレンダリング効果を提供し、ｋ（Ｐ）は力Ｐを０．０から１．０の間の値にマッピングするマッピング関数を提供する。他の例が追加のテクスチャ又はレンダリング効果関数、又はこれらの効果関数の間の異なる重み付け関係を提供してもよい。

図８Ａに示された第２のソフトウェアアプリケーション８２０において、ユーザは、片方又は両方の縄を切断するために表示された鋸を操作することが可能であってもよい。一例では、鋸を操作するために、ユーザは、鋸を押して、鋸で切る動作で指を前後に動かしてもよい。別の例では、鋸を操作するために、ユーザは、特定の力の量で操作子（例えば、マウス他はジョイスティックのボタン）と相互作用している間、鋸で切る動作で力感知面（例えば、マウス又はジョイスティック）を前後に動かしてもよい。これは、仮想鋸を前後に移動させてもよい。システム２００は、ユーザが鋸で切る速さに基づきながら、ユーザにより力感知面に加えられる力にも基づいて振動又は摩擦効果を提供する。ユーザが力感知面に加えられる力を増加させると、鋸は、縄により深く切り込み、それによりユーザは、鋸がより多くの力を発揮していること又は縄のより多くの繊維が切られていることを示すために、増加した摩擦、又は増加した振動を感じてもよい。また、第２のソフトウェアアプリケーション８２０による例は、先に検討された第１のソフトウェアアプリケーション８１０に関して使用されたものと同様のマッピング式を利用してもよい。そして、このソフトウェアアプリケーションは鋸の使用を含んでいるが、描画又はペイントアプリケーション等の他のアプリケーション、又はツールを利用する他のアプリケーションが、ユーザによる各ツール（例えば、ペン又はペイントブラシ）の操作及びツールに加えられる力に基づいて類似の効果及び応答を提供してもよい。

次に図８Ｂを参照すると、力ベースのオブジェクト操作及び触覚的感覚を提供するための３つの追加のソフトウェアアプリケーション８５０、８６０、８７０が示されている。ソフトウェアアプリケーション８５０は、最初に、氷又は霜に包み込まれたビッグフットの画像を表示し、ユーザは霜を擦り取ることにより彼を解放することができる。一部の例では、ユーザがスクリーンを横断して前後に指を軽くドラッグしたときに、霜は擦り取られないが、ユーザは指を氷の上で滑らせることをエミュレートする円滑な均一のテクスチャ又は低減された摩擦を感じてもよい。ユーザは、霜を擦り取るために力を僅かに増加させると、指が霜を擦り取る感覚をエミュレートするために、ＥＳＦ出力装置により提供される軽度の摩擦力及びアクチュエータにより提供される低振幅振動を感じる。ユーザが接触力を増加させると、システム２００は、上記式２に示されたようなマップ関数を利用して、触覚効果の強度を増加させ、これは霜の不規則性等、十分な力が加えられたときにのみ提示される触覚効果の態様をトリガしてもよい。例えば、Ｆ（…）は摩擦効果に対応してもよく、一方でＧ（…）は振動効果に対応してもよい。更に、より大量の霜が除去されてもよい。

ソフトウェアアプリケーション８６０において、システム２００は、一見均一な砂のフィールドをユーザに表示し、それは硬質の畝の有る表面上にオーバレイされている。即ち、下方の仮想オブジェクト（例えば、硬い、剛性面）が、上方の仮想オブジェクト（例えば、砂のフィールド）の下にレイヤ化され得る。一部の例では、ユーザが表面と相互作用すると（例えば、指を軽くドラッグすると）、システム２００は、上方の仮想オブジェクトの特徴（例えば、テクスチャ）に関係付けられる触覚効果を生成し且つ出力する。例えば、システム２００は、粒子の粗い又は砂利のテクスチャを含む触覚効果等、砂のフィールドに関係付けられるテクスチャ効果を生成し且つ出力してもよい。このような効果は、ＥＳＦ又は変形可能な触覚出力装置によって提供されてもよい。ユーザがより大きな強度で表面に力を加える場合、システム２００は、下方の仮想オブジェクトに関係付けられる１つ以上の触覚効果を生成し且つ出力してもよい。例えば、ユーザが接触力を増加させると、下に有る硬質面がテクスチャ効果の変化から明らかになる。この例示では、単に、式１においてスケーリング係数を変更するのではなく、システム２００は、式２に遷移すること等により、第２の触覚テクスチャを追加する。しかしながら、一部の例では、システム２００は、常に式２を用い、その代りに最小の力より低い硬質面に対応するテクスチャ効果にゼロの重量を提供してもよい。従って、ユーザは、視覚的に提示されない情報の存在、即ち、砂の下の硬質面の存在を触覚的に決定することが可能である。

ソフトウェアアプリケーション８７０は、ユーザが最初に第１のテクスチャを提示される点でソフトウェアアプリケーション８６０のそれと類似の機能を提供する。この例示では、第１のテクスチャは、ゼラチンの感覚をエミュレートするために柔らかい又はグニャグニャする感覚を提供する変形効果であってもよい。しかしながら、ゼラチン内の所定の領域において、図８Ｂに示されている豆等の硬質オブジェクトが存在してもよい。場合によっては、オブジェクトは可視であってもよいが、他の場合はそうでなくてもよい。一部の例では、ユーザがディスプレイスクリーン上で指をドラッグして豆に遭遇すると、触覚効果の性質が豆の存在を示すように変化してもよい。例えば、ユーザが力を増加させながら押すと、システム２００は、ゼラチンに対応する柔らかな変形による囲まれている豆の存在を示すためにより堅い変形を出力する。一部の例では、堅い変形のサイズは豆のサイズに対応してもよいが、他の例では、ユーザの接触が豆の場所に対応する限り、硬い変形効果が提供される。

次に図９を参照すると、図９は本開示の例による力ベースのオブジェクト操作及び触覚的感覚のための方法９００を示す。図９は、図１Ｂに示されたシステム２００によって実行されるソフトウェアアプリケーションに関して記載される。しかしながら、本明細書に記載の方法は、図１Ｂに示されたシステムのみによる実行に限定されるのではなく、本開示による任意の適切なシステムによって実行されてもよい。

図９に示された方法９００はブロック９１０で開始し、システム２００は、力感知面とのユーザ相互作用を示す１つ以上の信号を受信し、１つ以上の信号は第１の力及び／又は第１の場所を含む。信号はタッチセンサ式ディスプレイ２５０又は力センサ２９０からであってもよい。例えば、ユーザがタッチセンサ式ディスプレイ２５０にタッチすると、力感知面は、接触の場所及び接触の力の量を示す１つ以上の信号を提供してもよい。一部の例では、先に検討されたように、システム２００は、接触の場所を示す信号を提供するタッチセンサ式ディスプレイ２５０、及び力情報を提供する別個の力センサ２９０を含んでもよい。従って、複数の信号がシステム２００によって受信され且つ使用されてもよい。一部の例では、単一の信号が場所情報及び力情報の両方を含んでもよい。１つ以上の信号を受信した後で、方法９００は、ブロック９２０に進む。

ブロック９２０において、システム２００は、ユーザとシステム２００との間の相互作用を決定する。このような相互作用は、システム２００とユーザの実質的に任意の相互作用を含んでもよい。例えば、ユーザは、タッチセンサ式ディスプレイ２５０上である場所から別の場所にアイコンを移動させたい場合がある。このような例では、ユーザは、タッチセンサ式ディスプレイ２５０上に位置するアイコンを押してもよい。ユーザがタッチセンサ式ディスプレイ２５０上で力を増加させると、ユーザの接触は、ユーザがアイコンを移動しようとしていることをシステム２００が決定する閾値を通過してもよい。次に、方法９００はブロック９３０に進む。

ブロック９３０において、ユーザがアイコンを移動しようとしていることを決定した後で、システム２００は、短いディテント（ｄｅｔｅｎｔ）効果等の触覚効果を出力する。次に、方法９００はブロック９１０に戻って、再びブロック９２０に進む。ブロック９２０の第２の反復において、ユーザは、スクリーン上の新しい場所に指を移動させる。この場合、ユーザがアイコンを「ピックアップ」したので、システム２００は、ユーザの指の動作に従うことによりアイコンを新しい場所に移動させる。方法９００は再びブロック９３０に進む。ブロック９３０において、システム２００は、（例えば、ＥＳＦ又はＵＳＦ触覚出力装置を介して）タッチセンサ式ディスプレイ２５０上の摩擦力を低減させる等、アイコンの移動を容易にするための触覚効果を提供する。再び、方法はブロック９１０に戻る。

ブロック９１０において、システム２００は、ユーザ相互作用信号を受信し続ける。これは、力感知面（例えば、タッチセンサ式ディスプレイ２５０）とのユーザの継続的な接触からもたらされてもよく、ブロック９２０に進む。しかしながら、この時点で、ユーザは力感知面上の力を低減させるが、新しい場所にアイコンを「ドロップ」するために、力感知面から指を完全に離さない。システム２００はユーザの接触力がアイコンの移動を許す閾値を下回ったことを決定し、システム２００はアイコンがドロップされていることを決定する。方法９００はブロック９３０に進み、システム２００は、短いディテント等の別の触覚効果を出力する。これは、移動動作の完了を示してもよい。その後、方法９００は、再びブロック９１０に戻り、システム２００との継続的な相互作用を待つ。

上記の例は、本開示によるシステムとの力ベースの相互作用の使用の例である。しかしながら、他の力ベースの相互作用も考えられる。例えば、ユーザは、３次元環境内でカーソルを移動させるために力を使用してもよい。このような例では、タッチセンサ式ディスプレイ２５０上の側方運動が環境内のＸ及びＹ軸の移動に対応してもよく、一方で増加した又は低減された力はＺ軸のレートベースの移動をもたらしてもよい。Ｚ軸に沿う正と負の移動を区別するために、システム２００は、異なる振動性の又は他の触覚効果を出力してもよい。又は、システム２００は、Ｚ軸の位置をユーザが維持するのを支援するためにＺ軸の移動が起こらないが、Ｘ又はＹ軸では側方に移動する中点力で触覚効果を出力してもよい。

更なる例では、システム２００は、長時間の間アイドルでいた後で装置を解除するための強化機能を提供してもよい。例えば、非アクティブ期間の後で、システム２００は、不正使用を防ぐために自身をロックしてもよい。装置を解除するために、ユーザはパスコードを入力してもよい。代替的に、ユーザは、力ベースのジェスチャを行ってもよい。例えば、ユーザはスクリーン上で指を左右にスワイプし、間断なく３回強く押して、装置を解除してもよい。又は、このような力ベースのジェスチャは、従来の動作ベースのジェスチャと組み合わされてもよい。例えば、ユーザは、タッチセンサ式ディスプレイ２５０上でジグザグパターンでスワイプし、方向を変化する度に強く押して、装置を解除してもよい。

更に、このような解除機構は、ユーザの力の使用を支援するために触覚を組み込んでもよい。例えば、力強化スワイプジェスチャを行う場合、１つの例は３つの異なる力レベル「バンド」に対応する３つの異なる触覚テクスチャのうち１つを提供してもよい。この例示では、テクスチャは、ユーザが低い力バンドから高い力バンドに遷移すると、テクスチャは「粒子の粗さ（ｇｒｉｔｔｉｎｅｓｓ）」を増す。一部の例では、システムは、力バンドの変化を示すために短いディテントを出力してもよい。従って、ユーザは、適切な量の力を加えようとするときに装置により支援される。また、このような例は、触覚応答のシーケンスとして、更に又は異なる力バンドに対応する数のシーケンスとして、ユーザが力シーケンスを記憶するのを支援してもよい。例えば、ユーザの力コードは、３つの力バンドの各々に対応するように、１，２，３，２，３，１と覚え易いように思い出されてもよい。この例示では３つの力バンドが使用されているが、一部の例はより多くの又は少ない数の力バンドを利用してもよい。

一部の例では、接触力は、ビデオゲームをプレイするのに不可欠な部分であってもよい。例えば、ゴルフゲームをプレイしているユーザは、バックスイングを引き起こすために最初に一方向にスワイプし、次にクラブを反対方向にスイングすることによりクラブをスイングしてもよい。また、ゲームを向上させるために、ユーザは、ボールを打つためにユーザの指がボールを通過する瞬間に強く押すことをスイング中に要求されてもよい。より正確にユーザの大きな力の接触がボールの場所に対応するほど、ボールの打撃がより正確になってもよく、又はドライバーショットがより長距離になってもよい。ユーザがスイングを行うのを支援するために、例は、ゴルフスイングの態様に対応する触覚効果を提供してもよい。例えば、触覚効果は、スイングの「品質」に基づいてユーザに触覚フィードバック提供してもよい。このような例では、ユーザがバックスイングにおいてクラブヘッドを後ろに引くと、ユーザは特定の経路に従うこと又は特定のタイミングで適切な力を加えることを要求されてもよい。システム２００は、正確なバックスイング経路に沿って摩擦を低減させ、力点でテクスチャを提供する等の触覚効果を出力してもよい。更に、力点において、システム２００は、ユーザが正確な量の力を加えるのを支援するように構成される触覚効果を出力してもよい。例えば、力点に到達すると、ユーザは、システム２００がディテントを出力するまで力を増加させてもよく、この点でユーザはバックスイング動作を継続してもよい。更に、スイング及びボールとの接触の間に、ユーザは、ボールを打つための力を増加させてもよく、ボールに加えられる力の精度及び力の場所に基づいて振幅が変化する振動効果等の即時触覚フィードバックを受信してもよい。

更に、バックスイングと同様に、システム２００は、ユーザが適切な場所に増加した力を加えるのを支援するためにボールの場所にテクスチャ効果を提供してもよい。更に、システム２００は、ボールを打つ力の量に対応してボールにおいて１つ以上の力アクティブ化振動ディテントを提供してもよい。従って、ユーザは、様々なレベルの力を加えることによりシステム２００と相互作用してもよいが、所定のタスクを行っている間にユーザを案内するためだけでなく、ユーザが適量の力を加えるのを支援するために触覚フィードバックを受信してもよい。

ユーザが本開示によるシステム２００との相互作用に力変化を組み込むのを許可することに加えて、一部の例はこのような力ベースの操作の間にユーザを支援してもよい。例えば、ユーザがタッチセンサ式ディスプレイ２５０との接触力を増加させると、システム２００は、滑動摩擦係数を低減させるように構成される触覚効果を出力してもよい。これは、ユーザが装置上でより容易に指をドラッグすることを可能にしてもよい。一例では、システム２００は、ユーザにより装置に加えられる力に正比例して触覚効果を増加させる。このような機能は、装置の表面で指を移動させるために増加した横力を加えることなく、ユーザが装置に大きな力をより容易に加えることを可能にしてもよい。他の例では、システム２００は、対数尺度等の別のアルゴリズムに接触力を適用することにより触覚効果の振幅を変化させてもよい。一部の例では、システム２００は、装置によって感知される増加した力を示すためにタッチセンサ式ディスプレイ２５０に変化するテクスチャを加えてもよい。このような変化するテクスチャは、ユーザが接触力を増加し続ける場合に、上記の操作モード等の異なる相互作用モードに潜在的に入り得ることをユーザに示してもよい。

本明細書に記載の方法及びシステムは様々な機械で実行するソフトウェアに関して記載されているが、方法及びシステムは、例えば、様々な方法を特別に実行するためのＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）等の特別に構成されたハードウェアとして実装されてもよい。例えば、例は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア若しくはこれらの組み合わせで実装され得る。一例では、装置は、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。例えば、画像を編集するために１つ以上のコンピュータプログラムを実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得るコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の例は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる電子、光学、磁気又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピーディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本発明の一部の例の上記の説明は、例示及び説明のためにのみ示されているのであって、網羅的であること又は開示された厳密な形態に本発明を限定することは意図されていない。その多くの修正及び適合が、本発明の精神及び範囲から逸脱することなく当業者には明らかであろう。

本明細書における「一例」又は「ある例」への言及は、特定の機能、構造、操作、又は例と関連して記載される他の特徴が本発明の少なくとも１つの実装に含まれ得ることを意味する。本発明は、このように記載された特定の例に制限されない。明細書の様々な場所における「一例において」又は「ある例において」という句の出現は、必ずしも同じ例への言及ではない。任意の特定の機能、構造、操作、又は「一例」に関連する本明細書に記載の他の特徴は、他の機能、構造、操作、又は任意の他の例に関して記載された他の特徴と組み合わされてもよい。

Claims (15)

1. プロセッサによって、少なくとも１つのセンサから、表面との相互作用の位置及び力を示す１つ以上の信号を受信するステップと、
   前記プロセッサによって、前記相互作用の位置がディスプレイスクリーン上に表示されたオブジェクトに対応することを決定するステップと、
   前記プロセッサによって、前記力が増加することに応答して詳細を高めて又は前記力が減少することに応答して詳細を低めて前記オブジェクトのテクスチャをシミュレートするように構成される触覚効果を触覚出力装置に出力させるステップと
   を含み、
   前記触覚効果は、（ｉ）触覚効果に関連付けられる触覚関数と（ｉｉ）前記力を値にマッピングするマッピング関数との間の関係に基づいて生成される、方法。
2. 前記力が力閾値を下回ることに応答して、複数のレイヤを有するグラフィカルユーザインターフェース（ＧＵＩ）の第１のレイヤを前記ディスプレイスクリーン上に表示させるように構成される第１のレイヤ信号を生成するステップと、
   前記力が前記力閾値に一致するか又は超えることに応答して、前記ＧＵＩの第２のレイヤを前記ディスプレイスクリーン上に表示させるように構成される第２のレイヤ信号を生成するステップと
   をさらに含む、請求項１に記載の方法。
3. 前記力閾値は第１の力閾値であり、前記方法は、
   前記力が前記第１の力閾値と前記第１の力閾値よりも大きい第２の力閾値との両方に一致するか又は超えるかどうかを決定するステップと、
   前記力が前記第１の力閾値と前記第２の力閾値との両方に一致するか又は超えることを決定することに応答して、
   前記ＧＵＩの第３のレイヤを前記ディスプレイスクリーン上に表示させるように構成される第３のレイヤ信号を生成するステップであって、前記第３のレイヤは前記第１のレイヤ及び前記第２のレイヤとは異なるステップ、及び
   前記第３のレイヤ信号を前記ディスプレイスクリーンに送信するステップと
   をさらに含む、請求項２に記載の方法。
4. 前記第２のレイヤ及び前記第３のレイヤは、前記オブジェクトの異なるビューを視覚的に表す、請求項３に記載の方法。
5. 前記触覚効果は第１の触覚効果であり、前記関係は、前記第１の触覚効果とは異なる第２の触覚効果に関連付けられる第２の触覚関数をさらに含む、請求項１に記載の方法。
6. 前記相互作用の位置が前記オブジェクトに対応すること及び前記力が力閾値を下回ることに応答して、前記オブジェクトの第１のレイヤの第１の特徴をシミュレートするように構成される第１の触覚効果を出力するステップと、
   前記相互作用の位置が前記オブジェクトに対応すること及び前記力が前記力閾値に一致するか又は超えることに応答して、（ｉ）前記第１のレイヤの表面下に配置された仮想アイテム、又は（ｉｉ）前記第１のレイヤの下に配置された第２のレイヤの第２の特徴をシミュレートするように構成される第２の触覚効果を出力するステップと
   をさらに含む、請求項１に記載の方法。
7. 前記第２の特徴は、前記第１のレイヤの前記表面下に配置された前記仮想アイテムのテクスチャを含む、請求項６に記載の方法。
8. 前記第２の特徴は、前記第１のレイヤの下に配置された前記第２のレイヤのテクスチャを含む、請求項６に記載の方法。
9. 前記第１の特徴は第１のテクスチャを含み、前記第２の特徴は第２のテクスチャを含む、請求項６に記載の方法。
10. 前記力閾値は、ユーザの使用パターンに基づいて経時的に修正される、請求項６に記載の方法。
11. 前記オブジェクトの第１のレイヤをシミュレートする第１の触覚効果と前記オブジェクトの第２のレイヤをシミュレートする第２の触覚効果との混合を前記触覚出力装置に出力させるステップをさらに含む、請求項１に記載の方法。
12. 前記オブジェクトの前記第２のレイヤは、前記オブジェクトの前記第１のレイヤの下に配置される、請求項１１に記載の方法。
13. 前記オブジェクトのレイヤをシミュレートする第１の触覚効果と前記オブジェクト内に配置される仮想アイテムをシミュレートする第２の触覚効果との混合を前記触覚出力装置に出力させるステップをさらに含む、請求項１に記載の方法。
14. プロセッサによって実行可能なプログラムコードを含む非一時的なコンピュータ可読媒体であって、前記プログラムコードは、請求項１〜１３のいずれか１項に記載の方法を前記プロセッサに行わせる、非一時的なコンピュータ可読媒体。
15. プロセッサと、
    前記プロセッサによって実行可能なプログラムコードが記憶されるメモリであって、前記プログラムコードは、請求項１〜１３のいずれか１項に記載の方法を前記プロセッサに行わせるメモリと
    を備える、システム。

Images