JP6670884B2 - 触覚使用可能な適合的及び多面的ディスプレイのためのシステム及び方法 - Google Patents

Description

本発明は、ユーザインターフェース装置の分野に関する。より詳細には、本発明は、触覚使用可能な適合的及び多面的ディスプレイに関する。
（関連出願の参照）
本出願は、２０１３年４月２６日に提出され、“Ｈａｐｔｉｃ Ａｕｇｍｅｎｔａｔｉｏｎ ｏｆ Ｃｏｎｔｉｎｕｏｕｓ Ｉｎｔｅｒａｃｔｉｏｎｓ ｗｉｔｈ Ｂｅｎｄａｂｌｅ Ｄｉｓｐｌａｙｓ”と題された米国仮特許出願第６１／８１６６０５号への優先権を主張し、その全体は参照により本明細書に組み込まれる。

コンピュータベースのシステムがより普及してきており、人間がこうしたシステムと相互作用するインターフェースの品質がますます重要になってきている。直感的且つ相互作用可能な特性のため人気があるインターフェースはタッチスクリーンディスプレイである。タッチスクリーンディスプレイを介して、ユーザの指でタッチスクリーンの領域に接触することによりユーザは様々なタスクを実行することができる。より直感的且つ向上したユーザ体験を生み出すために、設計者は多くの場合、物理相互作用のユーザ体験を利用する。これは、一般には、視覚、聴覚及び／又は触覚フィードバックを通して物理世界との相互作用の一部の態様を再現することによって行われる。多くの場合、触覚フィードバックは、機械的な振動又は摩擦係数の知覚の変化の形態をとる。最近、多面的タッチスクリーンディスプレイ及び恒久的な適合的タッチスクリーンディスプレイが開発されている。
従って、こうした多面的及び恒久的な適合的タッチスクリーンディスプレイに対して触覚効果を提供する要求がある。

本開示の実施形態は、触覚使用可能な適合的及び多面的ディスプレイを備えるコンピュータ装置を含む。一実施形態では、本開示のシステムは、タッチセンサ面を含み、タッチセンサ面は第１の平面にある第１のディスプレイと、第１の表面に隣接する第２の表面であって、第１の平面とは異なる第２の平面にある第２の表面とを含んでもよい。また、例示的なシステムは、触覚信号を受信して、触覚効果を出力するように構成される触覚出力装置を含んでもよい。更に、例示的なシステムは、触覚出力装置及びタッチセンサ面に結合されるプロセッサを含み、プロセッサは、イベントを決定すること、イベントに少なくとも部分的に基づいて触覚効果を決定すること、触覚効果に少なくとも部分的に基づいて触覚信号を決定すること、及び触覚出力装置に触覚効果に関係付けられる触覚信号を送信することを行うように構成されてもよい。

別の実施形態では、本開示の方法は、イベントを決定するステップと、イベントに少なくとも部分的に基づいて触覚効果を決定するステップと、触覚効果に少なくとも部分的に基づいて触覚信号を決定するステップと、及び触覚出力装置に触覚効果に関係付けられる触覚信号を送信するステップとを含み、触覚出力装置はタッチセンサ面に触覚効果を出力するように構成されてもよい。一実施形態では、タッチセンサ面は、第１の平面にある第１の表面と、第１の表面に隣接する第２の表面であって、第１の平面とは異なる第２の平面にある第２の表面とを含む。更に別の実施形態は、このような方法を実行するためのコンピュータ可読媒体を含む。

この例示の実施形態は、本主題の限界を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
一実施形態による触覚使用可能な適合的及び多面的ディスプレイを提供する ためのシステムを示すブロック図である。 触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの 一実施形態を示す。 触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの 別の実施形態を示す。 触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの 別の実施形態を示す。 触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの 別の実施形態を示す。 触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの 別の実施形態を示す。 一実施形態による触覚使用可能な適合的及び多面的ディスプレイを提供する ための方法を実行するためのステップの流れ図である。

次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

（触覚使用可能な適合的及び多面的ディスプレイの例示）
本開示の１つの例示的な実施形態は、タブレット等の移動装置を含む。移動装置は、タッチスクリーンディスプレイ、メモリ、及びこうした要素の各々と通信するプロセッサを備える。

例示の実施形態では、タッチスクリーンディスプレイは、恒久的に適合したディスプレイ（以下、「適合的ディスプレイ」という）を含む。適合的ディスプレイは、非平坦形状に適合され且つ実質的にその形状に固定されるディスプレイである。例えば、例示的な実施形態では、タッチスクリーンディスプレイは、移動装置の前面及び側部を包み込むように、移動装置の表面に適合される。即ち、例示の実施形態では、タッチスクリーンディスプレイは、移動装置の前面及び側部の一部を覆う。

例示的な実施形態では、移動装置は、タッチスクリーンディスプレイに仮想オブジェクト、例えば、仮想コーヒーカップを出力する。適合的ディスプレイの曲率のおかげで、ユーザは、仮想オブジェクトの前面及び側部を知覚してもよい（即ち、ユーザは１８０度の視野を知覚してもよい）。例えば、ユーザは、移動装置の前面を覆うタッチスクリーンディスプレイの一部に仮想コーヒーカップの上端を知覚してもよい。更に、ユーザは、移動装置の側部に適合したタッチスクリーンディスプレイの側部に仮想コーヒーカップの側部を知覚してもよい。更に、ユーザは、移動装置の前面及び側部の間を遷移するタッチスクリーンディスプレイの部分に仮想コーヒーカップの縁を知覚してもよい。

移動装置は、触覚出力装置を更に備える。触覚出力装置は、移動装置から信号を受信して、ユーザに触覚効果を出力する。移動装置は、イベントの発生に応じて触覚効果を出力するように構成される。本明細書で使用されるイベントは、関連する触覚効果を含む可能性がある装置の動作の間に発生する任意の相互作用、アクション、衝突、又は他のイベントである。一部の実施形態では、イベントは、ユーザ入力（例えば、実際の若しくは仮想のボタンとの相互作用、ジョイスティックを操作すること、タッチ面と相互作用すること、又はコンピュータ装置を傾け若しくは方向付けること）、システム状態（例えば、バッテリ低下、メモリ低下、又はシステムが着呼を受信するのに基づいて生成される通知等のシステム通知）、送信データ、受信データ、又はプログラムイベントを含んでもよい（例えば、プログラムがゲームであれば、プログラムイベントは爆発、衝突又はゲームオブジェクト間の相互作用、又は新たなレベルに進むことを含んでもよい）。

例えば、例示の実施形態では、ユーザは、それぞれ移動装置の前面又は側部を覆うタッチスクリーンディスプレイの一部にタッチすることによって仮想コーヒーカップの上端又は側部と相互作用してもよい。例示の実施形態では、ユーザ相互作用に応じて、移動装置は触覚効果を出力する。例えば、例示の実施形態では、ユーザが仮想コーヒーカップの上端と相互作用すると、移動装置は、タッチスクリーンディスプレイの表面において知覚される摩擦係数を減少させるように構成される触覚効果を出力してもよい。タッチスクリーンディスプレイの表面において知覚される摩擦係数を減少させることは、例えば、空のコーヒーカップ内の空気又はコーヒーカップの内側のホットコーヒーから来る蒸気をシミュレートしてもよい。更に、例示の実施形態では、ユーザが仮想コーヒーカップの縁と相互作用すると、移動装置は、知覚される摩擦係数を増加させるように構成される触覚効果を出力してもよい。タッチスクリーンディスプレイの表面で知覚される摩擦係数を増加させることは、磁器のコーヒーカップの縁をシミュレートしてもよい。更に、例示の実施形態では、ユーザが、例えば、***したグラフィックデザインを含み得る仮想コーヒーカップの側部と相互作用すると、移動装置は、グラフィックデザインをシミュレートするように構成される１つ以上の触覚効果（例えば、振動又は擬似テクスチャ）を出力してもよい。

上記の例示的な実施形態の記載は、単に例示として提供される。本発明の他の様々な実施形態が本明細書に記載されており、このような実施形態の変形は当業者により理解されるであろう。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

（触覚使用可能な適合的及び多面的ディスプレイのための例示的なシステム）
図１は、一実施形態による触覚使用可能な適合的及び多面的ディスプレイのためのシステム１００を示すブロック図である。図示の実施形態では、システム１００は、バス１０６を介して他のハードウェアと通信するプロセッサ１０２を有するコンピュータ装置１０１を含む。コンピュータ装置１０１は、例えば、スマートフォン、タブレット、Ｅリーダ、ラップトップコンピュータ、デスクトップコンピュータ、ゲームコンソール、ゲームコントローラ、医療装置、自動車コンピュータ、携帯型ゲーム装置、又は腕時計、リストバンド、指輪、ブレスレット又はアンクレット等の装着可能装置を含んでもよい。

ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置１０１の動作を構成するプログラム要素を具現化する。図示の実施形態では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び記憶装置１１４を更に含む。

ネットワーク装置１１０は、ネットワーク接続を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

Ｉ／Ｏ構成要素１１２は、１つ以上のディスプレイ、ゲームコントローラ、キーボード、マウス、ジョイスティック、カメラ、ボタン、スピーカ、マイクロホン、及び／又はデータの入力若しくは出力に使用される他のハードウェア等の装置への有線又は無線の接続を容易にするために使用されてもよい。記憶装置１１４は、装置１０１に含まれ又はプロセッサ１０２に結合される磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。

システム１００は、この例示では、コンピュータ装置１０１に統合されるタッチセンサ面１１６を更に含む。タッチセンサ面１１６は、ユーザの触覚入力を感知するように構成される任意の表面を含む。タッチセンサ面１１６は、タッチセンサ式ディスプレイを含んでもよい。例えば、タッチセンサ面１１６は、ディスプレイ及び実際のディスプレイ要素上に１つ以上の材料層を含んでもよい。１つ以上のタッチセンサ１０８は、物体がタッチセンサ面１１６に接触する場合に接触領域における接触を検出して、プロセッサ１０２によって使用される適切なデータを提供するように構成される。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチセンサ面１１６に組み込まれて、タッチの場所及び圧力、速さ、及び／又は方向等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するために、タッチセンサ面１１６のビューを備える光学センサが使用されてもよい。

他の実施形態では、タッチセンサ１０８は、ＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチセンサ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ指検出器を含んでもよい。一部の実施形態では、プロセッサ１０２は単一のセンサ１０８と通信し、他の実施形態では、プロセッサ１０２は複数のセンサ１０８、例えば、第１のタッチスクリーン及び第２のタッチスクリーンと通信する。タッチセンサ１０８は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ１０２に信号を送信するように構成される。一部の実施形態では、タッチセンサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、タッチセンサ１０８は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。

一部の実施形態では、タッチセンサ面１１６は、適合的ディスプレイ、例えば、図２に示される適合的ディスプレイを含んでもよい。図２に示される実施形態では、適合的ディスプレイ２００は、第１のディスプレイ表面２０２を含む。また、適合的ディスプレイ２００は、第１のディスプレイ表面２０２と第２のディスプレイ表面２０６との間を物理的に遷移して接続するディスプレイ遷移帯２０４を含む。第２のディスプレイ表面２０６は、第１のディスプレイ表面２０２に隣接して、第１のディスプレイ表面２０２とは異なる平面にある。更に、この例示では、適合的ディスプレイ２００は、第１のディスプレイ表面２０２と第３のディスプレイ表面２１０との間を物理的に遷移して接続する別のディスプレイ遷移帯２０８を含む。第３のディスプレイ表面２１０は、第１のディスプレイ表面２０２に隣接して、第１のディスプレイ表面２０２及び／又は第２のディスプレイ表面２０６とは異なる平面にある。一部の実施形態では、ディスプレイ表面（例えば、第１のディスプレイ表面２０２、第２のディスプレイ表面２０６、第３のディスプレイ表面２１０）の大きさ及びディスプレイ遷移帯（例えば、ディスプレイ遷移帯２０４、及びディスプレイ遷移帯２０８）はより大きく又はより小さくてもよい。例えば、一部の実施形態では、ディスプレイ遷移帯２０４及び／又はディスプレイ遷移帯２０８はより大きくてもよく、適合的ディスプレイ２００の曲率より多くを取り囲んでもよい。

一部の実施形態では、ユーザが適合的ディスプレイ２００と相互作用すると、コンピュータ装置は、１つ以上の触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザがディスプレイ遷移帯２０４又は第２のディスプレイ表面２０６と相互作用すると、コンピュータ装置は触覚効果を出力してもよい。例えば、コンピュータ装置は、ユーザによって知覚される適合的ディスプレイ２００の曲率の量を増加させるように構成される触覚効果を出力してもよい。

この例示では、第１のディスプレイ表面２０２は、実質的に平坦な形状を含む。更に、第２のディスプレイ表面２０６及び第３のディスプレイ表面２１０は、それぞれ湾曲した形状を含む。他の実施形態では、ディスプレイ表面の各々（例えば、第１のディスプレイ表面２０２、第２のディスプレイ表面２０６、及び第３のディスプレイ表面２１０）は、実質的に平坦な又は湾曲した形状を含んでもよい。同様に、ディスプレイ遷移帯の各々は、実質的に平坦な形状又は湾曲した形状を含んでもよい。適合的ディスプレイ２００は、任意の構成と共に任意の数のディスプレイ表面及びディスプレイ遷移帯を含んでもよい。

他の実施形態では、タッチセンサ面１１６は、多面的ディスプレイ、例えば、図３に示される多面的ディスプレイを含んでもよい。多面的ディスプレイ３００は、機械的に連結される複数の個別のディスプレイ３０２を含む。個別のディスプレイ３０２の各々は、湾曲した又は平坦な形状を有してもよい。一部の実施形態では、個別のディスプレイ３０２は、可動式ジョイント、例えば、ヒンジによって連結されてもよい。一部の実施形態では、個別のディスプレイ３０２は、屈曲可能又は可撓性の部材、例えば、フィルムヒンジによって連結されてもよい。このような実施形態では、個別のディスプレイ３０２は互いに対して折り曲げることができてもよい。

一部の実施形態では、イベントが発生すると、コンピュータ装置は、１つ以上の個別のディスプレイ３０２及び／又は個別のディスプレイ３０２の間の連結部に１つ以上の触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザが個別のディスプレイ３０２の間の連結部と相互作用すると、コンピュータ装置は触覚効果を出力してもよい。例えば、コンピュータ装置は、振動を含む触覚効果を出力してもよい。

個別のディスプレイ３０２は、１つ以上の仮想オブジェクト３０４を出力してもよい。図３に示される例示において、個別のディスプレイ３０２は、結合されると、全体の仮想オブジェクト３０４を構成する仮想オブジェクト３０４の部分を出力している。他の実施形態では、個別のディスプレイ３０２の各々は、仮想オブジェクトの異なるビュー又は側部を出力してもよい。例えば、一部の実施形態では、多面的ディスプレイ３００は、立方体構造に構成される個別のディスプレイ３０２（例えば、６つの個別のディスプレイ３０２）を含んでもよい。一部の実施形態では、個別のディスプレイ３０２の各々は、仮想オブジェクト（例えば、仮想の人の心臓）の異なるビュー（例えば、上端、底部、右、左、前面及び背面）を出力してもよい。一部の実施形態では、ユーザは、３次元の仮想オブジェクトを知覚してもよい。

図１を再度参照すると、一部の実施形態では、タッチセンサ面１１６は、表面に沿って適合されてもよい。一部の実施形態では、タッチセンサ面１１６は、コンピュータ装置１０１の表面に沿って適合されてもよい。例えば、多面的ディスプレイを含む一部の実施形態では、複数の個別のディスプレイは、タッチセンサ面１１６がコンピュータ装置１０１の表面に沿って適合するように互いに対して折り曲げられてもよい。更に、タッチセンサ面１１６がコンピュータ装置１０１の内部に示されているが、一部の実施形態では、タッチセンサ面１１６は、コンピュータ装置１０１の外部にあってこれと通信してもよい。例えば、一部の実施形態では、タッチセンサ面１１６は、外部装置、例えば、机、椅子、柱、ユーザの体の一部（例えば、くるぶし）、又はキオスクの周囲に適合されてもよい。

コンピュータ装置１０１は、１つ以上の追加のセンサ１３２も備える。センサ１３２は、プロセッサ１０２にセンサ信号を送信するように構成される。一部の実施形態では、センサ１３２は、例えば、ジャイロスコープ、磁力計、加速度計、圧力センサ、歪みゲージ、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）装置、距離センサ、又は深さセンサを含んでもよい。一部の実施形態では、ジャイロスコープ加速度計及びＧＰＳ装置は、それぞれコンピュータ装置１０１の方向、加速度、及び場所を検出してもよい。一部の実施形態では、プロセッサ１０２は単一のセンサ１３２と通信し、他の実施形態では、プロセッサ１０２は複数のセンサ１３２、例えば、ジャイロスコープ又は加速度計と通信してもよい。

システム１００は、プロセッサ１０２と通信する触覚出力装置１１８を更に含む。触覚出力装置１１８は、触覚信号に応答して触覚効果を出力するように構成される。一部の実施形態では、触覚出力装置１１８は、例えば、振動、知覚される摩擦係数の変化、シミュレートされるテクスチャ、知覚される温度の変化、又は表面変形を含む触覚効果を出力するように構成される図１に示される実施形態では、触覚出力装置１１８は、コンピュータ装置１０１の内部にある。他の実施形態では、触覚出力装置１１８は、コンピュータ装置１０１から遠隔にあるが、プロセッサ１０２に通信可能に結合されてもよい。例えば、触覚出力装置１１８は、コンピュータ装置１０１の外部にあり、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はラジオインターフェース等の無線インターフェースを介してコンピュータ装置１０１と通信してもよい。一部の実施形態では、触覚出力装置１１８は、タッチセンサ面１１６に結合されてもよい。

一部の実施形態では、触覚出力装置１１８は、コンピュータ装置１０１又はコンピュータ装置１０１の構成要素、例えば、タッチセンサ面１１６を振動させることによって触覚効果を出力してもよい。このような実施形態では、触覚出力装置１１８は、振動を出力するように構成される触覚出力装置、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、マクロファイバーコンポジット、ソレノイド、偏心回転質量モータ （ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。

一部の実施形態では、触覚出力装置１１８は、例えば、テクスチャをシミュレートする又は触覚信号に応じてタッチセンサ面１１６で知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。一部の実施形態では、触覚出力装置１１８は、超音波アクチュエータを含んでもよい。超音波アクチュエータは、所定の超音波周波数、例えば、２０ｋＨｚで振動して、タッチセンサ面１１６の表面において知覚される係数を増加又は減少してもよい。更に、超音波アクチュエータは、圧電材料を含んでもよい。

他の実施形態では、触覚出力装置１１８は、テクスチャをシミュレートする又はタッチセンサ面１１６で知覚される摩擦係数を変調する触覚効果を出力するために、例えば、静電表面アクチュエータを使用することによって、静電引力を使用してもよい。一部の実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料を含む。絶縁層は、任意の絶縁性材料、例えば、ガラス、プラスチック、又はポリマを含む。更に、プロセッサ１０２は、導電層に電気信号、例えば、ＡＣ信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、ＡＣ信号は、高圧増幅器によって生成されてもよい。一部の実施形態では、電気信号は、導電層と触覚出力装置１１８に近接する又は接触するオブジェクト（例えば、ユーザの指、頭、足、腕、肩、脚、若しくは体の他の部分、又はスタイラス）との間に容量結合を生成してもよい。一部の実施形態では、オブジェクトと導電層との間の引力レベルの変化は、触覚出力装置１１８に関係付けられる表面（例えば、タッチセンサ面１１６）上で動くオブジェクトにおける擬似テクスチャを変化させることができる。

一部の実施形態では、触覚出力装置１１８は、タッチセンサ面１１６の表面又はコンピュータ装置１０１の別の表面を変形させることによって触覚効果を出力するように構成される変形装置を含んでもよい。一部の実施形態では、触覚出力装置１１８は、流体、例えば、スマートゲル（ｓｍａｒｔ ｇｅｌ）を含んでもよい。スマートゲルは、１つ又は複数の刺激（例えば、電解、磁界、温度、紫外線、振動、又はｐＨ変化）に応じて変化する機械又は構造的特性を有する流体を含む。例えば、一部の実施形態では、１つ以上のワイヤがスマートゲルに組み込まれ又は結合されてもよい。電流がワイヤを流れるので、熱が放射されて、スマートゲルを拡張又は収縮させることで、触覚出力装置１１８を変形させる。更に、一部の実施形態では、触覚出力装置１１８は、レオロジー流体（例えば、磁性流体又は電気流体）を含んでもよい。レオロジー流体は、液体（例えば、油又は水）中に懸濁している金属粒子（例えば、鉄粒子）を含んでもよい。電界又は磁界に応じて、液体中の分子の秩序が再編成されてもよく、それにより液体の全体的な制動及び／又は粘度を変更して、触覚出力装置１１８を変形させてもよい。

他の実施形態では、触覚出力装置１１８は、変形要素を回転させるアームに結合されるアクチュエータを含んでもよい。変形要素は、例えば、楕円形、星形、又は波形形状を含んでもよい。変形要素は、所定の回転角度でタッチセンサ面１１６を動かし、それ以外では動かさないように構成されてもよい。アクチュエータは、圧電アクチュエータ、回転／線形アクチュエータ、ソレノイド、電気活性ポリマアクチュエータ、ＭＦＣ（ｍａｃｒｏ
ｆｉｂｅｒ ｃｏｍｐｏｓｉｔｅ）アクチュエータ、形状記憶合金（ＳＭＡ）アクチュエータ、及び／又は他のアクチュエータを含んでもよい。アクチュエータが変形要素を回転させると、変形要素は触覚出力装置１１８の表面を動かすことにより変形を引き起こしてもよい。一部の実施形態では、変形要素は、タッチセンサ面１１６が平坦になる位置で開始してもよい。プロセッサ１０２から信号を受信することに応じて、アクチュエータは変形要素を回転させてもよい。一部の実施形態では、変形要素を回転させることによって、タッチセンサ面１１６の１つ以上の部分が持ち上げられ又は下げられてもよい。一部の実施形態では、変形要素は、元の位置に戻るように変形要素を回転させるようにプロセッサ１０２がアクチュエータに信号を送るまで、この回転した状態で維持されてもよい。

一部の実施形態では、触覚出力装置１１８は、タッチセンサ面１１６の筐体の一部であってもよい。他の実施形態では、触覚出力装置１１８は、タッチセンサ面１１６を覆う可撓性筐体の内部に格納されてもよい。本明細書では単一の触覚出力装置１１８が示されているが、一部の実施形態では、触覚フィードバックを提供するために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び／又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、多数の振動アクチュエータ及び静電表面アクチュエータが単独で又は異なる触覚効果を提供するために同時に使用され得る。

メモリ１０４に関しては、プログラム構成要素１２４、１２６及び１２８は、触覚使用可能な適合的及び多面的ディスプレイを与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、触覚検出モジュール１２４が、タッチの位置を決定するためにタッチセンサ１０８を介してタッチセンサ面１１６を監視するようにプロセッサ１０２を構成する。例えば、触覚検出モジュール１２４は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び／又は経時的なタッチの他の特性を追跡するためにセンサ１０８をサンプリングしてもよい。

触覚効果決定モジュール１２６は、イベントの発生に基づいて触覚効果を決定する。触覚効果決定モジュール１２６は、生成すべき触覚効果を決定するためにデータを分析するプログラム構成要素を表す。例えば、触覚効果決定モジュール１２６は、タッチセンサ面１１６におけるタッチの場所に基づいて、出力すべき触覚効果を決定するコード、及び効果をシミュレートするために提供すべき１つ以上の触覚効果を選択するコードを含んでもよい。例えば、タッチセンサ面１１６（例えば、タッチセンサディスプレイ）における仮想オブジェクト（例えば、仮想植物、自動車、動物、漫画キャラクタ、ボタン、レバー、ロゴ、又は人物）の存在をシミュレートするためにタッチの場所に基づいて異なる触覚効果が選択されてもよい。更に、一部の実施形態では、触覚効果決定モジュール１２６は、仮想オブジェクトの大きさ、色、場所、テクスチャ、動き、及び／又は他の特徴に基づいて、出力すべき触覚効果を決定するコード、及び効果をシミュレートするために提供すべき１つ以上の触覚効果を選択するコードを含んでもよい。触覚効果は、仮想オブジェクトのテクスチャに基づいて選択されてもよい（例えば、仮想オブジェクトのテクスチャに凹凸がある場合に強い振動、及び仮想オブジェクトのテクスチャが滑らかである場合に知覚される摩擦係数の減少）。

一部の実施形態では、触覚効果決定モジュール１２６は、プログラム又はゲームイベントに基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、コンピュータ装置１０１は、ユーザが仮想空間を介して仮想アバターを案内するゲームを含んでもよい。
一部の実施形態では、ユーザの仮想アバターが別の仮想オブジェクト（例えば、仮想壁）に衝突すると、触覚効果決定モジュール１２６は、衝突をシミュレートするように構成される触覚効果を決定してもよい。例えば、触覚効果決定モジュール１２６は、アバターと仮想オブジェクトとの間の衝突の速度に比例する振幅を有する振動を含む触覚効果を決定してもよい。即ち、アバターと仮想オブジェクトとの間の衝突の速度が速いほど、振動の振幅が大きくなる。

他の実施形態では、触覚効果決定モジュール１２６は、センサ１３２から受信したセンサ信号に少なくとも部分的に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、センサ１３２はジャイロスコープを含んでもよい。プロセッサ１０２は、ジャイロスコープからセンサ信号を受信して、コンピュータ装置１０１の方向を決定してもよい。この決定に基づいて、触覚効果決定モジュール１３２は、触覚効果を決定してもよい。
例えば、一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１が９０度傾けられていることを決定してもよい。この決定に基づいて、触覚効果決定モジュール１２６は、例えば、強い振動を含む触覚効果を決定してもよい。

触覚効果生成モジュール１２８は、選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を触覚出力装置１１８に送信させるプログラミングを表す。例えば、触覚効果生成モジュール１２８は、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。別の例示として、触覚効果生成モジュール１２８は、触覚信号を決定するためのアルゴリズムを含んでもよい。触覚効果生成モジュール１２８は、触覚効果に対する目標座標を決定するためのアルゴリズムを含んでもよい。こうした目標座標は、例えば、タッチセンサ面１１６における場所を含んでもよい。

図４は、触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの別の実施形態を示す。システム４００は、コンピュータ装置４０２を含む。一部の実施形態では、コンピュータ装置４０２は、例えば、タブレット、Ｅリーダ、医療装置、ラップトップコンピュータ、デスクトップコンピュータ、キオスク、警報システム、又は車両コンピュータを含んでもよい。この例示では、ハンドヘルド装置４０２はスマートフォンを含む。

コンピュータ装置４０２は、ディスプレイを更に含む。この例示では、ディスプレイは、適合的ディスプレイ４０４を含む。適合的ディスプレイ４０４は、コンピュータ装置４０２の表面の周囲に適合される。即ち、適合的ディスプレイ４０４は、コンピュータ装置４０２の前面及び側部を包み込む。一部の実施形態では、適合的ディスプレイ４０４は、コンピュータ装置４０２の背面、前面及び側部を更に包み込んでもよい。他の実施形態では、ディスプレイは、多面的ディスプレイを含んでもよい。一部の実施形態では、多面的ディスプレイは、コンピュータ装置４０２の表面の周囲に適合されてもよい。

一部の実施形態では、ディスプレイは、１つ以上の仮想オブジェクト４０６（例えば、仮想車両、人、家、家具、植物、動物、ボタン、スライダ、又はメニュー）を出力してもよい。この例示では、適合的ディスプレイ４０４は、煉瓦を含む仮想オブジェクト４０６を出力している。一部の実施形態では、コンピュータ装置４０２の側部の周囲の適合的ディスプレイ４０４における湾曲のおかげで、ユーザは、仮想オブジェクト４０６の前面だけでなく、仮想オブジェクト４０６の側部４１２、４１４も知覚してもよい。即ち、ユーザは、仮想オブジェクト４０６に関係付けられる１８０度の視野を知覚してもよい。

一部の実施形態では、ユーザは、ディスプレイの表面との相互作用（例えば、ジェスチャ、タップ、又は指をスライドさせること）によって仮想オブジェクト４０６と相互作用してもよい。例えば、ユーザは、仮想煉瓦に関係付けられる適合的ディスプレイ４０４の領域に接触することによって仮想煉瓦と相互作用してもよい。更に、一部の実施形態では、ユーザは、コンピュータ装置４０２を傾け、振り、又は動かすことによって仮想オブジェクト４０６及び／又はコンピュータ装置４０２と相互作用してもよい。

ユーザ入力等のイベントの発生に応じて、コンピュータ装置４０２は、１つ以上の触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザが仮想煉瓦の前面４１０と相互作用するときに、コンピュータ装置４０２は触覚効果を出力してもよい。一部の実施形態では、触覚効果は、擬似テクスチャ、例えば、煉瓦のテクスチャを含んでもよい。一部の実施形態では、ユーザが適合的ディスプレイ４０４の前面と左側部との間の遷移帯を横断して指をスライドさせると、コンピュータ装置４０２は、別の触覚効果を出力してもよい。一部の実施形態では、この触覚効果は、適合的ディスプレイ４０４の形状に形成される円滑な湾曲の感覚を別の触覚効果と結合してもよい。例えば、一部の実施形態では、適合的ディスプレイ４０４の自然な湾曲は、例えば、煉瓦の端をシミュレートするように構成されるパルス性の振動を含む触覚効果と結合されてもよい。一部の実施形態では、コンピュータ装置４０２は、適合的ディスプレイ４０４の自然な湾曲の感覚を相殺するために十分に強い触覚効果を出力してもよい。一部の実施形態では、煉瓦のより柔らかい端をシミュレートするために、コンピュータ装置４０２は、例えば、長期間の低振幅振動を含む触覚効果を出力してもよい。煉瓦のより鋭い端をシミュレートするために、コンピュータ装置４０２は、短期間の高振幅振動を出力してもよい。従って、一部の実施形態では、ユーザが適合的ディスプレイ４０４の前面と左側部との間の遷移帯と相互作用すると、ユーザは煉瓦の端を知覚してもよい。

更に、一部の実施形態では、ユーザが適合的ディスプレイ４０４の左側部を横断して指をスライドさせると、コンピュータ装置４０２は、別の触覚効果を出力してもよい。例えば、一部の実施形態では、コンピュータ装置は、ユーザが適合的ディスプレイ４０４の前面と相互作用するときに出力される擬似煉瓦テクスチャよりも粗いとユーザが知覚する擬似煉瓦テクスチャを出力してもよい。仮想オブジェクト、ユーザが相互作用しているディスプレイの領域又は両方の特性に基づいて触覚効果を出力することによって、ユーザは、より現実感のある没入型のユーザ体験を知覚してもよい。

一部の実施形態では、コンピュータ装置４０２は、医療装置を含んでもよい。医療装置は、適合的ディスプレイ４０４を含んでもよい。医療装置は、病状、例えば、心臓又は脳に関係付けられる病状を決定するために使用されてもよい。一部の実施形態では、コンピュータ装置４０２は、病状に関係付けられる仮想オブジェクト４０６、例えば、患者の脳の仮想表現を出力してもよい。患者の脳の仮想表現の特性は、医療処置、例えば、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）スキャンを介して決定されてもよい。

一部の実施形態では、ユーザは、適合的ディスプレイ４０４と相互作用することによって、患者の脳の仮想表現と相互作用してもよい。ユーザ相互作用に応じて、コンピュータ装置４０２は触覚効果を出力してもよい。例えば、コンピュータ装置４０２は、粗い、円滑な、又は凹凸のあるテクスチャ等のテクスチャを含む触覚効果を出力してもよい。一部の実施形態では、触覚効果は、ユーザが相互作用している患者の脳の仮想表現の一部の特性に関係付けられてもよい。例えば、ユーザが仮想脳における凹凸のある領域に関係付けられる適合的ディスプレイ４０４の領域と相互作用する場合に、コンピュータ装置４０２は凹凸のあるテクスチャを出力してもよい。一部の実施形態では、ユーザが仮想脳に関係付けられる適合的ディスプレイ４０４の前面及び側部の領域と相互作用すると、コンピュータ装置４０２は、それぞれ仮想脳の前面及び側部に関係付けられる触覚効果を出力してもよい。従って、一部の実施形態では、ユーザはより現実的に仮想脳の特性を知覚してもよく、それによってユーザはより効果的に病状を決定及び診断することができてもよい。

一部の実施形態では、コンピュータ装置４０２は、プログラムイベントの発生又はシステム状態（例えば、バッテリ低下）に応じて触覚効果を出力してもよい。例えば、一部の実施形態では、コンピュータ装置４０２が新しいＥメールを受信すると、コンピュータ装置４０２は、例えば、適合的ディスプレイ４０４の表面の変形を含む触覚効果を出力してもよい。更に、一部の実施形態では、触覚効果は、プログラムイベントの特性に基づいてもよい。例えば、コンピュータ装置４０２は、受信した新しいＥメールメッセージの数に応じて追加の又は異なる触覚効果（例えば、表面変形の大きさの増加）を出力してもよい。一部の実施形態では、触覚効果は、ディスプレイ４０４の知覚される曲率を変化させるように構成されてもよい。例えば、一部の実施形態では、ユーザは、新しいＥメールがなければディスプレイ４０４の自然な曲率を知覚してもよい。コンピュータ装置４０２が新しいＥメールを受信すると、コンピュータ装置４０２は、例えば、ユーザにディスプレイ４０４の曲率を鋭いと知覚させるように構成される触覚効果を含む触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置４０２は、ユーザによって受信されるＥメールの数に比例してユーザによって知覚されるディスプレイ４０４の鋭さを増加させる（例えば、知覚される曲率を最小化する）ように構成される触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザが適合的ディスプレイ４０４と相互作用すると、コンピュータ装置４０２は、受信したＥメールの数によって、比例的に増加する振幅及び／又は比例的に減少する持続期間を有する振動を含む触覚効果を出力してもよい。

一部の実施形態では、触覚効果は、ディスプレイ上の特定の領域に局所化されてもよい。例えば、触覚効果は、適合的ディスプレイ４０４の左上側部４０８に局所化されてもよい。一部の実施形態では、ユーザは、ディスプレイを見ることなくプログラムイベントの発生を決定することができてもよく、それによって向上したユーザ体験が提供されてもよい。例えば、ユーザが新しいＥメールを有するかどうかを決定するために、ユーザは、例えば、ユーザのポケットに配置され得るコンピュータ装置４０２（例えば、スマートフォン）の左上側部４０８を感じることができてもよい。

図５は、触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの別の実施形態を示す。この例示では、システム５００は、適合的ディスプレイ５０４を観察するユーザ５０２を含む。他の実施形態では、コンピュータ装置は、ユーザ５０２がディスプレイを観察している角度を決定してもよい。

一部の実施形態では、コンピュータ装置は、ユーザ５０２がディスプレイを観察している角度を決定してもよい。一部の実施形態では、コンピュータ装置は、１つ以上のセンサからの信号を介してユーザ５０２の観察角度を決定してもよい。例えば、一部の実施形態では、コンピュータ装置は、カメラ、ジャイロスコープ、又は圧力センサからの信号を介してユーザ５０２がディスプレイを観察し得る角度を決定してもよい。例えば、一部の実施形態では、コンピュータ装置は、カメラ（コンピュータ装置内に配置される前向きのカメラ）から信号を受信して、コンピュータ装置に対するユーザ５０２の頭又は目の位置を決定してもよい。一部の実施形態では、コンピュータ装置は、ジャイロスコープから信号を受信して、コンピュータ装置の方向を決定してもよい。コンピュータ装置は決定された方向を用いて、ユーザ５０２がディスプレイを観察し得る角度を決定してもよい。更に、一部の実施形態では、コンピュータ装置は、１つ以上の圧力センサから信号を受信して、ユーザ５０２がどのようにコンピュータ装置を握っているかを決定してもよい。例えば、コンピュータ装置上のユーザ５０２の指の異なる構成が、異なる圧力センサ測定値に関係付けられてもよい。決定されたユーザ５０２の指の構成に基づいて、コンピュータ装置は、ユーザ５０２がディスプレイを観察している角度を決定してもよい。

一部の実施形態では、コンピュータ装置は、ユーザ５０２が適合的ディスプレイ５０４又は多面的ディスプレイを観察している角度に基づいて触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置は、ユーザ５０２と接する仮想オブジェクトの一部がユーザに対して可視であるかどうかに基づいて触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置は、適合的ディスプレイ５０４又は多面的ディスプレイの一部がユーザに対して可視であるかどうかに基づいて触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザ５０２はコンピュータ装置でゲームをプレイしていてもよい。
ユーザ５０２は、適合的ディスプレイ５０４の前側５０６及び上側５０８（並びに適合的ディスプレイ５０４上に出力される仮想オブジェクトの前及び上側）を知覚できるが、適合的ディスプレイ５０４（又は仮想オブジェクト）の後側５１０を知覚できないように、適合的ディスプレイ５０４を観察していてもよい。一部の実施形態では、ユーザ５０２が適合的ディスプレイの前側５０６又は上側５０８と相互作用すると、コンピュータ装置は、触覚効果（例えば、コンピュータ装置５０４上で知覚される摩擦係数の増加）を出力してもよい。逆に、ユーザ５０２が適合的ディスプレイ５１０の後側５１０と相互作用すると、コンピュータ装置は触覚効果を出力しなくてもよい。一部の実施形態では、仮想オブジェクト又は適合的ディスプレイ５０４の一部がユーザに対して可視的であるかどうかに基づいて触覚効果を出力することは、より困難だが報いのあるゲーム体験を提供してもよい。

図６は、触覚使用可能な適合的及び多面的ディスプレイを提供するためのシステムの別の実施形態を示す。この例では、ディスプレイ６０２は円筒形状である。他の実施形態では、ディスプレイ６０２は、他の形状、例えば、球、立方体、ピラミッド、円錐、プリズム、八面対又は四面体に適合されてもよい。ディスプレイ６０２は、適合的又は多面的ディスプレイを含む。

一部の実施形態では、ディスプレイ６０２は、ユーザによって身につけられるように構成され（例えば、図６に示されるように、ユーザの手首６０４の周囲のブレスレットとして）、及び／又はユーザによって身につけられるように構成される物品に関係付けられてもよい。例えば、一部の実施形態では、ディスプレイ６０２は、ユーザの腕、手首、脚、手、指、足又は頭に身につけられるように構成されてもよい。例えば、ディスプレイ６０２は、指輪、ヘッドバンド、ブレスレット、アンクレット、腕時計、又はリストバンドを含む物品に関係付けられてもよい。

一部の実施形態では、ディスプレイ６０２は、ユーザによって握られ及び／又は把持可能な装置に関係付けられるように構成されてもよい。例えば、一部の実施形態では、ディスプレイ６０２（又は多面的ディスプレイ）は、移動装置、移動装置ホルダ、タブレット、Ｅリーダ、ラップトップ、ゲームパッド、ゲームシステムコントローラ、ハンドル、ジョイスティック、玩具、小立像、又はギアシフトレバーに関係付けられてもよい。

一部の実施形態では、ディスプレイ６０２は、仮想オブジェクト６０６を出力してもよい。この例示では、ディスプレイ６０２は、アバターを含む仮想オブジェクト６０６を出力している。一部の実施形態では、ユーザがディスプレイ６０２を（例えば、ユーザの手首の周りで）回転させると、コンピュータ装置は、仮想オブジェクト６０６の異なるビュー（例えば、側面及び背面ビュー）を出力してもよい。他の実施形態では、ユーザにとって可視であるディスプレイ６０２の一部が仮想オブジェクト６０６の１つのビューを出力してもよいが、ユーザにとって可視でないディスプレイ６０２の一部は仮想オブジェクト６０６の異なるビューを出力してもよい。例えば、図６に示される実施形態では、ユーザにとって可視であるディスプレイ６０２一部は、アバターの前面を出力している。更に、一部の実施形態では、ユーザにとって可視でない（例えば、ユーザの手首の背面に巻き付けられた）ディスプレイ６０２の一部は、アバターの背面を出力してもよい。

一部の実施形態では、イベント（例えば、仮想オブジェクト６０６とのユーザ相互作用）が発生すると、コンピュータ装置は触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザがアバターの前面ビューと相互作用すると、コンピュータ装置は例えば、振動を含む触覚効果を出力してもよい。例えば、一部の実施形態では、ユーザがアバターの背面ビューと相互作用すると、コンピュータ装置は例えば、知覚される摩擦係数の増加を含む触覚効果を出力してもよい。従って、一部の実施形態では、異なる触覚効果が、仮想オブジェクトの異なる側面又はビューに関係付けられてもよい。一部の実施形態では、ディスプレイを見ることなく、仮想オブジェクトのどの側面又はビュー又は一部分にユーザが相互作用し得るかを（触覚効果を介して）決定することができてもよい。

一部の実施形態では、ディスプレイ６０２は、例えば、円筒形であってもよい。例えば、一部の実施形態では、ユーザ６０２は円筒缶の形状にあってもよい。一部の実施形態では、ユーザが仮想オブジェクト６０６を３次元的に知覚するように、ディスプレイ６０２は仮想オブジェクト６０６の全ての側面を出力してもよい。一部の実施形態では、ユーザは、ディスプレイ６０２を介して仮想オブジェクトを制御してもよい。例えば、一部の実施形態では、ユーザがディスプレイ６０２を操作（例えば、傾斜、回転又は移動）すると、仮想オブジェクト６０６の特徴（例えば、仮想位置、方向、色、大きさ、テクスチャ、又は型）が変化してもよい。

更に、一部の実施形態では、コンピュータ装置は、仮想オブジェクトの特徴に部分的に基づいて１つ以上の触覚効果を出力してもよい。一部の実施形態では、コンピュータ装置は、ディスプレイ６０２に出力される仮想オブジェクトの特徴を模倣するように構成される触覚効果を出力してもよい。例えば、一部の実施形態では、仮想オブジェクトは、例えば、小立像を含んでもよい。一部の実施形態では、コンピュータ装置は、小立像の体の部分の位置に基づいて触覚効果を出力してもよい。例えば、一実施形態では、仮想小立像は、体の側面に腕を有してもよい。ユーザがディスプレイ６０２と相互作用すると、コンピュータ装置は、例えば、滑らかな感覚を含む触覚効果を出力してもよい。一部の実施形態では、仮想小立像は、腕を伸ばされていてもよい。ユーザが（例えば、仮想小立像の前面又は背面を出力している）ディスプレイ６０２の前面又は背面と相互作用すると、コンピュータ装置は、例えば、滑らかな感覚を含む触覚効果を出力してもよい。更に、ユーザが（例えば、仮想小立像の伸ばされた腕を出力している）ディスプレイ６０２の側面と相互作用すると、コンピュータ装置は、例えば、シミュレートされた凹凸のあるテクスチャを含む触覚効果を出力してもよい。

（触覚使用可能な適合的及び多面的ディスプレイのための例示的な方法）
図７は、一実施形態による触覚使用可能な適合的及び多面的ディスプレイを提供するための方法を実行するためのステップの流れ図である。一部の実施形態では、図７のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図７に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図７に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたシステムに関して記載された構成要素を参照して記載される。

方法７００は、プロセッサ１０２がイベントを決定すると、ステップ７０２で開始する。一部の実施形態では、イベントは、例えば、（例えば、タッチセンサ面１１６上で指をスライドさせ又はジェスチャを行うことによる）タッチセンサ面１１６又はコンピュータ装置１０１との相互作用、又はプログラムイベント（例えば、ソフトウェアの実行）を含んでもよい。例えば、一部の実施形態では、プロセッサ１０２は、ユーザが仮想オブジェクト（例えば、メニュー）に関係付けられる場所でタッチセンサ面１１６を指でタップする場合にイベントを決定してもよい。一部の実施形態では、プロセッサ１０２は、センサ１３２からの信号を介してイベント（例えば、コンピュータ装置を傾斜又は移動させること）を決定してもよい。

プロセッサ１０２がイベントに少なくとも部分的に基づいて触覚効果を決定すると、ステップ７０４で方法７００は継続する。一部の実施形態では、プロセッサ１０２は、触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングを利用してもよい。一部の実施形態では、触覚効果決定モジュール１２６は、ルックアップテーブルを含んでもよい。一部の実施形態では、プロセッサ１０２は、イベントを特定の触覚効果（例えば、テクスチャ）と関連付けるためにルックアップテーブルを使用してもよい。

例えば、一実施形態イベントは、ゲーム行動（例えば、射撃、レベル遂行、又は爆発）に基づく。一部の実施形態では、コンピュータ装置１０１は、ユーザが所定の目標（例えば、歩行者の周りで車を案内するのに成功すること）を遂行するように制御できる仮想オブジェクト（例えば、仮想車）を出力してもよい。ユーザが目標を遂行すると、コンピュータ装置１０１は関連する触覚効果を決定してもよい。

一部の実施形態では、プロセッサ１０２は、仮想オブジェクトの特徴（例えば、大きさ、形状、色、位置、スケール、方向、内容、又はテクスチャ）に少なくとも部分的に基づいて触覚効果を決定してもよい。例えば、一部の実施形態では、プロセッサ１０２は、タッチセンサ面１１６を介して仮想オブジェクト（例えば、仮想立方体）とのユーザ相互作用を含むイベントを決定してもよい。プロセッサは、ユーザ相互作用及び仮想オブジェクトの特徴、例えば、仮想オブジェクトの大きさ又はテクスチャに基づいて触覚効果を決定してもよい。

一部の実施形態では、ユーザは「触覚プロファイル」を有してもよく、ユーザは、特定のイベントに関係付けられることを希望する触覚効果の「プロファイル」を決定してメモリ１０４に保存することができる。例えば、一実施形態では、ユーザは、こうした触覚効果の１つを利用可能な触覚効果のリストから選択して、コンピュータ装置１０１によって出力される仮想オブジェクトと関係付けることができる。一部の実施形態では、リストは、例えば、激しい振動、軽い振動、表面変形（例えば、タッチセンサ面１１６の表面の一部を***させ又は降下させること）等の触覚効果、又は凹凸がある、弾性がある、若しくは円滑である等のテクスチャを含んでもよい。一部の実施形態では、プロセッサ１０２は、どの触覚効果を生成すべきかを決定するためにユーザの触覚プロファイルを調べてもよい。例えば、ユーザの触覚プロファイルが仮想オブジェクトとの相互作用を激しい振動と関係付ける場合、ユーザが仮想オブジェクトに対してタッチセンサ面１１６上で指を配置することに応答して、プロセッサ１０２は激しい振動を含む触覚効果を決定してもよい。

プロセッサ１０２が触覚効果に少なくとも部分的に基づいて触覚信号を決定すると、ステップ７０６で方法７００は継続する。一部の実施形態では、プロセッサ１０２は、メモリ１０４内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。一実施形態では、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成される。例えば、このような実施形態では、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。

プロセッサ１０２が触覚出力装置１１８に触覚信号を送信すると、ステップ７０８で方法７００は継続する。触覚出力装置１１８は、触覚信号を受信して、触覚効果を出力する。一部の実施形態では、触覚効果は、振動、知覚される摩擦係数の変化、擬似テクスチャ、又は表面変形を含む。

（触覚使用可能な適合的及び多面的ディスプレイの利点）
触覚使用可能な適合的及び多面的ディスプレイには多数の利点がある。このようなシステムは、ユーザが装置を見なくても状態判断（例えば、装置の現在のモードの決定）を行うことを可能にしてもよい。従って、ユーザは、他のタスクに集中を維持することができてもよい。例えば、ユーザは、ディスプレイに焦点を合わせなくても、プログラムにおいて又はユーザインターフェースで利用可能な操作に関する判断を行うことができてもよい。同様に、触覚効果は、操作が利用可能である、完了している、又は所定レベルの重要度を有することの確認として機能してもよい。更に、一部の実施形態では、ユーザは、ユーザにとってより好都合又はアクセス容易な装置の部分と相互作用することによって状態判断を行うことができてもよい。例えば、一部の実施形態では、適合的ディスプレイの曲率（又は多面的ディスプレイの構成）のために、ユーザは、例えば、ユーザのポケットに配置された装置の側面と相互作用することによって、状態判断を行うことができてもよい。

一部の実施形態では、触覚使用可能な適合的及び多面的ディスプレイは、より現実感のある又は没入間のあるユーザ体験を提供してもよい。例えば、一部の実施形態では、ユーザは、適合的又は多面的ディスプレイ上に出力される仮想オブジェクトの異なる側面（例えば、左、右、及び上）と相互作用することができてもよい。ユーザ相互作用に応答して、一部の実施形態では、コンピュータ装置は触覚を出力してもよい。例えば、一部の実施形態では、コンピュータ装置は、ユーザが相互作用している仮想オブジェクトの領域のテクスチャをシミュレートするように構成される触覚効果を出力してもよい。このような触覚効果によって、ユーザはより現実的に仮想オブジェクトを知覚できてもよい。

一部の実施形態では、触覚効果は、適合的及び多面的ディスプレイの円滑な及び／又は湾曲した構成の感覚に対抗してもよい。例えば、一部の実施形態では、コンピュータ装置は、適合的ディスプレイにおいて仮想オブジェクト（例えば、煉瓦）を出力してもよい。
仮想オブジェクトとの相互作用の間、ユーザは、適合的ディスプレイの円滑な湾曲した形状を知覚してもよく、これは仮想オブジェクトと十分に対応しない触感であってもよい。
一部の実施形態では、触覚効果は、円滑な湾曲したディスプレイ表面の感覚を打ち消してもよく、ディスプレイに出力された仮想オブジェクトをユーザがより現実的に知覚することを可能にしてもよい。

更に、一部の実施形態では、触覚使用可能な適合的又は多面的ディスプレイは、このようなディスプレイが従来のスイッチを置換することを可能にしてもよい。これによって、適合的又は多面的ディスプレイは、多機能コントローラとして動作することができ、及び／又は過去に使用されていない場所で使用されることができてもよい。一部の実施形態では、多機能コントローラとして又は過去に使用されていない場所で適合的又は多面的ディスプレイを使用することは、費用を削減すると共にユーザ満足度を全体的に増加させてもよい。

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト、及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

Claims (20)

1. タッチスクリーンディスプレイと、
   前記タッチスクリーンディスプレイに通信可能に結合されるプロセッサと、
   前記プロセッサによって実行可能なプログラムコードを含むメモリ装置と
   を備え、
   前記タッチスクリーンディスプレイは、
   第１の平面における第１の表面であって、第１の端を有する第１の表面、
   前記第１の平面とは異なる第２の平面における第２の表面であって、第２の端を有する第２の表面、及び
   前記第１の表面の前記第１の端と前記第２の表面の前記第２の端との間に配置され且つ前記第１の端を前記第２の端に接続する遷移帯であって、湾曲を有する遷移帯
   を備え、
   前記プログラムコードは、
   前記タッチスクリーンディスプレイに表示信号を送信することであって、前記表示信号は前記第１の表面、前記遷移帯及び前記第２の表面にグラフィカルオブジェクトの異なる部分を出力させるように構成されること、
   前記グラフィカルオブジェクトの一部に対応する前記遷移帯における場所との相互作用を検出すること、
   前記相互作用及び前記グラフィカルオブジェクトの一部に少なくとも部分的に基づいて触覚効果を決定することであって、前記触覚効果は前記遷移帯に対応する前記グラフィカルオブジェクトの一部をシミュレートするために前記湾曲の感覚と結合されるように構成されること、
   前記触覚効果に少なくとも部分的に基づいて触覚信号を生成すること、及び
   前記触覚効果に関連付けられる前記触覚信号を触覚出力装置に送信すること
   を前記プロセッサに行わせ、
   前記触覚出力装置は、前記触覚信号を受信し且つ前記触覚効果を出力するように構成される、システム。
2. 前記タッチスクリーンディスプレイ、前記プロセッサ、及び前記メモリ装置を含む装置を更に備え、
   前記タッチスクリーンディスプレイの前記第１の表面は、前記装置の前面又は背面に配置され、
   前記タッチスクリーンディスプレイの前記第２の表面は、前記装置の側面に配置され、且つ
   前記タッチスクリーンディスプレイの前記遷移帯は、（ｉ）前記装置の前記前面又は前記背面と（ｉｉ）前記装置の前記側面との間の前記装置の端上に配置される、請求項１に記載のシステム。
3. 前記触覚効果は、前記タッチスクリーンディスプレイの前記湾曲の知覚される変化を引き起こすように構成される、請求項１に記載のシステム。
4. 前記グラフィカルオブジェクトは、第１のグラフィカルオブジェクトであり、
   前記メモリ装置は、
   前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出すること、
   観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信すること、及び
   観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対して不可視であることを決定すること
   を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項１に記載のシステム。
5. 前記メモリ装置は、
   前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して不可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されないことを決定すること
   を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項４に記載のシステム。
6. 前記グラフィカルオブジェクトは、第１のグラフィカルオブジェクトであり、
   前記メモリ装置は、
   前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出すること、
   観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信すること、及び
   観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対して可視であることを決定すること
   を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項１に記載のシステム。
7. 前記メモリ装置は、
   前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されることを決定すること
   を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項６に記載のシステム。
8. 前記表示信号は、前記グラフィカルオブジェクトの第１の部分を前記第１の表面に表示させ、前記グラフィカルオブジェクトの第２の部分を前記第２の表面に表示させ、且つ前記グラフィカルオブジェクトの第３の部分を前記遷移帯に表示させるように構成される、請求項１に記載のシステム。
9. プロセッサによって、タッチスクリーンディスプレイに表示信号を送信するステップであって、前記表示信号は第１の表面、湾曲を有する遷移帯及び第２の表面にグラフィカルオブジェクトの異なる部分を出力させるように構成されるステップと、
   前記プロセッサによって、前記グラフィカルオブジェクトの一部に対応する前記遷移帯における場所との相互作用を検出するステップと、
   前記プロセッサによって、前記相互作用及び前記グラフィカルオブジェクトの一部に少なくとも部分的に基づいて触覚効果を決定するステップであって、前記触覚効果は前記遷移帯に対応する前記グラフィカルオブジェクトの一部をシミュレートするために前記湾曲の感覚と結合されるように構成されるステップと、
   前記プロセッサによって、前記触覚効果に少なくとも部分的に基づいて触覚信号を生成するステップと、
   前記プロセッサによって、前記触覚効果に関連付けられる前記触覚信号を触覚出力装置に送信するステップと
   を含み、
   前記タッチスクリーンディスプレイは、
   第１の平面における前記第１の表面であって、第１の端を有する前記第１の表面、
   前記第１の平面とは異なる第２の平面における前記第２の表面であって、第２の端を有する前記第２の表面、及び
   前記第１の表面の前記第１の端と前記第２の表面の前記第２の端との間に配置され且つ前記第１の端を前記第２の端に接続する前記遷移帯
   を備え、
   前記触覚出力装置は、前記触覚信号を受信し且つ前記触覚効果を出力するように構成される、方法。
10. 前記タッチスクリーンディスプレイは、適合的ディスプレイを含む、請求項９に記載の方法。
11. 前記グラフィカルオブジェクトは第１のグラフィカルオブジェクトであり、
    前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出するステップと、
    観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信するステップと、
    観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対して不可視であることを決定するステップと
    を更に含む、請求項９に記載の方法。
12. 前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して不可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されないことを決定するステップ
    を更に含む、請求項１１に記載の方法。
13. 前記グラフィカルオブジェクトは第１のグラフィカルオブジェクトであり、
    前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出するステップと、
    観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信するステップと、
    観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対して可視であることを決定するステップと
    を更に含む、請求項９に記載の方法。
14. 前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されることを決定するステップ
    を更に含む、請求項１３に記載の方法。
15. 前記表示信号は、前記グラフィカルオブジェクトの第１の部分を前記第１の表面に表示させ、前記グラフィカルオブジェクトの第２の部分を前記第２の表面に表示させ、且つ前記グラフィカルオブジェクトの第３の部分を前記遷移帯に表示させる、請求項９に記載の方法。
16. プロセッサによって実行可能なプログラムコードを含む非一時的なコンピュータ可読媒体であって、前記プログラムコードは、
    タッチスクリーンディスプレイに表示信号を送信することであって、前記表示信号は第１の表面、湾曲を有する遷移帯及び第２の表面にグラフィカルオブジェクトの異なる部分を出力させるように構成されること、
    前記グラフィカルオブジェクトの一部に対応する前記遷移帯における場所において相互作用を検出すること、
    前記相互作用及び前記グラフィカルオブジェクトの一部に少なくとも部分的に基づいて触覚効果を決定することであって、前記触覚効果は前記遷移帯に対応する前記グラフィカルオブジェクトの一部をシミュレートするために前記湾曲の感覚と結合されるように構成されること、
    前記触覚効果に少なくとも部分的に基づいて触覚信号を生成すること、及び
    前記触覚効果に関連付けられる前記触覚信号を触覚出力装置に送信すること
    を前記プロセッサに行わせ、
    前記タッチスクリーンディスプレイは、
    第１の平面における前記第１の表面であって、第１の端を有する前記第１の表面、
    前記第１の平面とは異なる第２の平面における前記第２の表面であって、第２の端を有する前記第２の表面、及び
    前記第１の表面の前記第１の端と前記第２の表面の前記第２の端との間に配置され且つ前記第１の端を前記第２の端に接続する前記遷移帯
    を備え、
    前記触覚出力装置は、前記触覚信号を受信し且つ前記触覚効果を出力するように構成される、非一時的なコンピュータ可読媒体。
17. 前記タッチスクリーンディスプレイは、適合的ディスプレイを含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
18. 前記グラフィカルオブジェクトは第１のグラフィカルオブジェクトであり、
    前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出すること、
    観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信すること、
    観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対して不可視であることを決定すること、及び
    前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して不可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されないことを決定すること
    を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
19. 前記グラフィカルオブジェクトは第１のグラフィカルオブジェクトであり、
    前記タッチスクリーンディスプレイに表示される第２のグラフィカルオブジェクトとの相互作用を検出すること、
    観察者が前記タッチスクリーンディスプレイを観察している角度を示すセンサ信号を受信すること、
    観察者が前記タッチスクリーンディスプレイを観察している角度に基づいて、前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの観察者に対し可視であることを決定すること、及び
    前記第２のグラフィカルオブジェクトが前記タッチスクリーンディスプレイの前記観察者に対して可視であることを決定することに応答して、前記第２のグラフィカルオブジェクトに関連付けられる触覚効果が出力されることを決定すること
    を前記プロセッサに行わせるように前記プロセッサによって実行可能なプログラムコードを更に含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
20. 前記表示信号は、前記グラフィカルオブジェクトの第１の部分を前記第１の表面に表示させ、前記グラフィカルオブジェクトの第２の部分を前記第２の表面に表示させ、且つ前記グラフィカルオブジェクトの第３の部分を前記遷移帯に表示させる、請求項１６に記載の非一時的なコンピュータ可読媒体。