JP2019149175A - 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム及び方法 - Google Patents

Abstract

【課題】映写されたユーザインターフェースのために触覚フィードバックを提供する。【解決手段】システム２００において、コンピュータ処理装置２０１は、映写されたユーザインターフェースに対するユーザの入力を検出し、ユーザのインタラクションに対応する検出信号を送信するように構成されるセンサ２０８と、センサ２０８と通信し、さらに検出信号を受信し、ユーザの入力の少なくとも一部に基づいて遠隔触覚効果を判断し、遠隔触覚効果の少なくとも一部に基づいて触覚信号を発生し、さらに触覚信号を送信するように構成されるプロセッサ２０２と、プロセッサ２０２と通信し、触覚信号を受信し、さらに遠隔触覚効果を出力するように構成される触覚出力デバイス２１８とを備える。【選択図】図２Ａ

Description

本発明はユーザインターフェースデバイスの分野に関する。より詳細には、本発明は映写されたユーザインターフェースのために触覚フィードバックを提供するための方法及びシステムに関する。

携帯性についてのユーザの好みに適合して、コンピュータ処理装置はサイズを小さくしているので、ディスプレイスクリーン用に利用される有効面積が目立つようになっている。コンピュータ処理デバイスの小型化及び映写（projection）における修正及び検出技術により、ジェスチャ(gesture)ベース（based）のインタラクティブシステム(interactive system)及び映し出されたユーザインターフェースは人気が高まった。ユーザインターフ
ェースは、例えば、ピコ（pico）プロジェクタ(projector)によって、一つの面上に映写され、小さなディスプレイスクリーン上に可能とされるよりも、容易にユーザにユーザインターフェースを操作させる。例えば、移動電話は、ユーザが、小さなタッチスクリーンディスプレイよりも、大きな映写面とインタラクトすることによって入力することができるように、映写されるキーボードを伴って構成される。他の具体例では、デバイスはユーザインターフェースを映写し、ユーザは手による身振り（hand gesture）又は他の物理的
なオブジェクトを表示することを通してデバイスとインタラクトする。様々な技術がそのような写し出されたユーザインターフェースを介して操作案内を簡易にするために開発されてきたが、触覚効果を提供する、映し出されたユーザインターフェースの必要性がある。

本開示の具現化例は、触覚フィードバックを提供する、映し出されたユーザインターフェースを特徴づける装置を備える。一具現化例にあって、本開示のシステムは、映し出されたユーザインターフェースに対するユーザ入力を検出し、ユーザのインタラクション（interaction）に対応する検出信号を送信するように構成されたセンサと、このセンサと通信をするプロセッサとを備える。このプロセッサは、ユーザの入力の少なくとも一部に基づいた遠隔触覚効果を判断し、遠隔触覚効果の少なくとも一部に基づいた触覚信号を発生し、この触覚信号を送信するように構成される。このシステムは、さらに、プロセッサと通信する触覚出力デバイスを備える。この触覚出力デバイスは、触覚信号を受信し、かつ遠隔触覚効果を出力するように構成される。

他の具現化例にあって、本開示の方法は、映し出されたユーザインターフェースに対するユーザ入力に対応する検出信号を受信すること、検出信号の少なくとも一部に基づいて遠隔触覚効果を判断すること、遠隔触覚効果の少なくとも一部に基づいて触覚信号を発生すること、遠隔触覚効果に対応する触覚信号を触覚出力デバイスに送信することを備える。さらに、他の具現化例は、そのような方法を実行するためのコンピュータ読取可能な媒体を備える。

これらの例示の具現化例は制限されるものではなく、さらに本発明の主題の限界を定義するものではないが、本発明の主題の理解を助けるための具体例を提供するものである。例示の具現化例は、発明の詳細な説明のなかで考察され、さらに他の説明が発明の詳細な説明にて提供される。様々な具現化例によってもたらされる利点は、この明細書を検証することによってさらに理解されるし、及び／又は主張される発明の主題の一つ以上の具現化例を実行することによって理解される。

完全及び実行可能な開示は、明細書の残りの部分により詳細に明記される。明細書は、以下の添付される図面を参照する。

触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムの一つの具現化例の外観を示す図である。 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムの他の具現化例の外観を示す図である。 一具現化例に係る触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムを示すブロック図である。 触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムの他の具現化例を示すブロック図である。 触覚的に動作可能とされる映写されたユーザインターフェースの一具現化例の外観を示す図である。 一具現化例に係る触覚的に動作可能とされる映写されたユーザインターフェースのための他のシステムを示す図である。 触覚的に動作可能とされる映写されたユーザインターフェースの他の具現化例を示す図である。 一具現化例に係る映写されたユーザインターフェースのための動作可能な触覚フィードバックのための方法を示すフローチャートである。

参照が、様々なさらには代替の例示される具現化例及び添付の図面によって詳細に成される。各具体例は説明という目的で提供されるものであり、制限のためではない。当業者によれば、改良及び変更がなされるのは明らかである。例えば、一具現化例の一部として例示されるか説明される特徴は、さらに別の具現化例を与えるための他の実施形態に用いられる。このように、この開示は添付された特許請求の範囲及びそれらの等価物の範囲内にてもたらされる改良及び変更を含むのが意図される。

（触覚的に動作可能とされる映写されたユーザインターフェースの例示される具体例）
図１Ａは触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムの一具現化例の外観を示す。図示の具現化例は、ユーザによって用いられるコンピュータ処理装置１０１を備える。例えば、コンピュータ処理装置１０１は、スマートフォン、タブレット、ポケットオーガナイザ、ＧＰＳ受信機のようなハンドヘルドデバイスであるか、比較的に小さなキーボードを有する他のハンドヘルドデバイスである。そのようなデバイスにて、大きな外部のキーボードを利用することは利点である。

コンピュータ処理装置１０１にて利用されることができる一つのタイプの外部キーボードは、映写された仮想キーボードである。そのようなキーボードは図１Ａに示される。コンピュータ処理装置１０１は、映写面１３０上に映写画像を映し出すことのできるプロジェクタ１１６を備える。

図１Ａにあって、映写面１３０はコンピュータ処理装置１０１が置かれる面と同一面である。図１Ｂは、触覚的に動作可能とされる映写されたユーザインターフェースのためのシステムの他の具現化例の外観を示す図である。図１Ｂに示される具現化例にあって、コンピュータ処理装置１０１は、仮想キーボードを壁上の映写面１３０に映し出す。

一旦、仮想キーボードが映写面１３０上に表示されると、ユーザは仮想キーボードと対話（インタラクト）できる。コンピュータ処理装置１０１は、ユーザによるインタラクションを検出し、そのユーザによるインタラクションに対応する一つ以上の検出信号をコンピュータ処理装置１０１のプロセッサに供給するための一つ以上のセンサ（図示せず）を有する。これらのインタラクションは、例えば、仮想キーボード上におけるタイピングを含む。プロセッサは、プロセッサ上で動作するソフトウェア動作を実行するためにこれらのインタラクションに対応する検出信号を利用する。

例示された具現化例にあって、コンピュータ処理装置１０１は、触覚フィードバックをユーザに提供することもできる。例えば、コンピュータ処理装置１０１は、ユーザのインタラクションに基づいて出力されるべき触覚効果を判断し、触覚フィードバック信号を発生し、触覚フィードバック信号を、触覚効果をユーザに出力するように構成された触覚効果発生器（つまり、「触覚出力デバイス」）に送信する。いくつかの具現化例にあって、これら触覚出力デバイスは、コンピュータ処理装置１０１から離隔されて触覚効果を出力する「遠隔触覚出力デバイス」を備える。

例えば、映写面１３０は、ユーザが振動を感知できるように映写面１３０上に振動を与えることができる偏芯回転質量（ＥＲＭ）を備える触覚出力デバイスを組み入れる。いくつかの具現化例にあって、遠隔触覚出力デバイスはユーザが指を、映写面１３０上で横切らせると、複数の固体、複数の液体、複数の気体のような材料、又は、例えばユーザの手の裏側のようなところに複数のプラズマを放つ。他の具現化例にあって、遠隔触覚出力デバイスはユーザの方向に圧力波を放出するように構成される一つ以上の超音波トランスデューサを備える。これらの例示される具現化例は、具体例として単に提供されるものであり、当業者は本発明の様々な他の具現化例が実施されることを理解できる。

他の詳細な説明にあって考察されるように、遠隔触覚効果は、ユーザに情報を提供するために複数の方法を用いることができる。さらに、映写面における特徴物の存在は、遠隔触覚効果に加えるか又はその代わりに遠隔触覚効果を利用してシミュレートされる。同様に、遠隔触覚効果は、映写面以外に異なる面に出力されることもできる。

（触覚的に動作可能とされる映写されたユーザインターフェースデバイスの例示システム）
図２Ａは、一具現化例に係る触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム２００を示すブロック図である。この具現化例にあって、システム２００はコンピュータ処理装置２０１を備える。いくつかの具現化例にあって、コンピュータ処理装置２０１は、デスクトップコンピュータ又はラップトップコンピュータのようなコンピュータ、又はスマートフォン、タブレット、電子−リーダ、又は携帯音楽デバイスのようなハンドヘルドデバイスを備える。本開示の他の具現化例は、ネクタイ、腕時計、眼鏡、又は指輪のような装着デバイス内にコンピュータ処理装置２０１を備える。

コンピュータ処理装置２０１は、バス２０６を介して他のハードウェアとインターフェースするプロセッサ２０２を有する。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなどのような、適切な有形の（さらに一時的ではない）コンピュータ読み取り可能な媒体を備える、メモリ２０４は、コンピュータ処理装置２０１の動作を構成するプログラムコンポーネントを統合する。この具体例にあって、コンピュータ処理装置２０１は、さらに一つ以上のネットワークインターフェースデバイス２１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント２１２、及び付加的なストレージ２１４を備える。

ネットワークデバイス２１０は、ネットワークの結合を容易にする一つ以上のコンポーネントを代表することができる。具体例は、制限するものではないが、Ethernet（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インターフェース、及び／又はＩＥＥＥ８０２．１１，Bluetooth（登録商標）、又はセルラーテレフォンネットワーク（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳにアクセスするためのトランシーバ／アンテナ、又は他のモバイルコミュニケーションネットワーク）のような無線インターフェースを含む。

Ｉ／Ｏコンポーネント２１２は、一つ以上のディスプレイ２３０、キーボード、マウス、スピーカ、マイクロフォン、及び／又はデータを入力又は出力するために用いられる他のハードウェアのような複数デバイスへの接続を容易にするために用いられる。ストレージ２１４は、磁気、光学、又はデバイス２０１に含まれるような他のストレージ媒体のような非揮発性のストレージを代表する。

プロジェクタ２１６は、データを映し出すことを容易にする一つ以上のコンポーネントを代表する。例えば、プロジェクタ２１６は、ピコプロジェクタ（「ポケットプロジェクタ」、「モバイルプロジェクタ」、「ハンドヘルドプロジェクタ」、又は「ミニビーマ」とも言及される）である。ピコプロジェクタにより、比較的に小さなプロジェクタであることを簡単に意味している。ピコプロジェクタは、例えば、画像プロジェクタと共にハンドヘルドデバイスを備える。画像プロジェクタは、デジタル画像を映写するために最小化されたハードウェアとソフトウェアを備える。いくつかの具現化例にあって、プロジェクタ２１６は、映写面に画像を映写する。他の具現化例にあって、プロジェクタ２１６は、面に関係無く空間に（例えば、複数のホログラム（holograms）として）画像を投射してもよい。いくつかの具現化例にあって、コンピュータ処理装置２０１と通信する外部プロジェクタのような比較的に大きなプロジェクタが利用されてもよい。プロジェクタ２１６は、例えば、デジタル光処理画像装置、ビームステアリング画像装置、又はシリコン上の液晶画像装置などを含む。プロジェクタ２１６は、さらに、一つ以上の液晶表示光ゲート、発光ダイオード、レーザダイオード、プリズム、ランプ、２色性の（dichroic）フィルタ、又は陰極線管を含んでもよい。いくつかの具現化例にあって、プロジェクタ２１６は、テキスト、画像、ボタン、スライダ、スイッチ、ウィジェット（widget）、又はグラフィカルユーザインターフェースに関係する他の特徴物を含むユーザインターフェースを映写できる。

システム２００はさらに、ユーザが映写されたインターフェースのようなインターフェースとインタラクションすると、ユーザの入力を検出する、さらにはプロセッサ２０２によって用いられるための適切なデータを提供するために構成される一つ以上のセンサ２０８を備える。一具現化例にあって、ユーザは映写面にてかれらの指を動かすことによって、及び／又はジェスチャ（身ぶり）をすることによって（例えば、彼らの手でスワイプすることによって）映写されたユーザインターフェースとインタラクトしてもよい。任意の適切なセンサの数、タイプ、又は配置がユーザのインタラクションを検出するために用いられる。例えば、ジャイロスコープ及び加速度計が、コンピュータ処理装置２０１の方向又は位置の変化を検出するために用いられる。又はカメラが映写面でのユーザの入力ジェスチャ又はユーザのインタラクションを検出するために用いられてもよい。いくつかの具現化例にあって、プロセッサ２０２は、単一のセンサ２０８と通信する。他の具現化例にあって、プロセッサ２０２は、例えばジャイロスコープ、加速度計、カメラ、奥行きセンサ（depth sensor）、及びタッチセンシティブ面などの複数のセンサ２０８と通信する。いくつかの具現化例にあって、センサ２０８はユーザイントラクションの複数の態様（aspects）を検出するように形成される。例えば、センサ２０８は、ユーザのインタラクションの速度及び方向を検出し、さらにこの検出情報をインターフェース信号に統合する。

この具体例にあって、触覚出力デバイス２１８はプロセッサ２０２と通信し、さらにコンピュータ処理装置２０１内に埋め込まれる。他の具現化例にあって、触覚出力デバイス２１８はコンピュータ処理装置２０１から隔離されるが、プロセッサ２０２には通信可能に接続される。いくつかの具現化例にあって、触覚出力デバイス２１８は、触覚信号に応じてユーザ又は映写面に触覚効果を出力するように構成される。いくつかの触覚効果は触覚出力デバイスのハウジングに接続される一つのアクチュエータを利用し、さらにいくつかの触覚効果は順番に及び／又は協力して複数のアクチュエータを用いてもよい。例えば、いくつかの具現化例にあって、触覚出力デバイス２１８は映写面を異なる周波数で振動することによって触覚効果を出力してもよい。そのような一具現化例にあって、触覚出力デバイス２１８は、例えば、一つ以上のピエゾ電気アクチュエータ、電気モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気アクティブポリマ、ソレノイド、偏芯回転質量モータ（ＥＲＭ）、又は線形共振アクチュエータ（ＬＲＡ）を備えてもよい。他の具現化例にあって、触覚出力デバイス２１８は映写面を振動するために集中された圧力波を放射する複数の超音波トランスデューサを用いてもよい。

いくつかの具現化例にあって、触覚出力デバイス２１８は導体、ヒータ、流動体、又はガスを、映写面を加熱すること又は冷却することのような熱の触覚効果を作り出すために用いる。他の具現化例にあって、触覚出力デバイス２１８は、複数スピーカ又は、例えば、複数の固体、複数の液体、複数の気体、又は複数のプラズマのような材料を放出する複数の噴出口（jets）を備え、さらにコンピュータ処理装置２０１から隔離されてユーザ又は映写面に触覚効果を放出してもよい。さらに、いくつかの具現化例にあって、触覚出力デバイス２１８は、ユーザの指に電流を直接的に通すことによって電気による感触の刺激を提供するために導体を備えてもよい。単一の触覚出力デバイス２１８がここでは示されるが、複数の具現化例では同一の又は異なる複数の触覚出力デバイスを触覚フィードバックの提供のために用いてもよい。例えば、いくつかの具現化例にあって、複数のＥＲＭ及び気体噴出口が異なる触覚効果をそれのみで又は協力して提供するために用いられてもよい。

さらに他の具現化例にあって、触覚出力デバイス２１８は映写された表面１３０の肌触りをシミュレートするため又は使用者の指が映写面を横切って動くとユーザが感じる摩擦係数を変動するために、例えば、静電表面アクチュエータの使用による、静電引力を用いてよい。さらに、いくつかの具現化例にあって、静電アクチュエータは遠隔触覚効果を出力するために他の触覚デバイス２１８と協同して用いられてもよい。例えば、超音波トランスデューサのアレイは映写面又はユーザの体の一部を振動するために集中された圧力波を放出するし、一方、静電アクチュエータのような他の触覚出力デバイスが映写面の肌触りをシミュレートしてもよい。

メモリ２０４について、図示されたプログラムコンポーネント２２４、２２６及び２２８は、いくつかの具現化例にあって、映写されたユーザインターフェース用の触覚フィードバックを可能とするようにどのようにデバイスが構成されるかを示すように描かれている。この具体例にあって、検出モジュール２２４は、ユーザインタラクションを検出するためにセンサ２０８を介して映写面を監視するようにプロセッサ２０２を構成する。例えば、モジュール２２４は、ユーザ入力の有無を追跡し、もし入力があれば、場所、経路、速度、加速度及び／又は入力オーバータイムの他の特色を追跡するためにセンサ２０８をサンプリングする。

触覚効果判断モジュール２２６は、発生された遠隔触覚効果を選択するためにユーザインタラクションに関するデータを分析するプログラムコンポーネントを代表する。特に、モジュール２２６は、入力の場所に基づいて、出力する遠隔触覚効果及び出力する一つ以上の触覚効果を選択するコードを判断するコードを含む。例えば、映写面のいくつか又は全ての領域は、ディスプレイ２３０上に示されるグラフィカルユーザインターフェースにマッピングされる。いくつかの具現化例にあって、遠隔触覚効果は、プロジェクタ２１６及び／又はディスプレイ２３０が特徴物の対応する可視表現を出力するときに、特徴物の存在をシミュレートしてもよい。しかし、一つ又は複数の触覚出力デバイス２１８は、対応するエレメントがプロジェクタ２１６及び／又はディスプレイ２３０によって表示されていなくとも、遠隔触覚効果を出力してもよい（例えば、触覚効果は、境界が視覚的に表示されてなくとも、インターフェースにあって境界が横切られると、提供されてもよい）。

他の具現化例にあって、触覚効果判断モジュール２２６は、映写面の一つ以上の特性の遠隔触覚効果の判断（例えば、映写面が異なる周波数にて映写面のコンテンツ、又は映写面の表面形状（topology）を振動するためにどのように作用するのか）、コンピュータ処理装置２０１とユーザとの距離、又はユーザによって知覚されるために必要とされる遠隔触覚効果の強さに基づく。例えば、一実施例にあって、プロセッサ２０２は、映写面のおおよその基本波又は標準の周波数を判断し、そのデータを遠隔触覚効果の判断に用いる。そのような一具現化例にあって、コンピュータ処理装置２０１はプロセッサ２０２と通信する加速度計を備える。コンピュータ処理装置２０１は、映写面を振動し、さらに加速度計の信号に基づいてプロセッサ２０２は映写面のおおよその基本波又は標準の周波数を判断する。このデータの一部に基づいて、プロセッサ２０２は、遠隔触覚効果の特性を判断する。

他の具現化例にあって、コンピュータ処理装置２０１はカメラ、距離センサ、又はプロセッサ２０２と通信する他のセンサを備えてもよい。他の具現化例にあって、カメラ、距離センサ、又は他のセンサの信号に基づいて、プロセッサ２０２は映写面が一つ以上の材料を含むのを判断する。例えば、一具現化例にあって、プロセッサ２０２は木を含む映写面を判断してもよい。いくつかの具現化例にあって、プロセッサ２０２は、異なる材料を含む映写面にわたる一貫性を保証するための遠隔触覚効果の特性を判断する。例えば、あたかも映写面がラミネートを含むかのような実質的に同様の触覚効果をユーザが知覚するように映写面が木を含んでいると、プロセッサ２０２は遠隔触覚効果（例えば振動）の強度を変更する。

他の具現化例にあって、カメラ又は他のセンサの信号に基づいて、プロセッサ２０２は、映写面がある特性（例えば、「激しく振動する」）、ロゴ、広告、製品、又は他の情報のセットを備えるのを判断する。このデータに一部基づいて、プロセッサ２０２は遠隔触覚効果の特性を判断してもよい。例えば、一具現化例にあって、プロセッサ２０２は映写面がImmersionロゴを備えるのを判断する。そのような具現化例にあって、プロセッサ２０２は、例えばパルス化された振動のセットのようなImmersionロゴに関連する遠隔触覚効果を判断する。

いくつかの具現化例にあって、カメラ、奥行きセンサ、距離センサ、又は他のセンサの信号に基づいて、プロセッサ２０２は映写面の表面形状を判断する。プロセッサ２０２は判断された表面形状に基づいて遠隔触覚効果の特性を判断する。例えば、一具現化例にあって、プロセッサ２０２は映写面の表面形状が一連の凸凹を備えるのを判断する。そのような具現化例にあって、プロセッサ２０２は一連の凸凹の一部に基づいて遠隔触覚効果を判断する。例えば、プロセッサ２０２は一連の凸凹がユーザに知覚されないように映写面を振動する遠隔触覚効果を判断してもよい。

他の具現化例にあって、カメラ、奥行きセンサ、距離センサ又は他のセンサの信号に基づいて、プロセッサ２０２はコンピュータ処理装置２０１とユーザとの間の距離を判断してもよい。このデータの一部に基づいて、プロセッサ２０２は遠隔触覚効果の特性を判断してもよい。例えば、具現化例にあって、コンピュータ処理装置２０１とユーザとの間の距離が長いと、触覚効果判断モジュール２２６は、コンピュータ処理装置２０１とユーザとの間の距離が短いときよりも適切な遠隔触覚効果がより強いことを判断する。

触覚効果発生モジュール２２８は、選択された遠隔触覚効果を発生するために、触覚信号をプロセッサ２０２に発生させ、さらに触覚出力デバイス２１８に送信させる、プログラミングを表す。例えば、触覚効果発生モジュール２２８は、触覚出力デバイス２１８に送信するための蓄積された複数波形又は複数コマンドをアクセスしてもよい。他の具体例として、触覚効果発生モジュール２２８は、触覚出力デバイス２１８に送信するための適切な信号を発生するための複数の信号処理アルゴリズムを利用してもよい。別の具体例として、プロセッサ２０２は、遠隔触覚効果のための目標となる座標に加えて所望の遠隔触覚効果を判断してもよい。触覚効果発生モジュール２２８は、適切な波形を一つ以上の触覚出力デバイスに、例えば、映写面上の位置のような、指定された座標にて適切な遠隔触覚効果を発生するために、送信してもよい。いくつかの具現化例は、一つの特徴物をシミュレートするために複数の触覚出力デバイスを利用してもよい。例えば、そのような一つの具現化例にあって、超音波トランスデューサのアレイは、映写面の一部を、インターフェース上の複数のボタン間の境界を横切るのをシミュレートするために振動させる、集中された音圧波を放出してもよい。

図２Ｂは、触覚的に動作可能とされる映写されたユーザインターフェースのためのシステム２００の他の具現化例を示すブロック図である。この具体例にあって、システム２００は外部デバイス２３２を備える。外部デバイス２３２は触覚出力デバイス２１８を備える。いくつかの具現化例にあって、外部デバイス２３２はコンピュータ処理装置２０１と有線又は無線リンクを介して通信する。ユーザが、例えば、身ぶりにより映写されたユーザインターフェースとインタラクトすると、触覚出力デバイス２１８は遠隔触覚効果をユーザに提供してもよい。例えば、そのような一つの具現化例にあって、外部デバイス２３２は、ユーザのポケット又はアームバンド上にて、ユーザインターフェースを映し出すスマートフォン又は携帯ミュージックプレーヤを備えてもよい。ユーザが映写ユーザインターフェースとインタラクトすると、コンピュータ処理装置２０１はそのインタラクションに関連された遠隔触覚効果を判断し、さらに対応する信号を外部デバイス２３２に出力し、その後、遠隔触覚効果を出力する。

他の具現化例にあって、外部デバイス２３２は、例えばブレスレット、腕時計、ネクタイ、眼鏡、又は手袋のような装着可能なデバイスを含んでもよい。例えば、ジェスチャにより、ユーザが映写されたユーザインターフェースとインタラクトすると、触覚出力デバイス２１８は、装着可能なデバイスを通して遠隔触覚効果をユーザに提供してもよい。例えば、外部デバイス２３２は、ネクタイの中に埋め込まれてもよい。ユーザが映写面とインタラクトすると、コンピュータ処理装置２０１はそのインタラクションに対応する遠隔触覚効果を判断して対応する信号をネクタイに出力し、その後、ネクタイは遠隔触覚効果をユーザに出力する。いくつかの具現化例にあって、装着可能なデバイスはさらにプロジェクタ２１６を含んでもよい。例えば、一具現化例にあって、外部デバイス２３２及びプロジェクタ２１６は、ネクタイ内に埋め込まれてもよい。ユーザが世界を移動すると、プロジェクタ２１６は一つ以上のユーザインターフェースを映し出してもよい。ユーザが映し出されたユーザインターフェースとインタラクトすると、コンピュータ処理装置２０１はインタラクションに対応する遠隔触覚効果を判断して対応する信号をネクタイに出力し、次にネクタイは遠隔触覚効果をユーザに出力する。

いくつかの具現化例における、他の具体例として、ユーザは、遠隔触覚効果を出力するように構成された触覚出力デバイス２１８を含む手袋を身に着けてもよい。ユーザの指が映し出されたユーザインターフェース（例えば、映写面上に映し出された又はホログラムの一部として映し出されたユーザインターフェース）を横切って移動すると、コンピュータ処理装置２０１は遠隔触覚効果を判断し、対応する触覚信号を手袋内の触覚出力デバイス２１８に出力する。触覚出力デバイス２１８はその後、遠隔触覚効果をユーザの手に出力する。いくつかの具現化例にあって、この遠隔触覚効果は、映写されたユーザインターフェースにおける特徴物をシミュレートするように構成される。例えば、特徴物は、ボタン（例えばキーボード上の一つのキー）を押すこと、スライダを動かすこと、ノブを回すこと、又は障害を越えることをシミュレートするように構成される。

他の具現化例にあって、映写面は触覚出力デバイス２１８を備えてもよい。そのような具現化例にあって、ユーザが映写されたユーザインターフェースとインタラクトすると触覚出力デバイス２１８は映写面に遠隔触覚効果を直接提供する。例えば、一具現化例にあって、触覚出力デバイス２１８は、映写面を振動するためにＥＲＭを、電子の感触の刺激を出力するために導体を、又は映写面の温度を変化するために導体を備えてもよい。ユーザが映写面とインタラクトすると、コンピュータ処理装置２０１はインタラクションに対応する遠隔触覚効果を判断する。コンピュータ処理装置２０１は、その後、対応する信号を触覚出力デバイス２１８に出力し、続いて、触覚出力デバイス２１８は遠隔触覚効果を出力する。

そのような一具現化例にあって、触覚出力デバイス２１８は、映写面の下に埋め込まれている導体を含んでもよい。ユーザが映写面とインタラクトすると、コンピュータ処理装置２０１はインタラクションに対応する、温度の上昇のような遠隔触覚効果を判断する。コンピュータ処理装置２０１は、その後、対応する信号を触覚出力デバイス２１８に出力し、触覚出力デバイス２１８は、映写面にて温度を上昇するような、遠隔触覚効果を出力する。他の具現化例にあって、触覚出力デバイスは、映写面に支持されている、コンピュータ処理装置２０１の底部又は脚部に配置されたＥＲＭを備えてもよい。ユーザが映写面とインタラクトすると、コンピュータ処理装置２０１はインタラクションに関連する、振動のような遠隔触覚効果を判断する。コンピュータ処理装置２０１は、その後、対応する信号を触覚出力デバイス２１８に出力し、触覚出力デバイス２１８は映写面を直接振動することによって遠隔触覚効果を出力する。さらに別の具現化例にあっては、触覚出力デバイス２１８は、映写面と接触する、コンピュータ処理装置２０１の底部又は脚部に配置される導体を備えてもよい。ユーザが映写面とインタラクトすると、コンピュータ処理装置２０１はインタラクションに対応する、電子感触効果のような遠隔触覚効果を判断する。コンピュータ処理装置２０１は、その後、対応する信号を触覚出力デバイス２１８に出力し、触覚出力デバイス２１８は電流を映写面に通すことによって遠隔触覚効果を出力する。いくつかの具現化例にあって、ユーザはこの遠隔触覚効果を、映写面における例えば半導体又は導体を介して知覚してもよい。

図３は触覚的に動作可能な映写されたユーザインターフェースの一システムの具現化例の外観図を示す。いくつかの具現化例にあって、コンピュータ処理装置３０１は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレット、ｅ−リーダ、及び／又は他の電子デバイスを含んでもよい。図３に示された具現化例にあって、コンピュータ処理装置３０１は、仮想キーボードを映写面３０２上に映し出す。いくつかの具現化例にあって、コンピュータ処理装置３０１は、仮想キーボード３０６を例えばホログラムに関連した領域のような、領域に無関係な領域に映し出してもよい。そのような具現化例にあって、ユーザは映し出された仮想キーボード３０６をデータ入力のために用いてもよい。そのような具現化例にあって、ユーザが映し出された仮想キーボード３０６とインタラクトすると、コンピュータ処理装置３０１はユーザが一文字を正しく入力したことを確認するように形成される遠隔触覚効果を出力する。

例えば、一具現化例にあって、コンピュータ処理装置３０１はスマートフォンを備えて、大きな仮想キーボード３０６を映写面３０２上に映し出す。スマートフォンディスプレイ上の小さな仮想キーボードを用いてテキストメッセージデータを入力することよりも、ユーザはその代わりに仮想キーボード３０６とインタラクトすることによってテキストメッセージを入力する。そのような具現化例にあって、コンピュータ処理装置３０１はユーザが文字を入力したことの確認として作用する遠隔触覚効果を出力する。そのような具現化例にあって、コンピュータ処理装置３０１は、映写面３０２に直接的に接続された触覚出力デバイスを、ユーザが一文字を正しく入力するときに、振動させることによって遠隔触覚効果を出力してもよい。他の具現化例にあって、コンピュータ処理装置３０１は、ユーザが正しく一文字を入力すると、集中された超音波圧力波を映写面３０２に出射することによって映写面３０２を振動してもよい。さらなる他の具現化例にあって、コンピュータ処理装置３０１は、ユーザが正しく一文字を入力すると、ユーザの指の背後で、例えば、空気、酸素、二酸化炭素、一酸化炭素、又は窒素などの気体流（a stream of gas）又は気体一吹き（a puff of gas）の放出によって遠隔触覚効果を出力してもよい。他の具
現化例にあって、コンピュータ処理装置３０１は、水のような液体、一つ以上の発泡ボールのような固体を放出することによって遠隔触覚効果を出力してもよい。

いくつかの具現化例にあって、ユーザが正しく一文字を入力すると、コンピュータ処理装置３０１はデスクトップ自体を振動することによって直接的に振動を出力してもよい。ユーザはこの遠隔触覚効果をデスクトップ又は映写面３０２の振動を介して知覚してもよい。そのような具現化例にあって、ユーザによって知覚される遠隔触覚効果の特性はコンピュータ処理装置３０１によって放出される振動の属性、コンピュータ処理装置とユーザの指の間の距離、及び振動が移動しなければならない面のようなファクタに依存してもよい。このように、遠隔触覚効果を判断することの一部として、コンピュータ処理装置３０１は、面のタイプ（異なる周波数にて映写面が振動するためにどのように作用するのか）、ユーザの距離、及びユーザによって知覚されるための振動の強さのような特徴を判断してもよい。

いくつかのそのような具現化例にあって、コンピュータ処理装置３０１は、触覚信号を、ユーザが正しく一文字を入力すると遠隔触覚効果を出力する、触覚出力デバイスを含む、ネクタイのような、装着可能なデバイスに出力してもよい。さらなる他の具現化例にあって、コンピュータ処理装置３０１は、ユーザが正しく一文字を入力すると、映写面３０２の温度を変化することによって、遠隔触覚効果を出力してもよい。他の具現化例にあって、遠隔触覚効果は、多くの異なるタイプの映写ユーザインターフェースに加えられてもよい。

次に図４を参照すると、図４は一具現化例に係る触覚的に動作可能な映写ユーザインターフェース用の他のシステムを示す。一具現化例にあって、コンピュータ処理装置４０１は、複数機能コントローラを備えてもよい。例えば、デスクトップコンピュータ、ラットトップコンピュータ、ビデオゲームシステム、映写されるビデオシステム、又は他のタイプのコンピュータ処理装置である。他の具現化例にあって、コンピュータ処理装置４０１は、スマートフォン、タブレット、他のタイプのコンピュータを備えてもよい。

図４に示される具現化例にあって、コンピュータ処理装置４０１は、オーディオプレーヤをコントロールするように構成されてもよい。図４に示されるように、コンピュータ処理装置４０１は、映写面４０２上に一つ以上の仮想コントローラを映写する。他の具現化例にあって、一つ以上の仮想コントローラは、表面に対応しない空間に投射されてもよい（例えばホログラムに対応する空間）。ユーザはオーディオプレーヤの複数機能をコントロールするためにコントローラとインタラクトしてもよい。例えば、図４に示される具現化例にあって、コンピュータ処理装置４０１は、図４にてコントローラ４０４及びコントローラ４０６として示されるような、一つ以上のウィジェット（widgets）又は仮想のインターフェースを備える。コントローラ４０４は、例えば、一つのラジオ局にチューニングするため、又は新しい曲を選択するためのノブのような、オーディオプレーヤの設定をコントロールするように構成されるノブの画像を含む。同様に、コントローラ４０６は、音量のような、オーディオプレーヤの他の特徴を調整するように構成されるスライダの画像を含む。他の具現化例にあって、コンピュータ処理装置４０１は、複数の他の仮想コントローラを写し出してもよい。各仮想コントローラは、バランス、高音、低音、又は音楽プレーヤに共通して関連する他の複数機能のようなオーディオプレーヤの他の複数のアスペクトをコントロールするように構成される。

ユーザがコントローラ４０４及び４０６とインタラクトすると、コンピュータ処理装置４０１は身ぶり（ジェスチャ）の受信を確認するための遠隔触覚効果を出力する。例えば、一具現化例にあって、コンピュータ処理装置４０１は、振動を含む触覚効果を出力するために一つ以上の触覚出力デバイスを使用してもよい。そのような具現化例にあって、コンピュータ処理装置４０１は、ユーザに情報を通信するための振動パターンを選択してもよい。例えば、この振動パターンは、コンピュータ処理装置４０１によってコントロールされるシステム又はデバイスのタイプを示してもよい。そのような具現化例にあって、ユーザは一つの振動パターン（例えば、長−短−短）がオーディオプレーヤのコントロールに関連することを知る。そのような具現化例にあって、コンピュータ処理装置４０１は、ユーザがオーディオプレーヤアプリケーションを制御するために映写されたユーザインターフェースとインタラクトすると、この振動パターンを出力してもよい。

他の具現化例にあって、コンピュータ処理装置４０１は、他のタイプの遠隔触覚効果を出力してもよい。例えば、一具現化例にあって、ユーザがコントローラ４０４又は４０６の内の一つとインタラクトすると、コンピュータ処理装置４０１は、ユーザインタラクションの検出を確認するように構成される遠隔触覚効果を出力する。一つのそのような具現化例にあって、コンピュータ処理装置４０１は、例えば、ユーザの手に一吹きの気体（例えば、空気）を噴出するように構成される噴出口（jet）のような触覚出力デバイスを備える。このように、ユーザが映写されたユーザインターフェースとインタラクトすると、一吹きの気体が、ユーザがノブに触れていることを知らせる。

他の具現化例にあって、コンピュータ処理装置４０１は、ユーザがノブを調整したときに、異なる遠隔触覚効果を出力してもよい。一つのそのような具現化例にあって、コンピュータ処理装置４０１は、ユーザがコントローラ４０４又は４０６とインタラクトすると、ユーザ又は映写面４０２で振動を作り出すように形成される超音波トランスデューサのアレイを備えてもよい。例えば、一つのそのような具現化例にあって、ユーザがコントローラ４０４を右に回すと、コンピュータ処理装置４０１は強度を増加した効果を出力する。同様に、ユーザがコントローラ４０４を左に回すと、コンピュータ処理装置４０１は弱くなる効果を出力する。いくつかの具現化例にあって、そのような遠隔触覚効果はコンピュータ処理装置４０１がユーザ入力を受信したことの確認としての役割を果たす。

別の具現化例にあって、ユーザはコンピュータ処理装置４０１によってコントロールされる様々なアプリケーション又は動作に振動パターン又は他の遠隔触覚効果を割り当ててもよい。このため、例えば、ユーザは特定の振動パターン又は他のタイプの遠隔触覚効果を選択し、その遠隔触覚効果をコンピュータ処理装置４０１によって制御されるアプリケーションに関連付けてもよい。

特定の具体例として、前述された具現化例にあって、ユーザはオフィスワーカであるかもしれない。コンピュータ処理装置４０１はオーディオプレーヤコントロールをユーザの机の上に映し出す。そのような具現化例にあって、遠隔触覚効果はユーザに映写面に焦点を合わさせることなくオーディオアプリケーションにおける設定の調整を可能とさせてもよい。例えば、遠隔触覚効果は、コンピュータ処理装置４０１に焦点を合わせることなく、コンピュータ処理装置４０１が入力を受信したのをユーザに判断させる。これは、ユーザに、コンピュータ処理装置４０１とインタラクトしながらも、例えばユーザのデスクトップコンピュータのような他のデバイスに集中させ続けることを可能とさせる。さらに、いくつかの具現化例にあっては、触覚フィードバックは、視覚的に映写されないユーザインターフェースとのインタラクトを可能とさせる。例えば、いくつかの具現化例にあって、コンピュータ処理装置４０１は、映写されたユーザインターフェースを視覚的に表示することなくユーザのジェスチャを検出してもよい。

いくつかの具現化例にあって、コンピュータ処理装置４０１は、ビデオゲームをプレイするためのゲームデバイスを備えてもよい。いくつかの具現化例にあって、コンピュータ処理装置４０１は、プロジェクタ、例えば、ピコプロジェクタを備えるハンドヘルドデバイスであってもよい。コンピュータ処理装置４０１は、映写面４０６上に、又は表面に関係ない領域（例えば、ホログラムに関係する空間）にビデオゲームを映写してもよい。いくつかの具現化例にあって、ユーザは、コンピュータ処理装置４０１の方向又は揺り動かすのを変化することによって、又はジェスチャをすることによって（図５についてさらに考察する）コンピュータ処理装置４０１とインタラクトしてもよい。例えば、一具現化例にあって、コンピュータ処理装置４０１を傾けることによって、ユーザは映写された仮想のキャラクタに身を屈めさせてもよい。他の具現化例にあって、映写面４０２をタップすることによって、ユーザは仮想のキャラクタにジャンプさせてもよい。いくつかの具現化例にあって、ユーザのインタラクションに応じて、又はゲームイベントに基づいて、コンピュータ処理装置４０１は触覚効果を出力してもよい。例えば、一具現化例にあって、ユーザは指を左／右に示すことによって、又はコンピュータ処理装置４０１を左／右に傾けることによって、仮想キャラクタに左／右回転させてもよい。いくつかの具現化例にあって、コンピュータ４０２は振動、温度変化、又は吹きかけエアのような触覚効果を出力してもよい。いくつかの具現化例にあって、触覚効果は、ユーザ入力の受信を確認してもよいし、仮想の爆発、銃声、又は仮想のキャラクタが通過するであろう地形のようなゲームイベントに対応してもよい。

ここで、図５に移ると、図５は触覚的に可能な映写されたユーザインターフェースのシステムの他の具現化例を示す。図５に示すように、スクロール矢印５０８及び５１０によってジェスチャによるインタラクションが示される。身ぶり（ジェスチャ）によるインタラクションは、コンピュータ処理装置５０１との可能なユーザインタラクションの具体例を含む。例えば、ユーザはデータを通してスクロールしてもよく、データの各ラインが映写面５０２の一方側にて視認可能となり、データの他のラインが映写面５０２の反対側に視認可能となる。そのような具現化例にあって、データを左／右にスクロール５１０するか又は上／下５０８にスクロールすることはユーザが指を左／右又は上／下に振る、インタラクションを含む。そのような一具現化例にあって、ユーザは映写面５０２を横切って指を左／右又は上／下に振ってもよい。他の具現化例にあって、ユーザは指を、映写面５０２から離れた空中にあって左／右又は上／下に振ってもよい。他の具現化例にあって、コンピュータ処理装置５０１は、他の身ぶりを検出してもよい。これらは、四本の指を用いて、ユーザはつまむ身ぶりをする、四本の指でのつまむこと（pinch）のような身ぶり、コンピュータ処理装置５０１にプログラムを変えさせるためのタップ、又は手振り、又は戻るような身ぶりを含んでもよい。

いくつかの具現化例にあって、コンピュータ処理装置５０１は、これらの各身ぶりを検出する。いくつかの具現化例にあって、コンピュータ処理装置５０１は身ぶりに基づいて一つ以上のアプリケーションをコントロールしてもよい。例えば、一具現化例にあって、コンピュータ処理装置５０１はディスプレイ（図５には示さず）に示されたゲームをコントロールするように構成されたゲームシステムを備えてもよい。身ぶりによってユーザがコンピュータ処理装置５０１とインタラクトすると、コンピュータ処理装置５０１はゲームに関連した動作をコントロールする。

他の具現化例にあって、コンピュータ処理装置５０１は身ぶりの受信を確認するための遠隔触覚効果を出力してもよい。そのような一つの具現化例にあって、コンピュータ処理装置５０１はデスクトップ上に載って、同じデスクトップ上にユーザインターフェースを映写する。左／右にスクロールするための左／右のスワイプ（swipe）のような身ぶりの入力の受信に応じて、コンピュータ処理装置５０１は、身ぶりの入力の受信を確認するために特定のパターン又は特定の強さにて映写面５０２を振動してもよい。例えば、一具現化例にあって、ユーザはフォトアルバムをスクロールしてもよい。そのような具現化例にあって、ユーザが各ピクチャをスクロールするために左／右をスワイプすると、コンピュータ処理装置５０１はスワイプジェスチャ（身ぶり）の受信を確認するために強度を変化した振動を出力する。

（映写されたユーザインターフェースのための触覚フィードバックを可能とするための例示される方法）
図６は一具現化例に係る映写されたユーザインターフェースのための触覚フィードバックを可能とするための方法６００を示すフローチャートである。いくつかの具現化例にあって、図６のステップは、例えば一般的な目的のコンピュータ、モバイルデバイス、又はサーバのような、プロセッサによって実行されるプログラムコードにて実施されてもよい。いくつかの具現化例にあって、これらのステップは複数プロセッサからなるグループによって実施されてもよい。いくつかの具現化例にあって、図６に示された一つ以上のステップは、省略されても、又は異なる順番で実行されてもよい。同様に、いくつかの具現化例にあって、図６に示されない他のステップが実行されてもよい。以下に示されるステップは、図１及び２にそれぞれ示された、前述されたシステム１００及び２００にて記述されたコンポーネントを参照して説明される。

前記方法６００は、ステップ６０４にて始まり、プロセッサ２０２はユーザの入力に対応するセンサ２０８の信号を受信する。いくつかの具現化例にあって、ユーザ入力は、映写されたユーザインターフェースに関連している。センサ２０８は、例えば、カメラ、加速度計、ジャイロスコープ、奥行きセンサ、又はタッチセンシティブ面のような、本技術分野にて周知の一つ以上の複数のセンサを含む。センサ２０８は、入力の場所や、方向及び速度のような他の情報を判断するように構成されてもよい。ユーザ入力の検出に応じて、センサ２０８はインタラクションに関連する信号をプロセッサ２０２に送信してもよい。ユーザ入力は、例えば、一つ以上の身ぶり、コンピュータ処理装置２０１の方向の変化、センサ２０８によって検出される平易なインタラクション、又は映写面１３０とのインタラクションであってもよい。いくつかの具現化例にあって、検出信号はユーザインタラクションの場所、速度、方向、又は力に関連したデータを含んでもよい。例えば、検出信号は、ユーザの指がどのくらい速く動くか、映写面１３０上にてどのくらいの力を及ぼすか、又は映写面１３０に沿った動きの方向を示してもよい。

方法６００は、検出信号の少なくとも一部に基づいて遠隔触覚効果を判断すると、ステップ６０６にて継続する。プロセッサ２０２は、遠隔触覚効果を判断するために触覚効果判断モジュール２２６に収納されているプログラムに依存してもよい。例えば、いくつかの具現化例にあって、触覚効果判断モジュール２２６は複数の触覚効果及び複数のユーザ入力を含むデータのルックアップテーブルを備えてもよい。例えば、一具現化例にあって、映写された仮想キーボード上でのタイピングに応じて、プロセッサ２０２は遠隔触覚効果を判断するためにルックアップテーブルにアクセスする。

他の具現化例にあって、映写されたユーザインターフェースの特徴物は、特定の遠隔触覚効果と関連してもよい。例えば、そのような一具現化例にあって、ボタン上をユーザの指でスライドすることは、特定の遠隔触覚効果に関連するかもしれない。いくつかの具現化例にあって、一つのボタン上で指をスライドすることに応じて、プロセッサ２０２は、ユーザの手を刺激するためにガス一吹きを放出する、遠隔触覚効果を判断する。いくつかの具現化例にあって、映写されたユーザインターフェース上の一つ以上の特徴物は、複数の利用可能な肌触りに関連してもよい。そのような具現化例にあって、ユーザがこれらの特徴物のそれぞれとインタラクトすると、プロセッサ２０２は、例えば、粘着、でこぼこ、ゴムのような、又は水のような肌触りのような肌触りをシミュレートするように構成される遠隔触覚効果を判断してもよい。

一具現化例にあって、プロセッサ２０２はユーザ入力の一部に基づいた遠隔触覚効果を判断してもよい。例えば、プロセッサ２０２は、数字の大きさに対して逆の比率となる、強度を持つ振動を含む触覚効果を出力するように構成される遠隔触覚効果を判断してもよい。

さらに、いくつかの具現化例にあって、ユーザは、ユーザが特別なイベント又はユーザインターフェースに関連する遠隔触覚効果の「プロファイル」を判断し、さらにメモリ２０４にセーブする、「触覚プロファイル」を有してもよい。例えば、一具現化例にあって、ユーザは仮想のボタンに対応する遠隔触覚効果を選択してもよい。例えば、ユーザは、長い振動、短い振動、パターン化された振動、長い酸素の吹きかけ、短い酸素の吹きかけ、パターン化された酸素の吹きかけ、水散布、又はでこぼこ、ゴムのような、又は滑らかな肌触りのような遠隔触覚効果を選択してもよい。そのような具現化例にあって、プロセッサ２０２は、触覚プロファイルの一部に基づいて遠隔触覚効果を判断する。

いくつかの具現化例にあって、プロセッサ２０２は、遠隔触覚効果を出力するために複数の利用可能な触覚出力デバイス２１８から一つ以上の触覚出力デバイスを判断してもよい。例えば、一具現化例にあって、プロセッサ２０２は、水の肌触りを含む遠隔触覚効果を判断してもよい。そのような具現化例にあって、プロセッサ２０２は、水の肌触りを含む遠隔触覚効果を出力するために用いる触覚出力デバイス２１８をさらに判断してもよい。プロセッサ２０２は、単独又は組み合わせにより、水の肌触りを含む遠隔触覚効果を出力することができる、空気を噴き出す噴き出し口、及び映写面１３０に結合されたＥＳＦアクチュエータのような、一つ以上の触覚出力デバイスを選択してもよい。

いくつかの具現化例にあって、プロセッサ２０２は、ルックアップテーブル、アルゴリズム、デフォルトの選択、ユーザから受信した入力に基づいて遠隔触覚効果を出力するためにどの触覚出力デバイス２１８を用いるのかを判断するか、又はどの出力デバイスを現在にあって用いないかを判断する。例えば、そのような具現化例の一つにあって、プロセッサ２０２はルックアップテーブルの一部に基づいて遠隔触覚効果を出力するためにどの触覚出力デバイス２１８を用いるのかを判断してもよい。ルックアップテーブルは、複数の触覚出力デバイス及び複数の触覚効果についてのデータを含んでもよい。例えば、ルックアップテーブルはガス噴出口及び、酸素の流れ、酸素の一吹き、又は窒素の流れのような、複数の触覚効果についてのデータを含む。そのような一具現化例にあって、プロセッサ２０２はルックアップテーブルにアクセスし、さらにガス噴出口からの酸素の一吹きを含む触覚効果に対応する。

他の具現化例にあって、プロセッサ２０２はデフォルトの触覚出力デバイス１１８の一部に基づいて判断を下す。例えば、そのような具現化例にあって、プロセッサ２０２は、例えば、プロセッサ２０２が、ルックアップテーブル、アルゴリズム、又はユーザ入力に基づいて他の触覚出力デバイス１１８がより適切であると判断しない限り、デフォルトにより、遠隔触覚効果を出力するためにガスの噴出口を選択してもよい。他の具現化例にあって、プロセッサ２０２は、触覚出力デバイス１１８が既に使用されていないという判断の一部に基づいて触覚出力デバイス１１８を判断してもよい。例えば、一つのそのような具現化例にあって、プロセッサ２０２は、水の肌触りを含む遠隔触覚効果を判断してもよい。プロセッサ２０２は、さらに、ＥＳＦアクチュエータを含む触覚出力デバイス２１８又は空気噴出口を含む触覚出力デバイス２１８から発生される遠隔触覚効果を判断することもできる。そのような具現化例にあって、ＥＳＦアクチュエータを含む触覚出力デバイス２１８は映写面１３０における摩擦係数にてシミュレートされた増加のような異なる遠隔触覚効果を発生するために既に用いられているかもしれない。プロセッサ２０２は、このため、空気噴出口を含む触覚出力デバイス１１８を判断する。空気噴出口は、遠隔触覚効果を出力するために用いられるべきである。

プロセッサ２０２が少なくとも遠隔触覚効果６０８の一部に基づいて触覚信号を発生し、遠隔触覚効果に対応する触覚信号を触覚出力デバイス６１０に送信すると、方法は継続する。いくつかの具現化例にあって、プロセッサ２０２は、メモリ１０４に蓄積され、さらに特別な遠隔触覚効果に対応している駆動信号をアクセルすることにより、触覚効果を発生してもよい。一具現化例にあって、プロセッサ２０２は、振幅及び周波数パラメータに基づいて駆動信号を判断するように構成された蓄積されているアルゴリズムをアクセスすることによって触覚信号を出力してもよい。いくつかの具現化例にあって、触覚信号は、アクチュエータによってデコードされるようにアクチュエータに送られるデータを含んでもよい。例えば、アクチュエータは、振幅及び周波数のようなパラメータを規定するコマンドに反応してもよい。

いくつかの具現化例にあって、触覚出力デバイス２１８は、例えば、複数超音波トランスデューサ、複数スピーカ、又は複数の固体、複数の液体、複数の気体、又は複数のプラズマを放出する複数の噴出口を備えてもよい。そのような一つの具現化例にあって、触覚出力デバイス２１８は、触覚信号の受信に基づいて特性を変更しながら、酸素、窒素、二酸化炭素又は一酸化炭素の吹きかけ又はストリームを放出するように構成されるガス噴出口を備えてもよい。他の具現化例にあって、触覚出力デバイス２１８は、触覚信号の受信に応じて、映写面１３０又はユーザに、特性を変更しながら振動を引き起こす集中された音圧波を放出する超音波トランスデューサのアレイを含んでもよい。いくつかの具現化例にあって、触覚出力センサ２１８は、コンピュータ処理装置２０１内の部品に結合されるピエゾ電気アクチュエータ又は電気モータのような従来からのアクチュエータを含んでもよい。そのような一具現化例にあって、触覚出力デバイス２１８は、映写面１３０を直接的に振動させてもよい。

（映写されたユーザインターフェースを触覚的に動作可能とするシステムの他の具現化例）
本開示のいくつかの具現化例にあって、コンピュータ処理装置は、ユーザを楽しませ、気晴らしさせ、又は落ち着かせる以外の特別な目的を持たずに遠隔触覚効果を出力してもよい。例えば、一具現化例にあって、壁紙、例えば「ライブウォルペーパ」”Live Wallpaper”は、ユーザの接触に反応してもよい。ユーザが「ライブウォルペーパ」に触れると、コンピュータ処理装置は、例えば振動のような遠隔触覚効果を出力してもよい。他の具現化例にあって、映写されるアプリケーションは、映写面上のユーザの接触に反応してもよい、ユーザが四角を移動する接触を試みるゲームを含んでもよい。

一具現化例にあって、コンピュータ処理装置は、ハンドフリーゲームデバイスを含んでもよい。そのような一具現化例にあって、コンピュータ処理装置は映写面上にゲームを映写し、ユーザはジェスチャ（身ぶり）を行うことによりゲームとインタラクトしてもよい。例えば、ユーザは仮想の兵器を発射するようにスワイプモーションをしてもよい。ユーザがゲームとインタラクトすると、コンピュータ処理装置は遠隔触覚効果を出力する。そのような一具現化例にあって、コンピュータ処理装置は、ユーザのインタラクションの検出を確認する遠隔触覚効果を出力する一つ以上の触覚出力デバイスを用いてもよい。例えば、一具現化例にあって、コンピュータ処理装置は、ユーザの手に気体（例えば空気）の一吹きを放出するように構成される噴出口のような触覚出力デバイスを備えてもよい。ユーザが手にて身ぶりを行うと、コンピュータ処理装置はその身ぶりを検出したことを確認するためのガスの一吹きを放出してもよい。

いくつかの具現化例にあって、映し出されたユーザインターフェースは、遠隔触覚効果が出力されるか否かをコントロールするように構成されてもよいアイコンを備える。そのような一具現化例にあって、このアイコンはボタン、旗又はユーザが触覚効果をターンオン又はターンオフするためにインタラクトするアイコンのようなウィジェットを備えてもよい。さらに、いくつかの具現化例にあって、ユーザは、アイコンを特定の場所に設定する（仮想のスイッチを特定の位置に押すことにより、又は仮想の旗を特定の場所に引っ張るか又は押すことにより）ことによって触覚効果の強さを変動することができる。いくつかの具現化例にあって、本開示のコンピュータ処理装置は、ユーザがこのウィジェットとインタラクトすると遠隔触覚効果を出力するように構成される。

いくつかの具現化例にあって、コンピュータ処理装置は、映写面のトポグラフィ（表面的特徴）、又はコンテンツの一部に基づいて映写される画像又は映写されるユーザインターフェースを変えてもよい。いくつかの具現化例にあって、コンピュータ処理装置は、映写面の表面的特徴又はコンテンツを判断するのに複数センサ（例えばカメラ、奥行きセンサ、又は距離センサのような）を備えてもよい。そのような一具現化例にあって、検出信号の一部に基づいて、コンピュータ処理装置は、ユーザインターフェースの新しい画像を判断し映写してもよい。例えば、一具現化例にあって、検出信号に基づいて、コンピュータ処理装置は、映写面はImmersionロゴを含むかを判断する。そのような具現化例にあって、コンピュータ処理装置は、映写面上のImmersionロゴに対応して新しいユーザインターフェースを映写してもよい。さらに、いくつかの具現化例にあって、コンピュータ処理装置は、検出信号の一部に基づいて一つの遠隔触覚効果を判断してもよい。例えば、一具現化例にあって、コンピュータ処理装置は、映写面が単語「INTENSIVE VIBRATION」を含むことを判断してもよい。これに対応して、いくつかの具現化例にあって、コンピュータ処理装置は、ある強度の振動を含む一つの遠隔触覚効果を出力してもよい。

いくつかの具現化例にあって、コンピュータ処理装置はユーザインターフェースを、特別な表面ではなく、例えばホログラムに対応するような空間に映し出してもよい。そのような具現化例にあって、コンピュータ処理装置は、映写されたユーザインターフェースとインタラクトするユーザインタラクションを判断するための、例えば奥行きセンサ、カメラ、距離センサのような複数のセンサを備えてもよい。そのような一つの具現化例にあって、検出信号の一部に基づいて、コンピュータ処理装置は遠隔触覚効果を判断して出力する。いくつかの具現化例にあって、コンピュータ処理装置は、触覚効果をユーザに出力する、ネクタイのような装着可能なデバイスへの信号を判断し、送る。他の具現化例にあって、コンピュータ処理装置は、例えば、複数の固体、複数の液体、複数の気体、複数のプラズマ、又は複数の音圧波をユーザに放出することにより、ユーザに遠隔触覚効果を直接的に出力する。例えば、一具現化例にあって、ユーザがホログラムにより映し出されたユーザインターフェースとインタラクトすると、コンピュータ処理装置は、ユーザの指が仮想ボタンを過ぎたかを判断する。いくつかの具現化例にあっては、コンピュータ処理装置は、水の吹きかけを含む遠隔触覚効果を判断し、その遠隔触覚効果をユーザに出力する。

（触覚的に動作可能な映写ユーザインターフェースの優れた点）
触覚的に動作可能なユーザインターフェースを有することの多数の優れた点がある。ユーザが映し出されたユーザインターフェースを操作したときに触覚効果を提供することは、ユーザに映写面に視覚的に焦点を合わせることなしに、状態に判断をさせる（例えば、デバイスがあるモードを判断する）。このため、ユーザは、他のタスクに焦点を合わせることができる。例えば、ユーザは、映し出されたユーザインターフェース上の利用可能な動作に関する判断を、映写面上への焦点を合わせることなく、行うことができる。同様に、遠隔触覚効果は、動作が利用可能であるか、完了したか、又はあるレベルの重要性があることについて確認としての役割を果たす。

さらに、触覚フィードバックを提供することは、映し出されたスイッチに従来のスイッチにとって代わらせる。これは、映し出されたユーザインターフェースを複数機能コントローラとして動作させる。さらに、映写ベースのデバイスに、従来には使用できなかった場所での使用を可能とさせる。これは、コストを低減し、全体的なユーザの満足度を向上させる。

（全体的な考察）
前述された方法、システム及びデバイスは具体例である。様々な構造が省略され、代替され、又は様々な手続き又は部品が適切に加えられてもよい。例えば、他の構成、方法が前述した順番とは異なって実行されてもよいし、及び／又は様々な段階が加えられても、省略されても、及び／又は組み合わされてもよい。さらに、ある構成それぞれについて記載された特徴物は様々な他の構成に統合されてもよい。それら構成の異なる態様及びエレメントが同様の仕様にて組み合わされてもよい。さらに、技術が発展させる、さらには多数のエレメントは、具体例であり、本開示又は特許請求の範囲を制限するものではない。

発明の詳細な説明が具体的な構成の全体的な理解のために提供された（実装を含む）。しかし、構成は、これらの詳細な説明なしにも実行される。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術が、構成を不明瞭にするのを避けるために不要な詳細を示すことなく示されてきた。この説明は、具体的な構成を提供するためだけに提供され、特許請求の範囲の範囲、汎用、又は構成を制限するためのものでは決してない。むしろ、これまでの構成の説明は、動作可能な記載をもって、当業者に説明された技術の実行のためである。様々な変更が本開示の精神又は範囲からそれることなく機能及び配置にあって成されるであろう。

さらに、構成は、フローチャート又はブロック図にて示されるプロセスとして記載される。それぞれは、シーケンシャルなプロセスとして説明されるが、多数の動作は、平行して、又は同時に実行される。さらに、動作の順番は再配置されてもよい。プロセスは、図に示されていない付加的なステップを備えてもよい。さらに、方法の具体例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの組み合わせによって実行されてもよい。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードにて実行されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメントは、ストレージ媒体のような非一時的なコンピュータ読み取り媒体に蓄積される。プロセッサは記載されたタスクを実行する。

いくつかの具体的な構成を説明してきたように、様々な変更、代替的な構造、及び等価物が開示の精神から外れることなく用いられてもよい。例えば、前述のエレメントは大きなシステムの部品であってもよいし、他のルールが本開示のアプリケーションよりも優先されてもよいし、さもなければ変更されてもよい。さらに、前述のエレメントが考察される以前、間、又は後に、多数のステップが行われてもよい。つまり、前述の説明は、特許請求の範囲を制限するものではない。

本明細書にての表現「されるように適用される」又は「されるように形成される」の使用は、別のタスク又はステップを実行するように適用される又は形成される装置を締め出さないためのオープン、さらに包括的な意味を有する。さらに「に基づいて」の使用は、実際には、プロセス、ステップ、計算又は、一つ以上の列挙条件又は値に「基づく」他のアクションがこれらの列挙を超えた他の条件又は値に基づいていることをオープン及び包括的に意味する。本明細に含まれるヘッディング、リスト及びナンバリングは、説明の簡略化のためになされたものであり、制限することを意図するものではない。

本発明の主題の態様に関連する実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせによって実行されることができる。一実施形態にあって、コンピュータは一つのプロセッサ又は複数のプロセッサを含むことができる。プロセッサは、プロセッサに結合されるランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読み取り可能な媒体を備えるか、そのようなコンピュータ読み取り可能な媒体へのアクセスを有する。プロセッサは、センササンプリングルーティン、選択ルーティン、及び前述の方法を実行するための他のルーティンを含む一つ以上のプログラムを実行するように、メモリに蓄積されたコンピュータにて実行可能なプログラムインストラクションを実行する。

そのようなプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、及びステートマシンを備える。そのようなプロセッサは、さらにＰＬＣｓ、プログラマブルインタラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電子プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ又はＥＥＰＲＰＭｓ）、又は他の同様なデバイスなどを備えてもよい。

そのようなプロセッサは、例えば、有形のコンピュータ読み出し可能な媒体などの、インストラクションを格納している媒体を備えるか、又はそれらと通信してもよい。そのような媒体に格納されているインストラクションは、本明細書に記載されたステップを、プロセッサの助けを得て、又はプロセッサによって実行される。コンピュータ読み取り可能な媒体の具体例は、ただし制限されるものではないが、コンピュータ読み取り可能なインストラクションを伴って、全ての電子、光学、磁気、又はウェブサーバにおけるプロセッサのような、プロセッサに提供できる他のストレージデバイスを備える。他の媒体の具現化例は、しかし制限されるものではないが、フロッピディスク（登録商標）、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、形成されたプロセッサ、すべての光学媒体、すべての磁気テープ又は他の磁気媒体、又はコンピュータのプロセッサが読むことのできる他の媒体を含む。説明されたプロセッサ、及びプロセッシングは、一つ以上の構成内にあり、さらに一つ以上の構成を通して分散される。プロセッサは、本明細書に記載された一つ以上の方法（又は方法の部分）を実行するためのコードを含む。

本発明の主題がその詳細な具現化例についての詳細に説明されてきたが、多くの変更及び適用が当業者によって本発明の範囲及び精神から逸脱することなく明らかとなるであろう。つまり、本開示は制限よりもむしろ具体例を示すものであり、さらに当業者によって容易に明らかなように、本発明の主題への変更、バリエーション及び／又は追加のような包含を排除するものではないことが理解されるであろう。

Claims (20)

1. 映写されたユーザインターフェースに対するユーザの入力を検出し、ユーザのインタラクションに対応する検出信号を送信するように構成されるセンサと、
   前記センサと通信するプロセッサであり、さらに
   前記検出信号を受信し、
   前記ユーザの入力の少なくとも一部に基づいて遠隔触覚効果を判断し、
   前記遠隔触覚効果の少なくとも一部に基づいて触覚信号を発生し、さらに
   前記触覚信号を送信するように構成される前記プロセッサと、
   前記プロセッサと通信する触覚出力デバイスであり、前記触覚信号を受信し、さらに前記遠隔触覚効果を出力するように構成される前記触覚出力デバイスと
   を備えるシステム。
2. 前記センサは、カメラ、加速度計、ジャイロスコープ、奥行きセンサ、又はタッチセンシティブ面の内の少なくとも一つ以上を含む請求項１記載のシステム。
3. さらにプロジェクタを備える請求項１記載のシステム。
4. 前記映写されたユーザインターフェースは表面上に映写され、さらに前記触覚出力デバイスは前記表面上に前記遠隔触覚効果を出力する請求項１記載のシステム。
5. 前記触覚出力デバイスは前記表面に直接的に接続される請求項４記載のシステム。
6. 前記映写されたユーザインターフェースは表面上に映写され、さらに前記触覚出力デバイスは前記表面から離隔される請求項１記載のシステム。
7. 前記触覚出力デバイスはユーザに直接的に装着される請求項６記載のシステム。
8. 前記触覚出力デバイスはユーザによって身に着けられるデバイスに関連する請求項６記載のシステム。
9. 前記遠隔触覚効果は振動、肌さわり、摩擦係数の変化、温度の変化、又は複数の固体、複数の液体、複数の気体、複数のプラズマ又は複数の音圧波の内の一つ以上の放出の内の一つ以上を含む請求項１記載のシステム。
10. 前記触覚出力デバイスは超音波トランスデューサ、スピーカ、噴出口、ピエゾ電気アクチュエータ、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気アクティブポリマ、ソレノイド、偏芯回転質量モータ、又は線形共振アクチュエータの内の一つ以上を含む請求項１記載のシステム。
11. 映写されたユーザインターフェースに対するユーザの入力に対応する検出信号を受信すること、
    前記検出信号の少なくとも一部に基づいて遠隔触覚効果を判断すること、
    前記遠隔触覚効果の少なくとも一部に基づいて触覚信号を発生すること、
    前記遠隔触覚効果に対応する触覚信号を触覚出力デバイスに送信すること
    を備える方法。
12. 前記センサは、カメラ、加速度計、ジャイロスコープ、奥行きセンサ、又はタッチセンシティブ面の内の少なくとも一つ以上を含む請求項１１記載の方法。
13. 前記映写されたユーザインターフェースは表面上に映写され、さらに前記触覚出力デバイスは前記表面から離隔される請求項１１記載の方法。
14. 前記触覚出力デバイスはユーザに直接的に装着される請求項１３記載の方法。
15. 前記触覚出力デバイスはユーザによって身に着けられるデバイスに関連する請求項１３記載の方法。
16. 前記遠隔触覚効果は振動、肌さわり、摩擦係数の変化、温度の変化、又は複数の固体、複数の液体、複数の気体、複数のプラズマ又は複数の音圧波の内の一つ以上の放出の内の一つ以上を含む請求項１１記載の方法。
17. 前記触覚出力デバイスは超音波トランスデューサ、スピーカ、噴出口、ピエゾ電気アクチュエータ、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気アクティブポリマ、ソレノイド、偏芯回転質量モータ、又は線形共振アクチュエータの内の一つ以上を含む請求項１１記載の方法。
18. プロセッサによって実行されると、プロセッサに、
    映写されたユーザインターフェースに対するユーザの入力に対応する検出信号を受信させ、
    前記検出信号の少なくとも一部に基づいて遠隔触覚効果を判断させ、
    前記遠隔触覚効果の少なくとも一部に基づいて触覚信号を発生させ、
    前記遠隔触覚効果に対応する触覚信号を触覚出力デバイスに送信させるように構成されるコンピュータプログラムコードを備える非一時的なコンピュータ読み取り可能な媒体。
19. 前記遠隔触覚効果は振動、肌さわり、摩擦係数の変化、温度の変化、又は複数の固体、複数の液体、複数の気体、複数のプラズマ又は複数の音圧波の内の一つ以上の放出の内の一つ以上を含む請求項１８記載の非一時的なコンピュータ読み取り可能な媒体。
20. 前記触覚出力デバイスは超音波トランスデューサ、スピーカ、噴出口、ピエゾ電気アクチュエータ、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気アクティブポリマ、ソレノイド、偏芯回転質量モータ、又は線形共振アクチュエータの内の一つ以上を含む請求項１８記載の非一時的なコンピュータ読み取り可能な媒体。

Images