JP2018190453A - ウェアラブル触覚装置 - Google Patents

ウェアラブル触覚装置 Download PDF

Info

Publication number
JP2018190453A
JP2018190453A JP2018144735A JP2018144735A JP2018190453A JP 2018190453 A JP2018190453 A JP 2018190453A JP 2018144735 A JP2018144735 A JP 2018144735A JP 2018144735 A JP2018144735 A JP 2018144735A JP 2018190453 A JP2018190453 A JP 2018190453A
Authority
JP
Japan
Prior art keywords
event
wearable device
augmented reality
wearable
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018144735A
Other languages
English (en)
Other versions
JP2018190453A5 (ja
Inventor
ビスタシオン,アラン
Visitacion Allan
ジョーンズ,トレヴァー
Jones Trevor
グレゴリー パーカー,ダニエル
Gregory Parker Daniel
グレゴリー パーカー,ダニエル
イモト,コウヘイ
Kohei Imoto
リード,キース
Keith Reed
イー. フェッロ,ジェシカ
E Ferro Jesica
イー. フェッロ,ジェシカ
カペラス,アーロン
Kapelus Aaron
オリエン,ニール
Olien Neil
エー. グラント,ダニー
A Grant Danny
エー. グラント,ダニー
ラクロワ,ロバート
Lacroix Robert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50439132&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2018190453(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018190453A publication Critical patent/JP2018190453A/ja
Publication of JP2018190453A5 publication Critical patent/JP2018190453A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】拡張仮想環境とインタラクションするユーザに便利なウェアラブル触覚装置を提供する。【解決手段】ウェアラブル装置100は、ウェアラブル装置に関する環境において発生するイベントに基づいてフィードバックを生成する。ウェアラブル装置は、ウェアラブル装置に関する環境内で発生するイベントを表す制御信号を生成するプロセッサ110と、少なくとも、ウェアラブル装置の第1の位置に配置される第1の触覚出力装置130とを備える。第1の触覚出力装置は、生成された制御信号に基づいて触覚フィードバックを提供する。【選択図】図1

Description

本発明は、ウェアラブル装置に関する環境において発生するイベントに基づいてフィードバックを生成するように構成されたウェアラブル装置に関する。
拡張現実装置は、物理空間内の物理オブジェクトが仮想空間内の仮想オブジェクトと同時に表示される拡張現実環境を提供する。様々な拡張現実装置が、物理オブジェクト上に配置された特定のコード(例えば、QRコード)を認識し、該特定のコードに基づいて仮想オブジェクトを用いて拡張される物理オブジェクトを含む表示画像内に、一又は複数の仮想オブジェクトを表示する。他の拡張現実装置は、画像認識を行うサーバに画像を送信するなどして、画像認識を用いて特定の既知の物理オブジェクトを認識することができる。
拡張現実システムが進歩したにもかかわらず、拡張仮想環境とインタラクションする能力は限られている。また、ユーザに便利なフィードバックを提供することも限定されている。さらに、仮想現実環境内のオブジェクトの認識は、計算上の負荷が大きく、多くの場合ユーザビリティを低下させる。
本発明は、ウェアラブル装置に関する環境において発生するイベントに基づいてフィードバックを生成するように構成されたウェアラブル装置に関する。ウェアラブル装置は、例えば、該ウェアラブル装置に関する環境内で発生するイベントを表す制御信号を生成するように構成されたプロセッサと、少なくとも、該ウェアラブル装置の第1の位置に配置される第1の触覚出力装置とを備え、第1の触覚出力装置は生成された制御信号に基づいて触覚フィードバックを提供する。
ウェアラブル装置は、例えば、プロセッサ、入力コンポーネント、フィードバック・コンポーネント、通信ポート、撮像コンポーネント、記憶装置、及び/又は他のコンポーネントを備える。入力コンポーネントは、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を受けるように構成される。フィードバック・コンポーネントは、ウェアラブル装置を介してフィードバックを提供するように構成される。通信ポートはインターフェースを備え、それを介して、例えばサーバ及び/又は他の装置との通信チャネルが維持される。カメラなどの撮像コンポーネントは、ウェアラブル装置に関する物理空間を画像化するように構成される。一部の実施形態において、ウェアラブル装置の撮像コンポーネントは、カメラ、赤外線検出器、及び/又は他の画像記録装置を備える。ウェアラブル装置の記憶装置は、イベントに関するデータを記憶する。
一部の実施形態において、ウェアラブル装置のプロセッサは、例えばイベント・ハンドラ・モジュール、制御信号生成モジュール、フィードバック制御モジュール、通信モジュール、オブジェクト認識モジュール、及び/又はコンピュータ・プログラム・モジュールを含む、一又は複数のモジュールを実行するように構成される。イベント・ハンドラ・モジュールは、ウェアラブル装置に関する環境内でのイベントの発生を検出するように構成される。制御信号生成モジュールはイベントに関する情報を受信し、制御信号を生成するように構成される。制御信号は、ウェアラブル装置に関する環境内で発生するイベントを表す。フィードバック制御モジュールは、制御信号を受信して、フィードバック・コンポ
ーネントにフィードバックを提供させる。通信モジュールはウェアラブル装置と他の装置との間の通信を容易にするように構成される。オブジェクト認識モジュールは、ウェアラブル装置に関する物理空間内の物理オブジェクトを認識するように構成される。
イベントは、例えば、ウェアラブル装置の所定の近傍内の物理オブジェクトの指示、環境内で発生する環境条件の指示、環境内で発生する環境条件の変化の指示、ウェアラブル装置の所定の近傍内でのオブジェクトの動きの指示、環境内でのウェアラブル装置とオブジェクトのインタラクション、ウェアラブル装置が環境内のオブジェクトを認識するという指示、ナビゲーション・イベント、及び/又はウェアラブル装置に関する環境内で発生する他のイベントを含み得る。
一部の実施形態において、フィードバック制御モジュールは制御信号をフィードバック・コンポーネントに提供するように構成される。一部り実施形態において、制御信号はフィードバック・コンポーネントに直接与えられてフィードバックを発生させることもある。一部の実施形態において、フィードバック制御モジュールは受信した制御信号に基づいてフィードバック信号を決定するように構成される。これらの実施形態においては、フィードバック制御モジュールは検索テーブルを参照して、受信した制御信号に基づいてフィードバック信号を決定するように構成される。
通信モジュールは、ウェアラブル装置と他の装置との間の通信を容易にするように構成される。他の装置とは、例えば、サーバ及び/又は、ウェアラブル装置と通信を行う他の装置などである。通信モジュールは、ウェアラブル装置、サーバ、及び/又はその他の装置の間の通信のための有線又は無線の通信チャネルを提供するように構成される。一部の実施形態において、プロセッサは、通信モジュールの有線または無線の通信チャネルを介して、他の計算装置で発生するイベントを表す信号を受信するように構成される。
一部の実施形態において、オブジェクト認識モジュールは、物理的空間内でオブジェクトを認識するように構成される。オブジェクト認識モジュールは、ウェアラブル装置の撮像コンポーネントおよび記憶装置と通信して、物理空間内のオブジェクトを認識するように構成される。例えば、オブジェクト認識モジュールは、撮像コンポーネントから取り込まれた視覚データを受信し、該視覚データを処理して、取り込まれた視覚データに一又は複数のオブジェクトが存在するか否かを判定する。オブジェクト認識モジュールは、取り込まれた視覚データ内に存在するオブジェクトと記憶装置内に記憶されたオブジェクトとを比較する。
入力コンポーネントは、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の種類の通信などの入力を受けるように構成される。入力はプロセッサによって通信チャネルを介して他の装置に伝達される。他の装置とは、例えばサーバ及び/又は、ウェアラブル装置と通信する他の装置などである。例えば、入力コンポーネントは、タッチ・パッド、タッチ・スクリーン、機械式ボタン、スイッチ、マイクロホンなどの音声受信機、及び/又は入力を受けることができる他の入力コンポーネントを含む。
一部の実施形態において、フィードバック・コンポーネントは、触覚フィードバックを提供するように構成された一又は複数の触覚出力装置、視覚的フィードバックを提供するように構成された一又は複数の視覚装置、音声フィードバックを提供するように構成された一又は複数の音声装置、及び/又はフィードバックを生成する他の装置を備える。
触覚出力装置が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体(「ERM」)などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ(「LRA」)、または圧電材料、電
気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および/または触覚(例えば、振動触知)フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置は、非機械的または非振動装置、例えば、静電摩擦(「ESF」)や超音波表面摩擦(「USF」)を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。
視覚装置は、ウェアラブル装置において可視光などの視覚的フィードバックを生成するように構成される。例えば、視覚的フィードバックは、ウェアラブル装置に関する環境内でイベントが発生したことを視覚的に指示する。
音声装置は、ウェアラブル装置において一又は複数の音などの音声フィードバックを生成するように構成される。例えば、音声フィードバックは、ウェアラブル装置に関する環境内でイベントが発生したことを音声で指示する。
フィードバック・コンポーネントは、フィードバック制御モジュールから一又は複数の信号(例えば、一又は複数の制御信号あるいは一又は複数のフィードバック信号)を受信するように構成される。この一又は複数の信号に基づいて、一又は複数の触覚出力装置、一又は複数の視覚装置、一又は複数の音声装置、及び/又は他のフィードバック・コンポーネントが、ウェアラブル装置を介してフィードバックを提供する。
通信ポートは、他の装置との通信チャネルを確立するように構成される。通信ポートはインターフェースを備え、それを介して、他の装置との通信チャネルが維持される。他の装置とは、例えばサーバ及び/又は、ウェアラブル装置と通信を行う他の装置などである。一部の実施形態において、通信チャネルを介して制御信号が受信される。この通信チャネルは、有線又は無線の通信チャネルを含む。
一部の実施形態において、ウェアラブル装置は、センサを備える。このセンサはウェアラブル装置に関する一又は複数の環境条件を検知するように構成される。
一部の実施形態において、ウェアラブル装置は、拡張現実空間および物理空間の両方を含む拡張現実(「AR」)環境を生成するように構成されたウェアラブル拡張現実(「AR」)装置である。このウェアラブルAR装置は、例えば、物理空間を画像化するように構成された撮像装置、物理空間と一致する拡張現実空間を生成し、物理空間内の少なくとも1つの物理オブジェクトを認識し、AR空間内の一又は複数の仮想オブジェクトを用いて物理オブジェクトを拡張し、AR環境に関連付けられたイベントを判定し、判定されたイベントに基づいて制御信号を生成するように構成された一又は複数のプロセッサ、及び少なくとも、ウェアラブルAR装置の第1の位置に配置された第1の触覚出力装置を備え、該第1の触覚出力装置は生成された制御信号に基づいてフィードバックを提供するように構成される。
一部の実施形態において、ウェアラブルAR装置は、例えば、プロセッサ、入力コンポーネント、フィードバック・コンポーネント、通信ポート、撮像コンポーネント、記憶装置、及び/又は他のコンポーネントを備える。入力コンポーネントは、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を受けるように構成される。フィードバック・コンポーネントは、ウェアラブルAR装置を介してフィードバックを提供するように構成される。通信ポートはインターフェースを備え、それを介して、例えばサーバ及び/又は他の装置との通信チャネルが維持される。カメラなどの撮像コンポーネントは
、物理空間を画像化するように構成される。一部の実施形態において、ウェアラブルAR装置の撮像コンポーネントは、カメラ、赤外線検出器、及び/又は他の画像記録装置を備える。プロセッサは物理空間と一致する拡張現実空間を生成するように構成される。プロセッサは、物理空間内の少なくとも1つの物理オブジェクトを認識し、AR空間内の一又は複数の仮想オブジェクトを用いて少なくとも1つの物理オブジェクトを拡張するように構成される。プロセッサは、AR空間内のイベントを判定し、そのイベントを表す制御信号を生成するように構成される。制御信号により、ウェアラブルAR装置においてフィードバックが生成される。
一部の実施形態において、ウェアラブルAR装置のプロセッサは、例えばイベント・ハンドラ・モジュール、制御信号生成モジュール、フィードバック制御モジュール、通信モジュール、オブジェクト認識モジュール、オブジェクト生成モジュール、及び/又はコンピュータ・プログラム・モジュールを含む、一又は複数のモジュールを実行するように構成される。イベント・ハンドラ・モジュールは、拡張現実環境内でのイベントの発生を検出するように構成される。制御信号生成モジュールはイベントに関する情報を受信し、該イベントに関する制御信号を生成するように構成される。フィードバック制御モジュールは、制御信号を受信して、フィードバック・コンポーネントにフィードバックを提供させる。通信モジュールは拡張現実装置とサーバなどの他の装置との間の通信を容易にするように構成される。オブジェクト認識モジュールは、物理空間内の物理オブジェクトを認識するように構成される。オブジェクト生成モジュールは、認識された物理オブジェクトを拡張するための仮想オブジェクトを生成するように構成される。
一部の実施形態において、ウェアラブルAR装置のプロセッサに判定されたイベントは、少なくとも1つの物理オブジェクトと拡張現実空間との間のインタラクション、拡張現実環境にに対して発生したアクションの確認、少なくとも1つの物理オブジェクトが拡張現実装置によって認識されたことの確認、物理空間内のオブジェクトが拡張されたことの確認、拡張現実装置の所定の近傍内の少なくとも1つの物理オブジェクトの指示、拡張現実装置に関する環境内で発生する環境条件の指示、該環境内で発生する環境条件の変化の指示、拡張現実装置の所定の近傍内でのオブジェクトの動きの指示、及び/又は拡張現実環境内での他の発生事象を含む。
一部の実施形態において、ウェアラブル装置及び/又はウェアラブルAR装置の一方又は両方が、アイウェア(eyewear)として構成される。例えば、該アイウェアは、例えばフレーム、フレームの第1の部分に結合された第1のレンズ、フレームの第2の部分に結合された第2のレンズ、第1のレンズに結合された第1の鼻パッド、第2のレンズに結合された第2の鼻パッド、及び/又は他のコンポーネントを備える。フレームは、例えば、フレームの第1の端部にあるフレームの第1の上端部、フレームの第1の端部の反対側のフレームの第2の端部にあるフレームの第2の上端部、第1の上端部に結合され第1の上端部に垂直の方向に延在する第1の蔓、第2の上端部に結合され第2の上端部に垂直で第1の蔓に平行な方向に延在する第2の蔓、及び/又は他のコンポーネントを備える。第1の蔓は、例えば第1の部分、第2の部分、及び/又は他の部分を含む、一又は複数の部分を含む。第2の蔓は、例えば第1の部分、第2の部分、及び/又は他の部分を含む、一又は複数の部分を含む。
一部の実施形態において、フレームの第1の上端部は、フレームの一又は複数の対応する位置に配置された、フィードバック・コンポーネントの一又は複数の触覚出力装置を備える。一部の実施形態において、フレームの第2の上端部は、フレームの一又は複数の対応する位置に配置された、フィードバック・コンポーネントの一又は複数の触覚出力装置を備える。一部の実施形態において、第1の蔓は、第1の蔓の一又は複数の対応する位置に配置された、一又は複数の触覚出力装置を備える。第2の蔓は、第2の蔓の一又は複数
の対応する位置に配置された、一又は複数の触覚出力装置を備える。
一部の実施形態において、第1の蔓は変形可能な材料を含む。一部の実施形態において、第1の蔓は横方向内側曲がるように構成される。一部の実施形態において、第1の蔓の第1の部分は横方向内側に曲がるように構成され、第1の蔓の第1の部分に隣接する第2の部分は、横方向内側または横方向外側に曲がるように構成させる。一部の実施形態において、第2の蔓は変形可能な材料を含む。一部の実施形態において、第2の蔓は横方向内側に曲がるように構成される。一部の実施形態において、第2の蔓の第1の部分は横方向内側に曲がるように構成され、第2の蔓の第1の部分に隣接する第2の部分は、横方向内側または横方向外側に曲がるように構成させる。
一部の実施形態において、第1の鼻パッドは変形可能な材料を含む。第1の鼻パッドは横方向内側に曲がるように構成される。一部の実施形態において、第1の蔓、第2の蔓、第1の鼻パッド、第2の鼻パッド、及び/又は変形可能な材料を含むその他の構成要素の変形可能な材料は、アイウェアとして構成されるウェアラブル装置の一又は複数のフィードバック・コンポーネントとして、フィードバックを提供する。
一部の実施形態において、ウェアラブルAR装置は、アイウェアの一方又は両方のレンズを介してAR環境を表示するように構成される。
本明細書で説明するシステム及び/又は方法の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の
“a”, “an”及び“the”には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。
以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。
本発明の様々な実施形態に従う例示的なウェアラブル装置のブロック図である。該ブロック図において、ウェアラブル装置は、該ウェアラブル装置に関する環境において発生するイベントに基づいてフィードバックを提供するように構成される。
本発明の様々な実施形態に従う例示的なウェアラブル拡張現実装置のブロック図である。該ブロック図において、ウェアラブル拡張現実装置は、該ウェアラブル拡張現実装置に関する環境において発生するイベントに基づいてフィードバックを提供するように構成される。
本発明の様々な実施形態に従う例示的なフィードバック・コンポーネントの概略図である。
本発明の様々な実施形態に従う例示的な拡張現実環境の図である。
本発明の様々な実施形態に従う、アイウェアとして構成された例示的なウェアラブル拡張現実装置の概略図である。
本発明の様々な実施形態に従う、ウェアラブル装置に関する環境において発生するイベントに基づいてフィードバックを提供する例示的なプロセスのフローチャートである。
図1は、ウェアラブル装置100に関する環境において発生するイベントに基づいてフィードバックを提供する例示的なシステム10のブロック図である。システム10は、ウェアラブル装置100、サーバ400、通信チャネル300、及び/又はその他の該ウェアラブル装置100と通信する装置を備える。
ウェアラブル装置100は、該ウェアラブル装置100に関する環境において発生するイベントに基づいてフィードバックを生成するように構成される。イベントは、例えば、ウェアラブル装置100の所定の近傍内の物理オブジェクトの指示、環境内で発生する環境条件の指示、環境内で発生する環境条件の変化の指示、ウェアラブル装置100の所定の近傍内でのオブジェクトの動きの指示、環境内でのウェアラブル装置100とオブジェクトのインタラクション、ウェアラブル装置100が環境内のオブジェクトを認識するという指示、ナビゲーション・イベント、及び/又はウェアラブル装置100に関する環境内で発生する他のイベントを含み得る。
ウェアラブル装置100は、例えば、該ウェアラブル装置100に関する環境内で発生するイベントを表す制御信号を生成するように構成されたプロセッサ110と、少なくとも、該ウェアラブル装置100の第1の位置に配置される第1の触覚出力装置(例えば、フィードバック・コンポーネント130)とを備え、第1の触覚出力装置(例えば、フィードバック・コンポーネント130)は生成された制御信号に基づいて触覚フィードバックを提供する。
ウェアラブル装置100はまた、例えば、入力コンポーネント120と、生成された制御信号に基づいてフィードバック(例えば、触覚フィードバック、触覚効果など)を提供するように構成されたフィードバック・コンポーネント130、通信ポート140、撮像コンポーネント150、記憶装置170、及び/又はその他のコンポーネントを備えてもよい。入力コンポーネント120は、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を受けるように構成される。フィードバック・コンポーネント130は、ウェアラブル装置100を介してフィードバックを提供するように構成される。通信ポート140はインターフェースを備え、それを介して、例えばサーバ及び/又は他の装置との通信チャネルが維持される。撮像コンポーネント150は、ウェアラブル装置100に関する物理空間を画像化するように構成される。一部の実施形態において、ウェアラブル装置100の撮像コンポーネント150は、カメラ、赤外線検出器、及び/又は他の画像記録装置を備える。ウェアラブル装置100の記憶装置170は、ウェアラブル装置100が認識する一又は複数のイベントに関するデータを記憶する。例えば、ウェアラブル装置100の記憶装置170は、イベントに関するデータを記憶する。該イベントは、例えば、ウェアラブル装置100の所定の近傍内の物理オブジェクトの指示、環境内で発生する環境条件の指示、環境内で発生する環境条件の変化の指示、ウェアラブル装置100の所定の近傍内でのオブジェクトの動きの指示、環境内でのウェアラブル装置100とオブジェクトのインタラクション、ウェアラブル装置100が環境内のオブジェクトを認識するという指示、ナビゲーション・イベント、及び/又はウェアラブル装置100に関する環境内で発生する他のイベントを含み得る。
一部の実施形態において、ウェアラブル装置100は一又は複数のセンサ160を備え
る。この一又は複数のセンサ160は、ウェアラブル装置100に関する環境において一又は複数の環境条件を検知するように構成される。例えば、一又は複数のセンサ160は、温度、湿度、音、光、磁場、重力、一又は複数の化学物質の存在、大気質、及び/又はその他の環境条件を検知するように構成される。
一部の実施形態において、プロセッサ100は、例えばイベント・ハンドラ・モジュール111、制御信号生成モジュール112、フィードバック制御モジュール113、通信モジュール114、オブジェクト認識モジュール115、及び/又はその他のコンピュータ・プログラム・モジュールを含む、一又は複数のモジュールを実行するように構成される。イベント・ハンドラ・モジュール111は、ウェアラブル装置100に関する環境内でのイベントの発生を検出するように構成される。制御信号生成モジュール112はイベントに関する情報を受信し、制御信号を生成するように構成される。制御信号は、ウェアラブル装置100に関する環境内で発生するイベントを表す。フィードバック制御モジュール111は、制御信号を受信して、フィードバック・コンポーネント130にフィードバックを提供させる。通信モジュール112はウェアラブル装置100と他の装置との間の通信を容易にするように構成される。
一部の実施形態において、イベント・ハンドラ・モジュール111は、拡張現実環境内でのイベントの発生を検出するように構成される。イベント・ハンドラ・モジュール111は、撮像コンポーネント150、オブジェクト認識モジュール115、入力コンポーネント120、通信ポート140、記憶装置170、及び/又はウェアラブル装置100のその他のモジュール又はコンポーネントからデータを受信する。
一部の実施形態において、イベント・ハンドラ・モジュール111が受信するデータは、撮像コンポーネント150からの視覚データ、視覚データ内の捕捉されたオブジェクトに関するオブジェクト認識モジュール115からの情報、入力コンポーネント120を介して受信した情報、通信チャネル300を介して受信した他の計算装置からの情報、及び/又はウェアラブル装置100に関する環境のその他の情報である。イベント・ハンドラ・モジュール111は、受信した情報を記憶装置170に記憶されたイベントに関するデータと比較し、この情報(またはこの情報の一部)がイベントと関連付けられているかを判定する。受信した情報の一部または全体がイベントに関連付けられている場合、イベント・ハンドラ・モジュール111は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール112に送信する。
一部の実施形態において、イベント・ハンドラ・モジュール111はプロセッサ110からデータを受信するが、そのデータは、ウェアラブル装置100とウェアラブル装置100に関する環境内の一又は複数のオブジェクトとの間でインタラクションが発生したこと、ウェアラブル装置100に関する環境内の条件が変化したこと、ウェアラブル装置100において入力を受けたこと、他の装置からの入力がウェアラブル装置100によって処理されたこと、ユーザとウェアラブル装置100に関する環境との間でインタラクションが発生したこと、及び/又はウェアラブル装置100によって他の処理が実行されたこと、を指示する。一部の実施形態において、イベント・ハンドラ・モジュール111は、プロセッサ110から受信したデータと、記憶装置170に記憶されたデータとを比較して、該データがイベントと関連付けられているかを判定する。受信した情報の一部または全体が記憶装置170に記憶されたイベントに関連付けられている場合、イベント・ハンドラ・モジュール111は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール112に送信する。
一部の実施形態において、受信した情報が記憶装置170に記憶されたイベントに関連付けられていない場合、イベント・ハンドラ・モジュール111は、受信した情報を含む
イベント・データをサーバ400に送信し、サーバ400はイベント・ハンドリングを行う。受信した情報の一部または全体がサーバ400の記憶装置に記憶されたイベントに関連付けられている場合、イベント・ハンドラ・モジュール400は、関連付けられたイベントに関する情報をイベント・ハンドラ・モジュール111に伝達する。イベント・ハンドラ・モジュール111は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール112に送信する。受信した情報がサーバ400の記憶装置に記憶されたイベントに関連付けられていない場合、サーバ400は、マッチするものがなかったとの指示を伝達する。
一部の実施形態において、制御信号生成モジュール112は、イベント・ハンドラ・モジュール111からイベント・データを受信し、該イベント・データに基づいて制御信号を生成するように構成される。ウェアラブル装置100の記憶装置170は、複数のイベントと各々の複数の制御信号とを関連付ける検索テーブルを含む。イベント・ハンドラ・モジュール111から受信したイベント・データに基づいて、制御信号生成モジュール112は制御信号を生成する。例えば、制御信号生成モジュール112は、受信したイベント・データを記憶装置170に記憶されたデータと比較する。イベント・データの一部又は全体が記憶装置170に記憶されたイベントとマッチする場合、制御信号生成モジュール112は、マッチしたイベントに関連付けられた制御信号に関する制御信号を生成する。イベント・データが記憶装置170に記憶されたイベントとマッチしないとき、制御信号生成モジュール112は、イベント・データをサーバ400に伝達し、該イベント・データの一部又は全体に関連付けられた制御信号をサーバ400の記憶装置が記憶しているかを判定する。制御信号は、例えば、イベントが発生したことを示す情報、特定の種類のイベントが発生したことを示す情報、イベントの一又は複数のオブジェクトに関する情報、イベントの一又は複数の環境条件に関する情報、イベントの一又は複数のインタラクションに関する情報、イベントのタイミングに関する情報、イベントの日付に関する情報、イベントの継続期間に関する情報、イベントの種類の頻度に関する情報、検出されるイベントの頻度に関する情報、及び/又はイベントに関するその他の情報を含む。
フィードバック制御モジュール113は、制御信号を(例えば、制御信号生成モジュール112から)受信し、フィードバック・コンポーネント130にウェアラブル装置100を介してフィードバックを提供させる。制御信号は、ウェアラブル装置100に関する環境内で発生するイベントを表す。イベントは、例えば、ウェアラブル装置100の所定の近傍内の物理オブジェクトの指示、環境内で発生する環境条件の指示、環境内で発生する環境条件の変化の指示、ウェアラブル装置100の所定の近傍内でのオブジェクトの動きの指示、環境内でのウェアラブル装置100とオブジェクトのインタラクション、ウェアラブル装置100が環境内のオブジェクトを認識するという指示、ナビゲーション・イベント、及び/又はウェアラブル装置100に関する環境内で発生する他のイベントを含み得る。一部の実施形態において、フィードバック制御モジュール113は制御信号をフィードバック・コンポーネント130に提供するように構成される。この実施形態において、制御信号はフィードバック・コンポーネント130に直接与えられてフィードバックを発生させることもある。一部の実施形態において、フィードバック制御モジュール113は受信した制御信号に基づいてフィードバック・レスポンスを決定するように構成される。これらの実施形態においては、フィードバック制御モジュール113は検索テーブルを参照して、受信した制御信号に基づいてフィードバック・レスポンスを決定する。フィードバック・レスポンスは、フィードバックの一又は複数の種類、および受信した制御信号に基づいて生成される、指示されたフィードバックの種類の一又は複数のフィードバック信号を含む。フィードバック制御モジュール113は、フィードバック・レスポンスの指示されたフィードバック信号を生成し、生成したフィードバック信号を該信号に対応するフィードバック・コンポーネント130に送信するように構成される。
一部の実施形態において、フィードバック制御モジュール113はウェアラブル装置の検索テーブルを参照して、フィードバックのどの種類およびどのフィードバック信号をフィードバック・レスポンスに含めるかを、受信した制御信号に基づいて決定する。
フィードバック・レスポンスは、単一のフィードバック信号、単一のフィードバック・コンポーネント130に対する複数のフィードバック信号、複数のフィードバック・コンポーネント130に対する複数のフィードバック信号、一又は複数のフィードバック・コンポーネント130に対するフィードバック信号のパターン、及び/又はその他の種類のフィードバック・レスポンスを含む。一部の実施形態において、複数のフィードバック・コンポーネント130が同時にフィードバック・レスポンスを提供する。一部の実施形態において、一又は複数のフィードバック・コンポーネント130は、初回に第1のフィードバック・レスポンスを提供し、一又は複数のフィードバック・コンポーネント130は、初回に続く2回目に第2のフィードバック・レスポンスを提供する。
一部の実施形態において、フィードバック・レスポンスの種類は、制御信号によって表されるイベントの種類を示す。例えば、単一の信号を含むフィードバック・レスポンスは、ウェアラブル装置100に関する環境内でオブジェクトを認識することを該イベントが表すことを示す。信号のパターンを含むフィードバック・レスポンスは、ウェアラブル装置100に関する環境内でウェアラブル装置100とオブジェクトとの間にインタラクションが発生することを、該イベントが表すことを示す。異なる種類のフィードバック・レスポンスに関連付けられた指示は、上述の例に限定されない。
一部の実施形態において、検索テーブルは複数の制御信号と複数のフィードバック・レスポンスとの間の関連付けを記憶する。例えば、イベントが発生したことを示す情報を制御信号が含む場合、検索テーブルはその制御信号に関連付けられたフィードバック・レスポンスを記憶する。
ある種類のイベントが発生したことを示す情報を制御信号が含む場合、検索テーブルは、制御信号の該情報によって示されるイベントの一又は複数の種類に対する一又は複数の異なるフィードバック・レスポンスを記憶する。ウェアラブル装置100とウェアラブル装置100に関する環境内の一又は複数のオブジェクトとの間のインタラクションを示す情報を制御信号が含む場合、検索テーブルは、ウェアラブル装置100とウェアラブル装置100に関する環境内の一又は複数のオブジェクトとの間で発生する異なるインタラクションに対する異なるフィードバック・レスポンスを記憶する。一部の実施形態において、フィードバック制御モジュール113は、複数の制御信号とそれに関連付けられたフィードバック・レスポンスを含む検索テーブルを記憶するように構成されたサーバ400から、フィードバック・レスポンスを取得する。
通信モジュール114は、ウェアラブル装置100と他の装置との間の通信を容易にするように構成される。他の装置とは、例えば、サーバ400及び/又は、ウェアラブル装置100と通信を行う他の装置などである。通信モジュール114は、ウェアラブル装置100、サーバ400、及び/又はその他の装置の間の通信のための有線又は無線の通信チャネル300を提供するように構成される。一部の実施形態において、プロセッサ110は、通信モジュール114の有線または無線の通信チャネル300を介して、ウェアラブル装置100で発生するイベントを表す信号を受信するように構成される。
一部の実施形態において、オブジェクト認識モジュール115は、物理的空間内でオブジェクトを認識するように構成される。オブジェクト認識モジュール115は、ウェアラブル装置100の撮像コンポーネント150および記憶装置170と通信して、物理空間内のオブジェクトを認識するように構成される。例えば、オブジェクト認識モジュール115は、撮像コンポーネント150から取り込まれた視覚データを受信し、該視覚データ
を処理して、取り込まれた視覚データに一又は複数のオブジェクトが存在するか否かを判定する。オブジェクト認識モジュール115は、取り込まれた視覚データ内に存在するオブジェクトと記憶装置170内に記憶されたオブジェクトとを比較する。
例えば、オブジェクト認識モジュール115は、捕捉されたオブジェクトの画素を記憶装置170に記憶された画素と既知の技術により比較する。捕捉されたオブジェクトの閾値となる比率(例えば、80%、90%、100%、及び/又は他の比率)の画素が記憶されたオブジェクトの画素とマッチする場合、オブジェクト認識モジュール115は、捕捉されたオブジェクトは記憶されたオブジェクトとして認識されたと判定する。一部の実施形態において、閾値となる比率は撮像コンポーネント150の解像度に依存する。
オブジェクト認識モジュール115は記憶されたオブジェクトに関する情報を取得し、記憶されたオブジェクトに関する情報および捕捉されたオブジェクトに関する情報をイベント・ハンドラ・モジュール111に送信する。イベント・ハンドラ・モジュール111に送信された情報は、例えば、記憶されたオブジェクトの画像データ、記憶されたオブジェクトの種類、物理空間における捕捉されたオブジェクトの位置、捕捉されたオブジェクトの他の物理オブジェクトに対する近接性、記憶されたオブジェクトに関する内容情報、捕捉されたオブジェクトに関する内容情報、及び/又は記憶されたオブジェクト又は捕捉されたオブジェクトに関連付けられたその他のデータを含む。一部の実施形態において、オブジェクト認識モジュール115は、記憶されたオブジェクトに関する情報および捕捉されたオブジェクトに関する情報を、イベント・ハンドラ・モジュール111、制御信号生成モジュール112、フィードバック制御モジュール113、及び/又はプロセッサ110のその他のモジュールのうちの一又は複数に送信する。
一部の実施形態において、捕捉されたオブジェクトが記憶されたオブジェクトとマッチしない場合、オブジェクト認識モジュール115は捕捉されたオブジェクトに関するデータをサーバ400に送信し、サーバがオブジェクト認識を実行できるようにする。サーバ400が捕捉されたオブジェクトを認識する場合、サーバ400は捕捉されたオブジェクトにマッチする記憶されたオブジェクトに関する情報を、オブジェクト認識モジュール115に伝達する。オブジェクト認識モジュール115は、サーバ400からの記憶されたオブジェクトに関する情報、および捕捉されたオブジェクトに関する情報を、イベント・ハンドラ・モジュール111に送信する。サーバ400が捕捉されたオブジェクトを認識しない場合、サーバ400はマッチするものがないという趣旨の指示を伝達する。
入力コンポーネント120は、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を受けるように構成される。入力はプロセッサ110によって通信チャネル300を介して他の装置に伝達される。他の装置とは、例えばサーバ400及び/又は、ウェアラブル装置100と通信する他の装置などである。例えば、入力コンポーネント120は、タッチ・パッド、タッチ・スクリーン、機械式ボタン、スイッチ、マイクロホンなどの音声受信機、及び/又は入力を受けることができる他の入力コンポーネントを含む。
フィードバック・コンポーネント130は、触覚フィードバックを提供するように構成された一又は複数の触覚出力装置、視覚的フィードバックを提供するように構成された一又は複数の視覚装置、音声フィードバックを提供するように構成された一又は複数の音声装置、及び/又はフィードバックを生成する他の装置を備える。触覚出力装置が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体(「ERM」)などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ(「LRA」)、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気ア
クチュエータ、電気触感アクチュエータ、および/または触覚(例えば、振動触知)フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置は、非機械的または非振動装置、例えば、静電摩擦(「ESF」)や超音波表面摩擦(「USF」)を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。視覚装置は、ウェアラブル装置100において可視光などの視覚的フィードバックを生成するように構成される。例えば、視覚的フィードバックは、ウェアラブル装置に関する環境内でイベントが発生したことを視覚的に示す。音声装置は、ウェアラブル装置100において一又は複数の音などの音声フィードバックを生成するように構成される。例えば、音声フィードバックは、ウェアラブル装置に関する環境内でイベントが発生したことを音声で示す。
フィードバック・コンポーネント130は、フィードバック制御モジュール113から一又は複数の信号(例えば、一又は複数の制御信号あるいは一又は複数のフィードバック信号)を受信するように構成される。この一又は複数の信号に基づいて、一又は複数の触覚出力装置、一又は複数の視覚装置、一又は複数の音声装置、及び/又は他のフィードバック・コンポーネント130が、ウェアラブル装置100を介してフィードバックを提供する。
通信ポート140はインターフェースを備え、それを介して、他の装置との通信チャネル300が維持される。他の装置とは、例えばサーバ400及び/又は、ウェアラブル装置100と通信を行う他の装置などである。一部の実施形態において、通信チャネル300を介して制御信号が受信される。この通信チャネルは、有線又は無線の通信チャネルを含む。
一部の実施形態において、プロセッサ110は他の計算装置から信号を受信するように構成される。例えば、プロセッサ110は、通信ポート140によって確立された通信チャネル300を介して他の計算装置から信号を受信するように構成される。この信号は計算装置で発生しているイベントを表すものでもよい。例えば、この信号は計算装置で受信される通信に関する情報を含んでいる。他の例において、この信号は知覚的な情報を含んでいる。一部の実施形態において、プロセッサのイベント・ハンドラ・モジュール111は、計算装置から信号を受信し、この信号に基づいてイベントを検出する。このイベントは、例えば、計算装置における通信(例えば、計算装置で受信した通信、計算装置により送信された通信、計算装置により生成された通信、及び/又はその他の通信)の指示、計算装置で発生した処理の指示、計算装置と他の装置との間のインタラクション、及び/又は計算装置で発生した他のイベント、である。他の例において、受信した信号に含まれる知覚的な情報に基づいて、イベントは、計算装置に関する環境内の一又は複数の環境条件の指示、計算装置とは無関係の環境内の一又は複数の環境条件の指示、ウェアラブル装置100に関する環境内で将来発生し得る一又は複数の環境条件の指示、及び/又は知覚的な情報に基づくその他のイベントを含む。イベント・ハンドラ・モジュール111は、イベントに関するデータを、制御信号生成モジュール112に送信する。制御信号生成モジュール112はイベントを表す制御信号を生成する。フィードバック制御モジュール113は制御信号を受信し、該制御信号に基づいてフィードバック・コンポーネントにフィードバックを生成させる。
プロセッサ110は、入力コンポーネント120を介して入力を受信するように構成される。入力コンポーネント120を介して受信された入力は、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を含む。ウェアラブル装置100のプロセッサ110は、受信したデータを処理し、この処理に基づいて機能を実行する。一部の実施
形態において、入力コンポーネント120を介して受信した入力に基づき、ウェアラブル装置100によりイベントが検出される。一部の実施形態において、受信した入力から検出されたイベントに基づき、ウェアラブル装置100を介してフィードバックが提供される。
一部の実施形態において、プロセッサ110は、ウェアラブル装置100によってイベントとして検出される機能を実行する。例えば、プロセッサ110は、ナビゲーション・イベントに関する機能を実行する。例えば、プロセッサは、ウェアラブル装置100のユーザのための地図情報を取得する機能を実行する。この地図情報は、例えば、ウェアラブル装置100のユーザがたどる一組の方向を含む。一部の実施形態において、それらの方向のうちの一又は複数は、プロセッサ110のイベント・ハンドラ・モジュール111によって一又は複数のナビゲーション・イベントとして検出される。地図情報の一又は複数の方向に基づいて、ウェアラブル装置100は、一又は複数の方向を指示するウェアラブル装置100を介してフィードバックを提供するように構成される。例えば、フィードバック・コンポーネント130の第1の触覚出力装置を介する第1の触覚フィードバックは、ナビゲーション・イベントに関連付けられた第1の方向を指示するように提供される。また、フィードバック・コンポーネント130の第2の触覚出力装置を介する第2の触覚フィードバックは、第1の方向とは異なる第2の方向を指示するように提供される。他の例において、第1の触覚出力装置を介する第1の触覚フィードバックは、第1の方向を指示するように提供され、第2の触覚出力装置を介する第2の触覚フィードバックは、第1の方向を指示するように提供される。
一部の実施形態において、ウェアラブル装置100の記憶装置170は、ウェアラブル装置100の一又は複数のセンサ160によって異なる回で採取された一又は複数のセンサ読取り値を記憶する。例えば、ウェアラブル装置100の記憶装置170は、初回に採取された第1のセンサ読取り値および初回に続く2回目に採取された第2のセンサ読取り値を記憶する。記憶装置170及び/又はイベント・ハンドラ・モジュール111は、センサ読取り値の一又は複数の種類に関する閾値を記憶する。イベント・ハンドラ・モジュール111は、環境条件に関連付けられた閾値に基づいて、一又は複数のセンサ読取り値に基づく該環境条件の変化を示すイベントが発生したかを判定する。例えば、一定の期間内に5度を超える温度変化が検知された場合には、イベント・ハンドラ・モジュール111は、ウェアラブル装置100に関する環境内の温度の変化が生じたことを指示する。
一部の実施形態において、ウェアラブル装置100は、図2に示すウェアラブル拡張現実(「AR」)装置として構成される。ウェアラブル装置100は、拡張現実空間および物理空間の両方を含む拡張現実(「AR」)環境を生成するように構成される。ウェアラブルAR装置200は、ウェアラブル装置100と同様または類似の一又は複数の構成要素および機能を備える。ウェアラブルAR装置200は、例えば、プロセッサ210、入力コンポーネント120、フィードバック・コンポーネント130、通信ポート140、撮像コンポーネント150、記憶装置270、及び/又は他のコンポーネントを備える。プロセッサ210は物理空間と一致する拡張現実空間を生成するように構成される。プロセッサ210は、物理空間内の少なくとも1つの物理オブジェクトを認識し、AR空間内の一又は複数の仮想オブジェクトを用いて少なくとも1つの物理オブジェクトを拡張するように構成される。プロセッサ210は、AR空間内のイベントを判定し、そのイベントを表す制御信号を生成するように構成される。生成された制御信号に基づいて、プロセッサ210はウェアラブルAR装置においてフィードバックを生成させる。入力コンポーネント120は、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を受けるように構成される。フィードバック・コンポーネント130は、ウェアラブルAR装置を介してフィードバックを提供するように構成される。通信ポート140はインターフェースを備え、それを介して、例えばサーバ400及び/又は他の装置との通信チャネ
ルが維持される。撮像コンポーネント150は、物理空間を画像化するように構成される。一部の実施形態において、ウェアラブルAR装置200の撮像コンポーネント150は、カメラ、赤外線検出器、及び/又は他の画像記録装置を備える。ウェアラブルAR装置200の記憶装置270は、ウェアラブルAR装置200が認識する一又は複数のイベントに関するデータを記憶する。例えば、ウェアラブルAR装置200の記憶装置270が記憶するデータは、例えば以下のイベントに関係している。少なくとも1つの物理オブジェクトとAR環境との間のインタラクション、AR環境に対して発生するアクションの確認、物理オブジェクトとAR環境内に表示される一又は複数の仮想オブジェクトとの間のインタラクション、物理オブジェクトを拡張するための特定の種類の仮想オブジェクトの生成、物理オブジェクトの認識、ウェアラブルAR装置200によって物理オブジェクトが認識されたことの確認、ウェアラブルAR装置200の所定の近傍内の少なくとも1つの物理オブジェクトの指示、ウェアラブルAR装置200に関する環境内で発生する環境条件の指示、前記環境内で発生する環境条件の変化の指示、ウェアラブルAR装置200の所定の近傍内のオブジェクトの動きの指示、ユーザと拡張現実空間内に表示される一又は複数の仮想オブジェクトとの間のインタラクション、及び/又はAR環境に関するその他の発生事象。
一部の実施形態において、ウェアラブル装置200は一又は複数のセンサ160を備える。ウェアラブルAR装置200のセンサ160は、ウェアラブル装置100のセンサ160と同様又は類似の構成要素及び/又は機能を備える。
一部の実施形態において、ウェアラブルAR装置200のプロセッサ210は、ウェアラブル装置100のプロセッサ110と同様又は類似の機能を備える。さらに、ウェアラブルAR装置200のプロセッサ210は付加的な機能を備える。一部の実施形態において、ウェアラブルAR装置200のプロセッサ210は、例えばイベント・ハンドラ・モジュール211、制御信号生成モジュール212、フィードバック制御モジュール213、通信モジュール214、オブジェクト認識モジュール215、オブジェクト生成モジュール216、及び/又はその他のコンピュータ・プログラム・モジュールを含む、一又は複数のモジュールを実行するように構成される。イベント・ハンドラ・モジュール211は、拡張現実環境内でのイベントの発生を検出するように構成される。制御信号生成モジュール212はイベントに関する情報を受信し、該イベントに関する制御信号を生成するように構成される。フィードバック制御モジュール213は、制御信号を受信して、一又は複数のフィードバック・コンポーネント130にフィードバックを提供させる。通信モジュール214は、ウェアラブルAR装置200と他の装置との間の通信を容易にするように構成される。他の装置とは、例えば、サーバ400及び/又は、ウェアラブルAR装置200と通信を行う他の装置などである。オブジェクト認識モジュール215は、物理空間内の物理オブジェクトを認識するように構成される。オブジェクト生成モジュール216は、認識された物理オブジェクトを拡張するための仮想オブジェクトを生成するように構成される。
一部の実施形態において、ウェアラブルAR装置200のプロセッサ210に判定されたイベントは、少なくとも1つの物理オブジェクトと拡張現実空間との間のインタラクション、拡張現実環境にに対して発生したアクションの確認、少なくとも1つの物理オブジェクトが拡張現実装置によって認識されたことの確認、物理空間内のオブジェクトが拡張されたことの確認、ウェアラブルAR装置200の所定の近傍内の少なくとも1つの物理オブジェクトの指示、ウェアラブルAR装置200に関する環境内で発生する環境条件の指示、該環境内で発生する環境条件の変化の指示、ウェアラブルAR装置200の所定の近傍内でのオブジェクトの動きの指示、ユーザと拡張現実空間内に表示される一又は複数の仮想オブジェクトとの間のインタラクション、及び/又はウェアラブルAR装置200に関する環境内で発生するその他のイベントを含む。
一部の実施形態において、ウェアラブルAR装置200のイベント・ハンドラ・モジュール211は、ウェアラブル装置100のイベント・ハンドラ・モジュール111と同様又は類似の機能を備える。さらに、ウェアラブルAR装置200のイベント・ハンドラ・モジュール211は付加的な機能を備える。一部の実施形態において、イベント・ハンドラ・モジュール211は、AR環境内でのイベントの発生を検出するように構成される。イベント・ハンドラ・モジュール211は、撮像コンポーネント150、オブジェクト認識モジュール215、オブジェクト生成モジュール216、記憶装置270、及び/又はウェアラブルAR装置200のその他のモジュール又はコンポーネントからデータを受信する。
一部の実施形態において、イベント・ハンドラ・モジュール211が受信するデータは、撮像コンポーネント150からの視覚データ、視覚データ内の捕捉されたオブジェクトに関するオブジェクト認識モジュール215からの情報、オブジェクト生成モジュール216によって生成された仮想オブジェクトに関する情報、入力コンポーネント120を介して受信した情報、通信チャネル300を介して受信した他の計算装置からの情報、及び/又はAR環境に関するその他の情報である。イベント・ハンドラ・モジュール211は、受信した情報を記憶装置270に記憶されたイベントに関するデータと比較し、この情報(またはこの情報の一部)がイベントと関連付けられているかを判定する。受信した情報がイベントに関連付けられている場合、イベント・ハンドラ・モジュール211は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール212に送信する。一部の実施形態において、イベント・ハンドラ・モジュール211はまた、イベント・データをオブジェクト生成モジュール216に送信する。
一部の実施形態において、イベント・ハンドラ・モジュール211はプロセッサ210からデータを受信するが、そのデータは、ウェアラブルAR装置200とAR環境との間でインタラクションが発生したこと、AR環境内の一又は複数の仮想オブジェクトが変化したこと、ウェアラブルAR装置200から入力を受信したこと、ウェアラブルAR装置200から受信した入力がウェアラブルAR装置200によって処理されたこと、ユーザとAR環境との間でインタラクションが発生したこと、ウェアラブルAR装置200に関する環境内の条件が変化したこと、及び/又はウェアラブルAR装置200によって他の処理が実行されたこと、を示す。一部の実施形態において、イベント・ハンドラ・モジュール211は、プロセッサ210から受信したデータと、記憶装置270に記憶されたデータとを比較して、該データがイベントと関連付けられているかを判定する。受信した情報の一部または全体が記憶装置270に記憶されたイベントに関連付けられている場合、イベント・ハンドラ・モジュール211は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール212に送信する。
一部の実施形態において、受信した情報が記憶装置270に記憶されたイベントに関連付けられていない場合、イベント・ハンドラ・モジュール211は、受信した情報を含むイベント・データをサーバ400に送信し、サーバ400はイベント・ハンドリングを行う。受信した情報の一部または全体がサーバ400の記憶装置に記憶されたイベントに関連付けられている場合、イベント・ハンドラ・モジュール400は、関連付けられたイベントに関する情報をイベント・ハンドラ・モジュール211に伝達する。イベント・ハンドラ・モジュール211は、受信した情報を含むイベント・データおよび関連付けられたイベントに関するデータを、制御信号生成モジュール212に送信する。受信した情報がサーバ400の記憶装置に記憶されたイベントに関連付けられていない場合、サーバ400は、マッチするものがなかったとの指示を伝達する。
一部の実施形態において、制御信号生成モジュール212は、イベント・ハンドラ・モジュール211からイベント・データを受信し、該イベント・データに基づいて制御信号を生成するように構成される。ウェアラブルAR装置200の記憶装置270は、複数のイベントと各々の複数の制御信号とを関連付ける検索テーブルを含む。イベント・ハンドラ・モジュール211から受信したイベント・データに基づいて、制御信号生成モジュール212は制御信号を生成する。例えば、制御信号生成モジュール212は、受信したイベント・データを記憶装置270に記憶されたデータと比較する。イベント・データの一部又は全体が記憶装置270に記憶されたイベントとマッチする場合、制御信号生成モジュール212は、マッチしたイベントに関連付けられた制御信号に関する制御信号を生成する。イベント・データが記憶装置270に記憶されたイベントとマッチしないとき、制御信号生成モジュール212は、イベント・データをサーバ400に伝達し、該イベント・データの一部又は全体に関連付けられた制御信号をサーバの記憶装置が記憶しているかを判定する。制御信号は、例えば、イベントが発生したことを示す情報、特定の種類のイベントが発生したことを示す情報、イベントの一又は複数のオブジェクトに関する情報、イベントの一又は複数の環境条件に関する情報、イベントの一又は複数のインタラクションに関する情報、イベントのタイミングに関する情報、イベントの日付に関する情報、イベントの継続期間に関する情報、イベントの種類の頻度に関する情報、検出されるイベントの頻度に関する情報、及び/又はイベントに関するその他の情報を含む。
ウェアラブルAR装置200の通信モジュール214は、ウェアラブル装置100の通信モジュール114と同様又は類似の機能を備える。
一部の実施形態において、ウェアラブルAR装置200のオブジェクト認識モジュール215は、ウェアラブル装置100のオブジェクト認識モジュール115と同様又は類似の機能を備える。さらに、ウェアラブルAR装置200のオブジェクト認識モジュール215は付加的な機能を備える。オブジェクト認識モジュール215は、物理空間内のオブジェクトを認識するように構成される。オブジェクト認識モジュール215は、ウェアラブルAR装置200の撮像コンポーネント150および記憶装置270と通信して、物理空間内のオブジェクトを認識するように構成される。例えば、オブジェクト認識モジュール215は、撮像コンポーネント150から取り込まれた視覚データを受信し、該視覚データを処理して、取り込まれた視覚データに一又は複数のオブジェクトが存在するか否かを判定する。オブジェクト認識モジュール215は、取り込まれた視覚データ内に存在するオブジェクトと記憶装置270内に記憶されたオブジェクトとを比較する。
例えば、オブジェクト認識モジュール215は、捕捉されたオブジェクトの画素を記憶装置270に記憶された画素と既知の技術により比較する。捕捉されたオブジェクトの閾値となる比率(例えば、80%、90%、100%、及び/又は他の比率)の画素が記憶されたオブジェクトの画素とマッチする場合、オブジェクト認識モジュール215は、捕捉されたオブジェクトは記憶されたオブジェクトとして認識されたと判定する。一部の実施形態において、閾値となる比率は撮像コンポーネント150の解像度に依存する。
オブジェクト認識モジュール215は記憶されたオブジェクトに関する情報を取得し、記憶されたオブジェクトに関する情報および捕捉されたオブジェクトに関する情報をイベント・ハンドラ・モジュール211に送信する。イベント・ハンドラ・モジュール21116に送信された情報は、例えば、記憶されたオブジェクトの画像データ、記憶されたオブジェクトの種類、物理空間における捕捉されたオブジェクトの位置、捕捉されたオブジェクトの他の物理オブジェクトに対する近接性、記憶されたオブジェクトに関する内容情報、捕捉されたオブジェクトに関する内容情報、及び/又は記憶されたオブジェクト又は捕捉されたオブジェクトに関連付けられたその他のデータを含む。一部の実施形態において、オブジェクト認識モジュール215は、記憶されたオブジェクトに関する情報および
捕捉されたオブジェクトに関する情報を、オブジェクト生成モジュール216、制御信号生成モジュール212、及び/又はプロセッサ210のその他のモジュールのうちの一又は複数に送信する。
一部の実施形態において、捕捉されたオブジェクトが記憶されたオブジェクトとマッチしない場合、オブジェクト認識モジュール215は捕捉されたオブジェクトに関するデータをサーバ400に送信し、サーバがオブジェクト認識を実行できるようにする。サーバ400が捕捉されたオブジェクトを認識する場合、サーバ400は捕捉されたオブジェクトにマッチする記憶されたオブジェクトに関する情報を、オブジェクト認識モジュール211に伝達する。オブジェクト認識モジュール211は、サーバ400からの記憶されたオブジェクトに関する情報、および捕捉されたオブジェクトに関する情報を、イベント・ハンドラ・モジュール211に送信する。サーバ400が捕捉されたオブジェクトを認識しない場合、サーバ400はマッチするものがないという趣旨の指示を伝達する。
一部の実施形態において、オブジェクト生成モジュール216は、オブジェクト認識モジュール215から物理オブジェクトに関する情報を受信し、AR環境内でこの物理オブジェクトを拡張するための一又は複数の仮想オブジェクトを生成する。オブジェクト生成モジュール216は記憶装置270にアクセスして、この物理オブジェクトに一又は複数の仮想オブジェクトが関連付けられているかを判定する。この物理オブジェクトには仮想オブジェクトが関連付けられていない場合、オブジェクト生成モジュール216はサーバ400と通信して、サーバ400の記憶装置が一又は複数の物理オブジェクトと一又は複数の仮想オブジェクトとの間の一又は複数の関連付けを記憶しているかを判定する。サーバ400の記憶装置に関連付けがある場合、サーバ400は関連付けられた仮想オブジェクトに関するデータをオブジェクト生成モジュール216に伝達する。
仮想オブジェクトがオブジェクト認識モジュール215から受信した情報において識別される物理オブジェクトと関連づけられる場合、オブジェクト生成モジュール216は、物理空間と一致するAR空間を生成する。図3は例示的なAR環境500のブロック図である。AR環境500は、物理空間520とAR空間510とを有する。物理空間520は一又は複数の物理オブジェクト520a、520b、・・・520nを有し、AR空間510は、物理空間520内の一又は複数の物理オブジェクト520a、520b、・・・520nを拡張する一又は複数の仮想オブジェクト510a、510b、・・・510nを有する。
一部の実施形態において、オブジェクト生成モジュール216はAR空間510内の一又は複数の仮想オブジェクト510a、510b、・・・510nを用いて物理オブジェクト520nを拡張する。例えば、オブジェクト生成モジュール216は、ウェアラブルAR装置200のディスプレイ表面を介してAR空間510(及び仮想オブジェクト510a、510b、・・・510nのうちの一又は複数)を表示する。一部の実施形態において、AR空間510および表示される一又は複数の仮想オブジェクト510a、510b、・・・510nは、ウェアラブルAR装置200のディスプレイ表面を介して3次元的に表示される。
ウェアラブルAR装置200のディスプレイを介して表示されるAR環境500は、物理空間520及びAR空間510を含む。一部の実施形態において、物理空間520は撮像コンポーネント150によって画像化され、ディスプレイを介して表示される。一部の実施形態、例えば、ディスプレイの少なくとも一部が透明であり、それを通して物理空間520を見ることができるように構成される実施形態においては、物理空間520は単純にディスプレイを通して見ることができる。物理空間520を表示するためにどの実施形態を用いるとしても、一又は複数の仮想オブジェクト510a、510b、・・・510
nは、物理空間520内に存在する一又は複数の物理オブジェクト520a、520b、・・・520nと一致するかまたは関連付けられるように表示され、それによってAR環境500内の一又は複数の物理オブジェクト520a、520b、・・・520nを拡張する。単一の仮想オブジェクト510aは、単一の物理オブジェクト520aまたは複数の物理オブジェクト520a、520b、・・・520nを拡張する。複数の仮想オブジェクト510a、510b、・・・510nは、単一の物理オブジェクト520aまたは複数の物理オブジェクト520a、520b、・・・520nを拡張する。物理空間520内に存在する物理オブジェクト520a、520b、・・・520nを拡張する仮想オブジェクト510a、510b、・・・510nの数と種類は、上述の例に限定されない。
図2に戻り、プロセッサ210はウェアラブルAR装置200からの入力を受信するように構成される。例えば、プロセッサ210は、入力コンポーネント150を介して受信した入力に関するデータをウェアラブルAR装置200から受信する。入力コンポーネント150を介して受信した入力は、例えば、ボタン押下、ジェスチャ、音声コマンド、及び/又は他の入力を含む。ウェアラブルAR装置200のプロセッサ210は、受信したデータを処理し、この処理に基づいて機能を実行する。例えば、プロセッサ210は、AR環境500内の一又は複数の仮想オブジェクト510a、510b、・・・510nを追加、削除、置換、及び/又は他の方法で改変する。プロセッサ210は、処理に基づいてウェアラブル装置100にデータを送信する。プロセッサ210は、処理に基づいて他の機能を実行する。一部の実施形態において、プロセッサ210は他の計算装置から入力を受信する。この入力は、この計算装置の識別表示と、この入力に識別表示が含まれることの指示とを含む。ウェアラブルAR装置200は、識別表示を記憶し、この識別表示を計算装置と関連付ける。
図4に示すように、ウェアラブル装置100(またはウェアラブルAR装置200)のフィードバック・コンポーネント130は、一又は複数の装置を含む。一部の実施形態において、一又は複数の装置は、ウェアラブル装置100(またはウェアラブルAR装置200)において間隔を空けて配置される。フィードバック・コンポーネント130は、例えば、触覚フィードバックを提供するように構成された一又は複数の触覚出力装置132、視覚的フィードバックを提供するように構成された一又は複数の視覚装置134、音声フィードバックを提供するように構成された一又は複数の音声装置136、発光バンド138、及び/又はフィードバックを生成する他の装置を備える。
触覚出力装置132が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体(「ERM」)などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ(「LRA」)、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および/または触覚(例えば、振動触知)フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置132は、非機械的または非振動装置、例えば、静電摩擦(「ESF」)や超音波表面摩擦(「USF」)を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。一部の実施形態において、一又は複数の触覚出力装置132は、ウェアラブル装置100(またはウェアラブルAR装置200)の全体にわたって間隔を空けて配置される。
視覚装置134は、ウェアラブル装置100において可視光などの視覚的フィードバックを生成するように構成される。例えば、視覚的フィードバックは、ウェアラブル装置1
00(またはウェアラブルAR装置200)によって検出されたイベントの発生を視覚的に示す。
音声装置136は、ウェアラブル装置100において一又は複数の音などの音声フィードバックを生成するように構成される。例えば、音声フィードバックは、ウェアラブル装置100(またはウェアラブルAR装置200)によって検出されたイベントの発生を音声で示す。
発光バンド138は、ウェアラブル装置100(またはウェアラブルAR装置200)から、及び/又はウェアラブル装置100(またはウェアラブルAR装置200)の周りに発散する発光バンドを生成するように構成される。バンド138を介して発せられた光は、色、模様、及び/又は他の視覚的な特徴を有する。視覚的特徴は、ウェアラブル装置100(またはウェアラブルAR装置200)によって検出された一又は複数のイベントと整合する。
図5に示すように、一部の実施形態において、ウェアラブルAR装置200はアイウェアの形状に構成される。例えば、ウェアラブルAR装置200は、アイウェアのレンズ180A及び180Bの一方又は両方を介してAR環境500を表示するように構成される。一部の実施形態において、レンズ180Aの一部はAR環境500Aを表示するように構成され、レンズ180Bの一部はAR環境500Bを表示するように構成される。AR環境500AおよびAR環境500Bは離れたAR環境でもよく、部分的に重複したAR環境でもよく、単一のAR環境500として2つのレンズを介して表示されてもよく、及び/又は他の方法で表示される一又は複数のAR環境を含んでもよい。
このアイウェアは、例えばフレーム、フレームの第1の部分に結合された第1のレンズ180A、フレームの第2の部分に結合された第2のレンズ180B、第1のレンズ180Aに隣接してフレームに結合された第1の鼻パッド190A、第2のレンズ180Bに隣接してフレームに結合された第2の鼻パッド190B、及び/又は他のアイウェア・コンポーネントを備える。フレームは、例えば、フレームの第1の端部にあるフレームの第1の上端部171A、フレームの第1の端部の反対側のフレームの第2の端部にあるフレームの第2の上端部171B、第1の上端部171Aに結合され第1の上端部171Aに垂直の方向に延在する第1の蔓172A、第2の上端部171Bに結合され第2の上端部171Bに垂直で第1の蔓172Aに平行な方向に延在する第2の蔓172B、及び/又は他のコンポーネントを備える。第1の蔓172Aは、例えば第1の部分173A、第2の部分174A、第3の部分175A、及び/又は他の部分を含む、一又は複数の部分を含む。第2の蔓172Bは、例えば第1の部分173B、第2の部分174B、第3の部分175B、及び/又は他の部分を含む、一又は複数の部分を含む。
ウェアラブルAR装置200の構成要素(例えば、撮像コンポーネント150、無線トランシーバ140、プロセッサなど)は、アイウェアの様々な位置に配置される。以下の例は単に説明を目的としたものであり、限定的なものではない。一方のレンズ180Aの付近のフレームの一部(又はレンズ180Aの一部)に撮像コンポーネント150が備えられてもよい。他方のレンズ180Bの付近のフレームの一部(又は他方のレンズ180Bの一部)に通信ポートを備えるトランシーバ140を備えてもよい。第1の上端部171A及び/又は第2の上端部171Bの一方又は両方に、プロセッサ、通信ポート、及び/又はウェアラブルAR装置200のその他の構成要素を備えてもよい。一部の実施形態において、第1の上端部172A及び/又は第2の上端部172Bの一方又は両方に、プロセッサ、通信ポート、及び/又はウェアラブルAR装置200のその他の構成要素のうちの一又は複数を備えてもよい。
一部の実施形態において、フレームの第1の上端部171Aは、フレームの第1の上端部171Aの一又は複数の対応する位置に配置された、フィードバック・コンポーネント130の一又は複数の触覚出力装置を備える。フレームの第2の上端部171Bは、フレームの第2の上端部171Bの一又は複数の対応する位置に配置された、フィードバック・コンポーネント130の一又は複数の触覚出力装置を備える。一部の実施形態において、第1の蔓172Aは、第1の蔓172Aの一又は複数の対応する位置に配置された、一又は複数の触覚出力装置を備える。第2の蔓172Bは、第2の蔓172Bの一又は複数の対応する位置に配置された、一又は複数の触覚出力装置を備える。
一部の実施形態において、第1の蔓172Aは変形可能な材料を含む。一部の実施形態において、第1の蔓172Aは横方向内側に曲がるように構成される。一部の実施形態において、第1の蔓172Aの第1の部分173Aは横方向内側に曲がるように構成され、第1の蔓172Aの第1の部分に隣接する第2の部分174Aは、横方向内側または横方向外側に曲がるように構成される。第3の部分175Aは、横方向内側および横方向外側曲がり、振動し、アイウェアの着用者にくすぐったい感覚を与えるフィードバックを提供し、及び/又はその他の種類のフィードバックを提供する。一部の実施形態において、第1の蔓172Aの第1の部分173A、第2の部分174A、第3の部分175A、及び/又はその他の部分のうちの一又は複数は、一又は複数の触覚出力装置を備え、この一又は複数の触覚出力装置は、振動効果を与え、くすぐったい感覚を与え、横方向内側に曲がるように構成された変形可能な材料を含み、横方向内側および横方向外側に曲がるように構成された変形可能な材料を含み、及び/又はその他の種類の触覚フィードバックを提供するように構成される。
一部の実施形態において、第2の蔓172Bは変形可能な材料を含む。一部の実施形態において、第2の蔓172Bは横方向内側に曲がるように構成される。一部の実施形態において、第2の蔓172Bの第1の部分173Bは横方向内側に曲がるように構成され、第2の蔓172Bの第1の部分に隣接する第2の部分174Bは、横方向内側または横方向外側に曲がるように構成される。第3の部分175Bは、横方向内側および横方向外側曲がり、振動し、アイウェアの着用者にくすぐったい感覚を与えるフィードバックを提供し、及び/又はその他の種類のフィードバックを提供する。一部の実施形態において、第2の蔓172Bの第1の部分173B、第2の部分174B、第3の部分175B、及び/又はその他の部分のうちの一又は複数は、一又は複数の触覚出力装置を備え、この一又は複数の触覚出力装置は、振動効果を与え、くすぐったい感覚を与え、横方向内側に曲がるように構成された変形可能な材料を含み、横方向内側および横方向外側に曲がるように構成された変形可能な材料を含み、及び/又はその他の種類の触覚フィードバックを提供するように構成される。第1の蔓172Aおよび第2の蔓172Bの様々な部分は、第1の蔓172A及び/又は第2の蔓172Bの一又は複数の位置に配置される一又は複数の種類のフィードバックを提供する。
一部の実施形態において、第1の鼻パッド190Aは変形可能な材料を含む。第1の鼻パッド190Aは横方向内側に曲がるように構成される。一部の実施形態において、第1の鼻パッド190Aおよび第2の鼻パッド190Bの一方または両方は、一又は複数の触覚出力装置を備える。一部の実施形態において、第1の蔓172A、第2の蔓172B、第1の鼻パッド190A、第2の鼻パッド190B、及び/又は変形可能な材料を含むその他の構成要素の変形可能な材料は、アイウェアとして構成されるウェアラブルAR装置200の一又は複数のフィードバック・コンポーネント130として、フィードバックを提供する。
アイウェアのその他の構成を用いてもよい。例えば、一部の実施形態において、アイウェアの一又は複数の部分は、以下の触覚感覚のうちの一又は複数を提供するように構成さ
れる。すなわち、ユーザの頭部を締め付けるアイウェア、ユーザの耳を締め付けるアイウェア、ユーザの鼻を締め付けるアイウェア、ユーザが感じる構成要素192の振動アレイを有するアイウェア、ユーザの耳を押すアイウェア、アイウェアから延在しユーザに接触する突起部194、例えば構成要素192のアレイを用いてアイウェアに沿う流れ又は跳躍を指示し、ユーザにとってのフレームの表面感覚を変化させ、フレームの任意の部分を変形させる感覚、である。より進歩した機能をこのアイウェアに提供することにより、より複雑な触覚情報がユーザに伝達され、これにより、例えばゲーム情報、ステータス情報、方向情報、及び/又はオブジェクト・インタラクション情報が提供される。
上述の触覚機能は既知の駆動技術によって提供され、その駆動技術には、圧電材料、スマート・ゲル、形状記憶合金、電気活性ポリマー、電磁石、液だめなどからなるアクチュエータを含むが、それには限定されない。例えば、「耳を締め付ける」感覚は、アイウェアのフレームに埋め込まれた形状記憶繊維によって作り出すことができる。駆動されると、この繊維は縮小してフレームを引っ張り、ユーザの耳に圧力を与える耳部品の半径をわずかに減少させて、ユーザの耳に触覚効果を伝える。
一部の実施形態において、アイウェアは、アイウェアのフレームの中に直接実装された少なくとも1つのタッチ感知表面を含む。一部の実施形態において、静電気摩擦型のディスプレイを用いてアイウェアのフレームの表面感覚を変化させ、それにより例えばアクティブな機能または確認を指示してもよい。一部の実施形態において、構成要素192のアレイは、タッチ・パッドなどのタッチ感知表面のアレイである。
上述の触覚感覚の各々は、多くの具体的な応用例を有する。例えば、「耳を締め付ける」感覚を用いて、ユーザに通知し、アクションの確認をユーザに提供し、イベントのステータスを指示し、または注意を集中するべき方向などの方向情報を提供することができる。触覚効果の位置を特定化することにより付加的な情報を提供してもよい。例えば、触覚効果を鼻に与えて、ユーザが対面している仮想オブジェクトとのインタラクションを指示してもよく、また触覚効果をアイウェアの蔓に沿う頭部の右側及び左側または耳の後ろ側に与えて、ユーザの右側と左側の各々のオブジェクトとのインタラクションを行ってもよい。
一部の実施形態において、ウェアラブル装置100はアイウェアの形状に構成される。ウェアラブル装置100を備えるアイウェアは、アイウェアとして構成されたウェアラブルAR装置200と同様または類似の一又は複数の構成要素および機能を備える。一部の実施形態において、アイウェアとして構成されたウェアラブル装置100は、AR環境500をレンズ180A、180Bの一方又は両方あるいはアイウェアのフレームを介して表示しなくてもよい。
一部の実施形態において、ウェアラブル装置100は、例えば、覆面、ゴーグル、フェース・マスク、スキー・マスク、実験室用メガネ、安全メガネ、帽子、野球帽、バンダナ、ヘッド・バンド、耳覆い、櫛、ヘア・チェーン(hair chain)、及び/又はユーザの頭部に巻かれるその他のアクセサリとして構成される。一部の実施形態において、ウェアラブルAR装置200は、例えば、覆面、ゴーグル、フェース・マスク、スキー・マスク、実験室用メガネ、安全メガネ、帽子、野球帽、バンダナ、ヘッド・バンド、耳覆い、ネックレス、イヤリング、櫛、ヘア・チェーン(hair chain)、及び/又はユーザの頭部に巻かれるその他のアクセサリとして構成される。
再び図1及び2を参照すると、一部の実施形態において、サーバ400は、ウェアラブル装置100、ウェアラブルAR装置200、及び/又はその他のサーバ400と通信する装置のうちの一又は複数と通信するように構成される。一部の実施形態において、サー
バ400はプロセッサ、記憶装置、及び通信ポートを備える。
サーバ400のプロセッサは、データを受信し、オブジェクトを認識し、イベントをハンドルし、データを送信し、及び/又はその他の機能を提供するように構成される。一部の実施形態において、サーバ400はウェアラブル装置100のプロセッサ110から制御信号を受信するように構成される。サーバ400の記憶装置は、複数の制御信号および複数のフィードバック・レスポンスを含むウェアラブル装置100の検索テーブルと類似または同様の態様で構成される検索テーブルを含む。検索テーブルがこの制御信号に関するエントリを含む場合、サーバ400は検索テーブル内に存在するこの制御信号に関する情報を制御信号生成モジュール112に伝達する。サーバ400の検索テーブルがこの制御信号に関するエントリを含まない場合、サーバ400は、この制御信号にマッチするデータがない旨の指示を制御モジュール111に伝達する。一部の実施形態において、サーバ400は、ウェアラブル装置100から受信したデータに関する画像処理及び/又はオブジェクト認識を実行する。
一部の実施形態において、サーバ400は、ウェアラブル装置100のプロセッサ110のイベント・ハンドラ・モジュール111からイベント・データを受信するように構成される。サーバ400の記憶装置は、複数のイベントと各々の複数の制御信号とを関連付ける検索テーブルを含む。イベント・データの一部または全体がサーバ400の記憶装置に記憶されたイベントとマッチする場合、サーバ400のプロセッサは、このイベントに関するイベント・データをイベント・ハンドラ・モジュール111に伝達する。イベント・データが記憶装置に記憶されたイベントとマッチしない場合、サーバ400のプロセッサはマッチするイベントが存在しない旨をウェアラブル装置100に伝達する。
一部の実施形態において、サーバ400は、ウェアラブル装置100の撮像コンポーネント150によって取り込まれたオブジェクトに関するデータを受信する。サーバ400のプロセッサは、取り込まれたオブジェクトに関するオブジェクト認識を実行する。サーバ400の記憶装置は、一又は複数の物理オブジェクトを含む検索テーブルを含む。サーバ400は、受信したデータから認識されたオブジェクトに関するエントリが検索テーブルに含まれているかを判定する。検索テーブルが認識されたオブジェクトに関するエントリを含む場合、サーバ400は認識されたオブジェクトにマッチする記憶されたオブジェクトに関する情報を、オブジェクト認識モジュール115に伝達する。サーバ400が認識されたオブジェクトを認識しない場合、サーバ400はマッチするものがないという趣旨の指示をオブジェクト認識モジュール115に伝達する。
一部の実施形態において、サーバ400は、ウェアラブルAR装置200のプロセッサ210のオブジェクト認識モジュール215によって認識された物理オブジェクトに関するデータを受信する。サーバ400のプロセッサは、この物理オブジェクトと一又は複数の仮想オブジェクトとの間の関連付けをサーバ400の記憶装置が記憶しているかを判定する。一部の実施形態において、サーバ400の記憶装置は、物理オブジェクト、仮想オブジェクト、及び一又は複数の物理オブジェクトと一又は複数の仮想オブジェクトとの間の一又は複数の相関関係を含む検索テーブルを含む。サーバ400の記憶装置に関連付けがある場合、サーバ400は関連付けられた仮想オブジェクトに関するデータをオブジェクト生成モジュール216に伝達する。サーバ400の記憶装置に関連付けがない場合、サーバ400は関連付けがないことを伝達する。
サーバ400の通信ポートはインターフェースを備え、それを介して、例えばウェアラブル装置100、ウェアラブルAR装置200、及び/又はその他のサーバ400と通信する装置との通信チャネルが維持される。データ及び/又は信号は、通信チャネル300及び/又はサーバ400がデータ及び/又は信号を受信する際に用いるその他の通信チャ
ネルを介して受信される。
図6は本発明の実施形態に従う、ウェアラブル装置100に関する環境において発生するイベントに基づいてフィードバックを提供する例示的な方法600のフローチャートである。図6及び他の図で示される工程は、上述のシステム・コンポーネントの一部又は全体を用いて実現される。一部の実施形態において、様々な工程が異なる順序で実行されてもよい。他の実施形態において、図6及び他の図に示す工程の一部又は全体とともに付加的な工程を実行してもよい。さらに別の実施形態において、一又は複数の工程が同時に実行されてもよい。さらに別の実施形態において、様々な工程の一又は複数の組合せが実行されてもよい。一部の実施形態においては、図6及び他の図に関して説明する工程のすべてが実行されるわけはない。よって、説明される工程は本質的に例示的なものであり、そのため、限定的なものとして見なすべきではない。
一部の実施形態においては、図6及び他の図に示す工程は、一又は複数の処理装置(例えば、ウェアラブル装置100、ウェアラブルAR装置200、サーバ400、及び/又はその他の装置)において実行される。この一又は複数の処理装置は、電子記憶装置に電気的に記憶された命令に応答して、図6及び他の図に示す工程の一部又は全体を実行する一又は複数の装置を含む。この一又は複数の処理装置には、図6及び他の図に示す工程の一又は複数を実行するために設計されたハードウェア、ファームウェア、及び/又はソフトウェアで構成された一又は複数の装置が含まれる。
工程602において、イベントの発生がウェアラブル装置100に関する環境内で検出される。イベント・ハンドラ・モジュール111は、ウェアラブル装置100に関する環境内でイベントが発生したか否かを、プロセッサ110及び撮像コンポーネント150の一方又は両方から受信した情報に基づいて判定するように構成される。イベントは、ウェアラブル装置100の所定の近傍内の物理オブジェクトの指示、環境内で発生する環境条件の指示、環境内で発生する環境条件の変化の指示、ウェアラブル装置100の所定の近傍内でのオブジェクトの動きの指示、環境内でのウェアラブル装置100とオブジェクトのインタラクション、ウェアラブル装置100が環境内のオブジェクトを認識するという指示、ナビゲーション・イベント、及び/又はウェアラブル装置100に関する環境内で発生する他のイベントを含み得る。一部の実施形態において、ウェアラブルAR装置200に関する環境内でイベントの発生が検出された場合、このイベントは、少なくとも1つの物理オブジェクトと拡張現実空間との間のインタラクション、拡張現実環境にに対して発生したアクションの確認、少なくとも1つの物理オブジェクトが拡張現実装置によって認識されたことの確認、物理空間内のオブジェクトが拡張されたことの確認、ウェアラブルAR装置200の所定の近傍内の少なくとも1つの物理オブジェクトの指示、ウェアラブルAR装置200に関する環境内で発生する環境条件の指示、該環境内で発生する環境条件の変化の指示、ウェアラブルAR装置200の所定の近傍内でのオブジェクトの動きの指示、拡張現実空間内に表示される一又は複数の仮想オブジェクトとのインタラクション、及び/又はウェアラブルAR装置200に関する環境内で発生するその他のイベントを含む。一又は複数の仮想オブジェクトとのインタラクションは、一又は複数の仮想オブジェクトの操作、ユーザと拡張現実空間内に表示された一又は複数の仮想オブジェクトとの間のインタラクション、物理空間内の一又は複数の物理オブジェクトと一又は複数の仮想オブジェクトとの間のインタラクション、及び/又はウェアラブルAR装置200に関する環境内の仮想オブジェクトに関するその他のイベントを含む。
工程604において、ウェアラブル装置100は検出されたイベントに基づく制御信号を生成する。例えば、ウェアラブル装置100のイベント・ハンドラ・モジュール111がイベントを検出した場合、制御信号生成モジュール112は検出されたイベントに関連付けられた制御信号を判定するように構成される。一部の実施形態において、ウェアラブ
ルAR装置200に関する環境内でイベントの発生が検出される場合、ウェアラブルAR装置200のイベント・ハンドラ・モジュール211がイベントを検出し、制御信号生成モジュール212が検出されたイベントと関連付けられた制御信号を判定するように構成される。
工程606において、プロセッサ110のフィードバック制御モジュール113は制御信号を受信する。フィードバックはウェアラブル装置100を介して提供される。フィードバック制御モジュール113は、フィードバック・コンポーネント130がウェアラブル装置100を介してフィードバックを提供するようにする。一部の実施形態において、フィードバック制御モジュール113は制御信号をフィードバック・コンポーネント130に提供するように構成される。これらの実施形態において、制御信号は一又は複数のフィードバック・コンポーネント130に直接与えられてフィードバックを発生させることもある。一部の実施形態において、フィードバック制御モジュール113は受信した制御信号に基づいてフィードバック・レスポンスを決定するように構成される。フィードバック制御モジュール113は、フィードバックの一又は複数の種類、及びこの指示されたフィードバックの種類の、生成される一又は複数のフィードバック信号を含むフィードバック・レスポンスを提供する。フィードバック制御モジュール113は、フィードバック・レスポンスの指示されたフィードバック信号を生成し、生成したフィードバック信号を該信号に対応するフィードバック・コンポーネント130に送信するように構成される。
ウェアラブル装置100の一又は複数のフィードバック・コンポーネント130は、ウェアラブル装置100を介してフィードバックを提供する。一部の実施形態において、提供されるフィードバックは、フィードバック制御モジュール113から受信した一又は複数のフィードバック信号に基づく。このフィードバックは、ウェアラブル装置に関する環境内で検出されたイベントに対応する。例えば、このフィードバックは対応するイベントを表している。
一部の実施形態において、ウェアラブルAR装置200に関する環境内でイベントの発生が検出された場合、プロセッサ210のフィードバック制御モジュール213は制御信号を受信する。フィードバックはウェアラブルAR装置200を介して提供される。フィードバック制御モジュール213は、フィードバック・コンポーネント120がウェアラブルAR装置200を介してフィードバックを提供するようにする。一部の実施形態において、フィードバック制御モジュール213は制御信号をフィードバック・コンポーネント130に提供するように構成される。これらの実施形態において、制御信号は一又は複数のフィードバック・コンポーネント130に直接与えられてフィードバックを発生させることもある。一部の実施形態において、フィードバック制御モジュール213は受信した制御信号に基づいてフィードバック・レスポンスを決定するように構成される。フィードバック制御モジュール213は、フィードバックの一又は複数の種類、及びこの指示されたフィードバックの種類の、生成される一又は複数のフィードバック信号を含むフィードバック・レスポンスを提供する。フィードバック制御モジュール213は、フィードバック・レスポンスの指示されたフィードバック信号を生成し、生成したフィードバック信号を該信号に対応するフィードバック・コンポーネント130に送信するように構成される。
ウェアラブルAR装置200の一又は複数のフィードバック・コンポーネント130は、ウェアラブルAR装置200を介してフィードバックを提供する。一部の実施形態において、提供されるフィードバックは、フィードバック制御モジュール213から受信した一又は複数のフィードバック信号に基づく。このフィードバックは、ウェアラブル装置に関する環境内で検出されたイベントに対応する。例えば、このフィードバックは対応するイベントを表している。
ウェアラブル装置100は、記憶装置170、一又は複数のプロセッサ110、及び/又はその他の構成要素を備える。ウェアラブル装置100は通信線、又はネットワーク及び/又は他の計算機プラットフォームと情報を交換することを可能にするポートを備える。図1に示すウェアラブル装置100は限定的なものとして意図されていない。ウェアラブル装置100は、共同して動作してウェアラブル装置の機能を提供する複数のハードウェア、ソフトウェア、及び/又はファームウェア・コンポーネントを備える。
記憶装置170には、情報を電子的に記憶する持続性ストレージ・メディアが含まれる。記憶装置170の電子ストレージ・メディアには、ウェアラブル装置100と一体に(すなわち、実質的に着脱不能に)設けられたシステム・ストレージ、及び、例えばポート(例えばUSBポート、ファイヤーワイヤーポート等)やドライブ(例えばディスクドライブ等)を介してウェアラブル装置100と着脱可能に接続されたリムーバブルストレージの少なくとも一方が含まれる。記憶装置170には、光学的に読み取り可能な記憶メディア(例えば光学ディスク等)、磁気的に読み取り可能な記憶メディア(例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等)、電荷型ストレージメディア(例えばEEPROM、RAM等)、ソリッドステート・ストレージメディア(例えばフラッシュドライブ等)、及び/又は前記以外の電子的に読み取り可能なストレージメディアが含まれる。記憶装置170には、一又は複数の仮想ストレージリソース(例えば、クラウドストレージ、仮想プライベートネットワーク、及び/又はこれら以外の仮想ストレージリソース)が含まれる。記憶装置170は、ソフトウェアアルゴリズム、プロセッサ110によって決定された情報、ウェアラブル装置100から受信した情報、及び/又はウェアラブル装置100が本明細書で説明したように機能できるようにする前記以外の情報を記憶することができる。
プロセッサ110はウェアラブル装置100における情報処理能力を提供するように構成される。プロセッサ110は、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、及び/又は電子的に情報を処理する前記以外のメカニズムのうちの一又は複数を備える。プロセッサ110は図1において単一のエンティティとして示されているが、これは単に説明を目的としたものである。一部の実施形態において、プロセッサ110は複数の処理装置を含む。これらの処理装置は物理的に同一の装置内に配置されてもよく、または共同して動作する複数の装置の処理機能をプロセッサ110が代表してもよい。プロセッサ110はモジュール111、112、113、114、及び115を実行するように構成される。プロセッサ110は、モジュール112、113、114、及び115を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び/またはファームウェア、及び/またはプロセッサ110の処理能力を構成する他の機構を用いてもよい。本明細書で用いられるように、「モジュール」という用語はモジュールのものとされている機能を実行する任意の構成要素または構成要素の集合のことを意味する。この用語は、プロセッサが読取り可能な命令を実行中の一又は複数の物理的なプロセッサ、プロセッサが読取り可能な命令、回路、ハードウェア、ストレージ・メディア、又は他の任意の構成要素を含む。
図1においてモジュール111、112、113、114、及び115は単一の処理装置内に実装されるものとして示されるが、プロセッサ110が複数の処理装置を含む実施形態においては、モジュール111、112、113、114、及び115のうちの一または複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール111、112、113、114、及び115によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール111、112、113、114、及び115はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例
えば、モジュール111、112、113、114、及び115のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール111、112、113、114、及び115のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール111、112、113、114、及び115のうちの1つに帰せられる機能の一部またはすべてを実行する1つまたは複数の追加的なモジュールを実行するように、プロセッサ110が構成されてもよい。
ウェアラブルAR装置200は、記憶装置270、一又は複数のプロセッサ210、及び/又はその他の構成要素を備える。ウェアラブルAR装置200は通信線、又はネットワーク及び/又は他の計算機プラットフォームと情報を交換することを可能にするポートを備える。図2に示すウェアラブルAR装置200は限定的なものとして意図されていない。ウェアラブルAR装置200は、共同して動作してウェアラブルAR装置200の機能を提供する複数のハードウェア、ソフトウェア、及び/又はファームウェア・コンポーネントを備える。
記憶装置270には、情報を電子的に記憶する持続性ストレージ・メディアが含まれる。記憶装置270の電子ストレージ・メディアには、ウェアラブルAR装置200と一体に(すなわち、実質的に着脱不能に)設けられたシステム・ストレージ、及び、例えばポート(例えばUSBポート、ファイヤーワイヤーポート等)やドライブ(例えばディスクドライブ等)を介してウェアラブル装置AR200と着脱可能に接続されたリムーバブルストレージの少なくとも一方が含まれる。記憶装置270には、光学的に読み取り可能な記憶メディア(例えば光学ディスク等)、磁気的に読み取り可能な記憶メディア(例えば磁気テープ、磁気ハードドライブ、フロッピードライブ等)、電荷型ストレージメディア(例えばEEPROM、RAM等)、ソリッドステート・ストレージメディア(例えばフラッシュドライブ等)、及び/又は前記以外の電子的に読み取り可能なストレージメディアが含まれる。記憶装置270には、一又は複数の仮想ストレージリソース(例えば、クラウドストレージ、仮想プライベートネットワーク、及び/又はこれら以外の仮想ストレージリソース)が含まれる。記憶装置270は、ソフトウェアアルゴリズム、プロセッサ210によって決定された情報、ウェアラブルAR装置200から受信した情報、及び/又はウェアラブル装置200が本明細書で説明したように機能できるようにする前記以外の情報を記憶することができる。
プロセッサ210はウェアラブルAR装置200における情報処理能力を提供するように構成される。プロセッサ210は、デジタルプロセッサ、アナログプロセッサ、情報処理用のデジタル回路、情報処理用のアナログ回路、ステートマシン、及び/又は電子的に情報を処理する前記以外のメカニズムのうちの一又は複数を備える。プロセッサ210は図2において単一のエンティティとして示されているが、これは単に説明を目的としたものである。一部の実施形態において、プロセッサ210は複数の処理装置を含む。これらの処理装置は物理的に同一の装置内に配置されてもよく、または共同して動作する複数の装置の処理機能をプロセッサ210が代表してもよい。プロセッサ210はモジュール211、212、213、214、215、及び216を実行するように構成される。プロセッサ210は、モジュール211、212、213、214、215、及び216を実行する際に、ソフトウェア、ハードウェア、ファームウェア、何らかの方法で組み合わされたソフトウェア、ハードウェア、及び/またはファームウェア、及び/またはプロセッサ210の処理能力を構成する他の機構を用いてもよい。本明細書で用いられるように、「モジュール」という用語はモジュールのものとされている機能を実行する任意の構成要素または構成要素の集合のことを意味する。この用語は、プロセッサが読取り可能な命令を実行中の一又は複数の物理的なプロセッサ、プロセッサが読取り可能な命令、回路、ハードウェア、ストレージ・メディア、又は他の任意の構成要素を含む。
図2においてモジュール211、212、213、214、215、及び216は単一の処理装置内に実装されるものとして示されるが、プロセッサ210が複数の処理装置を含む実施形態においては、モジュール211、212、213、214、215、及び216のうちの一または複数が他のモジュールから離れて配置されてもよい。以下の異なるモジュール211、212、213、214、215、及び216によって提供される機能の記述は説明のためのものであり、限定を意図したものではない。モジュール211、212、213、214、215、及び216はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、モジュール211、212、213、214、215、及び216のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール211、212、213、214、215、及び216のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール211、212、213、214、215、及び216のうちの1つに帰せられる機能の一部またはすべてを実行する1つまたは複数の追加的なモジュールを実行するように、プロセッサ210が構成されてもよい。
サーバ400は、記憶装置、一又は複数のプロセッサ、及び/又はその他の構成要素を備える。サーバ400は通信線、又はネットワーク及び/又は他の計算機プラットフォームと情報を交換することを可能にするポートを備える。図1及び2に示されるサーバ400は限定を意図したものではない。サーバ400は、共同して動作してサーバ400の機能を提供する複数のハードウェア、ソフトウェア、及び/又はファームウェア・コンポーネントを備える。例えば、サーバ400は、サーバ400として共同して動作する多数の計算機プラットフォームによって実装されてもよい。
以上、現時点で最も実用的であり好ましいと考えられる態様に基づいて、本開示のシステムや方法を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものである。本開示は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。例えば、本開示においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (38)

  1. 触覚フィードバックを提供するように構成されたウェアラブル装置であって、
    前記ウェアラブル装置に関する環境内で発生するイベントを表す制御信号を生成するように構成されたプロセッサと、
    前記ウェアラブル装置の第1の位置に配置された第1の触覚出力装置と、
    を備え、該第1の触覚出力装置は前記生成された制御信号に基づいて触覚フィードバックを提供するように構成される、ウェアラブル装置。
  2. 前記第1の触覚出力装置が、触覚効果を生成するように構成されたアクチュエータを備える、請求項1に記載のウェアラブル装置。
  3. 前記第1の触覚出力装置が、触覚効果を生成するように構成された非機械的触覚出力装置を備える、請求項1に記載のウェアラブル装置。
  4. 前記ウェアラブル装置の前記第1の位置と異なる第2の位置に配置された第2の触覚出力装置をさらに備える請求項1に記載のウェアラブル装置であって、前記第2の触覚出力装置は前記生成された制御信号に基づいて第2の触覚フィードバックを提供するように構成された、請求項1に記載のウェアラブル装置。
  5. 前記イベントがナビゲーション・イベントを含み、前記触覚フィードバックが前記ナビゲーション・イベントに関連付けられた第1の方向を指示し、前記第2の触覚フィードバックが前記第1の方向と異なる第2の方向を指示する、請求項4に記載のウェアラブル装置。
  6. 前記イベントがナビゲーション・イベントを含み、前記触覚フィードバックが前記ナビゲーション・イベントに関連付けられた第1の方向を指示し、前記第2の触覚フィードバックが前記第1の方向を指示する、請求項4に記載のウェアラブル装置。
  7. 前記第2の触覚出力装置が前記触覚フィードバックの後に前記第2の触覚フィードバックを提供するように構成される、請求項4に記載のウェアラブル装置。
  8. 前記イベントが、前記ウェアラブル装置の所定の近傍内の物理オブジェクトの指示、前記環境内で発生する環境条件の指示、前記環境内で発生する環境条件の変化の指示、前記ウェアラブル装置の所定の近傍内でのオブジェクトの動きの指示、前記環境内での前記ウェアラブル装置とオブジェクトのインタラクション、または前記ウェアラブル装置が前記環境内のオブジェクトを認識するという指示を含む、請求項1に記載のウェアラブル装置。
  9. 前記ウェアラブル装置に関する一又は複数の環境条件を検知するように構成されたセンサをさらに備える請求項1に記載のウェアラブル装置であって、
    前記イベントは前記センサによって検知された前記一又は複数の環境条件を含む、
    請求項1に記載のウェアラブル装置。
  10. 前記ウェアラブル装置から離れた計算装置との無線又は有線の通信チャネルを確立するように構成された通信ポートをさらに備える請求項1に記載のウェアラブル装置であって、
    前記プロセッサが、前記計算装置で発生するイベントを表す信号を前記無線又は有線の通信チャネルを介して受信し、該受信した信号に基づいて前記制御信号を生成するように構成される、
    請求項1に記載のウェアラブル装置。
  11. 前記受信した信号が知覚的な情報を含み、前記イベントが前記知覚的な情報に基づく一又は複数の環境条件を含む、請求項10に記載のウェアラブル装置。
  12. 前記受信した信号が前記計算装置における通信に関する情報を含み、前記イベントが前記計算装置における前記通信の指示を含む、請求項11に記載のウェアラブル装置。
  13. 前記ウェアラブル装置がアイウェアとして構成される、請求項1に記載のウェアラブル装置。
  14. 前記アイウェアのフレームの上端部は、前記フレームの第1の部分に配置された前記第1の触覚出力装置と、前記フレームの第2の部分に配置された第2の触覚出力装置とを含む複数の触覚出力装置を備える、請求項13に記載のウェアラブル装置。
  15. 前記イベントがナビゲーション・イベントを含み、前記触覚フィードバックが前記ナビゲーション・イベントに関連付けられた第1の方向を指示し、前記第2の触覚出力装置が前記第1の方向と異なる第2の方向を指示する第2の触覚フィードバックを提供するように構成される、請求項14に記載のウェアラブル装置。
  16. 前記フレームの前記上端部は、前記フレームの前記第1の部分に配置された第3の触覚出力装置と、前記フレームの前記第2の部分に配置された第4の触覚出力装置とを備え、
    前記イベントはナビゲーション・イベントを含み、前記第3の触覚出力装置は前記第1の方向を指示する第3の触覚フィードバックを提供するように構成され、前記第4の触覚出力装置は前記第1の方向と異なる前記第2の方向を指示する第4の触覚フィードバックを提供するように構成される、請求項14に記載のウェアラブル装置。
  17. 前記アイウェアは前記フレームの第1の端部において前記フレームの前記上端部と接続される第1の蔓を備え、前記第1の蔓は、前記第1の蔓の第1の端部に配置された前記第1の触覚出力装置と、前記第1の蔓の前記第1の端部と向き合う第2の端部に配置された前記第2の触覚出力装置とを備える、請求項14に記載のウェアラブル装置。
  18. 前記第1の蔓が変形可能な材料を含み、前記第1の蔓が前記触覚フィードバックに基づいて横方向内側に曲がるように構成される、請求項17に記載のウェアラブル装置。
  19. 前記第1の蔓は前記フレームに隣接する第1の部分と、前記第1の部分に隣接する第2の部分とを含み、
    前記第1の部分は第1の変形可能な材料を含み、前記第1の部分は前記触覚フィードバックに基づいて横方向内側に曲がるように構成され、
    前記第2の部分は第2の変形可能な材料を含み、前記第2の部分は前記触覚フィードバックに基づいて横方向内側または横方向外側に曲がるように構成される、
    請求項17に記載のウェアラブル装置。
  20. 前記アイウェアは、変形可能な材料を含む第1の鼻パッドと、前記変形可能な材料を含む第2の鼻パッドとを備え、前記第1の鼻パッドおよび前記第2の鼻パッドのうちの一又は複数は前記触覚フィードバックに基づいて横方向内側に曲がるように構成される、請求項13に記載のウェアラブル装置。
  21. 拡張現実空間および物理空間を含む拡張現実環境を生成するように構成された拡張現実
    装置であって、
    前記物理空間を画像化するように構成された撮像コンポーネントと、
    プロセッサと、
    前記拡張現実装置の第1の位置に配置された第1の触覚出力装置と、
    を備え、
    前記プロセッサは、
    前記物理空間と一致する前記拡張現実空間を生成し、
    前記物理空間内の少なくとも1つの物理オブジェクトを認識し、前記拡張現実空間内の一又は複数の仮想オブジェクトを用いて前記少なくとも1つの物理オブジェクトを拡張し、
    前記拡張現実環境に関連付けられたイベントを判定し、
    前記判定されたイベントに基づいて制御信号を生成する
    ように構成され、
    前記第1の触覚出力装置は前記生成された制御信号に基づいて触覚フィードバックを提供するように構成される、拡張現実装置。
  22. 前記第1の触覚出力装置が、触覚効果を生成するように構成されたアクチュエータを備える、請求項21に記載の拡張現実装置。
  23. 前記第1の触覚出力装置が、触覚効果を生成するように構成された非機械的触覚出力装置を備える、請求項21に記載の拡張現実装置。
  24. 前記拡張現実装置の前記第1の位置と異なる第2の位置に配置された第2の触覚出力装置をさらに備える請求項21に記載の拡張現実装置であって、前記第2の触覚出力装置は前記生成された制御信号に基づいて第2の触覚フィードバックを提供するように構成された、請求項21に記載の拡張現実装置。
  25. 前記第2の触覚フィードバックが前記触覚フィードバックと異なる、請求項24に記載の拡張現実装置。
  26. 前記イベントがナビゲーション・イベントを含み、前記触覚フィードバックが前記ナビゲーション・イベントに関連付けられた第1の方向を指示し、前記第2の触覚フィードバックが前記第1の方向と異なる第2の方向を指示する、請求項24に記載の拡張現実装置。
  27. 前記第2の触覚出力装置が前記触覚フィードバックの後に前記第2の触覚フィードバックを提供するように構成される、請求項24に記載の拡張現実装置。
  28. 前記イベントが、仮想オブジェクトとのインタラクション、前記少なくとも1つの物理オブジェクトと前記拡張現実環境との間のインタラクション、前記拡張現実環境に対して発生するアクションの確認、前記拡張現実装置によって前記少なくとも1つの物理オブジェクトが認識されたことの確認、または前記物理空間内のオブジェクトが拡張されたことの確認を含む、請求項21に記載の拡張現実装置。
  29. 前記イベントが、前記拡張現実装置の所定の近傍内の前記少なくとも1つの物理オブジェクトの指示、前記拡張現実装置に関する環境内で発生する環境条件の指示、前記環境内で発生する環境条件の変化の指示、または前記拡張現実装置の所定の近傍内のオブジェクトの動きの指示を含む、請求項21に記載の拡張現実装置。
  30. 前記拡張現実装置がアイウェアとして構成される、請求項21に記載の拡張現実装置。
  31. 前記拡張現実環境が前記アイウェアのレンズを介して運ばれる、請求項30に記載の拡張現実装置。
  32. 前記アイウェアのフレームの上端部は、前記フレームの第1の部分に配置された前記第1の触覚出力装置と、前記フレームの前記第1の部分と異なる第2の部分に配置された第2の触覚出力装置とを含む複数の触覚出力装置を備える、請求項30に記載の拡張現実装置。
  33. 前記アイウェアは前記フレームの第1の端部において前記フレームの前記上端部と接続される第1の蔓を備え、該第1の蔓は、前記第1の蔓の第1の端部に配置された前記第1の触覚出力装置と、前記第1の蔓の前記第1の端部と向き合う第2の端部に配置された前記第2の触覚出力装置とを備える、請求項32に記載の拡張現実装置。
  34. 前記イベントがナビゲーション・イベントを含み、前記触覚フィードバックが前記ナビゲーション・イベントに関連付けられた第1の方向を指示し、前記第2の触覚出力装置が前記第1の方向と異なる第2の方向を指示する第2の触覚フィードバックを提供するように構成される、請求項33に記載の拡張現実装置。
  35. 前記フレームの前記上端部が、前記フレームの前記第1の部分に配置された第3の触覚出力装置と、前記フレームの前記第2の部分に配置された第4の触覚出力装置を含み、前記第3の触覚出力装置は前記第1の方向を指示する第3の触覚フィードバックを提供するように構成され、前記第4の触覚出力装置は前記第2の方向を指示する第4の触覚フィードバックを提供するように構成される、請求項34に記載の拡張現実装置。
  36. 前記第1の蔓が変形可能な材料を含み、前記第1の蔓が前記触覚フィードバックに基づいて横方向内側に曲がるように構成される、請求項33に記載の拡張現実装置。
  37. 前記第1の蔓は前記フレームに隣接する第1の部分と、該第1の部分に隣接する第2の部分とを含み、
    前記第1の部分は第1の変形可能な材料を含み、前記第1の部分は前記触覚フィードバックに基づいて横方向内側に曲がるように構成され、
    前記第2の部分は第2の変形可能な材料を含み、前記第2の部分は前記触覚フィードバックに基づいて横方向内側または横方向外側に曲がるように構成される、
    請求項33に記載の拡張現実装置。
  38. 前記アイウェアは、変形可能な材料を含む第1の鼻パッドと、前記変形可能な材料を含む第2の鼻パッドとを備え、前記第1の鼻パッドおよび前記第2の鼻パッドのうちの一又は複数は前記触覚フィードバックに基づいて横方向内側に曲がるように構成される、請求項30に記載の拡張現実装置。
JP2018144735A 2013-03-15 2018-08-01 ウェアラブル触覚装置 Pending JP2018190453A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/841,551 2013-03-15
US13/841,551 US9092954B2 (en) 2013-03-15 2013-03-15 Wearable haptic device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014046369A Division JP2014194767A (ja) 2013-03-15 2014-03-10 ウェアラブル触覚装置

Publications (2)

Publication Number Publication Date
JP2018190453A true JP2018190453A (ja) 2018-11-29
JP2018190453A5 JP2018190453A5 (ja) 2019-03-22

Family

ID=50439132

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014046369A Pending JP2014194767A (ja) 2013-03-15 2014-03-10 ウェアラブル触覚装置
JP2018144735A Pending JP2018190453A (ja) 2013-03-15 2018-08-01 ウェアラブル触覚装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014046369A Pending JP2014194767A (ja) 2013-03-15 2014-03-10 ウェアラブル触覚装置

Country Status (5)

Country Link
US (3) US9092954B2 (ja)
EP (1) EP2778854A3 (ja)
JP (2) JP2014194767A (ja)
KR (1) KR20140113531A (ja)
CN (2) CN104049739B (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9773332B2 (en) * 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US20150162000A1 (en) * 2013-12-10 2015-06-11 Harman International Industries, Incorporated Context aware, proactive digital assistant
US9542801B1 (en) 2014-04-28 2017-01-10 Bally Gaming, Inc. Wearable wagering game system and methods
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
WO2016031118A1 (ja) * 2014-08-29 2016-03-03 ソニー株式会社 力覚提示デバイス、力覚提示システム、および力覚提示方法
US9858751B2 (en) 2014-09-26 2018-01-02 Bally Gaming, Inc. Wagering game wearables
DE102014015024A1 (de) * 2014-10-08 2016-04-14 Marc Ebel Farblichtvorrichtung und Wärmevorrichtung für Head Mounted Displays
DE102014015103A1 (de) * 2014-10-10 2016-04-14 Marc Ebel Vorrichtung für Head Mounted Displays
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
CN105739671A (zh) * 2014-12-08 2016-07-06 北京蚁视科技有限公司 一种振动反馈装置及含有该装置的近眼显示器
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10437335B2 (en) * 2015-04-14 2019-10-08 John James Daniels Wearable electronic, multi-sensory, human/machine, human/human interfaces
WO2016170717A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 ウェアラブルディスプレイ、情報処理システム及び制御方法
CN104850229B (zh) 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
WO2016206069A1 (en) 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Passive haptics as reference for active haptics
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
WO2017049241A1 (en) * 2015-09-16 2017-03-23 Taction Technology Inc. Apparatus and methods for audio-tactile spatialization of sound and perception of bass
US10776618B2 (en) * 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
ITUB20159238A1 (it) * 2015-11-25 2017-05-25 Beniamino Tambelli montatura per lenti di protezione con sistema integrato intelligente per rilevamento interferenze tra pedone e carrello elevatore/mezzo in movimento
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台(上海)信息科技有限公司 用于实现增强现实交互和展示的方法、设备
US10163282B2 (en) * 2016-03-30 2018-12-25 Intermec, Inc. Systems and methods for authentication
US9760744B1 (en) 2016-06-01 2017-09-12 International Business Machines Corporation Physical interactive IDs (P2D)
US10095311B2 (en) 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
DE102016212801A1 (de) * 2016-07-13 2018-01-18 Bayerische Motoren Werke Aktiengesellschaft Datenbrille zur Anzeige von Informationen
JP2018082363A (ja) * 2016-11-18 2018-05-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN106648092B (zh) * 2016-12-16 2020-04-10 英业达科技有限公司 触觉仿真***
WO2018136102A1 (en) 2017-01-23 2018-07-26 Hewlett-Packard Development Company, L.P. Somatosensory feedback system
US10371544B2 (en) 2017-05-04 2019-08-06 Wearworks Vibrating haptic device for the blind
US11408749B2 (en) 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
CA3006939A1 (en) * 2017-06-01 2018-12-01 Monroe Solutions Group Inc. Systems and methods for establishing telepresence of a remote user
WO2018230790A1 (ko) 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
CN109690455B (zh) 2017-06-29 2022-03-11 苹果公司 具有传感器和触觉部件的指戴式装置
EP3731922B1 (en) 2017-10-23 2024-02-21 DataFeel Inc. Communication devices, methods, and systems
EP3531192B1 (en) * 2018-02-21 2021-09-29 Essilor International An eyewear frame, an eyewear, and a method of adjusting an eyewear frame
DE102018212869A1 (de) * 2018-08-01 2020-02-06 Volkswagen Aktiengesellschaft Konzept zum Vermitteln einer Richtungsangabe an einen Nutzer
US10860101B1 (en) * 2018-11-21 2020-12-08 Facebook Technologies, Llc Systems and methods using patterned nanovoids for actuation and deformation sensing
US11139756B2 (en) * 2018-12-11 2021-10-05 Facebook Technologies, Llc Transducers with electrostatic repulsion and associated systems and methods
US11107972B2 (en) 2018-12-11 2021-08-31 Facebook Technologies, Llc Nanovoided tunable optics
US11755107B1 (en) 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
US11302083B1 (en) * 2020-01-29 2022-04-12 Splunk Inc. Web-based three-dimensional extended reality workspace editor
CA3182176A1 (en) * 2020-06-11 2021-12-16 John Langan Hands-free medication tracking
JP2022012926A (ja) * 2020-07-02 2022-01-18 秋夫 湯田 人との接触記録装置。
US11709554B1 (en) 2020-09-14 2023-07-25 Apple Inc. Finger devices with adjustable housing structures
US11287886B1 (en) 2020-09-15 2022-03-29 Apple Inc. Systems for calibrating finger devices
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
US20230206238A1 (en) * 2021-12-27 2023-06-29 Mastercard International Incorporated System and method for authentication and payment while wearing a face covering
US11928981B2 (en) 2022-06-22 2024-03-12 Kevin Fan Tactile vision

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2010020526A (ja) * 2008-07-10 2010-01-28 Ritsumeikan 操作システム
US20100110368A1 (en) * 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
WO2012105175A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109806B2 (ja) * 1999-08-31 2008-07-02 株式会社東芝 触覚を利用した方向提示装置及びその方法
JP2004173660A (ja) 2002-11-22 2004-06-24 Hashimoto Kaihatsu Kogyo:Kk 自動湿潤式家庭菜園プランタン
JP4002970B2 (ja) * 2002-11-29 2007-11-07 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム及びそれに用いるデバイス
EP1524586A1 (en) * 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
JP4838499B2 (ja) * 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
TWI434718B (zh) * 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
US7839269B2 (en) * 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8123660B2 (en) * 2007-12-28 2012-02-28 Immersion Corporation Method and apparatus for providing communications with haptic cues
WO2009092107A2 (en) 2008-01-17 2009-07-23 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
US8077020B2 (en) * 2008-07-10 2011-12-13 International Business Machines Corporation Method and apparatus for tactile haptic device to guide user in real-time obstacle avoidance
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
CN100595635C (zh) * 2009-01-14 2010-03-24 长春大学 智能盲人导航眼镜
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
CN101797197B (zh) * 2009-11-23 2012-07-04 常州超媒体与感知技术研究所有限公司 便携式盲人自主导航***
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
JP5952258B2 (ja) * 2010-03-25 2016-07-13 タガビ,レザ 首用触覚通信装置
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
GB201101618D0 (en) * 2011-01-31 2011-03-16 Univ Sheffield Active sensory augmentation device
US20120229264A1 (en) * 2011-03-09 2012-09-13 Analog Devices, Inc. Smart linear resonant actuator control
CN102175251A (zh) * 2011-03-25 2011-09-07 江南大学 双目智能导航***
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
CA3164530C (en) * 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台***及应用方法
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控***和方法
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9392094B2 (en) 2014-01-15 2016-07-12 Sony Corporation Mobile electronic wearable device and method for providing haptic notification
WO2015142071A1 (en) * 2014-03-21 2015-09-24 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN104127301B (zh) 2014-07-15 2016-03-02 深圳先进技术研究院 导盲智能眼镜及其导盲方法
US9773389B2 (en) 2014-07-28 2017-09-26 Ck Materials Lab Co., Ltd. Tactile information supply module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
WO2017053878A1 (en) 2015-09-25 2017-03-30 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10743595B2 (en) 2016-09-22 2020-08-18 The Ford Meter Box Company, Inc. Finger guard
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2010020526A (ja) * 2008-07-10 2010-01-28 Ritsumeikan 操作システム
US20100110368A1 (en) * 2008-11-02 2010-05-06 David Chaum System and apparatus for eyeglass appliance platform
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
WO2012105175A1 (ja) * 2011-02-01 2012-08-09 パナソニック株式会社 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world

Also Published As

Publication number Publication date
CN111078015A (zh) 2020-04-28
EP2778854A2 (en) 2014-09-17
US10269222B2 (en) 2019-04-23
US20140266647A1 (en) 2014-09-18
US9092954B2 (en) 2015-07-28
JP2014194767A (ja) 2014-10-09
EP2778854A3 (en) 2017-01-18
KR20140113531A (ko) 2014-09-24
US20150332566A1 (en) 2015-11-19
US20190164394A1 (en) 2019-05-30
CN104049739B (zh) 2020-01-14
CN104049739A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
JP2018190453A (ja) ウェアラブル触覚装置
JP6713445B2 (ja) 触覚フィードバックを備えた拡張現実ユーザ・インタフェース
US10416774B2 (en) Automatic remote sensing and haptic conversion system
CN110249368B (zh) 混合现实环境中提供虚拟远程控制的可穿戴***及方法
EP3320413B1 (en) System for tracking a handheld device in virtual reality
US6862006B2 (en) Image processing apparatus and image processing method, and image processing program and recording medium of the same
KR20200099574A (ko) 공중 햅틱 시스템들과의 인간 상호작용들
KR20150129621A (ko) 원격 상호 작용을 위한 햅틱 피드백을 제공하는 시스템 및 방법
US20150169070A1 (en) Visual Display of Interactive, Gesture-Controlled, Three-Dimensional (3D) Models for Head-Mountable Displays (HMDs)
CN112071311B (zh) 控制方法、控制装置、穿戴设备和存储介质
EP3220196B1 (en) Wearable device
US11334157B1 (en) Wearable device and user input system with active sensing for computing devices and artificial reality environments
US11474609B1 (en) Systems and methods for haptic equalization
KR20180138322A (ko) 손가락에 착용가능한 진동발생 웨어러블 장치 및 진동에 관한 정보에 대응하는 작업을 수행하는 방법
WO2024049463A1 (en) Virtual keyboard
KR20240115138A (ko) 외부 전자 장치의 센서를 제어하기 위한 hmd 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191108

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20191203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191210

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200420