JP2022512479A - 環境触覚を仮想現実に統合するためのシステム及び方法 - Google Patents
環境触覚を仮想現実に統合するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022512479A JP2022512479A JP2021533613A JP2021533613A JP2022512479A JP 2022512479 A JP2022512479 A JP 2022512479A JP 2021533613 A JP2021533613 A JP 2021533613A JP 2021533613 A JP2021533613 A JP 2021533613A JP 2022512479 A JP2022512479 A JP 2022512479A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- sensor
- virtual reality
- environmental
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
環境触覚効果を仮想現実に統合するためのシステム及び方法が開示される。本明細書に記載される1つの例示的なシステムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサを含む。システムは、仮想現実効果を出力するように構成された仮想現実ディスプレイも含む。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも含み、プロセッサは、センサ信号を受信し、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定し、修正に関連する表示信号を仮想現実ディスプレイに送信するように構成されている。別の1つの例示的なシステムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、仮想現実効果を出力するように構成された仮想現実ディスプレイと、を含む。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも含み、プロセッサは、センサ信号を受信し、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定し、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信するように構成されている。【選択図】 図1
Description
関連出願の相互参照
[0001] 本願は、2018年12月18日に提出された米国出願第16/224,162号の利益を主張するものであり、同出願はここでの参照によりその全体が本明細書に組み込まれる。
[0001] 本願は、2018年12月18日に提出された米国出願第16/224,162号の利益を主張するものであり、同出願はここでの参照によりその全体が本明細書に組み込まれる。
[0002] 本願は、ユーザインターフェイスデバイスの分野に係る。より具体的には、本願は、環境触覚を仮想現実に統合することに関する。
[0003] 仮想現実及び拡張現実(「VR」及び「AR」)アプリケーションが益々人気になっている。そのようなアプリケーションは、ユーザが実世界環境から発せられる触覚効果を体験しそうな状況において用いられ得る。例えば、VRユーザは、飛行機、列車、車、又はボートなどの乗り物での移動中にVR環境を体験している(映像を見ている又はゲームをプレイしている)かもしれない。これらの乗り物の各々において、ユーザは、VR体験とは関係がない触覚効果であって、VR体験を損ね得る触覚効果を感じそうになる。よって、環境触覚を仮想現実に統合するためのシステム及び方法が必要とされる。
[0004] 本開示の実施形態は、環境触覚を仮想現実に統合するためのシステム及び方法を備える。一実施形態において、システムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサを備える。システムは、視覚効果又は聴覚効果などの仮想現実効果を出力するように構成された仮想現実ディスプレイも備える。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも備え、プロセッサは、センサ信号を受信し、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定し、修正に関連する信号を仮想現実ディスプレイに送信するように構成されている。
[0005] 別の一実施形態において、システムは、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、仮想現実効果を出力するように構成された仮想現実ディスプレイと、を備える。システムは、センサ及び仮想現実ディスプレイに連結されたプロセッサも備え、プロセッサは、センサ信号を受信し、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果(generated haptic effect)を決定し、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信するように構成されている。
[0006] 別の一実施形態において、環境触覚を仮想現実に統合するための方法は、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから、センサ信号を受信することを備える。方法は、センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、修正に関連する表示信号を仮想現実ディスプレイに送信することと、を更に備える。
[0007] 別の一実施形態において、方法は、環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサからセンサ信号を受信することを備える。方法は、ユーザに対して出力されるべき所望の触覚効果を決定することと、センサ信号に少なくとも部分的に基づいて、環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定することと、被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信することと、を更に備える。
[0008] また別の一実施形態において、非一時的コンピュータ可読媒体は、プロセッサによって実行されたときにこのような方法を実施するように構成されたプログラムコードを備えていてもよい。
[0009] これらの例示的な実施形態は、本主題を限定するため又は本主題の限定を定義するためではなく、その理解を助ける例を提供するために言及されるものである。詳細な説明の項において、例示的な実施形態について述べると共に、更なる説明を提供する。様々な実施形態によって提示される利点は、本明細書を吟味することによって及び/又は特許を請求する主題の1つ以上の実施形態を実践することによって、更に理解されるであろう。
[0010] 本明細書の残りの部分には、完全且つ実施可能な開示がより詳細に記載される。本明細書は、以下の添付図を参照する。
詳細な説明
[0015] 次に、様々な及び代替的な例示的実施形態並びに添付の図面を詳細に参照する。各例は説明のために提供されるものであって、限定として提供されるものではない。当業者には、修正及び変更がなされ得ることが明らかであろう。例えば、ある実施形態の一部として説明又は記載される特徴が、別の一実施形態において用いられ、更に別の一実施形態をもたらし得る。したがって、本開示は、添付の特許請求の範囲及びその均等物の範囲内にある修正及び変更を含むことが意図されている。
[0015] 次に、様々な及び代替的な例示的実施形態並びに添付の図面を詳細に参照する。各例は説明のために提供されるものであって、限定として提供されるものではない。当業者には、修正及び変更がなされ得ることが明らかであろう。例えば、ある実施形態の一部として説明又は記載される特徴が、別の一実施形態において用いられ、更に別の一実施形態をもたらし得る。したがって、本開示は、添付の特許請求の範囲及びその均等物の範囲内にある修正及び変更を含むことが意図されている。
<環境触覚を仮想現実に統合することの例示的な一例>
[0016] 実施形態は、VRシミュレーションが実世界の環境触覚に適合することを可能にする。そのような実施形態は、ユーザが、実世界の触覚を体験することなしにVRシミュレーションを楽しむことを可能にするであろう。あるいは、そのような一実施形態は、ユーザが触覚効果のソースに気付かないように、実世界の触覚をシームレスにVRシミュレーションに組み込むことができる。他の実施形態においては、ユーザが特定の所望の触覚効果を体験するように、実世界の触覚効果が被生成触覚効果と組み合わされ得る。
[0016] 実施形態は、VRシミュレーションが実世界の環境触覚に適合することを可能にする。そのような実施形態は、ユーザが、実世界の触覚を体験することなしにVRシミュレーションを楽しむことを可能にするであろう。あるいは、そのような一実施形態は、ユーザが触覚効果のソースに気付かないように、実世界の触覚をシームレスにVRシミュレーションに組み込むことができる。他の実施形態においては、ユーザが特定の所望の触覚効果を体験するように、実世界の触覚効果が被生成触覚効果と組み合わされ得る。
[0017] 例示的な一実施形態では、ユーザは、仮想現実(「VR」)ヘッドセットを装着してVRムービーを体験しながら旅客機で飛行している。シミュレーションにおいては、実世界環境条件が環境触覚効果を引き起こし得る。例えば、飛行機の座席又は壁は、VRシミュレーションにおいては障壁として描かれるかもしれない。乗客は、飛行機が上昇又は下降するとき、あるいは飛行機が乱流を通って飛行するときなどに、飛行機の動きに基づいた触覚効果も体験し得る。加速度計又はレーダなど、飛行機の1つ以上のセンサが、環境条件を検出して、触覚効果を予測することができる。又は代替的には、センサが、環境条件、例えば乱流による飛行機の揺れに関連する触覚効果自体を検出することができる。
[0018] 例示的な一実施形態においては、1つ又は複数のセンサからの情報が、やはりVRムービーを処理すると共に表示しているプロセッサに渡される。すると、VRムービーは、環境触覚効果を反映するように、実時間で修正されることができる。追加的又は代替的には、現実世界の触覚効果を最小化又は変更するように触覚効果が出力されることができる。例えば、ある例示的な一実施形態においては、VRムービーは修正されない。その代わりに、触覚出力デバイスが、環境触覚効果を相殺又は排除するように設計された触覚効果を生成する。
[0019] そのような実施形態においては、1つ又は複数のセンサは、イベントが発生するとき又は発生する前にそれらのイベントを検出するために用いられる。例えば、飛行中の乱流の場合には、レーダが、飛行機の飛行経路中における不安定な大気の特定のエリアが特定の効果を引き起こすであろうことを検知し、次いで、それが起こる際に、予測される環境触覚効果を反映するようにヘッドセットで表示されるVR映像を修正するかもしれない。同様に、環境触覚効果を相殺するように設計された一実施形態においては、プロセッサが、触覚効果を予測し、次いで、ユーザが環境触覚効果を体験するのと同時に相殺触覚効果を生み出すことができる。これらの例は例示的なものに過ぎず、特許請求の範囲を限定しようとするものではない。
<環境触覚を仮想現実に統合するための例示的なシステム>
[0020] 図1は、環境触覚を仮想現実に統合するための例示的なシステム100を示す。特に、本例においては、システム100は、バス106を介して他のハードウェアとインターフェイスするプロセッサ102を有する演算デバイス101を備えている。RAM、ROM、EEPROM又は同様のもののような任意の適当なタンジブルな(及び非一時的な)コンピュータ可読媒体を備えることのできるメモリ104が、演算デバイスの動作を構成するプログラムコンポーネントを具現化する。本例においては、演算デバイス101は、1つ以上のネットワークインターフェイスデバイス110と、入力/出力(I/O)インターフェイスコンポーネント112と、追加的な記憶装置114とを更に含む。
[0020] 図1は、環境触覚を仮想現実に統合するための例示的なシステム100を示す。特に、本例においては、システム100は、バス106を介して他のハードウェアとインターフェイスするプロセッサ102を有する演算デバイス101を備えている。RAM、ROM、EEPROM又は同様のもののような任意の適当なタンジブルな(及び非一時的な)コンピュータ可読媒体を備えることのできるメモリ104が、演算デバイスの動作を構成するプログラムコンポーネントを具現化する。本例においては、演算デバイス101は、1つ以上のネットワークインターフェイスデバイス110と、入力/出力(I/O)インターフェイスコンポーネント112と、追加的な記憶装置114とを更に含む。
[0021] ネットワークデバイス110は、ネットワーク接続を容易にする任意のコンポーネントのうち1つ以上を表すことができる。例としては、イーサネット、USB、IEEE1394などの有線インターフェイス、及び/又はIEEE802.11、Bluetooth、もしくは携帯電話ネットワークにアクセスするための無線(radio)インターフェイス(例えばCDMA、GSM、UMTS、もしくは他の1つ又は複数の移動通信ネットワークにアクセスするためのトランシーバ/アンテナ)などの無線(wireless)インターフェイスを含むが、これらに限定されない。
[0022] I/Oコンポーネント112は、VRヘッドセット又はタッチスクリーンディスプレイのような1つ以上のディスプレイ、キーボード、マウス、スピーカ、マイク、カメラ、及び/又はデータを入力するためもしくはデータを出力するために用いられる他のハードウェアなどのデバイスとの接続を容易にするために用いられ得る。記憶装置114は、デバイス101に含まれる磁気記憶媒体、光記憶媒体、又は他の記憶媒体などの不揮発性記憶装置を表す。いくつかの実施形態においては、I/Oコンポーネント112はVRコントローラを備え得る。他の実施形態においては、I/Oコンポーネントは、車又はボートのような輸送装置のコントローラを備え得る。更に他の実施形態においては、コントローラはユーザの手であってもよく、センサ108が、自由空間における動き及びジェスチャを検出することができてもよい。
[0023] システム100は更に、1つ以上のセンサ108を含む。センサ108は、環境効果を検出してプロセッサ102による使用に適したデータを提供するように構成されている。任意の適当な数、タイプ、又は配列のセンサを用いることができる。例えば、種々の実施形態は、加速度計、ジャイロメータ/ジャイロスコープ、圧力センサ、磁気センサ、光センサ、マイク、静電容量センサ、タッチセンサ、又はそのようなセンサの任意の組み合わせを含み得る。一実施形態においては、ユーザの周囲の環境を識別するために、カメラ、レーザマッピング、又はレーダスキャンが用いられる。そのような実施形態は、識別を行うために人工知能(「AI」)を利用し得る。加速度計は、振動、変位、及びスピードを検出するために用いられ得る。ジャイロメータ又はジャイロスコープは、回転を検知するために用いられ得る。圧力センサは高度を判定するために、そして磁気センサは方向又は配向を判定するために用いられ得る。光センサは、知覚される光度を判定するために用いられ得る。そしてマイクは、音を検出するために用いられ得る。これらのセンサはいずれも、任意の他のセンサと組み合わせて用いられ得る。
[0024] 他の実施形態においては、センサ108はLEDディテクタを備えていてもよい。いくつかの実施形態においては、プロセッサ102は単一のセンサ108と通信し、他の実施形態においては、プロセッサ102は複数のセンサ108と通信する。
[0025] ここでは単一の触覚出力デバイス118が示されているが、実施形態は、触覚効果を出力するために、同一の又は異なるタイプの複数の触覚出力デバイスを使用してもよい。一例として、触覚出力デバイス118は、例えばピエゾアクチュエータ、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)、もしくはリニア共振アクチュエータ(LRA)のうち1つ以上、薄型触覚アクチュエータ、触覚テープ、又は静電摩擦(ESF)アクチュエータのような静電効果を出力するように構成された触覚出力デバイスを備え得る。いくつかの実施形態においては、触覚出力デバイス118は、複数のアクチュエータ、例えば1つの薄型触覚アクチュエータと、1つのピエゾアクチュエータと、1つのLRAとを備えていてもよい。また、触覚出力デバイス118は、ユーザ環境内又はユーザの衣類内に組み込まれてもよいし、又は装着可能なデバイスであってもよい。
[0026] 次にメモリ104を見てみると、触覚効果を決定及び出力するためにデバイスがどのように構成され得るのかを説明するべく、代表的なプログラムコンポーネント124,126,及び128が図示されている。本例においては、検出モジュール124が、1つ又は複数のセンサ108を監視して環境条件を決定するようにプロセッサ102を構成している。例えば、モジュール124は、位置、経路、速度、加速、圧力、及び/又は環境触覚条件の他の特性のうち1つ以上を経時的に追跡するために、センサ108をサンプリングしてもよい。
[0027] 触覚効果決定モジュール126は、生成する触覚効果を選択するために音響及び映像特性に関するデータを解析するプログラムコンポーネントを表す。特に、モジュール126は、触覚出力デバイスによって生成し出力する効果を環境条件及びVR環境に基づいて決定するコードを備えている。モジュール126は更に、出力する1つ以上の既存の触覚効果を環境条件の検出に応答して選択するコードを備え得る。例えば、航空機における強い乱流の検出は、その乱流のユーザへの影響を打ち消すための強い振動の生成をトリガし得る。こうした特徴の様々な組み合わせに基づいて、種々の触覚効果が選択され得る。
[0028] 触覚効果生成モジュール128は、プロセッサ102に触覚信号を生成させて触覚出力デバイス118へと送信させるプログラミングを表し、それによって触覚出力デバイス118に選択された触覚効果を生成させる。例えば、生成モジュール128は、触覚出力デバイス118に送信するための記憶された波形又はコマンドにアクセスしてもよい。別の一例として、触覚効果生成モジュール128は、所望のタイプの触覚効果を受信し、信号処理アルゴリズムを利用して、触覚出力デバイス118に送信するのに適した信号を生成してもよい。更なる一例として、所望の触覚効果がテクスチャの目標座標と共に表示され、その触覚効果を提供するべく表面(及び/又は他のデバイスコンポーネント)の適切な変位を生成するために適切な波形が1つ以上のアクチュエータに送信されてもよい。いくつかの実施形態は、特徴をシミュレーションするために複数の触覚出力デバイスを一斉に利用し得る。例えば、ある環境擾乱が検知され得る。しかしながら、所望の触覚効果は、振動をほとんど又は全く有さず、運動感覚コンポーネント(kinesthetic component)を含んでいるかもしれない。そのような場合、環境擾乱を打ち消すために振動が利用され得る一方で、同時に、ユーザの環境におけるテーブルなどのオブジェクトの存在を示すために運動感覚効果が出力される。このような構成は例示的なものに過ぎず、システムが構築され得る唯一の手法ではない。
[0029] 図2は、環境触覚を仮想現実に統合するための別の例示的なシステムを示す。図2のシステムはローラーコースター用である。図2に示される実施形態においては、ユーザ202がローラーコースター車両204に着座している。軌道に沿ってユーザを運ぶローラーコースター車両204は、環境触覚効果を検知するため、並びに触覚効果を決定し、生成し、出力するために、図1に図示されるシステムを内蔵し得る。
[0030] 図示される実施形態においては、ユーザ202はVRヘッドセット206を装着している。VRヘッドセット206は、視覚表示装置並びにヘッドフォンを含む。VRヘッドセット206は、LRAのような、ユーザに触覚効果を提供するための1つ以上の触覚アクチュエータも含み得る。
[0031] ローラーコースター車両202は座席208を含み、ユーザ202はそこに座る。図示される実施形態においては、座席208は、ユーザ202に触覚出力を提供するための様々な触覚出力デバイスを含む。いくつかの実施形態においては、ユーザは、一対の手袋など、触覚アクチュエータデバイスを含む衣類も装着するかもしれない。
[0032] ローラーコースター車両204が軌道を横断するとき、車両204のセンサは、車両の動きを検知して、発生しそうなイベントを予測することができる。例えば、車両が傾斜を登るためにチェーンに接近するときには、車両204の前方のフォトセンサがチェーンを検知し、チェーンドッグがいつチェーンと係合するかを予測する。チェーンドッグがチェーンと係合するときには、車両204の他のセンサが振動、すなわちカチカチという感覚を検知する。センサが振動を検知するときには、座席208の触覚出力デバイスが相殺振動を出力して、チェーンドッグが係合するときの車両204の触感を滑らかにする。このような実施形態は、VRヘッドセット206が車両204の動きと一致した飛行シミュレーションをしているときに有用であろう。相殺触覚フィードバックはユーザに、ローラーコースターに乗っているよりも飛行しているのに近い、より滑らかなライドを体験させる。例えばローラーコースターの力を相殺するための圧力をユーザの体に印加するために、他のタイプのアクチュエータが用いられてもよい。また、いくつかの実施形態においては、ユーザは、より没入型の体験を達成するために、体の様々な部位に追加的なアクチュエータを装着してもよい。
[0033] 様々な実施形態がいくつかのシナリオにおいて有用であり得る。例えば、あるユーザが長いフライトの間、没入型のVRゲームをしている。ユーザがシミュレーションにおいて橋の上を歩くときに、地震で仮想世界が揺れる。この実施形態は、ユーザの下で橋を揺らし、森の木を揺らし、付近の崖から岩を落下させることができ、これらは全て検知された乱流に応答したものである。このような実施形態は、飛行機での乱流を紛らしながら極めて現実的な体験を提供する。
[0034] 別の一例として、あるユーザが乗客として車に乗っている間、VRレーシングゲームをしている。ゲームは未来に設定されており、仮想道路をいつでも変えることができる。突然、ユーザは道路がデコボコになるのを見、タイヤがデコボコにぶつかるときの変化を聞き、テクスチャの変化を感じる。シミュレーションされたレーシングゲームのこうした変化は、現実の車が今、砂利道に沿って進んでいるという事実によって引き起こされた。現実の車が窪みに近づくと、車の前方のカメラがその窪みを検出し、シミュレーションに対して行う修正を決定する。そして、車が窪みに衝突すると、ユーザは触覚出力デバイスから自身の側に衝撃を感じて、シミュレーションされた爆発が表示される方を向き、それによって環境触覚効果がシミュレーションに組み込まれる。
[0035] 別の一例においては、あるユーザがシミュレーションにおいて、青い海の浅瀬で寛いでいる。ユーザは何かがユーザの右腕に掠っているのを感じ、そちらを向くと、魚が逃げていくところが見えたり、水が魚によって変位するのが聞こえたりするかもしれない。ユーザは実際にはリビングルームで横になっており、別の人物が通りがかりにユーザに偶然に掠ってしまった。システムは接触が起こりそうであることを検知し、VRシミュレーションを修正し、ユーザのVR没入を維持するために対応する触覚効果を生成及び出力した。
[0036] さらに別の一例においては、ユーザが、VRヘッドセットを装着して仮想ジャングルの中を歩いている。ユーザのリビングルームの家具や壁は、VRシミュレーションにおけるオブジェクトにマッピングされる。張り出したランプが現れるところには木の枝が現れ、コーヒーテーブルは大きな岩のように見える。壁があるところでは、森がより深くなる。ユーザがこれらのオブジェクトのうちいずれかに接近するとき、システムは対応する触覚効果を生成及び出力することができ、ユーザの周りの実世界環境に自動的に適合する。こうして、シミュレーションは、実世界のオブジェクトがまるで仮想世界のオブジェクトであるかのように、ユーザが実世界のオブジェクトを回避する又は実世界のオブジェクトと相互作用することを可能にし得る。
<環境触覚を仮想現実に統合するための例示的な方法>
[0037] 図3は、環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。図示される実施形態においては、プロセス300が、プロセッサ102のようなプロセッサがシミュレーションを実行することによって始まる302。
[0037] 図3は、環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。図示される実施形態においては、プロセス300が、プロセッサ102のようなプロセッサがシミュレーションを実行することによって始まる302。
[0038] プロセッサ102はまた、1つ以上のセンサ108からのセンサ信号を受信する。それらのセンサ信号を用いて、プロセッサ102は環境を分析し、ユーザがシミュレーションを体験している環境を識別する304。例えば、センサ信号は、ユーザが、図2に関連して上述したようにローラーコースターに乗っていることを示し得る。いくつかの実施形態においては、環境は、シミュレーションが始まる前に識別されてもよいし、又は演算デバイス100にハードコードされてもよい。
[0039] プロセッサ102は次に、環境に基づいて一連の確率論的シナリオを決定する306。例えば、シミュレーションが飛行機において実行を始める場合、センサ108は、飛行機が地上にあることを示す1つ以上の信号を送信し得る。するとプロセッサ102は、地上走行又は離陸に関連するシナリオを、近い将来に最も起こりそうな2つのシナリオとして識別するであろう。プロセッサは、人工知能アルゴリズムに依拠して最もあり得るシナリオを識別させてもよい。
[0040] プロセッサ102は次に、環境伝導に関連するセンサ108からのセンサ信号を受信する308。例えば、飛行機の加速度計又はスピードセンサは、飛行機が動き始めていることを示すかもしれない。あるいは、ローラーコースターの場合には、センサは、傾斜で車両を引き上げるために車両がチェーンと係合していることを示すかもしれない。
[0041] センサ108は次に、センサ信号が確率論的シナリオの1つに関連するかどうかを判定する310。例えば、飛行機が静止していて、飛行機が地上走行を開始しそうであるとプロセッサが判定する場合には、飛行機が動き始めたことを示すセンサ信号が、確率論的シナリオの1つに一致するであろう。ローラーコースターであれば、車両が突然停止した場合、それは軌道を横断するローラーコースターに関連する確率論的シナリオには一致しないかもしれない。別の一例において、車が道路を走行中であり、路面が突然砂利に変化する場合、砂利面に沿って進むことは、プロセッサ102によって予測される確率論的シナリオの1つではないかもしれない。
[0042] 確率論的シナリオがセンサシグナルに関連する場合には、プロセッサ102は確率論的シナリオに関連する修正を識別する312。その修正は、VRヘッドセットにおける表示の修正であり得る。代替的には、その修正は、環境条件の検知に応答してユーザに提供される1つの触覚効果又は一連の触覚効果の修正であり得る。いずれの場合も、修正は事前に定義され、プロセッサ102による今後の検索のために、例えば記憶装置114に記憶される。
[0043] 確率論的シナリオがセンサシグナルに関連しない場合には、プロセッサ102は、センサ信号に少なくとも部分的に基づいて修正を決定する316。既存の確率論的シナリオと同様、修正は、VRヘッドセットによって出力される表示又は音に対する修正、又は1つの触覚効果もしくは一連の触覚効果もしくはこれらの出力の組み合わせに対する修正であり得る。もっとも、この場合、プロセッサは、センサ信号に少なくとも部分的に基づいて、映像、音響、及び/又は触覚効果に対する修正を識別又は生成しなくてはならない。
[0044] プロセッサ102は次に、修正に基づいてシミュレーションを変更する318。例えば、飛行機における乱気流の場合には、映像が修正されてもよく、乱流の特性に近似するように、例えばボートのシミュレーションにおいて波を作り出したり、又はハイキングのシミュレーションにおいて地震を作り出したりすることがトリガされる。代替的には、触覚効果決定モジュール126が、乱流を相殺するための触覚効果を識別して、それらの触覚効果をシミュレーションによって生成される触覚効果と組み合わせてもよい。
[0045] プロセッサ102はその後、修正されたシミュレーション320を出力する。例えば、プロセッサ102は、修正された映像を、VRヘッドセットを通じて出力してもよい。別の一例においては、プロセッサ102は、乱気流によって引き起こされる触覚効果を触覚出力デバイス118に出力させてもよく、その一方でシミュレーションに関連する触覚効果も出力される。
[0046] いくつかの実施形態においては、実世界の触覚がVRシミュレーションに統合される。そのような一実施形態においては、ユーザは、環境条件によって触覚擾乱が引き起こされる可能性のある非制御環境にいる間、VRヘッドセットを装着する。本明細書に記載される飛行機の例に加えて、これは、列車におけるユーザも含み得る。列車は、一定のスピードで移動しながら、特色のあるガタガタという音を発する。駅では減速及び加速もするし、比較的急な旋回もあり得る。これらの状況又はアクションのそれぞれが、実世界の触覚をシミュレーションに統合するようにVRシミュレーションを修正するために用いられ得る。
[0047] 同様に、車は、道路の特質(新しいアスファルト、砂利、窪み、雪など)に応じて異なるフィードバックを生み出す。車は、加速又は減速するとき、車線を変更するとき、又は曲がるときにも異なる触覚感覚を生み出す。ボートもまた、揺れ、スピードの変化、又は荒れた水域の横断によって、特色のある触覚感覚を生み出し得る。ユーザは、公共空間で環境条件によって引き起こされる触覚を体験するかもしれない。例えば、ユーザは、誰かが自分に掠っているのを感じたり、様々な面を横切って移動するにつれてテクスチャが変化するのを感じたり、他者が自分に触っているのを感じたり、あるいは家具又は壁などのオブジェクトと相互作用したりするかもしれない。そのような実施形態においては、環境条件によって引き起こされる触覚擾乱は、没入型VR体験を維持するために、少なくとも部分的にVRシミュレーションに統合される。いくつかの実施形態においては、カメラのようなVRヘッドセットに埋め込まれたセンサ、又は圧力センサのようなユーザの衣類に埋め込まれたセンサが、別の人間が通りかかっているときに検知することができると共に、それに応じてシミュレーションを修正することができる。別の一実施形態においては、センサは、木などのオブジェクトの存在を検知して、ユーザに実世界のオブジェクトとの衝突を回避させるべく、オブジェクトを示すようにVRシミュレーションを修正し得る。
[0048] 別の一実施形態においては、ユーザは、触覚コンポーネントを有する物理的体験の際に、VRヘッドセットを装着する。ユーザは物理的体験からの触覚を体験するが、それらの触覚はヘッドセットを通じてユーザに提示されるVRシミュレーションにマッピングされる。換言すれば、ユーザが物理的体験を制御するにつれ、VRシミュレーションは、ユーザによって体験される触覚に一致するように変化する。触覚は、ローラーコースターのライドなど、比較的予測可能な体験に関係し得る。そのとき、触覚は、ローラーコースターの軌道の様々な特徴と同期され得る。代替的には、VRシミュレーションは、実時間で、それまで知られていなかった体験に適合されてもよい。例えば、ローラーコースターの例の場合、カメラ又は加速度計などのセンサが環境を測定し、ローラーコースターのライドが始まる前に効果をマッピングするのとは対照的に、例えばローラーコースターの車両の垂直及び水平移動に応じて、触覚及びVRシミュレーションの変更が実時間で起こることを可能にし得る。
[0049] 触覚体験の喜びを高めるために、追加の触覚デバイスが用いられてもよい。例えば、飛行機で乱流が検出されるとき、飛行機の椅子は、乱流を補償するための触覚を出力するべく触覚出力デバイスを含んでいてもよく、不快な乱流をより楽しいユーザ体験へと変化させる。別の一実施形態例においては、センサが実世界での衝突を検出してVR環境でのイベントをトリガする。例えば、ユーザは、左手のコントローラと右手のコントローラとを衝突させてゲーム内で兵器を発射する。衝突の衝撃は、兵器のパワーレベルにマッピングするであろう。兵器の発射の反響をシミュレーションするために、追加的な触覚が同時にトリガされてもよい。
[0050] いくつかの実施形態においては、修正は、補償、回避、又は操作として特徴付けられ得る。例えば、一実施形態は、実世界環境における不快な触覚を補償することができる。センサ108は、実世界環境においてユーザによって体験される又はユーザによって体験されようとしている不快な触覚感覚を検出し、その不快な触覚を補償するための触覚を生成する。そのような実施形態は、触覚効果に一致するように同時にVR表示も修正することができる。例えば、乱流が検出される場合、そのような実施形態は、実世界環境の触覚が現在のVR環境に近似することができるように乱流を打ち消す触覚を生成し得る。例えば、ユーザは飛行中にレースカーのゲームを見ているかもしれず、乱流効果の修正は車に砂利道の走行を始めさせるかもしれない。
[0051] 別の一実施形態は、ユーザが実世界環境における不快な触覚を回避するのに役立つ。 図4は、環境触覚を仮想現実に統合するための一実施形態例の方法ステップのフローチャートである。図示される実施形態においては、プロセス400が、プロセッサ102のようなプロセッサがシミュレーションを実行することによって始まる402。
[0052] プロセッサ102は、環境条件を検出するように構成されたセンサ108からセンサ信号を受信する404。環境条件は、乱気流などの擾乱であり得る。代替的には、環境条件は路面であってもよい。
[0053] 次に、触覚効果決定モジュール126が、環境条件に関連する環境触覚効果を決定する406。例えば、プロセッサ102は、乱気流が大規模・低頻度の触覚効果に関連すると判定し得る。
[0054] 触覚効果決定モジュール126は、その後、ユーザに対して出力されるべき所望の触覚効果を決定する408。例えば、ユーザが見ているシミュレーションは、良路に沿って走っている車であるかもしれない。そのシミュレーションに基づくと、所望の触覚効果は、道に沿って転がる車のタイヤを反映した小規模・高頻度の効果である。このように、所望の触覚効果は環境触覚効果とは実質的に異なり得る。
[0055] 触覚効果決定モジュール126は、その後、所望の触覚効果及び環境触覚効果に基づいて、被生成触覚効果、すなわち、生成されるべき触覚効果を決定する410。例えば、触覚効果生成モジュール128は、小規模・高頻度の触覚効果を提供する触覚効果と、それに加えて、大規模・低頻度の環境触覚効果を相殺するための触覚効果とを生成し得る。これらの2つの効果の出力を組み合わせると、結果としてユーザは所望の触覚効果を知覚することになる。プロセッサ102は、その後、1つ又は複数の触覚効果を触覚出力デバイス118に送信し、触覚出力デバイスが触覚効果を出力する412。
[0056] このような実施形態は、センサを用いて、環境条件を検知すると共に、センサ出力に基づいて実世界環境で起こりそうな触覚を予測することができる。それが不快なものである場合には、アプリケーションが、不快な状況が発生するのを回避するべく方向、位置、回転、体勢などを変更するようにユーザに警告するための何らかの類似の触覚を先に生成する。例えば、ユーザは混雑したバスで立っており、VRデバイスを装着している。アプリケーションは、誰かがすれ違いざまにユーザの左肩に当たるであろうことを検出し、ユーザに、予想される衝突を回避するべく体を回転させるように警告するための触覚を生成する。
[0057] 更に別の一実施形態は、実世界環境における適切な触覚効果を採用するように触覚効果を操作する。そのような実施形態においては、1つ又は複数のセンサが環境触覚効果を検出し、それらの効果を被生成触覚効果と組み合わせて用いて、VR環境におけるシナリオに近似させる。例えば、あるユーザが実世界でテーブルの上に手を置き、彼女のアバターがVR環境において同じことをする場合、実世界の触感は、被生成触感を何ら追加せずに用いられ得る。しかしながら、現実のテーブルが木のテーブルであり、その一方で仮想のテーブルがガラスのテーブルである場合、アプリケーションは、ガラスのテーブルを触っているとユーザに感じさせるための触覚を生成するであろう。例えば、パラグライディングのようなアクティビティは、鳥のように飛行するVR体験と近似され得る。その場合、VRコンテンツは、予測不可能な現実の触覚体験と同期され得る。
[0058] 本明細書に記載されたいくつかの実施形態は、VRシミュレーションを実世界の環境触覚効果に適応させることによって、より没入型でより良く最適化された体験を提供する。他の実施形態においては、望まれない触覚効果が相殺され、これもVRシミュレーションの際に没入型の環境を維持するのに役立つ。いくつかの実施形態は、より没入型のシミュレーションを提供するために、環境触覚効果に加え、被生成触覚効果を提供し得る。
<一般的考察>
[0059] 上述した方法、システム、及びデバイスは例である。様々な構成で、適宜、様々な手順又はコンポーネントを省略し、置換し、又は追加してもよい。例えば、代替的な構成においては、方法は、記載されたものとは異なる順序で実施されてもよく、及び/又は、様々な段階が追加され、省略され、及び/又は組み合わせられてもよい。また、特定の構成に関して記載された特徴は、様々な他の構成においては組み合わせられてもよい。構成の色々な態様及び要素が類似の手法で組み合わせられてもよい。また、技術は進化するものであり、したがって、要素の多くは例であり、開示又は特許請求の範囲を限定しない。
[0059] 上述した方法、システム、及びデバイスは例である。様々な構成で、適宜、様々な手順又はコンポーネントを省略し、置換し、又は追加してもよい。例えば、代替的な構成においては、方法は、記載されたものとは異なる順序で実施されてもよく、及び/又は、様々な段階が追加され、省略され、及び/又は組み合わせられてもよい。また、特定の構成に関して記載された特徴は、様々な他の構成においては組み合わせられてもよい。構成の色々な態様及び要素が類似の手法で組み合わせられてもよい。また、技術は進化するものであり、したがって、要素の多くは例であり、開示又は特許請求の範囲を限定しない。
[0060] 構成例(実施例(implementation)を含む)の十分な理解を提供するために、明細書においては具体的な詳細が示される。しかしながら、構成はこれらの具体的詳細なしに実用され得る。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術は、構成を不明瞭にすることを避けるために、不必要な詳細を省いて示されている。本明細書は構成例を提供するものに過ぎず、特許請求の範囲、適用可能性、又は構成を限定しない。むしろ、先の構成の説明は、当業者に、記載された技術の実装を可能にする説明を提供するであろう。要素の機能及び配置には、本開示の精神又は範囲から逸脱することなく、様々な変更がなされてもよい。
[0061] また、構成は、フロー図又はブロック図として図示されるプロセスとして記載されてもよい。各々は動作をシーケンシャルなプロセスとして記載するかもしれないが、動作の多くは並行して又は同時に実施され得る。さらに、動作の順序は並び替えられてもよい。プロセスは、図には含まれていない追加的なステップを有していてもよい。また、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実現され得る。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードで実現されるときには、必要なタスクを実施するためのプログラムコード又はコードセグメントが記憶媒体などの非一時的コンピュータ可読媒体に記憶されてもよい。プロセッサが記述されたタスクを実施してもよい。
[0062] いくつかの構成例を記載してきたが、本開示の精神を逸脱することなく、様々な修正、代替的な構造、及び均等物が用いられ得る。例えば、上記の要素はより大きなシステムのコンポーネントであってもよく、他の規則が本発明の適用よりも優先され又は本発明の適用を修正してもよい。また、いくつかのステップは、上記の要素が検討される前、最中、又は後に行われてもよい。したがって、上記の説明は特許請求の範囲を制限しない。
[0063] 本明細書における「ように適合され」又は「ように構成され」の使用は、追加的なタスク又はステップを実施するように適合され又は構成されたデバイスを除外しない、開放的且つ包括的な言語を意味する。また、「に基づく」の使用は、1つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他のアクションが、実用では、記載されているもの以外の追加的な条件又は値に基づき得るという点で、開放的且つ包括的であることが意図されている。本明細書に含まれる見出し、リスト、番号付けは、説明を容易にするためだけのものであり、限定的であることを意図されてはいない。
[0064] 本主題の態様による実施形態は、デジタル電子回路において、コンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はこれらの組み合わせにおいて実現され得る。一実施形態においては、コンピュータは1つ又は複数のプロセッサを備え得る。プロセッサは、プロセッサに連結されたランダムアクセスメモリ(RAM)などのコンピュータ可読媒体を備えるか、又はこれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実施するための他のルーチンを含む1つ以上のコンピュータプログラムを実行するなど、メモリに記憶されたコンピュータ実行可能なプログラム命令を実行する。
[0065] そのようなプロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、現場プログラム可能ゲートアレイ(FPGA)、及びステートマシンを備え得る。そのようなプロセッサは更に、PLC、プログラム可能な割り込みコントローラ(PIC)、プログラム可能な論理デバイス(PLD)、プログラム可能な読み出し専用メモリ(PROM)、電子的にプログラム可能な読み出し専用メモリ(EPROM又はEEPROM)、又は他の類似のデバイスなどのプログラム可能な電子機器を備え得る。
[0066] そのようなプロセッサは、プロセッサによって実行されたときに、プロセッサによって行われる又は支援されるものとして本明細書に記載されたステップをプロセッサに実施させることのできる命令を記憶し得る媒体、例えばタンジブルなコンピュータ可読媒体を備えていてもよく、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、ウェブサーバのプロセッサなどのプロセッサにコンピュータ可読命令を提供することのできる全ての電子記憶デバイス、光学記憶デバイス、磁気記憶デバイス、又は他の記憶デバイスを備え得るが、これらに限定されない。媒体の他の例は、フロッピーディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、全ての光学媒体、全ての磁気テープもしくは他の磁気媒体、又はコンピュータプロセッサが読み取ることのできる任意の他の媒体を備え得るが、これらに限定されない。また、様々な他のデバイスが、ルータ、プライベートもしくはパブリックネットワーク、又は他の伝送デバイスなどのコンピュータ可読媒体を含み得る。記載されるプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載された方法(又は方法の部分)のうち1つ以上を実行するためのコードを備えていてもよい。
[0067] 本主題はその特定の実施形態に関して詳細に記載されているが、当業者であれば上記のことを理解して、そのような実施形態の変更、バリエーション、及び均等物を容易に生み出し得ることが理解されるであろう。したがって、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかであろう通り、本主題へのそのような修正、バリエーション及び/又は追加の包含を排除しないことが理解されるべきである。
Claims (20)
- 環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、
仮想現実効果を出力するように構成された仮想現実ディスプレイと、
前記センサ及び前記仮想現実ディスプレイに連結されたプロセッサと、を備え、
前記プロセッサは、
前記センサ信号を受信し、
前記センサ信号に部分的に基づいて前記仮想現実効果に対する修正を決定し、
前記修正に関連する表示信号を前記仮想現実ディスプレイに送信する、
ように構成されている
、システム。 - 前記プロセッサに連結された触覚出力デバイスを更に備えており、
前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて触覚信号を決定すると共に、前記触覚信号を前記触覚出力デバイスに送信するようにさらに構成されている、請求項1のシステム。 - 前記センサは、カメラ、レーザ、レーダ、加速度計、ジャイロメータ、ジャイロスコープ、圧力センサ、磁気センサ、光センサ、又はマイクのうち少なくとも1つを備える、請求項1のシステム。
- 前記仮想現実ディスプレイは仮想現実ヘッドセットを備える、請求項1のシステム。
- 前記環境条件は表面上の特徴に対応する、請求項1のシステム。
- 前記特徴は砂利面を備える、請求項5のシステム。
- 前記環境条件は擾乱を備える、請求項1のシステム。
- 前記擾乱は乱気流を備える、請求項7のシステム。
- 環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するセンサと、
仮想現実効果を出力するように構成された仮想現実ディスプレイと、
前記センサ及び前記仮想現実ディスプレイに連結されたプロセッサと、を備え、
前記プロセッサは、
前記センサ信号を受信し、
前記センサ信号に少なくとも部分的に基づいて、前記環境触覚効果と組み合わせられたときに所望の触覚効果を生み出す被生成触覚効果を決定し、
前記被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信する、
ように構成されている
、システム。 - 環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
前記センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、
前記修正に関連する表示信号を仮想現実ディスプレイに送信することと、
を備える、方法。 - 前記プロセッサに連結された触覚出力デバイスを更に備えており、
前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて触覚信号を決定すると共に、前記触覚信号を前記触覚出力デバイスに送信するようにさらに構成されている、請求項10の方法。 - 前記センサは、カメラ、レーザ、レーダ、加速度計、ジャイロメータ、ジャイロスコープ、圧力センサ、磁気センサ、光センサ、又はマイクのうち少なくとも1つを備える、請求項10の方法。
- 前記仮想現実ディスプレイは仮想現実ヘッドセットを備える、請求項10の方法。
- 前記環境条件は表面上の特徴に対応する、請求項10の方法。
- 前記特徴は砂利面を備える、請求項14の方法。
- 前記環境条件は擾乱を備える、請求項10の方法。
- 被生成触覚効果を決定することは、確率論的シナリオに少なくとも部分的に基づいて被生成触覚効果を修正することを備える、請求項1の方法。
- 環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
ユーザに対して出力されるべき所望の触覚効果を決定することと、
前記センサ信号に少なくとも部分的に基づいて、前記環境触覚効果と組み合わせられたときに前記所望の触覚効果を生み出す被生成触覚効果を決定することと、
前記被生成触覚効果に関連する触覚信号を触覚出力デバイスに送信することと、
を備える、方法。 - 前記被生成触覚効果は前記環境触覚効果を相殺するように構成されている、請求項18の方法。
- プログラムコードを備える非一時的コンピュータ可読媒体であって、
前記プログラムコードは、プロセッサによって実行されたときに、
環境触覚効果に関連する環境条件を検出すると共にセンサ信号を生成するように構成されたセンサから前記センサ信号を受信することと、
前記センサ信号に部分的に基づいて仮想現実効果に対する修正を決定することと、
前記修正に関連する表示信号を仮想現実ディスプレイに送信することと、
を前記プロセッサに行わせるように構成されている、非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/224,162 US11294467B2 (en) | 2018-12-18 | 2018-12-18 | Systems and methods for integrating environmental haptics in virtual reality |
US16/224,162 | 2018-12-18 | ||
PCT/US2019/066464 WO2020131670A1 (en) | 2018-12-18 | 2019-12-16 | Systems and methods for integrating environmental haptics in virtual reality |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022512479A true JP2022512479A (ja) | 2022-02-04 |
Family
ID=69167913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021533613A Pending JP2022512479A (ja) | 2018-12-18 | 2019-12-16 | 環境触覚を仮想現実に統合するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11294467B2 (ja) |
EP (1) | EP3899698A1 (ja) |
JP (1) | JP2022512479A (ja) |
KR (1) | KR20210104092A (ja) |
WO (1) | WO2020131670A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021067877A (ja) * | 2019-10-25 | 2021-04-30 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法 |
JP2022096862A (ja) * | 2020-12-18 | 2022-06-30 | パナソニックIpマネジメント株式会社 | 入力装置 |
US20230027217A1 (en) * | 2021-07-22 | 2023-01-26 | Dell Products L.P. | Dynamic input device surface texture coordinated with information handling system operations |
US11813528B2 (en) * | 2021-11-01 | 2023-11-14 | Snap Inc. | AR enhanced gameplay with a personal mobility system |
CN115278204A (zh) * | 2022-07-27 | 2022-11-01 | 浙江极氪智能科技有限公司 | 显示装置使用方法、装置、设备及存储介质 |
US11983336B1 (en) | 2023-06-27 | 2024-05-14 | Dell Products L.P. | Magnetic toggle ejector |
US11983332B1 (en) | 2023-06-27 | 2024-05-14 | Dell Products L.P. | Low acoustic keyboard key |
US11914796B1 (en) | 2023-06-27 | 2024-02-27 | Dell Products L.P. | Low acoustic keyboard stabilized key |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8876688B2 (en) * | 2008-04-24 | 2014-11-04 | The Invention Science Fund I, Llc | Combination treatment modification methods and systems |
US20110043537A1 (en) * | 2009-08-20 | 2011-02-24 | University Of Washington | Visual distortion in a virtual environment to alter or guide path movement |
US20110187651A1 (en) | 2010-02-03 | 2011-08-04 | Honeywell International Inc. | Touch screen having adaptive input parameter |
US9202351B2 (en) | 2013-03-11 | 2015-12-01 | Immersion Corporation | Systems and methods for haptics in vibrating environments and devices |
US20140267076A1 (en) | 2013-03-15 | 2014-09-18 | Immersion Corporation | Systems and Methods for Parameter Modification of Haptic Effects |
US9729730B2 (en) | 2013-07-02 | 2017-08-08 | Immersion Corporation | Systems and methods for perceptual normalization of haptic effects |
DE102013214148A1 (de) * | 2013-07-18 | 2015-01-22 | Technische Universität Dresden | Verfahren und Vorrichtung zur haptischen Interaktion mit visualisierten Daten |
WO2015143124A1 (en) * | 2014-03-21 | 2015-09-24 | Immersion Corporation | Systems and methods for haptically-enabled curved devices |
US10579207B2 (en) * | 2014-05-14 | 2020-03-03 | Purdue Research Foundation | Manipulating virtual environment using non-instrumented physical object |
US9588586B2 (en) * | 2014-06-09 | 2017-03-07 | Immersion Corporation | Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity |
US10146308B2 (en) * | 2014-10-14 | 2018-12-04 | Immersion Corporation | Systems and methods for impedance coupling for haptic devices |
US9478109B2 (en) * | 2014-12-29 | 2016-10-25 | Immersion Corporation | Virtual sensor in a virtual environment |
US10180734B2 (en) * | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
EP3185172B1 (en) * | 2015-12-24 | 2020-02-12 | Dassault Systèmes | 3d object localization with quantization of the point pair descriptors |
US10031580B2 (en) * | 2016-01-13 | 2018-07-24 | Immersion Corporation | Systems and methods for haptically-enabled neural interfaces |
JP6232649B2 (ja) | 2016-02-18 | 2017-11-22 | 国立大学法人名古屋大学 | 仮想空間表示システム |
CN105929938A (zh) | 2016-03-31 | 2016-09-07 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9921609B2 (en) * | 2016-08-02 | 2018-03-20 | Immersion Corporation | Systems and methods for deformation and haptic effects |
US9922466B2 (en) * | 2016-08-05 | 2018-03-20 | Uber Technologies, Inc. | Virtual reality experience for a vehicle |
US10503245B2 (en) | 2016-09-21 | 2019-12-10 | Apple Inc. | Relative intertial measurement system |
EP3491494B1 (en) | 2016-09-23 | 2021-12-15 | Apple Inc. | Immersive virtual display |
WO2018064213A1 (en) * | 2016-09-27 | 2018-04-05 | Duke University | Systems and methods for using sensing of real object position, trajectory, or attitude to enable user interaction with a virtual object |
US10269162B2 (en) * | 2016-11-14 | 2019-04-23 | Envisico LLC | System and method for modeling object movement |
US10803314B2 (en) * | 2018-10-10 | 2020-10-13 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
-
2018
- 2018-12-18 US US16/224,162 patent/US11294467B2/en active Active
-
2019
- 2019-12-16 EP EP19836883.9A patent/EP3899698A1/en not_active Withdrawn
- 2019-12-16 WO PCT/US2019/066464 patent/WO2020131670A1/en unknown
- 2019-12-16 KR KR1020217021862A patent/KR20210104092A/ko unknown
- 2019-12-16 JP JP2021533613A patent/JP2022512479A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3899698A1 (en) | 2021-10-27 |
US20200192479A1 (en) | 2020-06-18 |
WO2020131670A1 (en) | 2020-06-25 |
US11294467B2 (en) | 2022-04-05 |
KR20210104092A (ko) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022512479A (ja) | 環境触覚を仮想現実に統合するためのシステム及び方法 | |
EP3592443B1 (en) | Augmented ride system and method | |
CN109478345B (zh) | 模拟***、处理方法及信息存储介质 | |
US10585471B2 (en) | Systems and methods to provide an interactive space based on predicted events | |
JP6154057B2 (ja) | ロボットシステムと1つ以上のモバイルコンピューティングデバイスとの統合 | |
WO2018124280A1 (ja) | シミュレーションシステム、画像処理方法及び情報記憶媒体 | |
US20150070274A1 (en) | Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements | |
WO2017213218A1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
WO2018230443A1 (ja) | シミュレーションシステム、画像処理方法及び情報記憶媒体 | |
JP6446150B1 (ja) | プログラム、情報処理装置、および方法 | |
JP2019171077A (ja) | プログラム、情報処理装置、および方法 | |
JP6469915B1 (ja) | プログラム、情報処理装置、および方法 | |
KR20180064744A (ko) | 무인 비행체를 이용한 비행 체험 방법 및 장치 | |
JP2021166627A (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP6974782B2 (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP2019170940A (ja) | プログラム、情報処理装置、および方法 | |
JP7017702B2 (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP6457680B1 (ja) | プログラム、情報処理装置、および方法 | |
JP6974780B2 (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP6901541B2 (ja) | ゲームプログラム、コンピュータ、及びゲームシステム | |
JP7339571B2 (ja) | ゲームプログラム、ゲームシステム、及び自動運転車 | |
JP2019020829A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |