JP6676071B2 - 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力 - Google Patents
仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力 Download PDFInfo
- Publication number
- JP6676071B2 JP6676071B2 JP2017556685A JP2017556685A JP6676071B2 JP 6676071 B2 JP6676071 B2 JP 6676071B2 JP 2017556685 A JP2017556685 A JP 2017556685A JP 2017556685 A JP2017556685 A JP 2017556685A JP 6676071 B2 JP6676071 B2 JP 6676071B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual
- collision
- mode
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 55
- 230000004044 response Effects 0.000 claims description 44
- 230000007246 mechanism Effects 0.000 claims description 34
- 238000004891 communication Methods 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 13
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 230000005057 finger movement Effects 0.000 claims description 4
- 244000233967 Anethum sowa Species 0.000 claims 2
- 230000015654 memory Effects 0.000 description 33
- 230000009471 action Effects 0.000 description 24
- 230000003993 interaction Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000001960 triggered effect Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 238000009877 rendering Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000013459 approach Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 240000007320 Pinus strobus Species 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
- A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/822—Strategy games; Role-playing games
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/837—Shooting of targets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本願は、2015年8月4日に出願された「仮想現実における手のコンテキスト依存衝突」(Context Sensitive Hand Collisions in Virtual Reality)と題された米国特許出願連続番号第62/200,825号の優先権および利益を主張する。その開示はその全体がここに引用により援用される。
本説明は一般に、仮想現実(virtual reality:VR)環境におけるコンピューティングデバイスの使用に関する。特に、本説明は、VR環境において衝突を扱うための手法に関する。
一般に、仮想現実は、コンピュータによって生成された3次元(3D)環境において人を包囲し、没入させることができる。人は、特定の電子デバイスと対話することにより、および/または特定の電子デバイスを物理的に装着することにより、この環境に入ることができる。例示的な電子デバイスは、画面を含むヘルメット、ユーザが画面(たとえば、表示装置またはモニタ)を見るときに覗く眼鏡またはゴーグル、センサ付き手袋、およびセンサを含む外部ハンドヘルドデバイスを含み得るものの、それらに限定されない。人は、一旦VR環境に入ると、その人にとって現実のように見えるような態様で(たとえば、物理的な態様で)3D環境と対話することができる。
1つ以上のコンピュータのシステムが、特定の動作またはアクションを行なうように構成され得る。当該動作またはアクションは、動作時に当該システムに当該アクションを行なわせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せが当該システムにインストールされることによって行なわれる。1つ以上のコンピュータプログラムが、特定の動作またはアクションを行なうように構成され得る。当該動作またはアクションは、データ処理装置によって実行されると、当該装置に当該アクションを行なわせる命令を含むことによって行なわれる。
詳細な説明
コンピュータによって生成された仮想現実(VR)環境は、仮想空間と、ユーザが物理オブジェクトと対話するかのように仮想空間と対話する(たとえば、仮想空間に手を伸ばす)ことを可能にする仮想オブジェクトとを生成することにより、ユーザのための没入型の体験を作り出すことができる。一般に、VR環境は、仮想空間および仮想オブジェクトと対話する多くの機構をユーザに提供できる。これらの機構は、ユーザがVR環境に入力を提供することを可能にする、電子機器を収容するウェアラブル製品(たとえば、頭部装着型デバイス、手袋、ボディースーツ、視覚カメラなど)、センサ、および他のデバイスといった、特定のユーザ運動を感知するように構成された物理デバイスを含み得る。いくつかの実現化例では、ユーザは、VR環境におけるオブジェクトに向かって身を傾ける(たとえば、動く)ことができる。身を傾けることは、身体部位または部分のうちの一部またはすべてを含み得る。たとえば、ユーザは、VR環境におけるオブジェクトの近く(オブジェクトのしきい値距離内)で自分の手をホバーする(hover)ことができ、システム100は、ユーザの手のホバー/近さを検出することができる。ホバリングは、あるしきい値量の時間、オブジェクトの近傍(たとえばしきい値距離内)の空中に浮いているかのように、オブジェクトの近傍の空中で一時停止することを含んでいてもよい。ホバリングは、時間ベースのコンポーネントと、距離ベースのコンポーネントとを含み得る。たとえば、ユーザは、仮想オブジェクトの上方で約1〜約3秒の時間ホバーすることができ、仮想オブジェクトから約1インチ〜約3インチ内でホバーすることができる。一般に、システムはホバーを検出し、検出されたホバーを、ユーザの手のしきい値距離内の特定のオブジェクトに関連付けられたメニュー、アクション、または出力をトリガする機構として使用することができる。
Claims (15)
- コンピュータにより実現される方法であって、
仮想環境において仮想ユーザについて入力を受信するステップを含み、前記入力は、前記仮想環境にアクセスしているユーザによって行なわれた複数の運動に基づいており、前記方法はさらに、
前記複数の運動に基づいて、前記仮想ユーザの少なくとも一部分が衝突ゾーンのしきい値距離内にあることを検出するステップを含み、前記衝突ゾーンは、少なくとも1つの仮想オブジェクトに関連付けられており、前記方法はさらに、
前記少なくとも一部分および前記少なくとも1つの仮想オブジェクトに基づいて、前記仮想ユーザのために複数の衝突モードの中から1つの衝突モードを選択するステップと、
選択された前記衝突モードに基づいて、前記仮想ユーザを動的に修正するステップとを含み、
前記複数の衝突モードの各々は、
前記衝突ゾーンに対する前記仮想ユーザの位置を入力するための前記ユーザの身体部位または前記ユーザによって操作される機器を定める、方法。 - 修正された前記仮想ユーザと整列するように前記衝突ゾーンを調節するステップをさらに含み、前記調節するステップは、前記入力を受信する前記衝突ゾーンにおいて複数の可視ターゲットを提供するステップを含み、前記複数の可視ターゲットは、選択された前記衝突モードに関連付けられている、請求項1に記載の方法。
- 前記入力は、前記少なくとも1つの仮想オブジェクトの近傍のホバー運動を含み、前記しきい値距離は、前記少なくとも1つの仮想オブジェクトから約1/2〜約1インチを含む、請求項1または2に記載の方法。
- 前記仮想環境はスクロール可能コンテンツを提供していると判断するステップと、
手のひらベースの衝突モードを選択するステップと、
前記コンテンツを、前記ユーザの手によって始動された手のひらジェスチャーの受信に応答してスクロールされるように構成するステップとをさらに含む、請求項1〜3のいずれかに記載の方法。 - 前記仮想ユーザを動的に修正するステップは、前記仮想環境における入力の提供に対応して前記仮想ユーザの一部分を修正するステップを含む、請求項1〜4のいずれかに記載の方法。
- 前記一部分を修正するステップは、
前記入力は指の運動を含むこと、および、前記一部分は1本以上の仮想の指を含むことを検出するステップと、
前記衝突ゾーンへの前記1本以上の仮想の指の到達範囲を広げるステップとをさらに含み、前記広げるステップは、前記仮想環境における前記1本以上の仮想の指までのしきい値距離内に示された仮想オブジェクトと対話するように、前記仮想ユーザを適合させるステップを含む、請求項5に記載の方法。 - 前記仮想ユーザを動的に修正するステップは、視覚応答を前記ユーザに提供するステップをさらに含む、請求項1〜6のいずれかに記載の方法。
- 選択された前記衝突モードに少なくとも部分的に基づいて、少なくとも1つのコンテキスト依存衝突ゾーンを提供するステップをさらに含み、
前記衝突ゾーンのコンテキストが指のジェスチャーを受信するように構成される場合、前記衝突モードは細かい衝突モードとして構成され、
前記衝突ゾーンの前記コンテキストが対話型の手のジェスチャーを受信するように構成される場合、前記衝突モードは粗い衝突モードとして構成される、請求項1〜7のいずれかに記載の方法。 - 前記コンテキスト依存衝突ゾーンは、前記衝突ゾーンに関連付けられたサイズに基づいて提供される、請求項8に記載の方法。
- 前記コンテキスト依存衝突ゾーンは、前記仮想環境における前記少なくとも1つの仮想オブジェクトに関連付けられたサイズに基づいて提供される、請求項8に記載の方法。
- システムであって、
仮想環境において仮想現実体験を生成する電子コンピューティングデバイスを含み、前記電子コンピューティングデバイスは物理的空間内でポータブルであり、前記システムはさらに、
前記電子コンピューティングデバイスと通信している複数のセンサを含み、前記センサは、前記物理的空間内の前記電子コンピューティングデバイスにアクセスしているユーザに関連付けられた動きを検出するように構成され、前記システムはさらに、
少なくとも1つのプロセッサを含み、前記プロセッサは、
前記仮想環境における運動を検出するように構成され、前記運動は物理ユーザによって行なわれ、前記運動は前記仮想環境において表わされ、前記物理ユーザの身体部位に関連付けられており、前記プロセッサはさらに、
仮想オブジェクトが前記身体部位よりも小さい前記仮想オブジェクト上のエリアにおいて入力を受信するように構成されているという判断に応答して、前記身体部位を用いた選択能力を修正するために複数の衝突モードの中から1つの衝突モードを選択し、
前記仮想環境における前記身体部位の表現上に、修正された前記選択能力を表示し、
異なる仮想オブジェクトに関連付けられた運動を検出するまで、選択された前記衝突モードを維持するように構成され、
前記複数の衝突モードの各々は、
衝突ゾーンに対する仮想ユーザの位置を入力するための前記物理ユーザの身体部位または前記物理ユーザによって操作される機器を定める、システム。 - 前記仮想環境における前記身体部位の表現上に、修正された前記選択能力を表示することは、前記仮想オブジェクトと対話する機構を前記物理ユーザに示す表示を点灯させ、振動させ、動かし、大きくし、または小さくするように、前記身体部位を構成することを含む、請求項11に記載のシステム。
- 前記仮想オブジェクトはキーボードであり、前記身体部位は手であり、前記衝突モードは前記手の指先エリアを小さくするように選択され、前記身体部位の前記表現は各指の上の表示器を含む、請求項11または12に記載のシステム。
- 前記衝突モードは、手全体モード、腕全体モード、指モード、全身モード、およびキーボードモードからなる群から選択され、各モードは、細かい構成と粗い構成とを含む、請求項11〜13のいずれかに記載のシステム。
- 請求項1〜10のいずれかに記載の方法をコンピュータに実行させる、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562200825P | 2015-08-04 | 2015-08-04 | |
US62/200,825 | 2015-08-04 | ||
PCT/US2016/045568 WO2017024142A1 (en) | 2015-08-04 | 2016-08-04 | Input via context sensitive collisions of hands with objects in virtual reality |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018522310A JP2018522310A (ja) | 2018-08-09 |
JP2018522310A5 JP2018522310A5 (ja) | 2018-09-20 |
JP6676071B2 true JP6676071B2 (ja) | 2020-04-08 |
Family
ID=56686949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556685A Active JP6676071B2 (ja) | 2015-08-04 | 2016-08-04 | 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10635161B2 (ja) |
EP (2) | EP4374942A3 (ja) |
JP (1) | JP6676071B2 (ja) |
KR (1) | KR102105637B1 (ja) |
CN (1) | CN107533373B (ja) |
WO (1) | WO2017024142A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9847079B2 (en) * | 2016-05-10 | 2017-12-19 | Google Llc | Methods and apparatus to use predicted actions in virtual reality environments |
US10802711B2 (en) | 2016-05-10 | 2020-10-13 | Google Llc | Volumetric virtual reality keyboard methods, user interface, and interactions |
CN107977071B (zh) * | 2016-10-24 | 2020-02-28 | ***通信有限公司研究院 | 一种适用于空间***的操作方法及装置 |
KR102369905B1 (ko) * | 2016-10-31 | 2022-03-03 | 주식회사 테그웨이 | 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법 |
CN107008006A (zh) * | 2017-04-14 | 2017-08-04 | 苏州蜗牛数字科技股份有限公司 | 一种在vr中物体触碰的方法 |
CN107172136B (zh) * | 2017-05-04 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 体素数据的同步方法和装置 |
US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
JP2019008623A (ja) * | 2017-06-27 | 2019-01-17 | キヤノン株式会社 | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 |
US11023109B2 (en) | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
US10895966B2 (en) | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
EP3542252B1 (en) | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
JP7005224B2 (ja) * | 2017-08-22 | 2022-01-21 | キヤノン株式会社 | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 |
US20190066385A1 (en) * | 2017-08-31 | 2019-02-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
KR101990373B1 (ko) | 2017-09-29 | 2019-06-20 | 클릭트 주식회사 | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 |
CN108536288A (zh) * | 2018-03-27 | 2018-09-14 | 网易(杭州)网络有限公司 | 虚拟现实中交互操作的处理方法和装置 |
US10877554B2 (en) | 2018-04-19 | 2020-12-29 | Samsung Electronics Co., Ltd. | High efficiency input apparatus and method for virtual reality and augmented reality |
CN108563335B (zh) * | 2018-04-24 | 2021-03-23 | 网易(杭州)网络有限公司 | 虚拟现实交互方法、装置、存储介质及电子设备 |
US10916065B2 (en) * | 2018-05-04 | 2021-02-09 | Facebook Technologies, Llc | Prevention of user interface occlusion in a virtual reality environment |
DE102018207987A1 (de) * | 2018-05-22 | 2019-11-28 | Siemens Aktiengesellschaft | Verfahren und System zum Darstellen eines 3D-Modells |
US11733824B2 (en) | 2018-06-22 | 2023-08-22 | Apple Inc. | User interaction interpreter |
CN109085931A (zh) * | 2018-07-25 | 2018-12-25 | 南京禹步信息科技有限公司 | 一种虚实结合的交互式输入方法、装置和存储介质 |
CN109542279B (zh) * | 2018-10-30 | 2022-08-26 | 维沃移动通信有限公司 | 一种终端设备控制方法及终端设备 |
CN109683876B (zh) * | 2018-12-10 | 2022-06-24 | 上海精密计量测试研究所 | 一种基于Unity3D的行为树设计方法 |
CN109782909B (zh) * | 2018-12-29 | 2020-10-30 | 北京诺亦腾科技有限公司 | 一种vr交互设备与vr场景的交互方法及装置 |
CN109710077B (zh) * | 2018-12-30 | 2022-05-06 | 郑州畅想高科股份有限公司 | 基于vr的虚拟物体碰撞判断方法、装置及机车实训*** |
WO2021054589A1 (en) | 2019-09-18 | 2021-03-25 | Samsung Electronics Co., Ltd. | Electronic apparatus and controlling method thereof |
US11550397B1 (en) * | 2019-10-10 | 2023-01-10 | Meta Platforms, Inc. | Systems and methods for simulating a sensation of expending effort in a virtual environment |
US11093005B1 (en) * | 2020-05-05 | 2021-08-17 | International Business Machines Corporation | Virtual reality rollable display device |
US11249314B1 (en) * | 2020-08-04 | 2022-02-15 | Htc Corporation | Method for switching input devices, head-mounted display and computer readable storage medium |
EP4002064A1 (en) * | 2020-11-18 | 2022-05-25 | XRSpace CO., LTD. | Method and system for showing a cursor for user interaction on a display device |
US11151774B1 (en) * | 2020-11-20 | 2021-10-19 | At&T Intellectual Property I, L.P. | Adaptive immersive media rendering pipeline |
US20230135974A1 (en) * | 2021-11-04 | 2023-05-04 | Microsoft Technology Licensing, Llc | Multi-factor intention determination for augmented reality (ar) environment control |
US11579747B1 (en) | 2022-03-14 | 2023-02-14 | Snap Inc. | 3D user interface depth forgiveness |
WO2024064935A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Methods for depth conflict mitigation in a three-dimensional environment |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5977935A (en) * | 1993-08-12 | 1999-11-02 | Seiko Epson Corporation | Head-mounted image display device and data processing apparatus including the same |
JPH10247252A (ja) * | 1997-03-04 | 1998-09-14 | Sharp Corp | 衝突判定処理装置 |
US7472047B2 (en) * | 1997-05-12 | 2008-12-30 | Immersion Corporation | System and method for constraining a graphical hand from penetrating simulated graphical objects |
US20050162402A1 (en) * | 2004-01-27 | 2005-07-28 | Watanachote Susornpol J. | Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
US8165345B2 (en) * | 2007-12-07 | 2012-04-24 | Tom Chau | Method, system, and computer program for detecting and characterizing motion |
US8154524B2 (en) * | 2008-06-24 | 2012-04-10 | Microsoft Corporation | Physics simulation-based interaction for surface computing |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
CN101782815A (zh) * | 2009-01-16 | 2010-07-21 | 原相科技股份有限公司 | 具有虚拟的资料输入装置的电子装置 |
US8487871B2 (en) * | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
US8721444B2 (en) * | 2009-07-21 | 2014-05-13 | Sony Corporation | Game device for performing operation object control and non-operation object control |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
KR101114750B1 (ko) * | 2010-01-29 | 2012-03-05 | 주식회사 팬택 | 다차원 영상을 이용한 사용자 인터페이스 장치 |
US20150169119A1 (en) * | 2010-02-17 | 2015-06-18 | Google Inc. | Major-Axis Pinch Navigation In A Three-Dimensional Environment On A Mobile Device |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
WO2012125990A2 (en) * | 2011-03-17 | 2012-09-20 | Laubach Kevin | Input device user interface enhancements |
US9122311B2 (en) * | 2011-08-24 | 2015-09-01 | Apple Inc. | Visual feedback for tactile and non-tactile user interfaces |
US8872853B2 (en) | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
GB2515436B (en) * | 2012-06-30 | 2020-09-02 | Hewlett Packard Development Co Lp | Virtual hand based on combined data |
US9589538B2 (en) * | 2012-10-17 | 2017-03-07 | Perceptive Pixel, Inc. | Controlling virtual objects |
US9552673B2 (en) * | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
KR20150103723A (ko) * | 2013-01-03 | 2015-09-11 | 메타 컴퍼니 | 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 |
JP6018509B2 (ja) * | 2013-01-16 | 2016-11-02 | アズビル株式会社 | 情報表示装置、方法、およびプログラム |
US9202313B2 (en) * | 2013-01-21 | 2015-12-01 | Microsoft Technology Licensing, Llc | Virtual interaction with image projection |
WO2014128749A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 形状認識装置、形状認識プログラム、および形状認識方法 |
WO2014145166A2 (en) * | 2013-03-15 | 2014-09-18 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
KR101411569B1 (ko) * | 2013-06-05 | 2014-06-27 | 고려대학교 산학협력단 | 가상 키보드를 이용한 정보 처리 장치 및 방법 |
US9286725B2 (en) * | 2013-11-14 | 2016-03-15 | Nintendo Co., Ltd. | Visually convincing depiction of object interactions in augmented reality images |
US9740296B2 (en) * | 2013-12-16 | 2017-08-22 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras in the interaction space |
US9799159B2 (en) * | 2014-02-14 | 2017-10-24 | Igt Canada Solutions Ulc | Object detection and interaction for gaming systems |
EP3116616B1 (en) * | 2014-03-14 | 2019-01-30 | Sony Interactive Entertainment Inc. | Gaming device with volumetric sensing |
JP6341755B2 (ja) * | 2014-05-26 | 2018-06-13 | キヤノン株式会社 | 情報処理装置、方法及びプログラム並びに記録媒体 |
US9766806B2 (en) * | 2014-07-15 | 2017-09-19 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
US9619043B2 (en) * | 2014-11-26 | 2017-04-11 | At&T Intellectual Property I, L.P. | Gesture multi-function on a physical keyboard |
US20160189427A1 (en) * | 2014-12-31 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications |
WO2016115976A1 (en) * | 2015-01-21 | 2016-07-28 | Kong Liang | Smart wearable input apparatus |
GB2534386A (en) * | 2015-01-21 | 2016-07-27 | Kong Liang | Smart wearable input apparatus |
JP6354653B2 (ja) * | 2015-04-25 | 2018-07-11 | 京セラドキュメントソリューションズ株式会社 | 拡張現実操作システムおよび拡張現実操作プログラム |
-
2016
- 2016-08-04 WO PCT/US2016/045568 patent/WO2017024142A1/en unknown
- 2016-08-04 JP JP2017556685A patent/JP6676071B2/ja active Active
- 2016-08-04 CN CN201680025084.1A patent/CN107533373B/zh active Active
- 2016-08-04 KR KR1020177030851A patent/KR102105637B1/ko active IP Right Grant
- 2016-08-04 EP EP24169147.6A patent/EP4374942A3/en active Pending
- 2016-08-04 US US15/228,594 patent/US10635161B2/en active Active
- 2016-08-04 EP EP16751766.3A patent/EP3332314B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3332314A1 (en) | 2018-06-13 |
CN107533373B (zh) | 2020-09-08 |
EP4374942A2 (en) | 2024-05-29 |
US20170038830A1 (en) | 2017-02-09 |
JP2018522310A (ja) | 2018-08-09 |
EP3332314B1 (en) | 2024-04-10 |
EP4374942A3 (en) | 2024-07-10 |
KR20170130586A (ko) | 2017-11-28 |
WO2017024142A1 (en) | 2017-02-09 |
CN107533373A (zh) | 2018-01-02 |
KR102105637B1 (ko) | 2020-06-26 |
US10635161B2 (en) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6676071B2 (ja) | 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力 | |
EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
US10545584B2 (en) | Virtual/augmented reality input device | |
KR102390425B1 (ko) | 증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법 | |
US10802711B2 (en) | Volumetric virtual reality keyboard methods, user interface, and interactions | |
EP3488321B1 (en) | Detecting user range of motion for virtual reality user interfaces | |
EP3332311B1 (en) | Hover behavior for gaze interactions in virtual reality | |
US10509487B2 (en) | Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment | |
CN108780356B (zh) | 控制或渲染共存虚拟环境的方法及相关存储介质 | |
CN109074154B (zh) | 增强和/或虚拟现实中的悬停触摸输入补偿 | |
JP2024512246A (ja) | 仮想自動照準設定 | |
KR20220119921A (ko) | 사용자 인터페이스 제공 방법 및 모바일 단말 | |
CN117590931A (zh) | 人工现实环境中的手势移动 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6676071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |