JP2019083033A - 仮想現実環境においてナビゲートする方法、システム、および装置 - Google Patents

Abstract

【課題】身体部分のジェスチャおよび姿勢を用いて、仮想現実シーンにおいてナビゲートするための方法、システム、および装置を提供する。【解決手段】方法は、ユーザに仮想現実ビューを提示するために、ニアアイディスプレイを介してユーザの両目に合成３Ｄシーンを投影すること、ユーザの少なくとも１つの身体部分によって実行される少なくとも１つのジェスチャまたは姿勢を識別すること、検出されたジェスチャまたは姿勢に関連付けられたベクトルの少なくとも１つのメトリックを測定すること、測定されたメトリックに基づいて、仮想現実環境にユーザの移動または動きを適用すること、仮想現実環境におけるユーザの移動または動きを反映するために仮想現実ビューを修正することを含み得る。【選択図】 図４

Description

本発明は、概して仮想現実（ＶＲ）環境に関し、特に、ＶＲ環境においてナビゲートするための方法、システム、および装置に関する。

本発明の背景技術の記載に先立って、以下で用いる用語の定義を記載する。
本明細書で使用する用語「仮想現実」（ＶＲ）は、現実世界または仮想世界のある場所における物理的存在をシミュレート可能なコンピュータシミュレーション環境として定義される。仮想現実は、仮想の味覚、視覚、嗅覚、聴覚、触覚などの感覚体験を再現可能である。多くの従来のＶＲシステムは三次元（３Ｄ）仮想環境を提示するニアアイ（near eye）ディスプレイを使用する。

本明細書で使用する用語「拡張現実」（ＡＲ）は、物理的な現実世界の環境の生の直接的または間接的な視野として定義され、この物理的現実世界の環境の要素は、音声、動画、画像、ＧＰＳデータなどのコンピュータにより生成された知覚入力によって拡張（補足）される。これは、より一般的な概念として、コンピュータにより現実の視野が修正（場合によっては拡張ではなく減少）される媒介現実（mediated reality）に関する。

本明細書で使用する用語「ニアアイディスプレイ」は、着用可能な投影ディスプレイを含む装置として定義され、通常は、３Ｄ視覚を生成するために僅かに異なる視野がそれぞれの目に提示されるという意味で立体視である。

用語「仮想現実ヘッドセット」は「ゴーグル」とも呼ばれ、コンピュータ出力を表示する湾曲型（wrap-around）ビジュアルインターフェースである。一般に、コンピュータディスプレイ情報は、現実世界環境の３次元表現として提示される。ゴーグルは、コンピュータディスプレイ（スマートフォンの形態を取り得る）を単に保持する構造のみに加えて光学系を含んでいても含んでいなくてもよい。

本明細書で使用する用語「仮想現実ナビゲーション」は、ユーザの目に投影されたシーンの各変化をもたらす仮想環境全体の動きとして定義される。ＶＲシステムは、現実世界の動きと仮想世界の動きとの間に、通常、１対１の比率を維持しない（例えば、現実世界で一歩前進することは必ずしも仮想世界で一歩前進することを意味しない）。したがって、ユーザによるＶＲナビゲーションを可能にするために、あらゆるタイプの入力装置が使用される。

図１は、ユーザ１０が、ユーザ１０の各目に対してシーン（例えば、タージマハル）の合成画像１５Ａ，１５Ｂを投影するヘッドマウント立体ディスプレイ１２（例えば、Oculus Rift（商標））を着用した場合の従来の仮想現実（ＶＲ）システムを示す。各目に対し僅かに異なる角度で合成シーンが入力されることで、ユーザの脳内に３Ｄ知覚が生成される。また、ユーザの視角または視線方向をリアルタイムで検出することができる加速度計またはジャイロスコープ（図示略）などのセンサがヘッドマウントディスプレイ１２に備えられてもよい。これにより、ＶＲシステムは、ユーザの新たな頭の向きに合うように画像１５Ａ，１５Ｂを調節することができる。このような調整がリアルタイムで実行されることにより、現実世界における頭の動きを模倣する仮想現実の錯覚が実現され得る。

上述のようにユーザの視点を追跡する以外にも、ＶＲシステムは、ジョイスティック１４（あるいは、マウス、タッチパッド、またはキーボード）などの入力装置を介して仮想世界とのさらなる相互作用を提供する。このような入力装置は、ユーザ１０が視覚的インジケータを使用してＶＲナビゲーションを実行することを可能にする。例えば、ＶＲシーンの立体画像１５Ａ，１５Ｂに示されたカーソル１６Ａ，１６Ｂなどをユーザが移動させることが可能な視覚インジケータをユーザに提示することができる。そして、ジョイスティック１４でトリガを引くなどのユーザ１０による次の動作に応答して、ユーザは、カーソルで指し示した位置に向かって仮想環境内を進むことができる。ユーザ１０が現実世界を一歩か二歩移動することに限定されているとき、仮想世界でユーザは長距離を歩き回ることができる。上述したような入力装置は、現在、仮想世界におけるナビゲーション問題に対処するために使用されている。必然的に、そのような従来の入力装置の使用は、ユーザによる全体的なＶＲ体験を損なわせる。

本発明の一実施形態によれば、姿勢および／またはジェスチャを用いて仮想現実シーンにおいてナビゲートするための入力装置として機能するシステムが提供される。システムは、ユーザの両目に合成３Ｄシーンを投影して仮想現実環境を生成するように構成されたニアアイディスプレイと、前記ユーザの少なくとも１つの身体部分のジェスチャを導出するように構成されたジェスチャ及び姿勢取得装置と、前記合成３Ｄシーンにおいて、前記導出された前記身体部分のジェスチャを前記ユーザの移動または動きに変換し、前記変換された移動または動きに基づいて、前記仮想現実環境の前記ユーザの視点を修正するように構成されたコンピュータプロセッサとを含み得る。

本発明の他の実施形態によれば、姿勢およびジェスチャを用いて仮想現実シーンにおいてナビゲートするための方法が提供される。方法は、ユーザに仮想現実ビューを提示するために、ニアアイディスプレイを介して前記ユーザの両目に合成３Ｄシーンを投影すること、前記ユーザの少なくとも１つの身体部分によって実行される少なくとも１つのジェスチャまたは姿勢を識別すること、検出されたジェスチャまたは姿勢に関連付けられたベクトルの少なくとも１つのメトリックを測定すること、前記測定されたメトリックに基づいて、仮想現実環境に前記ユーザの移動または動きを適用すること、前記仮想現実環境における前記ユーザの移動または動きを反映するために前記仮想現実ビューを修正することを含み得る。

本発明のこれらの、付加的な、および／または他の態様および／または実施形態の利点は以下の詳細な説明で説明され、それらは、以下の詳細な説明から推測可能であり、および／または本発明の実施形態の実施よって理解可能である。

従来技術による仮想現実システムを例示する概略図。 本発明のいくつかの実施形態による仮想現実システムを例示する概略図。 Ａ〜Ｃは、本発明のいくつかの実施形態による仮想現実システムの態様を例示する図。 本発明の実施形態の仮想現実システムにおいて取り得る構造を例示するブロック図。 本発明の実施形態における方法を例示するフローチャート。 ＡおよびＢは、本発明のいくつかの実施形態による更なる態様を例示する図。 本発明のいくつかの実施形態の別の態様を例示する概略図。 本発明のいくつかの実施形態の更に別の態様を例示する図。 本発明のいくつかの実施形態の更に別の態様を例示する図。 本発明のいくつかの実施形態による方法の更に別の態様を例示するフローチャート。 本発明のいくつかの実施形態の更に別の態様を例示する図。

本発明の実施形態をより良く理解し、どのように実施することができるかを示すために一例として添付図面を参照する。なお、図面において、同様の符号は対応する要素または部分を示す。

以下、図面を参照して詳細に説明するが、図示する詳細は単なる例示であり、本技術の好ましい実施形態の説明のみを目的としたものであり、本技術の原理および概念的側面の最も有用で容易に理解される説明として提供される。この点において、本技術の基本的な理解に必要なもの以外について本技術の構造的な詳細を示すことはしていない。図面とともに以下の説明を参照することにより、本発明の種々の形態を実際にどのように実施することができるかについて当業者に明らかとなる。

本技術の少なくとも１つの実施形態を詳細に説明するが、本発明はその適用において、以下に説明または図示する構成要素による詳細な構成および配置に限定されない。本技術は、他の実施形態に適用可能であるかまたは様々な方法で実施または実行される。また、本明細書で使用する表現および用語は、説明を目的としたものであり、限定とみなされるべきではない。

本発明のいくつかの実施形態は、ユーザに直感的な種々の身体姿勢および／またはジェスチャを実行することによって仮想現実環境でナビゲートするための方法、システム、および装置を提供する。具体的には、ユーザは、予め設定されたナビゲーションコマンドに本発明の実施形態によってリアルタイムで変換される方法でユーザ自身の身体または身体部分を動かすことができる。したがって、現実世界における特定の姿勢および／またはジェスチャによって、仮想現実世界における対応する動きを引き起こすことができる。

本発明のいくつかの実施形態は、ユーザによって適用された予め設定された姿勢またはジェスチャを最初に検出し、次いで、そのジェスチャまたは姿勢に関連付けられた定量的メトリックの測定を行う。これらのメトリックは、姿勢またはジェスチャに関連付けられたベクトルに関連し得るものであり、ベクトルの長さおよび空間的な角度を含み得る。いくつかの実施形態では、ベクトルのメトリックは、通常は連続的に仮想現実世界の定量的ナビゲーションコマンドに変換される。したがって、仮想現実におけるナビゲーションコマンドは、予め設定された終了動作がユーザによって実行されない限り変更されない。そのような終了動作は、基本姿勢または何らかの手操作を再開することを含み得る。

図２は、スマートフォン２２０などのモバイル装置とともに使用するように構成された仮想現実（ＶＲ）ヘッドセット２４０（ゴーグル）などの周辺環境２００に取り付けられて一体化された本発明のいくつかの実施形態による装置２１０の斜視図である。装置２１０は、赤外線（ＩＲ）パターン照明器２１２などの照明器（例えば、レーザ送信機）と、ＩＲカメラ２１４などのカメラとを含み得る。また、装置２１０は、初期画像処理を行うように構成されたプリプロセッサ（図示略）を含み得る。また、装置２１０は、ＶＲヘッドセットをともに構成するスマートフォン２２０やニアアイディスプレイ２４０と物理的および電子的にインターフェースするように構成されている。このようなＶＲヘッドセット（ゴーグル）は、当該技術分野で知られているように、スマートフォンとともに使用するように構成することができ、通常は、スマートフォンのディスプレイ（図示しない反対側の面）と通信可能な光学機器と、カメラ２２２を含み得るスマートフォン２２０を収容するためのスリーブ２５０と、ＶＲヘッドセット（ゴーグル）をユーザの頭部に固定するためのストラップ２３０とを含む。ただし、装置２１０は、Google Glass（商標）やOculus Rift（商標）などのニアアイディスプレイとインターフェースすることも可能である。

動作時に、装置２１０は、以下に詳述するように、ユーザの１つまたは複数の身体部分の直観的な姿勢およびジェスチャを使用してＶＲナビゲーションコマンドを供給する手段として機能し得る。

図３Ａ〜図３Ｃは、本発明のいくつかの実施形態による仮想現実システムの態様を例示する図である。図３Ａは、本発明の一実施形態による動作時のＶＲナビゲーション装置３００を例示する概略図である。ユーザ１０は、ニアアイディスプレイ３３０を装着しており、ＶＲナビゲーション装置３００は、排他的ではないが上述したように拡張機能（アドオン）として取り付けられ得る。ＶＲナビゲーション装置３００は、視野（ＦＯＶ）３２２を有する照明器（例えば、レーザ送信器）３２０と、ＦＯＶ３１２を有する撮像部（例えば、カメラ）３１０とを含み得る。両方のＦＯＶはユーザの周辺の環境を網羅するのに十分大きいことが有利である。実用的には、両ＦＯＶは、両手を身体の両側に広げて開く場合などを含む両手の動きをカバーすることが重要である。これにより、「縦方向」の向きも可能であるが、照明器とカメラの両方の「横方向」の向きにも有益となる。非限定的な構成として、「横方向」の向きに対しては５５°の水平ＦＯＶおよび４３°の垂直ＦＯＶを含むことができ、「縦方向」の向きに対しては５５°の垂直ＦＯＶおよび４３°の水平ＦＯＶを含むことができる。

動作時、ニアアイディスプレイ３３０は、例えば、モバイル装置（図示略）などの外部コンピュータプロセッサを介してユーザ１０の両目に合成シーンを投影するように構成することができる。照明器３２０は、ユーザ１０および／またはその近傍にパターン光３２４を照射することができる。このパターン光の反射を撮像部３１０で撮像した後、コンピュータプロセッサ（ここでは図示せず）によって分析することができる。コンピュータプロセッサは、ユーザ１０により実行されている姿勢またはジェスチャのタイプを導出することができる。ここでは、ユーザ１０の手１２の垂直上向きの指示指（pointing finger）１４が、ベクトル３４０に沿って位置１４Ａから位置１４Ｂに下げられる。このように指示指が下げられたことが検出されると、ベクトル３４０に関連付けられたメトリックがさらに分析されることにより、方向や変位などの（現実世界における）ベクトルのメトリックが（仮想世界における）対応するナビゲーション動作に変換される。図３Ｂは、ユーザの指示指が位置１４Ａにあるときにユーザ１０が見ているものを示し、図３Ｂは、ユーザ１０の指示指が位置１４Ｂに移動したとき仮想世界で前進したことを示す。

図４は、本発明のいくつかの実施形態によるＶＲシステム４００Ｂを示すブロック図である。システム４００Ｂは、ジェスチャ及び姿勢取得装置４０２Ｂを含むかまたはそれに関連付けて動作可能とされ得る。このジェスチャ及び姿勢取得装置４０２Ｂは、ユーザの様々な身体部分やユーザが保持する物体の位置および向きにおける種々の経時的な変化を取得するように構成され得る。本明細書では、位置および向きを「姿勢」といい、姿勢の経時変化を「ジェスチャ」という。

非限定的な一つの例では、ジェスチャ及び姿勢取得装置４０２Ｂは、シーンの立体視を撮像する１つまたは複数の可視光カメラに基づき得る。このビデオ画像は、ユーザの動きを導出するためにプロセッサ４０４Ｂによって実行される種々の画像処理アルゴリズムを使用して処理される。別の可能な実施態様では、上述したパターン光が使用される。この場合、シーンから戻ってくるパターン光の反射が、姿勢および／またはジェスチャが推定される深さマップを生成するために分析される。

プロセッサ４０４Ｂは、ジェスチャ及び姿勢取得装置４０２Ｂからの生データ（技術によっては、複数のビデオ画像やパターン反射など）を受信し、そのプロセッサ上で実行される分類アルゴリズムを使用して、予め設定された基準（またはデータベース）に基づいて姿勢またはジェスチャを識別するように構成され得る。特定の姿勢またはジェスチャが識別されると、その検出された姿勢またはジェスチャにどの形式のＶＲ移動またはＶＲナビゲーション動作が関連付けられているかを判断するために、姿勢及びジェスチャ・リポジトリ４０８Ｂを使用することができる。

したがって、姿勢及びジェスチャ・リポジトリ４０８Ｂに格納された辞書に基づいて、プロセッサ４０４Ｂは、ユーザに提示されるＶＲシーンの視点を調整して対応するＶＲナビゲーション動作に適合させるようにニアアイディスプレイ４０９Ｂに指示することができる。例えば、ユーザ４１０Ｂがジェスチャ４２０Ｂで手を振る場合、そのジェスチャ４２０Ｂは、プロセッサ４０４Ｂおよびリポジトリ２０８ＢによってＶＲシーンで「前進」と解釈され得る。その結果、プロセッサ２０４Ｂは、ニアアイディスプレイ４０９Ｂによって見るユーザ４１０Ｂの視点を前方に進めるように、ニアアイディスプレイ２０９Ｂに指示することができる。なお、以下で詳細に説明するように、手４２０Ｂを振ることは、ＶＲ世界で前進することを模倣する任意の他の操作（例えば、水泳の動き）に置き換えることができる。また、ジェスチャを使用してＶＲナビゲーション動作を引き起こすだけでなく、予め設定された静的な姿勢もＶＲナビゲーション動作を引き起こすために用いることができる。例えば、ユーザ４１０Ｂの手の振りは、手が特定の角度で上方に傾いたときに終了する。この姿勢は、「進む」を意味するナビゲーション動作コマンド（予めそのように設定されている場合）として解釈され、手がほぼその特定の角度で傾斜している限り、ユーザはＶＲ世界で前進し続ける。上述したように、少なくともいくつかの実施形態では、ジェスチャ及び姿勢取得装置４０２Ｂはシステム４００Ｂの外部にあり、遠隔地から位置および方向に関する生データを提供することができる。

図５は、本発明のいくつかの実施形態による方法５００を示すフローチャートである。処理が開始されると、物体５１０の姿勢が識別される。姿勢が検出されると、検出された姿勢を空間的に表すベクトルが物体から導出される。このベクトルを仮想現実におけるナビゲーション動作に移行することで、そのベクトルの長さと角度に基づく連続的な動きが仮想世界５３０に適用される。次いで、方法は、終了動作またはトリガが識別されたかどうかを繰り返しチェックする（５４０）。終了動作が識別された場合、仮想世界での動きが終了する（５５０）。終了動作が識別されていない場合、その終了動作が識別されるまで、連続的な動きが繰り返し適用される（５３０）。なお、上記説明は、姿勢だけでなくジェスチャにも適用可能である。静的な姿勢であっても仮想世界の動きを引き起こすという点で姿勢の適用は優れている。

図６Ａは、本発明の実施形態のＶＲシステムによる姿勢に関する態様を示す図である。一連の胴体の傾斜が示されている。姿勢６１１Ｃは、他のすべてのジェスチャまたは姿勢の元となる基本姿勢である。姿勢６１２Ｃにおいて、ユーザは現実世界で前方に傾き、この動作は、ＶＲナビゲーション領域においてＶＲナビゲーションコマンドとして解釈され得る。上述のように、このコマンドは、６１１Ｃから６１２Ｃへの移行（例えば、ジェスチャ）であってもよいし、所定のＶＲナビゲーション動作を引き起こす角度αを規定する２１２Ｃ（例えば、姿勢）の単なる静的事象であってもよい。

同様に、姿勢６１３Ｃにおける前方への更なる傾きは、すでに発生しているＶＲナビゲーション動作の促進因子として働き、ここでは角度βが角度αよりも大きくなるにつれて動きがより速くなる。基本姿勢６１４Ｃに戻ると、終了動作とみなされ、通常は、ＶＲナビゲーション動作がその状況に基づいて除去されるか、または少なくともその影響が低減される。

図６Ｂは、本発明のＶＲシステムの実施形態による姿勢に関する別の態様を示す図である。ここでは、基本姿勢は、互いに離間して特定の距離Ｄ１に配置された２つの手のひら６２１Ｄである。姿勢の種類（例えば、２つの手のひらが横並びに伸びた状態）が識別されると、その距離の測定値が姿勢６２２ＤでＤ２となることでＶＲナビゲーション動作が引き起こされ得る。この場合、Ｄ２の絶対値またはＤ１とＤ２との差が、上述したリポジトリによって予め設定されたＶＲナビゲーション動作に対応するメトリックとして機能する。

姿勢６２３Ｄでは、両手の間の距離Ｄ２は同じままである。いくつかの実施形態によれば、この場合、手は静的であり全く動かないものの、進行中のナビゲーションコマンドと解釈され得る。姿勢６２４Ｄでは、両手の間の横方向の距離Ｄ３が、ＶＲナビゲーション動作に変換されるメトリックとして使用される。２つ以上の身体部分の間の比率、距離、および角度はすべて、対応するＶＲナビゲーションコマンドまたは動作として解釈されるメトリックとして使用することができる。

図７は、ユーザ７００Ａが仮想世界における動きまたは変位を引き起こし得るさらに別の方法を示す。ユーザ７００Ａは、身体を位置７２０から、前傾角度αを規定する位置７１０まで前方に傾ける。現実世界における前傾動作は、例えばセグウェイ（商標）を制御する場合と同様の方法で、仮想世界における前進動作に変換され得る。

具体的には、ユーザ７００Ａの胴体が位置７１０と基本位置７２０との間の非ゼロ角度αを規定する限り、仮想世界における前進動作が継続する。角度αの値は、前進の速度に影響を及ぼし得る。グラフ７００Ｂに示されるように、現実世界の動きと、対応する仮想世界の動きとは線形関係を示していない。むしろグラフ７００Ｂに示されるように、胴体の小さな傾きは仮想世界には影響を与えず、仮想世界での動きは、予め設定された角度αを超えた場合にのみ開始される。そして、仮想世界での動きが開始されると、仮想世界で前進するのに小さな傾きでも十分となる。特定の角度を超えると胴体の傾斜に対する感度が再び低下することで、前進速度の上限が効果的に付与される。

いくつかの実施形態では、使用される胴体の傾きは、位置７２２で装置によって生成された深さマップと、位置７１２で装置によって生成された深さマップとの差を分析することによって検出される。具体的には、位置７２０から位置７１０への移動中に現実世界の視点が変化すると、装置によって生成される深さマップも同様に変化する。深さマップの変化を分析することにより、胴体の傾きを間接的に推定することができる。なお、そのようなジェスチャは、ユーザを見る遠隔外部カメラ（ここでは図示せず）を必要とする場合もある。

図８Ａおよび８Ｂは、本発明のいくつかの実施形態のさらに別の態様を示す図である。図８Ａは、位置８００Ａにおけるユーザを示しており、２つの手８１０Ａ，８２０Ａが前方に互いに隣接して延びている。図８Ｂは、位置８００Ｂにおけるユーザを示しており、２つの手８１０Ｂ，８２０Ｂがそれらの間に角度γを規定している。前方に延びた２つの手の姿勢の種類が認識されると、角度γの対応するメトリックが測定され、仮想世界におけるナビゲーションコマンドのガイダンスとして使用され得る。

図９は、本発明のいくつかの実施形態のさらに別の態様を示す図である。ここでは、仮想現実ナビゲーションは、ユーザ９００の肩を、例えば、位置９２０から、変位９３０を規定する位置９１０に持ち上げることによって引き起こされ、この変位９３０が測定されることで仮想現実世界の対応するナビゲーションコマンドに変換される。なお、本明細書で説明するこのようなジェスチャは、シーン内に位置してユーザ９００に向けられた遠隔カメラ９４０を必要とする場合もある。

図１０は、本発明のいくつかの実施形態による態様を示す高レベルのフローチャートである。本発明の実施形態の一つの課題は、視線方向または頭の向きにおける変化と、頭部の位置に影響を及ぼしＶＲナビゲーションコマンドとして解釈されるべき意図的なジェスチャまたは姿勢とを区別することにある。この区別は、視点を変更する目的のみのためにユーザの頭が動いていることに関連していると認識されるものを身体全体のジェスチャから減算することによって実行され得る。

本発明のいくつかの実施形態によれば、パターン光の反射を分析することは、ユーザの頭部に対して身体部分のジェスチャを取り出すために、ユーザの頭の動きに関連する動き成分を減算することを含み得る。取得された動きは、望ましくない頭の動きを除去した、いわゆる「純粋なジェスチャ」となる。

非限定的な可能な実施形態によれば、反射に基づいて動きが識別されると（１０１０）、ユーザの頭が動いたかどうかがチェックされる（１０２０）。ユーザの頭が動いた場合は、手が同様に動いたかどうかがさらにチェックされる（１０２２）。手が動いた場合は、何も動作を行う必要がない（１０３０）。頭と手で異なる動きが行われた場合は、頭の動きと手の動きとの減算が行われる（１０４０）。頭が動かなかった場合には、手が動いたかどうかがチェックされる（１０２４）。手が動かなかった場合は、何も動作が行われない（１０３０）。手が動いた場合は、頭の動きと手の動きとの減算が行われる（１０４０）。

図１１は、本発明の一実施形態によるシステムおよび環境を例示する概略図である。ユーザ１０は、照明器１１２０および撮像装置１１１０をさらに含むニアアイディスプレイ１１００を着用している。動作中、ニアアイディスプレイ１１３０は、ユーザ１０の両目に合成シーンを投影するように構成されている。照明器１１１０は、ユーザ１０自身および／またはユーザ１０の近傍をパターン光１１２２にて照明し、そのパターン光の反射が撮像装置１１１０によって撮像され、ニアアイディスプレイ１１００内のコンピュータプロセッサ１１３０によって分析されることで、リアルタイムで変化する位置および向きが取得される。ユーザ１０が所定のジェスチャを行う場合、ジョイスティック１８Ａ／１８Ｂなどの仮想入力装置が画像内に現れる。ユーザは、仮想世界で仮想ジョイスティックを掴み、現実世界におけるジェスチャを用いてその仮想ジョイスティックを制御することができる。すると、そのジョイスティックの向きの変化が２０Ａ／２０Ｂで示されるように画像１９Ａ，１９Ｂ内に現れる。ここでは、実際のジョイスティックが含まれておらず、むしろ、完全に仮想化されたジョイスティックが含まれている点に着目することが重要である。なお、任意の入力装置を仮想化することができる。この実施形態の焦点は、ジョイスティックを把持し制御することを模倣するユーザによって姿勢およびジェスチャが実行される点にあり、これにより、直感的な身体ジェスチャが可能となる。

以上の説明において、一つの実施形態は本発明の一例または実現例であり、「一実施形態」や「実施形態」や「いくつかの実施形態」などの記載は、必ずしもすべてが同じ実施形態を指すとは限らない。

本発明の種々の特徴が単一の実施形態の文脈で説明されている場合でも、それらの特徴を別々にまたは任意の適切な組み合わせで提供することもできる。あるいは、明瞭化のために別々の実施形態の文脈で本発明が説明されている場合でも、本発明を単一の実施形態で実施することもできる。

本明細書において、「いくつかの実施形態」や「一実施形態」や「他の実施形態」などは、それらの実施形態に関連して説明されている特定の特徴、構造、または特性が少なくともいくつかの実施形態において含まれていることを意味し、必ずしも本発明のすべての実施形態に含まれていることを意味しない。

本明細書で使用する表現および用語は、限定として解釈されるべきでなく、説明のみを目的とする。
本発明の教示の原理および使用は、実施例や添付の図面を参照することによって、より良く理解され得る。

本明細書で説明する詳細は、本発明の適用に対する限定を意図しない。
また、本発明は種々の方法で実行または実施することができ、上述した説明以外の実施形態でも実施することができる。

用語「含む」、「備える」、「からなる」やその変形表現は、１つまたは複数の構成要素、特徴、ステップ、あるいは整数またはグループの追加を排除するものではなく、構成要素、特徴、ステップまたは整数を特定するものと解釈されるべきである。

明細書または特許請求の範囲が「追加」の要素を指す場合、その追加の要素が２つ以上存在することを排除しない。
明細書または特許請求の範囲が「一つ」の要素を参照する場合、そのような参照は、その要素が１つのみ存在すると解釈されるべきではない。

本明細書において、構成要素、特徴、構造、または特性が含まれ「得る」と述べる場合、その特定の構成要素、特徴、構造、または特性が含まれることが必須とされるわけではない。

適用可能な場合には、実施形態を説明するために状態図、フローチャート、またはその両方を使用する場合があるが、本発明はこれらの図または対応する説明に限定されるものではない。例えば、処理の流れは、それぞれ図示したボックスや状態を通じて行う必要はなく、また、図示し説明したものと全く同じ順序で行う必要はない。

本発明の方法は、手動で、自動で、またはそれらの組み合わせで、選択されたステップまたは処理を実行または完了することによって実施することができる。
特許請求の範囲および明細書に記載した説明、実施例、方法および材料は、限定として解釈されるべきでなく、単に例示として解釈されるべきである。

本明細書で使用する技術用語および科学用語の意味は、他に定義されない限り、本発明が属する技術分野の当業者によって一般的に理解される意味である。
本発明は、本明細書で説明するものと同等または類似の方法および材料を用いて試験または実施において実施することができる。

本発明を限定された数の実施形態に関して説明したが、これらは本発明の範囲を限定するものではなく、むしろ、好ましい実施形態のいくつかの例示として解釈されるべきである。他の可能な変形、変更、および適用もまた本発明の範囲内に含まれる。したがって、本発明の範囲は、上記説明したものによって限定されるべきではなく、添付の特許請求の範囲およびそれらの同等物によって限定されるべきである。

Claims (20)

1. 方法であって、
   合成３Ｄシーンを表示するステップと、
   ユーザの少なくとも１つの身体部分によって実行されるユーザの動きを識別するステップと、
   識別された動きを空間的に表すベクトルを導出するステップと、
   前記ベクトルの角度に基づいて、前記ベクトルを、ユーザが前記識別された動きを実行している間に生じる前記合成３Ｄシーン内の連続的な動きに変換するステップと、
   前記合成３Ｄシーン内の動きを反映するように前記合成３Ｄシーンを修正するステップと
   を含む方法。
2. ユーザの動きを識別するステップは、ユーザの少なくとも１つのジェスチャまたは姿勢を識別することを含む、請求項１に記載の方法。
3. 前記合成３Ｄシーン内の動きの速度は、前記角度の値によって影響を受ける、請求項１に記載の方法。
4. 前記合成３Ｄシーン内の動きは、前記角度が所定の閾値角度より大きいことに基づいて引き起こされる、請求項１に記載の方法。
5. 前記角度の値と所定の閾値角度との間の差に基づいて前記合成３Ｄシーン内の動きを加速させるステップをさらに含む、請求項４に記載の方法。
6. 前記角度が前記所定の閾値角度と上限角度との間にあるとき、ユーザの前記識別された動きと前記合成３Ｄシーン内の動きとが非線形の関係を示す、請求項４に記載の方法。
7. 前記合成３Ｄシーン内の動きに関して、前記上限角度を超える角度の値に基づいて、ユーザの動きに対する感度を低減させるステップをさらに含む、請求項６に記載の方法。
8. ユーザの動きによって生じた角度の値の変化を、前記合成３Ｄシーン内の距離に亘る前記合成３Ｄシーン内の動きに変換するステップをさらに含み、前記距離および前記角度の値の変化は非線形の関係を示す、請求項１に記載の方法。
9. ユーザの前記識別された動きは、ユーザの少なくとも２つの身体部分の間の空間関係によって定義され、前記方法はさらに、
   前記少なくとも２つの身体部分の間の角度を決定するステップと、
   決定された角度を前記合成３Ｄシーン内の連続的な動きに変換するステップと
   を含む、請求項１に記載の方法。
10. ユーザの動きを識別するステップは、ユーザの頭部の動きに対して前記少なくとも１つの身体部分の姿勢およびジェスチャのみを得るために、ユーザの頭部の動きに関連する動き成分を除去することをさらに含む、請求項１に記載の方法。
11. 仮想ユーザインタフェース物体を前記合成３Ｄシーンに重ね合わせて、ユーザが前記仮想ユーザインタフェース物体に対してジェスチャおよび姿勢を適用することを可能にするステップをさらに含む、請求項１に記載の方法。
12. システムであって、
    合成３Ｄシーンを表示するように構成された装置と、
    コンピュータプロセッサであって、
    ユーザの少なくとも１つの身体部分によって実行されるユーザの動きを識別し、
    識別された動きを空間的に表すベクトルを導出し、
    前記ベクトルの角度に基づいて、前記ベクトルを、ユーザが前記識別された動きを実行している間に生じる前記合成３Ｄシーン内の連続的な動きに変換し、
    前記合成３Ｄシーン内の動きを反映するように前記合成３Ｄシーンを修正するように構成されたコンピュータプロセッサと
    を備えるシステム。
13. 前記コンピュータプロセッサは、ユーザの少なくとも１つのジェスチャまたは姿勢を識別することによってユーザの動きを識別するようにさらに構成されている、請求項１２に記載のシステム。
14. 前記合成３Ｄシーン内の動きは、前記角度が所定の閾値角度より大きいことに基づいて引き起こされる、請求項１２に記載のシステム。
15. 前記コンピュータプロセッサは、前記角度の値と所定の閾値角度との間の差に基づいて前記合成３Ｄシーン内の動きを加速させるようにさらに構成されている、請求項１４に記載のシステム。
16. 前記角度が前記所定の閾値角度と上限角度との間にあるとき、ユーザの前記識別された動きと前記合成３Ｄシーン内の動きとが非線形の関係を示す、請求項１４に記載のシステム。
17. 前記コンピュータプロセッサは、前記合成３Ｄシーン内の動きに関して、前記上限角度を超える角度の値に基づいて、ユーザの動きに対する感度を低減させるようにさらに構成されている、請求項１６に記載のシステム。
18. 前記コンピュータプロセッサは、ユーザの動きによって生じた角度の値の変化を、前記合成３Ｄシーン内の距離に亘る前記合成３Ｄシーン内の動きに変換するようにさらに構成され、前記距離および前記角度の値の変化は非線形の関係を示す、請求項１２に記載のシステム。
19. 前記コンピュータプロセッサは、ユーザの頭部の動きに対して前記少なくとも１つの身体部分の姿勢およびジェスチャのみを得るために、ユーザの頭部の動きに関連する動き成分を除去するようにさらに構成されている、請求項１２に記載のシステム。
20. 前記コンピュータプロセッサは、仮想ユーザインタフェース物体を前記合成３Ｄシーンに重ね合わせて、ユーザが前記仮想ユーザインタフェース物体に対してジェスチャおよび姿勢を適用することを可能にするようにさらに構成されている、請求項１２に記載のシステム。