JP2007506165A - バーチャルリアリティ・グラフィックシステムの機能選択による制御のための三次元空間ユーザインタフェース - Google Patents

Abstract

【課題】
【解決手段】本提案のグラフィックユーザインタフェースは、少なくとも２つの機能を提供する機能選択とのインタラクションによってバーチャルリアリティ（VR）のグラフィックシステムを制御するためのものであるが、ただし、VRグラフィックシステムが仮想空間シーンのビジュアル化のためのプロジェクタを有している、およびVRグラフィックシステムとのインタラクションが少なくとも１つのインタラクティブデバイスで行われ、そのインタラクティブデバイスが、インタラクティブデバイスのそれぞれ実空間ポジションおよび／または方位の捕捉のためのセンサシステムと共同してVRグラフィックシステム内での、および／またはそれに向けての位置データの生成および伝送に用いられるというユーザインタフェースであって、それは主要部として特に、それぞれ上記の機能選択を行う少なくとも２つの部分素子によって機能的および視覚的に形成されたインタラクティブ素子を有しており、その少なくとも２つの部分素子がインタラクティブデバイスの実空間移動により、互に仮想空間で相対的移動が行えるように形成されていて、また、機能選択が少なくとも２つの部分素子の仮想空間における相対的相互移動によって行われるというものである。
【選択図】図２ｂ

Description

本発明は、全般的には、バーチャルリアリティ（VR）適用のためのグラフィックシステムに、個別には、少なくとも２つの機能を提供する機能選択とのインタラクションによるそのようなVRグラフィックシステムの制御のためのグラフィックユーザインタフェースおよびそれぞれの独立請求項のプレアンブルに記載された前記VRグラフィックシステムに関する。

ここで言うVRグラフックシステムは、例えばDE 101 25 075 A1に発しており、全体としていわゆる「シーン」と言われる多数の三次元空間ビューの生成および表示に使用される。その場合そのようなシーンのビジュアル化は殆どが、スクリーンなどに対するそれ自体公知の立体鏡投射法で行われている。様々な応用領域（図１）に直観的な人間／機械間の（ユーザ）インタフェースを形成する、いわゆる侵入式VRシステムが広く普及している。記述のグラフィックシステムは、コンピュータシステムにより利用者またはユーザをビジュアルシミュレーションに強く引き付ける。ユーザのこの侵入は「イマーション」または「イマーシブ環境」と称される。

三次元のデータまたは物体の縮尺表示および同じく三次元のインタラクション性により、これらのデータまたは物体について、例えば二次元モニタおよび対応の二次元グラフィック適用表面などを使用する旧来のビジュアル化およびインタラクション技術によるよりは遥かに優れた判定および体験が可能になる。そのようにして、製品の開発では多くの物理的実体モデルおよびプロトタイプをバーチャルプロトタイプで代用することができる。同様のことは、例えば建築分野の設計業務にも当てはまる。機能プロトタイプに関しても、イマーシブ環境では旧来法によるよりも遥かに現実性のある評価が可能である。

そのようなビジュアルVRシミュレーションの制御は、コンピュータでのサポートのもと然るべきインプット装置（前記機能は純然たるデータインプットの領域を明らかに越えているので、以下では一般化して「インタラクティブデバイス」と言う）により行われる。当装置はVRシミュレーションに一時的に挿入されるユーザインタフェースと相互に作用する。インタラクティブデバイスはキーボードのほかに、VRグラフィックシステム内に設置された位置捕捉センサシステムとケーブルまたは無線連結を介して共同で作用する位置センサを有している。この位置センサは、三次元空間におけるインタラクティブデバイスの実移動、ポジションおよび方位の如何に依存してユーザインタフェースとインタラクションを行うべく、インタラクティブデバイスの三次元空間におけるポジションおよび方位を連続的に測定することができる。

前記グラフィックユーザインタフェースは、例えばDE 101 32 243 A1に開示されている。そこに記述されているケーブル式でないハンディインタラクティブデバイスは、既述の位置センサによって収集されたポジション、状態および／または移動に関するデータ（すなわち、インタラクティブデバイスの三次元位置座標）の形成および伝送に、したがってまた特に前記シーンにおける仮想空間のナビゲーションに用いられている。記述の位置データは、インタラクティブデバイスの並進および回転に関して想定可能な６つの自由度を有していて、インタラクティブデバイスの運動経路または三次元空間経路の測定にコンピュータによるサポートのもとリアルタイムで利用される。

DE 101 32 243 A1に記載されたグラフィックユーザインタフェースも、同様に三次元空間が（立体鏡により）ビジュアル化されている、特にメニューシステム、例えばインタラクティブデバイスの並進運動および／または回転運動により制御することのできるボールメニューを有している。この場合、機能またはメニューポイントの選択は、例えば、ユーザによりなされるインタラクティブデバイスの回転運動によって行われる。

これらのユーザインタフェースの場合、特に比較的操作の複雑な機能選択過程では、上記の例で言えば、機能選択システムまたはメニューシステムの操作または制御のための前記インタラクションをより簡易に、より直観的に構成することが望まれる。同時にまた、できる限り高いグレードの操作安全性および作動安全性が保証されねばならない。

ここで対象にするバーチャルリアリティ（VR）・グラフィックシステムの上記インタラクションによる制御のための本発明に基づくグラフィックユーザインタフェースは、機能的および視覚的に互に作用し合う少なくとも２つの部分素子から成るビジュアルインタラクティブ素子を有している。これらの部分素子はいずれも、それぞれ少なくとも２つの機能を含む機能選択可能性を提供する。少なくとも２つの部分から成るこのインタラクティブ素子は、主として、仮想空間のメニューシステムまたは機能選択システムの形式で実現されている。

個別に見れば、少なくとも２つある部分素子は、インタラクティブデバイスの実空間移動により、仮想空間で互に相対的に移動できるように構成されている。その場合前記の機能選択またはメニュー選択は、少なくとも２つの部分素子間における相互相対移動によって行われる。

好ましい実施態様の１つでは、少なくとも一時的にシーン内に挿入されるビジュアルインタラクティブ素子の第１部分素子が、シーン内の少なくとも一時的に固定されたポジションに表示される。その場合少なくとも第２の部分素子は、インタラクティブデバイスの実空間的になされる移動を通じて−公知の「照門／照星」原理と同様に−第１部分素子に対し機能的にも視覚的にも仮想空間を相対移動させることができ、延いては少なくとも２つの部分素子間におけるこの相対移動によって機能を発動させることができる。

別な実施態様によれば、並進的シフトの場合における少なくとも２つの部分素子間でのこの相対移動は、同様に前記シーン内でビジュアル化された接触または重なりが少なくとも部分的には起きるように行われる。それにより、前記の機能選択またはメニュー選択および延いてはユーザインタフェースの操作または制御全体が極めて直観的なものと、したがってまたユーザにとって好ましいものとなる。

特に有利な実施態様例では、提案のビジュアルインタラクティブ素子は３つの部分素子から構成されている。つまり、ボールメニューの場合で言えば、それらは一体型に形成された内部ボール、少なくとも２つのボール外殻セグメントから形成され、内部ボールの表面上に配置されたボール外殻、さらにはボールおよびボール外殻の外側領域に配置された、少なくとも２つのリングセグメントから成るリングである。この実施態様では、内部ボールはボールメニュー全体の瞬時状態、例えばメニューツリーでの瞬時ポジションにおける状態情報の表示に用いられる。すなわち、前記状態情報は、ボール外殻セグメントで表わされるメニューポイントがメインメニューなのか、または例えばメインメニューに対してヒエラルキー的に従属している下部メニューなのかを表示する。外側のリングによって誘起される機能は、本実施態様の場合特に、内部ボールと少なくとも２つあるリングセグメントの１つとの接触またはオーバラップにより作動する。

そのようなボールメニューの操作では、例えば様々なボール外殻セグメントをその組み合わせ相手となるリングセグメントとオーバラップさせるために、インタラクティブデバイスをユーザの操作誘導下で旋回させながらボール外殻セグメントを内部ボールの周りを適宜回転させることができる。また別な実施態様では、そのような制御をさらに簡易化するために、角度（例えば３０°刻み）で定められる、つまりインタラクティブデバイスの回転角度に依存する噛合わせ機能が設けられているので、その結果ボール外殻セグメントとリングセグメントは常に対向位置になるため、これらのセグメント間で二義的なインタラクションの発生は殆ど排除される。

操作快適性をさらに高めるために、内部ボールとリング間の部分的な重なり／接触においてプレセット可能な量からはそれ以上の相対移動が阻止されるように追加設定することができる。それにより、上記の回転依存式噛合わせ機能に加えて、内部ボールの並進運動時になされる、ボールの想定移動経路に沿っての噛合わせも可能である。

また別な実施態様では、内部ボールのリングに対する上記並進運動をより直観的に、延いてはユーザにとってより好ましい状態に構成するために、リング素子に対する内部ボールの移動は、内部ボールが架空のゴムバンドなどを介して個別のリングセグメントに結合しているかのように行われる。それにより、同様に噛合わせ機能についても、内部ボールの並進がどのような時でも常に誘導によって、あるいはそれどころか強制によって特定リングセグメントに導かれることが、誤って例えば隣のリング素子にあてがわれたりしないことが保証される。

本発明に基づき、回転運動および並進運動によって誘起されるアクションまたは機能は、経験的にプレセット可能な閾値の利用により、ユーザによって実行されるインタラクティブデバイスの実三次元空間での並進または回転運動の量がその時々の閾値を越えた場合に初めて然るべきアクションまたは機能が発動されるように、制御または評価することができる。それにより、例えば誤ってなされたインタラクティブデバイスの実運動に起因するミス操作はより効果的に防止することができる。

さらに、本発明に基づくユーザインタフェースは、それぞれ可動的に構成された（例えば前記内部ボールの）部分素子の動きにおいて、または（例えば前記内部ボールと外側リング間の）少なくとも２つの部分素子の接触／オーバラップにおいて、これら部分素子の少なくとも１つに現われた形態または状態の変化をそのとおりにアニメーション化して視覚表示することもできる。

提案したユーザインタフェースの上記機能経過は、そのほか、インタラクティブデバイスに配置された少なくとも１つの制御素子（プレスキーなど）によってサポートすることもできる。例えば、そのような制御素子の使用により、視覚的インタラクティブ素子のその時々のシーンへの挿入だけでなく、例えば前記接触／オーバラップ機能などのアクティブ化を発動させることもできる。自明のことであるが、そのような制御素子に代えてユーザの言葉および／またはジェスチャー／表情をそれ自体公知の方法で利用することもできる。前記機能は、例えば「メニューシステムを開く」、「オーバラップ機能をアクティブ化する」などの簡単な言語命令によって実現することができる。

特に有利な別な実施態様の１つとして、前記の接触／オーバラップ機能が追加的に論理（ブール）演算機能も持つように構成することができる。すなわち、その状況下では１つの部分素子が本発明に基づくユーザインタフェースの特定の第２部分素子と接触またはオーバラップした際に特定の論理演算が実行される。その場合、その時々の論理演算子によって初めて形成される機能、メニュー選択などが実行される。本発明に基づくユーザインタフェースは、このようにして、それ自体複雑な機能経過に対しても適合させることができる。

したがって、本発明に基づくグラフィックユーザインタフェースは、結果として、例えば複数の機能面またはメニュー面を通り越す複雑なインタラクションの場合も非常に直観的に、つまりインタラクティブデバイスの（６種の自由度から成る並進および回転による）上記移動モードだけで行えるという長所を提供する。上記のオーバラップ／接触機能の利用により、例えば機能選択、メニューシステムにおいて、それぞれ様々な下部機能または下部メニュー間で、特に迅速且つ確実な切換が可能になる。

このように、本発明に基づくユーザインタフェースは、最初に挙げた現状技術に比べて、取り扱いがより簡単で、同時にユーザ側の操作ミスという観点でもより安心できるものである。したがって、この仮想空間ナビゲーションは、シーン内に挿入される様々な機能面／メニュー面によって全体として著しく簡易化される。すなわち、現状技術ではしばしば用いられる、アニメーション表示のインジケータは使用しなくてもよい。

本発明は上記の長所を持ち、ケーブル連結のなされた、またはなされていない、主にユーザの手動操作によるインタラクティブデバイス付きのVRグラフィックシステムに適用することができる。既述のように、その場合ユーザインタラクションに対しては、インタラクティブデバイスに配置されたプレスキーの前述どおりの使用のほか、一般的には、例えば言葉、ジェスチャーなど音声または光学利用のインタラクションによってもサポートすることができる。

そのほか、自明のこととして付け加えるが、提案の本ユーザーインタフェースの場合両部分素子のいずれがいずれに対して相対移動（すなわち、並進または回転）するのか、または好ましい実施態様ではそれぞれいずれが固定型に、いずれが可動型に形成されているのかは問題でない。

また本発明は、メニューシステムが記述のように少なくとも２部から構成されている限り、前記のボールメニューに代えて、グラフィック観点からは全く別様に構成された、記述の長所を持つメニューシステムに適用することもできる。例えば、平面的な三次元空間に構成されたテキストメニューシステムなどへの使用も考えられる。さらに、前記のボール状メニューシステムが楕円体、またはそれどころか多角体の空間形態からも構成できるのは自明のことである。

以下では、本発明に基づく仮想空間ユーザインタフェースについて、本発明の別な特徴および長所も含み持つ、図面に描かれた実施例を基により詳しく説明する。そこでは同一の、または機能上同じ特徴は同じ符号を付けて関連付けしている。

図１に模式的に描かれたVRグラフィックシステムには投射スクリーン１００があり、人（ユーザ）１０５はその前に立ち、プロジェクタ１１０によって生成された前記位置のシーン１１５を立体鏡眼鏡１２０を装着して観察する。この場合では勿論、立体鏡眼鏡１２０の代りに自動式の立体鏡画像スクリーンなどを適用することもできる。そのほか、投射スクリーン１００、プロジェクタ１１０および眼鏡１２０も、これら３機能すべてを含んだ、それ自体公知のデータセットに代えることもできる。

ユーザ１０５は手にインタラクティブデバイス１２５を持ち、特に実空間におけるインタラクティブデバイスの三次元ポジションおよび方位などの絶対位置データを生成し、それを位置捕捉センサシステム１３０〜１４０に伝送する。勿論それに代えて、相対的な、または差分による位置データを使用することもできるが、しかし本件の関係ではその点は重要なことではない。

インタラクティブデバイス１２５は、特に光学測定システム１４５の配置された位置捕捉システム１４５を有している。３種選択可能な旋回角の絶対値も３種空間方向で選択可能なインタラクティブデバイス１２５の並進運動方向の絶対値もこれによって捕捉され、デジタルコンピュータ１５０により、以下に記述しているようにリアルタイムで加工される。これらの位置データは、上記方法の代りに、加速度センサ、ジャイロスコープなどで捕捉することもできるが、これらは通例相対的な、または差分による位置データしか提供しない。ここではこれらのセンサシステムを問題にしているのではないので、詳細な説明は省くことにする。これについては最初に挙げた文献が参考になる。

上記の絶対的な位置データは、インタラクティブデバイス１２５と連結するコンピュータシステムによって作成される。次に、そのデータはデジタルコンピュータ１５０のマイクロプロセッサ１６０に伝送される。そこでは特に、立体鏡による三次元空間シーン１１５の作成のため、専門家なら熟知していると見なし得る所要のグラフィック評価過程が実施される。シーンの三次元空間表示１１５は、特に物体操作のビジュアル化、全シーン内での三次元空間ナビゲーション、加えて機能選択構造および／またはメニュー構造の表示に用いられる。

本実施例では、インタラクティブデバイス１２５はデジタルコンピュータ１５０に配置された受信部１６５と連結していて、無線通信１７０によるデータ交信が行われる。センサ１４５から位置捕捉センサシステム１３０〜１４０へ伝送される位置データは、無線ルート１７５〜１８５を通じて同様に無線で送信される。

図にはユーザ１０５のヘッドポジション（KP）、および投射スクリーン１００またはそこに投射されたシーン１１５へのユーザの視線方向（BR）１９０も描き加えられている。これら両データは、必要であるシーン遠近描写に実質上影響を与える限り、実際に行われる立体鏡投射の計算にとって重要である。それは、影響の如何自体は公知になっているように、遠近描写がこれら両データに左右されるからである。

本実施例ではインタラクティブデバイス１２５にプレスキー１９５が備わっているので、ユーザ１０５はそれにより、インタラクティブデバイス１２５の三次元空間における上記移動可能性に加えて、図３を手掛かりに下段で説明しているように、特定のインタラクションを誘起することができる。必要に応じて、それ以外の様々なインタラクションを可能にするため、当然のことながら、別法として２つまたはそれ以上のプレスキーを配置することも可能である。既述したように、ユーザは１つまたは複数のプレスキーに代えて言葉、ジェスチャーなどによっても然るべきインプットを行うことができる。図１にはユーザ１０５のヘッドポジション（KP）、および投射スクリーン１００またはそこに投射されたシーン１１５へのユーザの視線方向（BR）１９０も描き加えられている。これら両データは、必要であるシーン遠近描写に対して、それ自体公知である実質的な影響を与える限り、実際に行われる立体鏡投射の計算にとって重要である。

示された侵入式VRグラフィックシステムの中心的要素は、位置捕捉センサシステム１３０〜１４０によって求められた（追跡された）、三次元シーンに関するそれぞれのデータ１１５の立体鏡による表示である。その場合のシーン遠近描写は、観察者の立つ位置またはヘッドポジション（KP）および視線方向（BR）に依存する。そのため、ヘッドポジション（KP）が（図示されていない）三次元ポジション測定システムを通じて連続的に測定され、両眼視界体積の幾何学構造がこのポジション値に対応して適合化される。このポジション測定システムは上記の位置捕捉システム１３０〜１４０と同様のセンサシステムを有しているが、これは必要に応じて位置捕捉システムに統合することができる。各眼ごとの分離画像はそれぞれの遠近描写から算出される。その差（不均衡）が立体鏡の深度感覚を生み出す。

特に前記インタラクティブデバイス１２５によるユーザの各アクションはユーザ側からのインタラクションと解される。それには、図２ａ、２ｂおよび３ａ〜３ｃに記載された、インタラクティブデバイス１２５の動きおよびインタラクティブデバイス１２５に配置された１つまたは複数のプレスキー１９５の操作が含まれる。それに加え、例えば言葉によるインプットなどユーザの音声アクションまたはジェスチャーによる特定アクションも含めることができる。

図２ａおよび２ｂは、本発明に基づく仮想空間ユーザインタフェースの２つの実施例を単に模式的に描いたものであるが、それを基にして、本発明に基づくユーザインタフェースの基本的な機能態様についてだけ説明する。

図２ａに示された実施例では、ほぼ正方形の２つの部分素子２５０および２５５が装備されている。自明のとおり、模式的に描かれた非常に簡略なこの図は基本的な技術構想の説明に利用できるだけであって、VRグラフィックシステムのこの適用領域ではこれらの部分素子は、例えば立方体、直方体、球体など、主として立体的に構成される。本実施例では、両部分素子２５０、２５５のそれぞれは、特にユーザ側からのインタラクション用に提供される、ここでは両正方形それぞれの外縁に当たる４つのアクション素子を有している。この図ではこれら外縁の２つ２６０、２６５はそれぞれ二重線によって強調されている。破線矢印２７１および２７２が暗に示しているように、ここに描かれたインタラクションの場合部分素子２５０は、外縁２６０が外縁２６５に相並ぶように旋回２７１および移動２７２させられる。図２ａの下半分にはインタラクション第２局面が描かれている。

両外縁２６０、２６５における両部分素子２５０、２５５の接合が、以下により詳しく説明するアクションまたは機能を発動させる。このアクションまたは機能は、特に、外縁２６０、２６５が一定距離に接近した場合に、または両者がバーチャルに（すなわち、現VRシーン内で）接触して初めて発動される。自明のように、部分素子２５０、２５５の残りの外縁間におけるインタラクションによってまた別なアクションまたは機能を発動させることができる。

図２ｂに描かれた実施例では、一方の部分素子は同じく正方形２７０の形態を取るが、それに対し第２の部分素子は正方形部分素子２７０の初期ポジションに同心でその周りに配置されたリング２７５によって形成されている。リング２７５は本例では４つのセグメント２７５に細分されている。これらセグメント２７５の各々には固有のアクションまたは機能が割り当てられている。

この実施例では、インタラクションは、先ず最初に正方形の部分素子２７０を新たな位置（すなわち、三次元空間で方位付けされた位置）２８０に旋回させることによって行う。その後、部分素子２７０は、ここでは動きの例としてのみ示した両矢印２９０に相応する並進運動によって（丸囲みの）「１」で示されたポジション、または同様に「２」で示されたポジションに移動させる。例「１」では正方形の部分素子２７０、２８０はそれぞれのエッジ部分２９５、２９５’（仮想）において、図示されたリング素子と接触し、それによってアクションまたは機能が発動される。もう一方の「２」の場合では両部分素子２７０、２７５が図に示されたようなオーバラップ２８５の状態に到って初めてアクションまたは機能が発動される。

なお、上記の両部分素子はこれに代るまた別な実施態様として、例えば相互接近する方向に移動させ得ることを注記しておかねばならない。すなわち、ここでは専らこうした両部分素子間の相対移動が問題になる。その上、ユーザは両部分素子を両手で制御することさえ可能である。その場合では各々の手に前記のインタラクティブデバイスをそれぞれ持つことになる。

図３ａは、本発明に基づくユーザインタフェースの好ましい実施例、すなわち既に説明したボールメニューシステムを描いた透視図である。続いて描かれた図３ｂおよび３ｃは、このボールメニューシステムにおける典型的な２つのインタラクション経過を示している。

本実施例では、インタラクティブデバイスにはユーザの主に親指と人差し指で操作することのできる２つのプレスキー１９５（図１）が付いていると想定する。これら両プレスキーは２つのモードで使用することができる。すなわち、短くプッシュ（クリック）するのと比較的長く押す（ホールドする）のとがある。これら２つのアクションにより計４通りのインタラクションが生まれる。つまり、本実施例では次のとおりである：親指によるクリック＝中断、人差し指によるクリック＝アクション、親指によるホールド＝捕捉、人差し指によるホールド＝メニュー。グラフィックメニューシステムの捕捉は親指に振り分けられたプレスキーのホールドにより、メニューの保持は親指キーの押し続けにより行われる。既にシーン内へ挿入されたメニューシステムは、人差し指キーのプッシュおよびホールドによってアクティブ化することができる。機能の終了または中断は親指キーのクリックによって行う。

図３ａから見て取れるように、本ボールメニューシステムは３部構成であり、内部は、既述したように、メニューシステムのメニューヒエラルキーに関する瞬時状態提示のためのステータス表示を行うメニューボール２００から成っている。内部メニューボール２００は４つに分けられたボール外殻２０５に取り囲まれている。このボール外殻を通じて、回転毎に主要メニュー（「メイン」）の各種メニューエントリーを、つまり、ここではエントリー「グループ」、「スナップ」、「ステート」および「ミーンズ」をアクティブ化することができる。外側に位置するメニューリングの対応する４つのセグメント２１０には、別な４つのメニューエントリー「ワーク」、「シングル」、「フライ」および「エキストラ」がある。

したがって、３部構成である当ボールメニューシステム２００〜２１０の主要メニュー（「メイン」）には８種類のメニューエントリーが含まれていて、そのうち４つのエントリーには（ここには図示されていない）インタラクティブデバイス１２５の回転（旋回）を通じて、他の４つにはインタラクティブデバイス１２５の並進（移動）を通じて到達することができる。

ユーザ側の手動交信に基づくインタラクティブデバイス１２５の実空間における旋回により、それに呼応して内部メニューボール２００が回転する。旋回角度が６０°を過ぎると、内部メニューボール２００はその前の方位から９０°移行した方位で止まる。すなわち、噛合い機能の「遊び」はこの場合３０°である。この噛合いは、本例ではインタラクティブデバイス１２５の両プレスキーのうちの一方を解放することによってアクティブ化する。

内部ボール２００は、「ゴムバンド状の」ガイド２１５によってプレセットされた４つの想定並進路の１つに沿って移行（並進）させることにより、リング状に配置された４つのメニューエントリー２１０のほうへ移動させることができる。それぞれのメニューエントリー２１０に対応する機能は、内部ボール２００がそれぞれのリング素子２１０に接触またはオーバラップしたときにアクティブ化する（図２ｃ）。それによって、様々なメニューまたは下部メニュー間で迅速な切換が可能になる。

図３ｂおよび３ｃには、ボール外殻２０５の回転およびボール外殻２０５の並進移動によって機能選択する場合に見られる、それぞれ数字１〜３で示された典型的なインタラクション経過が図解されている。

回転だけの場合では（図３ｂ）、先ず最初にインタラクティブデバイス１２５の２つあるプレスキー１９５の１つを押し、そのまま押し続ける。それによって先ずメニューシステムが現シーンへ挿入される。その後ユーザはインタラクティブデバイス１２５を実旋回させる。本例では３０°であるインタラクティブデバイスの実旋回閾値からは、内部ボール２００も呼応して旋回し始める。プレスキー１９５の解放によって、内部ボール２００またはボール外殻２０５はそれぞれ３０°の調整幅を持つ次の停止点で噛合う。それにより、本例では噛合い機能「スナップ」が選択されたことになる。

移行だけの場合（図３ｃ）でも、プレスキー１９５を押してそのまま保持する。それにより、先ず最初にシーン内にメニューシステムが現われる。インタラクティブデバイス１２５の実並進運動により、内部ボール２００はボール外殻２０５と共々、リングセグメント２１０と接触またはオーバラップするまで移行する。この接触が起きるや否や、新たなメニューまたは下部メニューが現われるか、あるいはプレセットされた機能選択が行われる。図に示されているように、並進運動だけで既にボール外殻に形態変化が起きる。ボールまたはボール外殻とそれぞれ対応のリングセグメント２１０との間の接触またはオーバラップの場合でも、ボール外殻２０５について然るべきアニメーション化を行うことができる。

本実施例では、そのほか、ボール外殻２０５またはボール２００とそれぞれの対応リングセグメント２１０との間でプレセットされた一定の部分的重なりまたは部分的接触の位置からは両部分素子間でそれ以上相対的移動が起こらないように、つまり得られる噛合いが並進移動時にほぼ匹敵するように設定されている。

変法の１つによれば、図２ｂおよび３ｃに示されている、ボール外殻２０５のメニューエントリーとリング２１０（図３ｃ）のメニューエントリー間のオーバラップ時におけるオーバラップ依存のインタラクションをアクティブ化して、その際組み合わされたメニューエントリーが同時に論理的（ブール）結合を行うように設定することができる。したがって、例えば、図３ｂに示された、リングセグメント２１０の１つとの接触時またはオーバラップ時における「スナップ」機能が組み合わせ機能「シングル／スナップ」または「エキストラ／スナップ」機能をアクティブ化するように設定することができる。勿論、そのような“and”結合に代えて“or”とか“not”など別な結合形態の態勢を取ることもできる。

図４は、本発明に基づくユーザインタフェースの制御における典型的な機能経過をフローチャートにして示している。ルーチンのスタート３００後、まずループ回路によりインタラクティブデバイス１２５の特定プレスキーが作動状態になったか否かをチェックする３０５。肯定的結果であれば、図２ａおよび２ｂに示された両部分素子２５０、２５５および２７０、２７５を現VRシーンに挿入する３１０。そうでなければ、上記のループ回路に従ってステップ３０５を新たに試みるが、必要であれば幾らか時間をずらして行う。

ステップ３１５では、インタラクティブデバイスの実動によって誘起された、両部分素子２５０、２５５、２７０、２７５の少なくとも１つの仮想移動がシーン内で行われたか否かをチェックする。両部分素子のいずれにも全く動きが認められなかった場合には、ステップ３１０に立ち戻る。そうでない場合は、動き（回転または並進）を視覚的にも示すため、シーン内のそれぞれの部分素子をそのような動きに沿って特にアニメーション表示する３２０。続いてのステップ３２５では、両部分素子２５０、２５５、２７０、２７５が三次元空間で接触（または接近）が起きるか否かをチェックする。結果が肯定的でなければ、直ぐ上で説明したステップを改めて行うためにステップ３１０に立ち帰る。そうでない場合は、それぞれの接触領域または取り込まれたそれぞれのリングセグメント２７５に依存して特定のアクションまたは機能が発動される３３０。最後にステップ３３５では、ステップ３３０で発動した機能が全操作手続を終了させる機能であるか否かをチェックする。ここではこれに代えて、上記終了の目的を持つ前記プレスキーが改めて作動状態になったか否かをチェックすることもできる。肯定的な結果であれば、ステップ３４０で操作手続を終了する。そうでなければ、所定のステップを改めて実行するため、ステップ３１０に立ち帰る。

最後の図５には、図３ａ〜３ｃに描かれた、本発明に基づくユーザインタフェースの実施例における典型的な機能経過が示されている。上記ルーチンのスタート４００後、先ず最初にループ回路形態で、インタラクティブデバイス１２５の（場合によっては定められた）プレスキー１９５（ここでは上記の親指キー）がユーザの操作により作動したか否かをチェックする４０５。プレスキーの作動が確認されれば、ループ回路を解除して、次のステップ４１０では前記のボールメニューシステム２００〜２１０をシーン内に挿入する。続いて、インタラクティブデバイス１２５がユーザの操作によって回転するに到ったか否かをチェックする４１５。この条件４１５に前記当すれば、次に、ユーザ操作によるインタラクティブデバイス１２５の旋回時に、プレセット可能な回転閾値（ここでは３０°）を越えたか否かをチェックする４２０。この条件４２０にも合致していれば、ボール外殻を機能、視覚双方の観点からその時々の新たな角度方位に噛合わせる４２５。

インタラクティブデバイスに旋回運動が捕捉されなかった場合４１５、または旋回が捕捉されても上記の閾値を越えなかった場合４２０は、ステップ４３０に移行し、そこでさらに、インタラクティブデバイス１２５が（並進）移動したか否かをチェックする。この条件４３０に合致していれば、それに呼応して移行したシーン内のボール２００またはボール外郭２０５を、例えば図２ｃに示された方法でアニメーション化する４３５。その後、内部メニューボール２００と外側リングセグメント２１０の１つとが接触またはオーバラップしたか否かをチェックする４４０。肯定的な結果であれば、ステップ４４５ではオーバラップしたリングセグメント２１０に割り当てられた機能またはメニュー選択がアクティブ化または発動される。

しかし、条件４３０が満たされなければ、またはこの条件４３０が満たされても条件４４０が満たされなければ、ステップ４５０に跳んで、ステップ４４５で発動した機能が、ボールメニューシステムを現シーンから再び退場させる意図を持って操作手続全体を終了させる機能であるか否かをチェックする。ここでは、それに代わり、プレスキーが改めて作動の状態になったか否かなどをチェックすることもできる。最終的にはこの条件４５０に該当すれば、ルーチンを終えるか４５５、またはインタラクションを前記の方法で改めて検出するためにステップ４１５に立ち帰る。

図１は、現状技術による、前記侵入式VR（バーチャルリアルティ）グラフィックシステムの簡略全体図である。 図２ａは、本発明に基づく仮想空間ユーザインタフェースの２つの実施例についての模式図である。 図２ｂは、本発明に基づく仮想空間ユーザインタフェースの２つの実施例についての模式図である。 図３ａは、図１に示されたVRグラフィックシステム（図２ａ）における使用のための、本発明に基づくユーザインタフェース（この場合はボールメニュー）についての好ましい実施例の透視図および図３ａに示されたユーザインタフェースの使用による典型的な２つのインタラクション経過（図３ｂおよび３ｃ）である。 図３ｂは、図１に示されたVRグラフィックシステム（図２ａ）における使用のための、本発明に基づくユーザインタフェース（この場合はボールメニュー）についての好ましい実施例の透視図および図３ａに示されたユーザインタフェースの使用による典型的な２つのインタラクション経過（図３ｂおよび３ｃ）である。 図３ｃは、図１に示されたVRグラフィックシステム（図２ａ）における使用のための、本発明に基づくユーザインタフェース（この場合はボールメニュー）についての好ましい実施例の透視図および図３ａに示されたユーザインタフェースの使用による典型的な２つのインタラクション経過（図３ｂおよび３ｃ）である。 図４は、本発明に基づくユーザインタフェースの制御における、フローチャートで表わした典型的な機能操作経過である。 図５は、図３ａ〜３ｃに示されたユーザインタフェースについて図４より仔細に記された機能操作経過である。

Claims (16)

1. バーチャルリアリティ（VR）グラフィックシステムが仮想空間シーンのビジュアル化のためのプロジェクタを有し、かつVRグラフィックシステムとのインタラクションが少なくとも１つのインタラクティブデバイスで行われ、そのインタラクティブデバイスが、インタラクティブデバイスのそれぞれ実空間ポジションおよび／または方位の捕捉のためのセンサシステムと共働してVRグラフィックシステム内での位置データの供給に用いられるという、少なくとも２つの機能を提供する機能選択とのインタラクションによってVRグラフィックシステムを制御するためのグラフィックユーザインタフェースであって、それぞれ上記の機能選択を行う少なくとも２つの部分素子から機能的および視覚的に形成されているインタラクティブ素子を有していることを特徴とし、その少なくとも２つの部分素子がインタラクティブデバイスの実空間移動により、互に仮想空間で相対的移動が行えるように形成されている、また、上記の機能選択が少なくとも２つの部分素子の仮想空間における相対的相互移動によって行われる前記ユーザインタフェース。
2. 前記部分素子の少なくとも１つが、少なくとも一時的には、実質上固定している仮想シーンのポジションに表示され、その場合前記の機能選択が、少なくとも一時的には固定ポジションに表示される部分素子に対しそれぞれ別の部分素子の仮想空間での相対移動によって行われることを特徴とする、請求項１に記載のユーザインタフェース。
3. 相対する少なくとも２つの部分素子の相対移動において、少なくとも２つの部分素子間で少なくとも部分的な接触またはオーバラップが起きた際に機能選択が発動されることを特徴とする、請求項１または２に記載のユーザインタフェース。
4. メニューシステム、機能選択システムなどの形態を取る、少なくとも２つの構成部からなるインタラクティブ素子が実現されることを特徴とする、請求項１〜３のうちの１項に記載のユーザインタフェース。
5. 前記インタラクティブ素子が、一体型に形成された内部ボール、少なくとも２つのボール外殻セグメントから形成され内部ボールのビジュアル表面上に配置されたボール外殻、さらにはボールおよびボール外殻の外側領域に配置された、少なくとも２つのリングセグメントから成るリングを含む３つのビジュアル部分素子を擁するボールメニューシステムによって形成されていること、さらにその場合、内部ボールがボールメニューシステムの瞬時状態に関する状態情報の表示に用いられることを特徴とする、請求項４に記載のユーザインタフェース。
6. 状態情報機能が、ボール外殻セグメントにおけるメニューツリーに従って瞬時アクティブ化されるメニュー平面を表示することを特徴とする、請求項５に記載のユーザインタフェース。
7. 各種ボール外殻セグメントのアクティブ化を可能にするために、それぞれのボール外殻セグメントがユーザの操作によるインタラクティブデバイスの旋回に対応して内部ボールの周りを回転することができることを特徴とする、請求項５または６に記載のユーザインタフェース。
8. 前記インタラクティブデバイスおよび／または各部分素子の回転角に依存する噛合い機能が装備されていることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
9. 前記インタラクティブデバイスの実回転運動および／または実並進運動に基づき誘導されるインタラクションにおいては、経験的にプレセット可能な閾値を越えて初めて対応のインタラクションが発動されることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
10. 少なくとも２つの部分素子間におけるオーバラップまたは接触においてプレセット可能な量からは、部分素子間のそれ以上の機能的および／または視覚的な相対移動が阻止されることを特徴とする、請求項３〜９のうちの１項に記載のユーザインタフェース。
11. 少なくとも２つの部分素子間において相対移動が誘導下で行われることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
12. シーン内での回転および／または並進および／または接触の際には、部分素子の少なくとも１つの視覚表示がアニメーション化された形式で行われることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
13. 前記インタラクティブデバイスが、ユーザインタフェースにおける上記の機能操作経過を少なくともサポートする少なくとも１つの制御素子を有していることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
14. 前記ユーザインタフェースにおける上記の機能操作経過が、ユーザの言葉によるインプットおよび／またはジェスチャーまたは表情の捕捉によりサポートされていることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
15. 前記の接触またはオーバラップの機能に少なくとも論理演算が含まれていることを特徴とする、先行請求項のうちの１項に記載のユーザインタフェース。
16. 先行請求項のうちの１項に記載されたグラフィックユーザインタフェースを有するバーチャルリアリティ（VR）グラフィックシステム。

Images