JP5936155B2 - ３次元ユーザインタフェース装置及び３次元操作方法 - Google Patents

Description

本発明は、３次元ユーザインタフェース技術に関する。

近年、３ＤＣＧ（３次元コンピュータグラフィックス）や拡張現実（ＡＲ）等のような、コンピュータ上で３次元環境を実現する技術が盛んに実用化されている。ＡＲ技術は、スマートフォン等の携帯機器のカメラやヘッドマウントディスプレイ（ＨＭＤ）を介して得られる現実世界上の対象物に仮想オブジェクトやデータを重畳的に表示させる。このような表示技術により、ユーザは、３次元映像を視認することができる。下記特許文献１には、深度検知カメラを使用してシーン内でのユーザの識別およびトラッキングを行い、その結果に応じて、そのユーザの移動を模擬するアバターアニメーションをそのシーン内に表示させることが提案されている。

しかしながら、上述のような技術で表現される３次元環境を操作するためのユーザインタフェース（ＵＩ）は、２次元入力装置を用いて実現されているのが現状である。例えば、２次元のマウス操作が３次元空間の操作に変換される。よって、現状の３次元環境を操作するＵＩは、直感的に分かり易いものとなっていない場合が多い。

そこで、下記特許文献２には、深度カメラを有するリモートコントローラを用いて、リモートコントローラの位置の変化を検出し、この変化に基づいて、アプリケーションによるアクションを引き起こす入力コマンドをトリガする技術が提案されている。また、下記特許文献３には、アームカバーやグローブ等の付加的装備を必要とせずに、ユーザに、ナチュラルな３次元環境におけるコンピュータインタラクション経験を提供する技術が提案されている。この提案では、ユーザと対向する位置に深度カメラが設置され、その深度カメラで写されたユーザと共にバーチャルオブジェクトが挿入された画像をディスプレイに表示させつつ、そのユーザとバーチャルオブジェクトとの間のインタラクションが検出される。

特表２０１１−５１５７３６号公報 特表２０１１−５１４２３２号公報 特許第４２７１２３６号公報

上述の特許文献３で提案される手法によれば、映像化された現実空間内に配置された仮想オブジェクトをその映像内に存在するユーザの手により移動させることができる。しかしながら、特許文献３では、当該仮想オブジェクトに対する移動以外の操作手法、及び、映像として写し出される３次元空間の操作手法については、何ら提案されていない。

本発明は、上述のような事情に鑑みてなされたものであり、立体的に表示される仮想３次元空間を直感的に分かり易く操作するユーザインタフェース技術を提供することにある。

本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の態様に係る３次元ユーザインタフェース装置は、３次元センサから３次元情報を取得する３次元情報取得部と、この３次元情報取得部により取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出部と、上記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成部と、を備える。仮想データ生成部は、仮想３次元空間とは別に、表示領域内に表示する仮想オブジェクトをさらに生成する。当該３次元ユーザインタフェース装置は、この表示領域内の仮想３次元空間及び仮想オブジェクトを表示部に表示させる表示処理部と、対象者の特定部位の状態情報を取得する状態取得部と、仮想３次元空間に対して所定処理を施す空間処理部と、仮想オブジェクトを基準とした特定部位の位置の変化と、特定部位の状態の変化との組み合わせに基づいて、複数の所定処理の中から、空間処理部により実行される所定処理を特定する操作特定部と、をさらに備える。操作特定部は、位置算出部により算出される３次元位置情報から、仮想オブジェクトを基準とした所定３次元範囲内に対象者の特定部位が存在しているか否かを判定し、該判定結果に応じて、空間処理部に所定処理を実行させるか否かを決定する。操作特定部によって空間処理部に所定処理を実行させると決定された場合に、空間処理部は特定された所定処理を実行する。表示処理部は、仮想３次元空間に対して所定処理が施された後、表示部に表示される仮想３次元空間を、所定処理が施された仮想３次元空間に変更する。

本発明の第２態様に係る３次元操作方法は、少なくとも１つのコンピュータによって実行される。当該３次元操作方法は、３次元センサから３次元情報を取得する３次元情報取得ステップと、この取得された３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出ステップと、上記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成ステップと、を有する。仮想データ生成ステップは、仮想３次元空間とは別に、表示領域内に表示する仮想オブジェクトをさらに生成する。当該３次元操作方法は、表示領域内の仮想３次元空間及び仮想オブジェクトを表示部に表示させる表示処理ステップと、対象者の特定部位の状態情報を取得する状態取得ステップと、仮想３次元空間に対して所定処理を施す空間処理ステップと、仮想オブジェクトを基準とした特定部位の位置の変化と、特定部位の状態の変化との組み合わせに基づいて、複数の所定処理の中から、空間処理ステップにより実行される所定処理を特定する操作特定ステップと、をさらに有する。操作特定ステップは、位置算出ステップにより算出される３次元位置情報から、仮想オブジェクトを基準とした所定３次元範囲内に対象者の特定部位が存在しているか否かを判定し、該判定結果に応じて、空間処理ステップに所定処理を実行させるか否かを決定する。操作特定ステップによって空間処理ステップに所定処理を実行させると決定された場合に、空間処理ステップは特定された所定処理を実行する。表示処理ステップは、仮想３次元空間に対して所定処理が施された後、表示部に表示される仮想３次元空間を、所定処理が施された仮想３次元空間に変更する。

なお、本発明の他の態様としては、上記第１態様に含まれる各構成をコンピュータに実現させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各態様によれば、立体的に表示される仮想３次元空間を直感的に分かり易く操作するユーザインタフェース技術を提供することができる。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施形態、およびそれに付随する以下の図面によってさらに明らかになる。

第１実施形態における３次元ユーザインタフェース装置（３Ｄ−ＵＩ装置）のハードウェア構成例を概念的に示す図である。 第１実施形態における３次元ユーザインタフェース装置（３Ｄ−ＵＩ装置）の利用形態の例を示す図である。 ＨＭＤの外観構成の例を示す図である。 第１実施形態におけるセンサ側装置の処理構成例を概念的に示す図である。 第１実施形態における表示側装置の処理構成例を概念的に示す図である。 ＨＭＤに表示される合成画像の例を示す図である。 第１実施形態における３次元ユーザインタフェース装置（３Ｄ−ＵＩ装置）の動作例を示すシーケンスチャートである。 第２実施形態のＨＭＤに表示される合成画像の例を示す図である。 実施例１における仮想３Ｄ空間の移動操作の例を示す図である。 実施例１における仮想３Ｄ空間の縮小操作の例を示す図である。 実施例１における仮想３Ｄ空間の回転操作の例を示す図である。 変形例における３次元ユーザインタフェース装置（３Ｄ−ＵＩ装置）のハードウェア構成例を概念的に示す図である。 変形例における３次元ユーザインタフェース装置（３Ｄ−ＵＩ装置）の処理構成例を概念的に示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

本実施形態における３次元ユーザインタフェース装置は、３次元センサから３次元情報を取得する３次元情報取得部と、この３次元情報取得部により取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出部と、上記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成部と、上記３次元座標空間又は上記仮想３次元空間データに対して、対象者の特定部位に関する３次元位置情報の変化に対応する所定処理を施す空間処理部と、この空間処理部により所定処理が施されることにより得られる仮想３次元空間データに基づいて、表示領域内の仮想３次元空間を表示部に表示させる表示処理部と、を有する。

本実施形態における３次元操作方法は、少なくとも１つのコンピュータが、３次元センサから３次元情報を取得し、この取得された３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出し、上記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成し、上記３次元座標空間又は上記仮想３次元空間データに対して、対象者の特定部位に関する３次元位置情報の変化に対応する所定処理を施し、その所定処理が施されることにより得られる仮想３次元空間データに基づいて、上記表示領域内の仮想３次元空間を表示部に表示させる、ことを含む。

本実施形態では、３次元情報が３次元センサから取得される。３次元情報は、可視光により得られる対象者の２次元画像と、３次元センサからの距離（深度）の情報とを含む。３次元センサは、可視光カメラと深度センサといった複数の機器により構成されてもよい。

本実施形態では、この３次元情報を用いることで、対象者の特定部位に関する３次元座標空間上の３次元位置情報が算出され、当該３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間データが生成される。ここで、特定部位とは、対象者が表示部に表示される仮想３次元空間を操作するために用いる体の一部である。本実施形態は、この特定部位を制限しない。また、３次元座標空間は、３次元座標で示される３次元空間を示し、いわゆるコンピュータグラフィックで実現される仮想３次元空間の位置認識に利用される。

上記３次元位置情報の算出は、３次元センサにより検出された３次元情報から直接的に３次元位置情報を得る形態のみならず、３次元センサにより検出された３次元情報から間接的に３次元位置情報を得る形態も含む。間接的とは、３次元センサにより検出された３次元情報に対して所定の処理を施すことで得られる情報から当該３次元位置情報が得られることを意味する。よって、当該３次元座標空間は、例えば、３次元センサのカメラ座標系により決められてもよいし、３次元情報から検出される既知の形状を有する画像マーカ等から算出されるマーカ座標系により決められてもよい。

本実施形態では、上述のように、３次元カメラから順次取得される３次元情報を用いて、対象者の特定部位に関する３次元位置情報が順次算出されることにより、対象者の特定部位に関する３次元位置情報の変化、即ち、対象者の特定部位の３次元的な動作（３次元ジェスチャ）が検出される。本実施形態では、この対象者の特定部位に関する３次元位置情報の変化に対応する所定処理が、上述の３次元座標空間又は上述の仮想３次元空間データに対して適用される。そして、その所定処理が施された結果に対応する仮想３次元空間が表示部に表示される。ここで、所定処理とは、例えば、仮想３次元空間を移動、回転、拡大、縮小させる処理である。

従って、本実施形態によれば、対象者（ユーザ）は、自身の特定部位を用いて所定の３次元ジェスチャを行うことで、表示部に表示される仮想３次元空間を好きなように操作することができる。更に、本実施形態では、仮想３次元空間の操作をユーザ自身の特定部位の３次元的動作により行うことができるため、ユーザは、直感的に分かり易く、仮想３次元空間を操作している感覚を得ることができる。

以下、上述の実施形態について更に詳細を説明する。
［第１実施形態］
〔装置構成〕
図１は、第１実施形態における３次元ユーザインタフェース装置（以降、３Ｄ−ＵＩ装置と表記する）１のハードウェア構成例を概念的に示す図である。第１実施形態における３Ｄ−ＵＩ装置１は、大きく、センサ側構成と表示側構成とを持つ。センサ側構成は、３次元センサ（以降、３Ｄセンサと表記する）８及びセンサ側装置１０から形成される。表示側構成は、ヘッドマウントディスプレイ（以降、ＨＭＤと表記する）９及び表示側装置２０から形成される。以降、３次元を３Ｄと適宜省略して表記する。

図２は、第１実施形態における３Ｄ−ＵＩ装置１の利用形態の例を示す図である。図２に示されるように、３Ｄセンサ８は、対象者（ユーザ）の特定部位を検出できる位置に配置される。ＨＭＤ９は、対象者（ユーザ）の頭部に装着され、対象者の視線に対応する視線映像と共に、その視線映像に合成された上述の仮想３Ｄ空間を対象者に視認させる。

３Ｄセンサ８は、対象者の特定部位の検出などのために利用される３Ｄ情報を検出する。３Ｄセンサ８は、例えば、Ｋｉｎｅｃｔ（登録商標）のように、可視光カメラ及び距離画像センサにより実現される。距離画像センサは、深度センサとも呼ばれ、レーザから近赤外光のパターンを対象者に照射し、そのパターンを近赤外光を検知するカメラで撮像して得られる情報から距離画像センサから対象者までの距離（深度）が算出される。なお、３Ｄセンサ８自体の実現手法は制限されず、３Ｄセンサ８は、複数の可視光カメラを用いる３次元スキャナ方式で実現されてもよい。また、図１では、３Ｄセンサ８が１つ要素で図示されるが、３Ｄセンサ８は、対象者の２次元画像を撮像する可視光カメラ及び対象者までの距離を検出するセンサといった複数の機器で実現されてもよい。

図３は、ＨＭＤ９の外観構成の例を示す図である。図３には、ビデオシースルー型と呼ばれるＨＭＤ９の構成が示されている。図３の例では、ＨＭＤ９は、２つの視線カメラ９ａ及び９ｂ、２つのディスプレイ９ｃ及び９ｄを有する。各視線カメラ９ａ及び９ｂは、ユーザの各視線に対応する各視線画像をそれぞれ撮像する。これにより、ＨＭＤ９は撮像部と呼ぶこともできる。各ディスプレイ９ｃ及び９ｄは、ユーザの視野の大部分を覆う形に配置され、各視線画像に仮想３Ｄ空間が合成された合成３Ｄ画像を表示する。

センサ側装置１０及び表示側装置２０は、バスなどで相互に接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、通信装置４、入出力インタフェース（Ｉ／Ｆ）５などをそれぞれ有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体などである。

センサ側装置１０の入出力Ｉ／Ｆ５は、３Ｄセンサ８と接続され、表示側装置２０の入出力Ｉ／Ｆ５は、ＨＭＤ９と接続される。入出力Ｉ／Ｆ５と３Ｄセンサ８との間、及び、入出力Ｉ／Ｆ５とＨＭＤ９との間は無線により通信可能に接続されてもよい。各通信装置４は、無線又は有線にて、他の装置（センサ側装置１０、表示側装置２０など）と通信を行う。本実施形態は、このような通信の形態を制限しない。また、センサ側装置１０及び表示側装置２０の具体的ハードウェア構成についても制限されない。

〔処理構成〕
〈センサ側装置〉
図４は、第１実施形態におけるセンサ側装置１０の処理構成例を概念的に示す図である。第１実施形態におけるセンサ側装置１０は、３Ｄ情報取得部１１、第１オブジェクト検出部１２、第１基準設定部１３、位置算出部１４、状態取得部１５、送信部１６などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

３Ｄ情報取得部１１は、３Ｄセンサ８により検出された３Ｄ情報を逐次取得する。

第１オブジェクト検出部１２は、３Ｄ情報取得部１１により取得された３Ｄ情報から既知の共通実オブジェクトを検出する。共通実オブジェクトとは、現実世界に配置された画像や物であり、ＡＲ（Augmented Reality）マーカ等と呼ばれる。本実施形態は、この共通実オブジェクトから、参照方向によらず、或る基準点及びこの基準点からの相互に直交する３つの方向を一定に得ることができるのであれば、この共通実オブジェクトの具体的形態を制限しない。第１オブジェクト検出部１２は、その共通実オブジェクトが示す形状、サイズ、色などについての情報を予め保持しており、このような既知の情報を用いて、共通実オブジェクトを３Ｄ情報から検出する。

第１基準設定部１３は、第１オブジェクト検出部１２により検出される共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する。例えば、第１基準設定部１３は、共通実オブジェクトから抽出される基準点を原点とし、その基準点からの相互に直交する３方向を各軸とする３Ｄ座標空間を設定する。第１基準設定部１３は、共通実オブジェクトに関する既知の形状及びサイズ（本来の形状及びサイズに相当）と、３Ｄ情報から抽出された共通実オブジェクトが示す形状及びサイズ（３Ｄセンサ８からの見え方に相当）との比較により、３Ｄセンサ８の位置及び向きを算出する。

位置算出部１４は、３Ｄ情報取得部１１により逐次取得される３Ｄ情報を用いて、対象者の特定部位に関する上記３Ｄ座標空間上の３Ｄ位置情報を逐次算出する。第１実施形態では、位置算出部１４は、具体的に次のように当該３Ｄ位置情報を算出する。位置算出部１４は、まず、３Ｄ情報取得部１１により取得される３Ｄ情報から対象者の特定部位の３Ｄ位置情報を抽出する。ここで抽出される３Ｄ位置情報は、３Ｄセンサ８のカメラ座標系に対応する。そこで、位置算出部１４は、第１基準設定部１３により算出される３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、３Ｄセンサ８のカメラ座標系に対応する３Ｄ位置情報を第１基準設定部１３で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する。この変換は、３Ｄセンサ８のカメラ座標系から、上記共通実オブジェクトに基づき設定される３Ｄ座標系への変換を意味する。

ここで、検出すべき対象者の特定部位は複数であってもよい。例えば、複数の特定部位として対象者の両手が利用される形態があり得る。この場合、位置算出部１４は、３Ｄ情報取得部１１により取得される３Ｄ情報から、複数の特定部位の３Ｄ位置情報をそれぞれ抽出し、この各３Ｄ位置情報を３Ｄ座標空間上の各３Ｄ位置情報にそれぞれ変換する。また、特定部位とは、対象者が表示部に表示される仮想３次元空間を操作するために用いる体の一部であるため、或る程度の面積又は体積を有する。よって、位置算出部１４により算出される３Ｄ位置情報は、当該特定部位の中の或る１点の位置情報であってもよいし、複数点の位置情報であってもよい。

状態取得部１５は、対象者の特定部位の状態情報を取得する。この特定部位は、位置算出部１４で検出対象とされる特定部位と同一である。この状態情報は、少なくとも２つの状態の中の一つを示す。具体的には、特定部位が手の場合には、状態情報は、握られた状態及び開かれた状態の少なくとも２つの中の一方を示す。本実施形態は、検出可能な範囲で、この状態情報が示し得る状態の数を制限しない。また、複数の特定部位が利用される場合には、状態取得部１５は、各特定部位に関する状態情報をそれぞれ取得する。

状態取得部１５は、例えば、当該特定部位の識別すべき各状態に対応する画像特徴情報を予めそれぞれ保持しておき、３Ｄ情報取得部１１により取得される３Ｄ情報に含まれる２Ｄ画像から抽出される特徴情報と、その予め保持される各画像特徴情報との比較により、当該特定部位の状態情報を取得する。また、状態取得部１５は、当該特定部位に装着されたひずみセンサ（図示せず）から得られる情報から、当該特定部位の状態情報を取得してもよい。また、状態取得部１５は、対象者の手で操作される入力マウス（図示せず）からの情報から、当該状態情報を取得してもよい。更に、状態取得部１５は、マイクロフォン（図示せず）により得られる音声を認識することで当該状態情報を取得してもよい。

送信部１６は、対象者の特定部位に関する、位置算出部１４により算出された当該３次元座標空間上の３次元位置情報、及び、状態取得部１５により取得された状態情報を表示側装置２０に送る。

〈表示側装置〉
図５は、第１実施形態における表示側装置２０の処理構成例を概念的に示す図である。第１実施形態における表示側装置２０は、視線画像取得部２１、第２オブジェクト検出部２２、第２基準設定部２３、仮想データ生成部２４、操作特定部２５、空間処理部２６、画像合成部２７、表示処理部２８などを有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ５を介してインストールされ、メモリ３に格納されてもよい。

視線画像取得部２１は、ＨＭＤ９から対象者の特定部位が写る視線画像を取得する。この特定部位も、センサ側装置１０で検出対象とされる特定部位と同一である。本実施形態では、視線カメラ９ａ及び９ｂが設けられているため、視線画像取得部２１は、左目及び右目の各々に対応する各視線画像をそれぞれ取得する。なお、各処理部は、左目及び右目に対応する両視線画像に対してそれぞれ同様に処理されるため、以下の説明では、１つの視線画像を対象に説明する。

第２オブジェクト検出部２２は、視線画像取得部２１により取得される視線画像から既知の共通実オブジェクトを検出する。この共通実オブジェクトは、上述のセンサ側装置１０で検出されたオブジェクトと同一である。第２オブジェクト検出部２２の処理は、上述のセンサ側装置１０の第１オブジェクト検出部１２と同様であるため、ここでは詳細説明を省く。なお、視線画像に含まれる共通実オブジェクトは、３Ｄセンサ８で得られる３Ｄ情報に含まれる共通実オブジェクトとは、撮像方向が異なる。

第２基準設定部２３は、第２オブジェクト検出部２２により検出される共通実オブジェクトに基づいて、センサ側装置１０の第１基準設定部１３により設定された３Ｄ座標空間を設定し、かつ、ＨＭＤ９の位置及び向きをそれぞれ算出する。第２基準設定部２３の処理についても、センサ側装置１０の第１基準設定部１３と同様であるため、ここでは詳細説明を省く。第２基準設定部２３により設定される３Ｄ座標空間も、センサ側装置１０の第１基準設定部１３により設定される３Ｄ座標空間と同じ共通実オブジェクトに基づいて設定されるため、結果として、３Ｄ座標空間がセンサ側装置１０と表示側装置２０との間で共有されることになる。

仮想データ生成部２４は、第２基準設定部２３によりセンサ側装置１０と共有される３Ｄ座標空間に配置され、少なくとも一部が表示領域に設定される仮想３Ｄ空間データを生成する。この仮想３Ｄ空間データには、例えば、そのデータで表わされる仮想３Ｄ空間内の所定位置に配置される仮想オブジェクトに関するデータが含まれる。

操作特定部２５は、対象者の特定部位に関する当該３Ｄ座標空間上の３Ｄ位置情報及び状態情報をセンサ側装置１０から受信し、この状態情報と３Ｄ位置情報の変化との組み合わせに基づいて、複数の所定処理の中から空間処理部２６により実行される１つの所定処理を特定する。３Ｄ位置情報の変化は、前回の処理の際に得られた３Ｄ位置情報との関係から算出される。また、複数の特定部位（例えば、両手）が利用される場合には、操作特定部２５は、センサ側装置１０から取得される複数の３Ｄ位置情報から、複数の特定部位間の位置関係を算出し、算出された複数の特定部位間の位置関係の変化及び複数の状態情報に基づいて、複数の所定処理の中から１つの所定処理を特定する。複数の所定処理には、移動処理、回転処理、拡大処理、縮小処理、及び、機能メニューの表示データの付加処理等がある。

より具体的には、操作特定部２５は、次のような所定処理を特定する。例えば、対象者の特定部位が片手の場合、操作特定部２５は、対象者の片手が特定状態（例えば握った状態）を維持している間におけるその片手の直線移動量に対応する距離分、移動させる処理を特定する。また、操作特定部２５は、状態情報と３次元位置情報とが変化しない期間を計測し、この計測された期間が所定期間を超える場合に、機能メニューの表示データを付加する処理を特定する。

対象者の複数特定部位が両手の場合、操作特定部２５は、次のような所定処理を特定する。操作特定部２５は、対象者の両手間の距離の変化量に対応する拡大率で対象者の片手の位置を基準点とした拡大処理を特定する。また、操作特定部２５は、対象者の両手間の距離の変化量に対応する縮小率で対象者の片手の位置を基準点とした縮小処理を特定する。また、操作特定部２５は、対象者の両手間を結ぶ線分の立体角変化量に対応する立体角変化量で対象者の片手の位置を基準点とした回転処理を特定する。

更に、操作特定部２５は、状態情報が特定状態を示すか否かを判定し、この判定結果に応じて、空間処理部２６に所定処理を実行させるか否かを決定する。例えば、対象者の特定部位が片手の場合、操作特定部２５は、状態情報がその片手が開いた状態であることを示す場合に、空間処理部２６に当該所定処理を実行させない、又は、実行中の当該所定処理を空間処理部２６に停止させることを決定する。また、対象者の複数特定部位が両手の場合、操作特定部２５は、状態情報が両手が握られた状態であることを示す場合に、空間処理部２６に所定処理を実行させることを決定し、状態情報がいずれか一方の手が開かれた状態であることを示す場合に、空間処理部２６に所定処理を実行させないことを決定する。

例えば、操作特定部２５は、このような各所定処理を識別するためのＩＤをそれぞれ保持しており、所定処理に対応するＩＤを選択することにより、所定処理の特定を実現する。操作特定部２５は、空間処理部２６にその選択されたＩＤを渡すことで、空間処理部２６にその所定処理を実行させる。

空間処理部２６は、第２基準設定部２３により設定された３Ｄ座標空間又は仮想データ生成部２４により生成された仮想３Ｄ空間データに対して、操作特定部２５により特定された所定処理を適用する。空間処理部２６は、サポートする複数の所定処理を実行可能に実現される。

画像合成部２７は、第２基準設定部２３により算出されるＨＭＤ９の位置及び向き並びに３次元座標空間に基づいて、視線画像取得部２１により取得される視線画像に、空間処理部２６により所定処理が施された仮想３Ｄ空間データが示す当該表示領域内の仮想３次元空間を合成する。なお、画像合成部２７による合成処理には、拡張現実（ＡＲ）等で用いられる周知の手法が利用されればよいため、ここでは説明を省略する。

表示処理部２８は、画像合成部２７により得られる合成画像をＨＭＤ９に表示させる。本実施形態では、対象者の各視線に対応する２つの視線画像が上述のようにそれぞれ処理されるため、表示処理部２８は、各視線画像と合成された各合成画像をそれぞれＨＭＤ９のディスプレイ９ｃ及び９ｄに表示させる。

図６は、ＨＭＤ９に表示される合成画像の例を示す図である。図６の例に示される合成画像は、３Ｄの地形図、航空機及び飛行場などを含む仮想３Ｄ空間と、対象者（ユーザ）の両手を含む視線画像とから形成される。ユーザは、ＨＭＤ９でこの画像を見ながら、自身の両手を動かすことにより、その画像に含まれる仮想３Ｄ空間を自由に操作することができる。

〔動作例〕
以下、第１実施形態における３次元操作方法について図７を用いて説明する。図７は、第１実施形態における３Ｄ−ＵＩ装置１の動作例を示すシーケンスチャートである。

センサ側装置１０は、３Ｄセンサ８から３Ｄ情報を逐次取得する（Ｓ７１）。センサ側装置１０は、所定のフレームレートの当該３Ｄ情報に対して次のように動作する。

センサ側装置１０は、当該３Ｄ情報から共通実オブジェクトを検出する（Ｓ７２）。
続いて、センサ側装置１０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間における３Ｄセンサ８の位置及び向きを算出する（Ｓ７３）。

更に、センサ側装置１０は、当該３Ｄ情報を用いて、対象者の特定部位の３Ｄ位置情報を算出する（Ｓ７４）。更に、センサ側装置１０は、工程（Ｓ７３）で算出された３Ｄセンサ８の位置及び向き並びに３Ｄ座標空間に基づいて、工程（Ｓ７４）で算出された３Ｄ位置情報を工程（Ｓ７３）で設定された３Ｄ座標空間上の３Ｄ位置情報に変換する（Ｓ７５）。

また、センサ側装置１０は、対象者の特定部位に関する状態情報を取得する（Ｓ７６）。

センサ側装置１０は、対象者の特定部位に関し、工程（Ｓ７５）で得られた３Ｄ位置情報、及び、工程（Ｓ７６）で得られた状態情報を表示側装置２０に送る（Ｓ７７）。

図７では、説明の便宜のため、３Ｄ情報の取得（Ｓ７１）と状態情報の取得（Ｓ７６）とがシーケンシャルに実行される例が示されるが、特定部位の状態情報が３Ｄ情報以外から得られる場合には、工程（Ｓ７１）及び（Ｓ７６）は並列に実行される。図７では、工程（Ｓ７２）及び（Ｓ７３）が３Ｄ情報の所定のフレームレートで実行される例が示されるが、工程（Ｓ７２）及び（Ｓ７３）はキャリブレーション時のみ実行されるようにしてもよい。

一方で、表示側装置２０は、３Ｄ情報の取得（Ｓ７１）とは非同期で、ＨＭＤ９から視線画像を逐次取得している（Ｓ８１）。表示側装置２０は、所定のフレームレートの当該視線画像に対して次のように動作する。

表示側装置２０は、当該視線画像から共通実オブジェクトを検出する（Ｓ８２）。
続いて、表示側装置２０は、検出された共通実オブジェクトに基づいて、３Ｄ座標空間を設定し、かつ、この３Ｄ座標空間におけるＨＭＤ９の位置及び向きを算出する（Ｓ８３）。

表示側装置２０は、設定された３Ｄ座標空間に配置される仮想３Ｄ空間データを生成する（Ｓ８４）。

表示側装置２０は、センサ側装置１０から、対象者の特定部位に関する３Ｄ位置情報及び状態情報を受信すると（Ｓ８５）、当該特定部位の３Ｄ位置情報の変化及び状態情報の組み合わせに応じて、対象者のジェスチャに対応する所定処理を特定する（Ｓ８６）。特定部位が複数存在する場合には、表示側装置２０は、複数の特定部位間の位置関係の変化と複数の状態情報との組み合わせに応じて、所定処理を特定する。

表示側装置２０は、工程（Ｓ８４）で生成された仮想３Ｄ空間データに対して、工程（Ｓ８６）で特定された所定処理を適用する（Ｓ８７）。続いて、表示側装置２０は、所定処理が施された仮想３Ｄ空間データと視線画像とを合成し（Ｓ８８）、表示データを生成する。

表示側装置２０は、その合成により得られた画像をＨＭＤ９に表示させる（Ｓ８９）。

図７では、説明の便宜のため、センサ側装置１０から送られる対象者の特定部位に関する情報に対する処理（工程（Ｓ８５）から工程（Ｓ８７））と、仮想３Ｄ空間データの生成処理（工程（Ｓ８２）から工程（Ｓ８４））とがシーケンシャルに実行される例が示される。しかしながら、工程（Ｓ８５）から工程（Ｓ８７）と、工程（Ｓ８２）から工程（Ｓ８４）とは並列に実行される。また、図７では、工程（Ｓ８２）から（Ｓ８４）が視線画像の所定のフレームレートで実行される例が示されるが、工程（Ｓ８２）から（Ｓ８４）はキャリブレーション時のみ実行されるようにしてもよい。

〔第１実施形態の作用及び効果〕
上述したように第１実施形態では、対象者の視線画像が取得され、その視線画像に仮想３Ｄ空間が合成された画像がビデオシースルー方式で対象者の視野内に表示される。これにより、対象者は、あたかも自身の目の前に存在するかのように、仮想３Ｄ空間を視認することができる。更に、第１実施形態では、視線画像には仮想３Ｄ空間を操作するための対象者の特定部位（手など）が写されるため、対象者は、仮想３Ｄ空間を自身の特定部位で操作しているかのように感じることができる。即ち、第１実施形態によれば、対象者に、仮想３Ｄ空間を直感的に視認させることができ、更に、仮想３Ｄ空間の直感的操作感を与えることができる。

第１実施形態では、対象者の視線画像を得るためのＨＭＤ９と、対象者の特定部位の位置を得るための３Ｄセンサ８とが別々に設けられる。これにより、第１実施形態によれば、対象者の特定部位の３Ｄ位置を正確に測定し得る位置に３Ｄセンサ８を配置することができる。これは、測定対象からの距離が或る程度離れていないと、測定対象の位置を正確に測定できない３Ｄセンサ８が存在し得るからである。

また、第１実施形態では、共通実オブジェクトを用いて、別々に設けられたセンサ（３Ｄセンサ８及びＨＭＤ９）により得られる情報から、各センサ間で共通の３Ｄ座標空間が設定される。そして、この共通の３Ｄ座標空間を用いて、対象者の特定部位の位置が判定され、かつ、仮想３Ｄ空間データが生成及び操作される。従って、第１実施形態によれば、対象者に、仮想３Ｄ空間と自身の特定部位の位置との関係を直感的に認識させることができ、結果、対象者に仮想３Ｄ空間の直感的操作感を与えることができる。

また、第１実施形態では、対象者の特定部位に関する位置変化及び状態の組み合わせに応じて、仮想３Ｄ空間データに適用される所定処理が特定され、その所定処理が施された仮想３Ｄ空間が視線画像と合成される。これにより、対象者は、自身の特定部位を用いた３Ｄジェスチャに応じた仮想３Ｄ空間の操作が可能となる。従って、第１実施形態によれば、仮想３Ｄ空間を直感的に分かり易く操作するユーザインタフェースを提供することができる。

［第２実施形態］
上述の第１実施形態では、ＨＭＤ９に表示される合成画像内に含まれる対象者自身の特定部位の動作により、仮想３Ｄ空間が操作されていた。第２実施形態では、対象者の特定部位により直接的に操作される仮想オブジェクトを、実際の操作対象となる仮想３Ｄ空間の代替物として表示させ、対象者の特定部位の、その仮想オブジェクトに対する動作により、仮想３Ｄ空間の操作を可能とする。以下、第２実施形態における３Ｄ−ＵＩ装置１について、第１実施形態と異なる内容を中心説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。

〔処理構成〕
第２実施形態では、表示側装置２０の以下の処理部が第１実施形態と異なる。

仮想データ生成部２４は、表示領域内の仮想３Ｄ空間内に配置される仮想オブジェクトデータを生成する。仮想オブジェクトデータにより表示される仮想オブジェクトは、例えば、球形を有する。

操作特定部２５は、センサ側装置１０の位置算出部１４により算出される３Ｄ位置情報から、仮想オブジェクトを基準とした所定３Ｄ範囲内に対象者の特定部位が存在しているか否かを判定する。操作特定部２５は、対象者の特定部位が当該所定３Ｄ範囲内に存在する場合、空間処理部２６に実行させる所定処理として次のような回転処理を特定する。具体的には、操作特定部２５は、当該所定処理として、対象者の特定部位と仮想オブジェクトの特定点とを結ぶ線分の立体角変化量に対応する立体角変化量で仮想オブジェクトの特定点を基準点とした回転処理を特定する。仮想オブジェクトの特定点には、例えば、仮想オブジェクトの中心点（重心点）が利用される。

操作特定部２５は、対象者の特定部位が当該所定３Ｄ範囲外に存在する場合、空間処理部２６に仮想３Ｄ空間データに対する処理を実行させない。これにより、対象者による仮想３Ｄ空間に対する操作が不可能となる。但し、操作特定部２５は、対象者の特定部位が当該所定３Ｄ範囲外に存在する場合には、上述の第２実施形態の手法での所定処理の特定を行わず、第１実施形態での所定処理の特定を行うようにしてもよい。

操作特定部２５は、当該所定処理として、上記所定３Ｄ範囲内から上記所定３Ｄ範囲外への対象者の特定部位の移動を検出し、移動前後における上記所定３Ｄ範囲内の位置と上記所定３Ｄ範囲外の位置との間の移動距離及び移動方向に応じた回転処理を特定するようにしてもよい。その回転処理は、具体的には、その移動方向に対応する角度方向に、その移動距離に対応した角度分回転する処理となる。これにより、仮想３Ｄ空間に対する操作が不可能となる直前までの操作により、対象者は、仮想３Ｄ空間を惰性的に回転させることができる。このような惰性的回転操作は、設定により有効と無効とが切り替えられてもよい。

図８は、第２実施形態のＨＭＤ９に表示される合成画像の例を示す図である。図８の例に示される合成画像は、第１実施形態の構成に加えて、仮想オブジェクトＶＯが更に含まれる。ユーザは、ＨＭＤ９でこの画像を見ながら、仮想オブジェクトＶＯを基準とする所定３Ｄ範囲内で自身の両手を動かすことにより、その画像に含まれる仮想３Ｄ空間を自由に操作することができる。

〔動作例〕
第２実施形態における３次元操作方法では、図７に示される工程（Ｓ８４）及び工程（Ｓ８６）が第１実施形態と異なる。具体的には、工程（Ｓ８４）において、仮想３Ｄ空間データとして、仮想オブジェクトデータが更に生成され、工程（Ｓ８６）において、仮想オブジェクトを基準とする所定３Ｄ範囲と当該特定部位の位置との関係が判定される。

〔第２実施形態における作用及び効果〕
上述のように第２実施形態では、３Ｄ座標空間上の仮想３Ｄ空間に仮想オブジェクトが表示され、この仮想オブジェクトを基準とする所定３Ｄ範囲内に対象者の特定部位が存在する場合に、仮想３Ｄ空間データへの回転処理が実行され、存在しない場合には、当該回転処理が実行されない。また、対象者の特定部位と仮想オブジェクトの特定点とを結ぶ線分の立体角変化量に対応する立体角変化量で仮想オブジェクトの特定点を基準点とした回転処理が特定され、この回転処理が仮想３Ｄ空間に適用される。

このように、第２実施形態では、仮想３Ｄ空間という全体として視認される形のない無形操作対象を仮想オブジェクトという一定形状を持つ画像で代替し、この仮想的な代替物に対する対象者の特定部位の動作を検出することにより、当該無形操作対象に対する対象者の操作を実現している。これにより、対象者は、仮想オブジェクトを実際に自身の特定部位で操作している感覚を得ることができると共に、その操作に対応して仮想３Ｄ空間が操作されるため、仮想３Ｄ空間へも直感的に操作している感覚を得ることができる。従って、第２実施形態によれば、対象者に、無形操作対象である仮想３Ｄ空間を一層直感的に操作させることができる。

以下に実施例を挙げ、上述の実施形態を更に詳細に説明する。本発明は以下の各実施例から何ら限定を受けない。以下の実施例１は、上述の第１実施形態の具体例に相当し、以下の実施例２は、上述の第２実施形態の具体例に相当する。以下の各実施例では、対象者の特定部位として「片手」又は「両手」が利用される。

図９は、実施例１における仮想３Ｄ空間の移動操作の例を示す図である。図９では、３Ｄ座標空間の各軸がＸ軸、Ｙ軸及びＺ軸として示されており、仮想データ生成部２４により生成される仮想３Ｄ空間データに対応する仮想３Ｄ空間が符号ＶＡで示される。当該仮想３Ｄ空間の大きさに制限はないが、図９では、説明の便宜のため、有限の大きさを持つ仮想３Ｄ空間ＶＡが例示されている。また、仮想３Ｄ空間ＶＡの中のＨＭＤ９に表示される領域が表示領域ＤＡとして示されている。

図９の例では、対象者の片手が握られた状態でその片手がＸ軸の負の方向に移動されている。この片手の動作は、空間を握ってその方向に空間を引っ張るジェスチャであると言える。このジェスチャを認識すると、表示側装置２０は、その片手の直線移動量に対応する距離分、Ｘ軸の負の方向に仮想３Ｄ空間ＶＡを移動させる。これにより、表示領域ＤＡが仮想３Ｄ空間ＶＡ内のＸ軸の正の方向に移動することになるため、ＨＭＤ９には仮想３Ｄ空間ＶＡの今まで表示されていなかった部分が表示されることになる。

対象者は、上述のように、空間を片手で握って、或る方向に引っ張るジェスチャを行うことで、仮想３Ｄ空間を移動させ、自身の視野を移動させることができる。このジェスチャとその仮想３Ｄ空間操作とは、直感的に結び付く。

また、対象者の片手が握られた状態でその片手が一定期間動かされないことを検出すると、表示側装置２０は、仮想３Ｄ空間の表示領域に、他の機能を呼び出すためのメニュー画面を表示させ、そのメニュー画面に対するユーザ操作を可能とする。

表示側装置２０は、対象者の片手が握られた状態でかつ他方の手も握られた状態となることを検出すると、仮想３Ｄ空間に対する拡大、縮小、回転の操作を有効とする。この状態で、表示側装置２０は、いずれか一方の手が開かれた状態となることを検出すると、仮想３Ｄ空間に対する拡大、縮小、回転の操作を無効とする。

図１０は、実施例１における仮想３Ｄ空間の縮小操作の例を示す図である。図１０では、図９と同様に、Ｘ軸、Ｙ軸及びＺ軸、仮想３Ｄ空間ＶＡ、表示領域ＤＡが示されている。図１０の例では、対象者の両手が握られた状態のまま、片手が図面斜め左下方向に移動されている。この手を用いた動作は、空間を両手で握って空間をその両手間で縮めるジェスチャであると言える。このジェスチャを認識すると、表示側装置２０は、両手間の距離の短縮度合いに対応する縮小率で仮想３Ｄ空間ＶＡを縮小させる。このとき、表示側装置２０は、仮想３Ｄ空間に対する拡大、縮小、回転の操作が有効とされた時点で、初めに握られたほうの手を縮小処理の基準点とする。

図１０には示されないが、対象者の両手が握られた状態のまま、両手が離れる方向に一方の手が動かされたことを検出すると、表示側装置２０は、両手間の距離の伸長度合いに対応する拡大率で仮想３Ｄ空間ＶＡを拡大させる。当該動作は、空間を両手で握って空間をその両手で伸ばすジェスチャであると言える。

対象者は、上述のように、空間を両手で握って縮ませる又は伸ばすジェスチャを行うことで、仮想３Ｄ空間を縮小又は拡大させることができる。このジェスチャとその仮想３Ｄ空間操作とについても、直感的に結び付く。

図１１は、実施例１における仮想３Ｄ空間の回転操作の例を示す図である。図１１では、図９や図１０と同様に、Ｘ軸、Ｙ軸及びＺ軸、仮想３Ｄ空間ＶＡ、表示領域ＤＡが示されている。図１１の例では、対象者の両手が握られた状態で、かつ、両手間を結ぶ線分が元から異なる角度方向に片手が移動されている。この手を用いた動作は、空間を両手で握って、空間の一部を留め置きながら、他の一部を或る方向に引っ張るジェスチャであると言える。このジェスチャを認識すると、表示側装置２０は、各操作が有効とされた時点での両手間を結ぶ直線と片手を移動させた後の両手間を結ぶ直線との立体角変化量に対応する立体角変化量で仮想３Ｄ空間ＶＡを回転させる。このとき、表示側装置２０は、各操作が有効とされた時点で、初めに握られたほうの手を回転の軸に設定する。

表示側装置２０は、拡大、縮小、回転の操作を有効にすると、握られた両手間を結ぶベクトル（線分）の変化により、拡大及び縮小か、回転かを決定する。具体的には、表示側装置２０は、両手を握った時点、つまり拡大、縮小、回転の操作を有効にした時点のベクトルを正規化した単位ベクトルと、その後のベクトルの単位ベクトルとを比較して、近似していれば、そのベクトルの大きさの変化に対応した拡大処理又は縮小処理を行う。一方、表示側装置２０は、それぞれの単位ベクトルが近似していなければ、回転処理を行う。

対象者は、上述のように、空間を両手で握って、空間の一部を留め置きながら、他の一部を或る方向に引っ張るジェスチャを行うことで、仮想３Ｄ空間を回転させることができる。このジェスチャとその仮想３Ｄ空間操作とについても、直感的に結び付く。

実施例２では、表示側装置２０は、仮想３Ｄ空間の表示領域に、図８の例に示されるような球形の仮想オブジェクトＶＯを表示させる。表示側装置２０は、その仮想オブジェクトを基準とした所定３Ｄ範囲を設定し、この所定３Ｄ範囲内に対象者の片手が存在している場合に、仮想３Ｄ空間に対する回転操作を有効とする。実施例２では、対象者は、片手で仮想３Ｄ空間を操作することができる。

表示側装置２０は、片手の移動前後で、対象者の片手と仮想オブジェクトの中心点とを結ぶ線分の立体角変化量を求め、それと同じ立体角変化量で、仮想３Ｄ空間を回転させる。このとき、回転の基準点が仮想オブジェクトの中心点に設定される。この回転操作により、仮想オブジェクトは仮想３Ｄ空間と共に回転する。

表示側装置２０は、当該所定３Ｄ範囲外に対象者の特定部位が移動した場合には、仮想３Ｄ空間に対する操作を無効とする。表示側装置２０は、回転操作が有効から無効に変えられるタイミングで、惰性的に仮想３Ｄ空間を回転させるようにしてもよい。この場合、表示側装置２０は、所定３Ｄ範囲内から所定３Ｄ範囲外に対象者の手が移動されたことを検出すると、移動前の所定３Ｄ範囲内の位置と移動後の所定３Ｄ範囲外の位置との間の移動距離及び移動方向に応じた回転を当該仮想３Ｄ空間に適用する。

これにより、対象者は、球形の仮想オブジェクトＶＯを地球儀を回転させる要領で操作することにより、仮想オブジェクトＶＯと共に仮想３Ｄ空間を回転させることができる。このとき、対象者は、仮想オブジェクトＶＯを操作する感覚で、同様に仮想３Ｄ空間を操作することができるため、仮想３Ｄ空間に対する操作を直感的に行うことができる。

［変形例］
上述の第１実施形態及び第２実施形態では、図３に示されるように、ＨＭＤ９が、対象者（ユーザ）の両目に対応して、視線カメラ９ａ及び９ｂ、並びに、ディスプレイ９ｃ及び９ｄを有したが、視線カメラ及びディスプレイを１つずつ持つようにしてもよい。この場合、１つのディスプレイは、対象者の片目の視野を覆うように配置されてもよいし、対象者の両目の視野を覆うように配置されてもよい。この場合、表示側装置２０の仮想データ生成部２４は、仮想３Ｄ空間に含まれる表示物を３ＤＣＧで表示させることができるように、周知の３ＤＣＧ技術を用いて仮想３Ｄ空間データを生成すればよい。

また、上述の第１実施形態及び第２実施形態では、視線画像を得るためにビデオシースルー型のＨＭＤ９が用いられたが、光学シースルー型のＨＭＤ９が用いられてもよい。この場合には、ＨＭＤ９にはハーフミラーのディスプレイ９ｃ及び９ｄが設けられ、このディスプレイ９ｃ及び９ｄに仮想３Ｄ空間が表示されるようにすればよい。但し、この場合、対象者の視線方向で共通実オブジェクトを検出するための画像を得るためのカメラがＨＭＤ９の対象者の視野を遮らない箇所に設けられる。

また、上述の第１実施形態及び第２実施形態では、図１に示されるように、センサ側装置１０と表示側装置２０とが別々に設けられ、対象者の視線画像に仮想３Ｄ空間が合成されたが、センサ側装置１０で得られる３Ｄ情報に含まれる２次元画像に仮想３Ｄ空間が合成された画像が表示されるようにしてもよい。

図１２は、変形例における３Ｄ−ＵＩ装置１のハードウェア構成例を概念的に示す図である。３Ｄ−ＵＩ装置１は、処理装置５０、３Ｄセンサ８、及び、表示装置５１を有する。処理装置５０は、ＣＰＵ２、メモリ３、入出力Ｉ／Ｆ５等を有し、入出力Ｉ／Ｆ５は、３Ｄセンサ８及び表示装置５１に接続される。表示装置５１は、合成画像を表示する。

図１３は、変形例における３Ｄ−ＵＩ装置１の処理構成例を概念的に示す図である。変形例における３Ｄ−ＵＩ装置１は、上述の各実施形態におけるセンサ側装置１０に含まれる３Ｄ情報取得部１１、位置算出部１４及び状態取得部１５を有し、上述の各実施形態における表示側装置２０に含まれる仮想データ生成部２４、操作特定部２５、空間処理部２６、画像合成部２７及び表示処理部２８を有する。これら各処理部については以下の点を除き、上述の各実施形態と同様である。

位置算出部１４は、３Ｄ情報取得部１１により３Ｄセンサ８から得られる３次元情報から直接的に、対象者の特定部位の３次元位置情報を得る。操作特定部２５は、位置算出部１４により算出されるカメラ座標系の３次元位置情報と状態取得部１５により得られる状態情報とに基づいて、所定処理を特定する。画像合成部２７は、３Ｄ情報取得部１１により得られる３次元情報に含まれる２次元画像と、空間処理部２６により所定処理が施された仮想３Ｄ空間データとを合成する。

この変形例では、対象者は、自身の視線方向以外の方向から撮像された自身の映像を見ながら、仮想３Ｄ空間を操作することになる。よって、この変形例では、対象者自身の視線画像を用いる上述の各実施形態に比べて、直感性は低下する可能性があるが、特定部位を用いた３Ｄジェスチャにより仮想３Ｄ空間を操作できるため、操作の分かり易さは十分に実現することができる。

なお、上述の説明で用いたフローチャートでは、複数の工程（処理）が順番に記載されているが、本実施形態で実行される工程の実行順序は、その記載の順番に制限されない。本実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の内容は以下の付記のようにも特定され得る。但し、上述の各実施形態、各変形例及び各実施例が以下の記載に限定されるものではない。

（付記１）
３次元センサから３次元情報を取得する３次元情報取得部と、
前記３次元情報取得部により取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出部と、
前記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成部と、
前記３次元座標空間又は前記仮想３次元空間データに対して、前記対象者の前記特定部位に関する前記３次元位置情報の変化に対応する所定処理を施す空間処理部と、
前記空間処理部により前記所定処理が施されることにより得られる仮想３次元空間データに基づいて、前記表示領域内の仮想３次元空間を表示部に表示させる表示処理部と、
を備える３次元ユーザインタフェース装置。

（付記２）
前記対象者の前記特定部位の状態情報を取得する状態取得部と、
前記状態取得部により取得される状態情報と前記３次元位置情報の変化との組み合わせに基づいて、複数の所定処理の中から、前記空間処理部により実行される前記所定処理を特定する操作特定部と、
を更に備える付記１に記載の３次元ユーザインタフェース装置。

（付記３）
前記位置算出部は、前記対象者の特定部位として前記対象者の片手の３次元位置情報を算出し、
前記状態取得部は、前記対象者の特定部位として前記対象者の前記片手の状態情報を取得し、
前記操作特定部は、前記所定処理として、前記対象者の前記片手が特定状態を維持している間における該片手の直線移動量に対応する距離分、移動させる処理を特定する、
付記２に記載の３次元ユーザインタフェース装置。

（付記４）
前記位置算出部は、前記対象者の複数の特定部位に関する３次元座標空間上の各３次元位置情報をそれぞれ算出し、
前記状態取得部は、前記対象者の前記複数の特定部位に関する各状態情報をそれぞれ取得し、
前記操作特定部は、前記位置算出部により算出される前記複数の特定部位に関する複数の３次元位置情報から前記複数の特定部位間の位置関係を算出し、該算出された位置関係の変化及び前記状態取得部により取得される前記複数の状態情報に基づいて、複数の所定処理の中から前記所定処理を特定する、
付記２又は３に記載の３次元ユーザインタフェース装置。

（付記５）
前記位置算出部は、前記複数の特定部位として前記対象者の両手の３次元位置情報を算出し、
前記状態取得部は、前記複数の特定部位として前記対象者の両手の状態情報を取得し、
前記操作特定部は、前記所定処理として、前記対象者の両手間の距離の変化量に対応する拡大率又は縮小率で前記対象者の片手の位置を基準点とした拡大処理又は縮小処理、若しくは、前記対象者の両手間を結ぶ線分の立体角変化量に対応する立体角変化量で前記対象者の片手の位置を基準点とした回転処理を特定する、
付記４に記載の３次元ユーザインタフェース装置。

（付記６）
前記操作特定部は、前記状態取得部により取得される状態情報が特定状態を示すか否かを判定し、該判定結果に応じて、前記空間処理部に前記所定処理を実行させるか否かを決定する、
付記２から５のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記７）
前記仮想データ生成部は、前記表示領域内の仮想３次元空間内に配置される仮想オブジェクトデータを生成し、
前記操作特定部は、前記位置算出部により算出される３次元位置情報から、前記仮想オブジェクトを基準とした所定３次元範囲内に前記対象者の前記特定部位が存在しているか否かを判定し、該判定結果に応じて、前記空間処理部に前記所定処理を実行させるか否かを決定する、
付記１から６のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記８）
前記操作特定部は、前記所定処理として、前記対象者の前記特定部位と前記仮想オブジェクトの特定点とを結ぶ線分の立体角変化量に対応する立体角変化量で前記仮想オブジェクトの該特定点を基準点とした回転処理を特定する、
付記７に記載の３次元ユーザインタフェース装置。

（付記９）
前記操作特定部は、前記所定処理として、前記所定３次元範囲内から前記所定３次元範囲外への前記対象者の前記特定部位の移動を検出し、該移動前後における前記所定３次元範囲内の位置と前記所定３次元範囲外の位置との間の距離及び方向に応じた回転処理を特定する、
付記７又は８に記載の３次元ユーザインタフェース装置。

（付記１０）
前記操作特定部は、前記状態取得部により取得される状態情報と前記３次元位置情報とが変化しない期間を計測し、該計測された期間が所定期間を超える場合に、前記所定処理として、機能メニューの表示データを付加する処理を特定する、
付記２から９のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記１１）
前記３次元情報から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、
前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を設定し、かつ、前記３次元センサの位置及び向きを算出する第１基準設定部と、
前記３次元センサとは異なる位置及び異なる向きに配置される撮像部から前記対象者の前記特定部位が写る視線画像を取得する視線画像取得部と、
前記視線画像取得部により取得される視線画像から既知の前記共通実オブジェクトを検出する第２オブジェクト検出部と、
前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を共有し、かつ、前記撮像部の位置及び向きを算出する第２基準設定部と、
前記第２基準設定部により算出される前記撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記撮像部により撮像される前記視線画像に前記表示領域内の仮想３次元空間を合成する画像合成部と、
を備え、
前記位置算出部は、前記第１基準設定部により算出される前記３次元センサの位置及び向き並びに前記３次元座標空間に基づいて、前記３次元情報取得部により取得される３次元情報から取得される前記対象者の特定部位に関する３次元位置情報を変換することにより、前記３次元座標空間上の前記３次元位置情報を算出し、
前記表示処理部は、前記画像合成部により得られる画像を前記表示部に表示させる、
付記１から１０のいずれか１つに記載の３次元ユーザインタフェース装置。

（付記１２）
少なくとも１つのコンピュータにより実行される３次元操作方法において、
３次元センサから３次元情報を取得し、
前記取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出し、
前記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成し、
前記３次元座標空間又は前記仮想３次元空間データに対して、前記対象者の前記特定部位に関する前記３次元位置情報の変化に対応する所定処理を施し、
前記所定処理が施されることにより得られる仮想３次元空間データに基づいて、前記表示領域内の仮想３次元空間を表示部に表示させる、
ことを含む３次元操作方法。

（付記１３）
前記対象者の前記特定部位の状態情報を取得し、
前記取得された状態情報と前記３次元位置情報の変化との組み合わせに基づいて、複数の所定処理の中から、前記所定処理を特定する、
ことを更に含む付記１２に記載の３次元操作方法。

（付記１４）
前記３次元位置情報の算出は、前記対象者の特定部位として前記対象者の片手の３次元位置情報を算出し、
前記状態情報の取得は、前記対象者の特定部位として前記対象者の前記片手の状態情報を取得し、
前記所定処理の特定は、前記所定処理として、前記対象者の前記片手が特定状態を維持している間における該片手の直線移動量に対応する距離分、移動させる処理を特定する、
付記１３に記載の３次元操作方法。

（付記１５）
前記３次元位置情報の算出は、前記対象者の複数の特定部位に関する３次元座標空間上の各３次元位置情報をそれぞれ算出し、
前記状態情報の取得は、前記対象者の前記複数の特定部位に関する各状態情報をそれぞれ取得し、
前記所定処理の特定は、前記算出された前記複数の特定部位に関する複数の３次元位置情報から前記複数の特定部位間の位置関係を算出し、該算出された位置関係の変化及び前記状態取得部により取得される前記複数の状態情報に基づいて、複数の所定処理の中から前記所定処理を特定する、
付記１３又は１４に記載の３次元操作方法。

（付記１６）
前記３次元位置情報の算出は、前記複数の特定部位として前記対象者の両手の３次元位置情報を算出し、
前記状態情報の取得は、前記複数の特定部位として前記対象者の両手の状態情報を取得し、
前記所定処理の特定は、前記所定処理として、前記対象者の両手間の距離の変化量に対応する拡大率又は縮小率で前記対象者の片手の位置を基準点とした拡大処理又は縮小処理、若しくは、前記対象者の両手間を結ぶ線分の立体角変化量に対応する立体角変化量で前記対象者の片手の位置を基準点とした回転処理を特定する、
付記１５に記載の３次元操作方法。

（付記１７）
前記取得された状態情報が特定状態を示すか否かを判定し、
前記判定結果に応じて、前記所定処理を施すか否かを決定する、
ことを更に含む付記１３から１６のいずれか１つに記載の３次元操作方法。

（付記１８）
前記表示領域内の仮想３次元空間内に配置される仮想オブジェクトデータを生成し、
前記算出された３次元位置情報から、前記仮想オブジェクトを基準とした所定３次元範囲内に前記対象者の前記特定部位が存在しているか否かを判定し、
前記判定結果に応じて、前記所定処理を施すか否かを決定する、
ことを更に含む付記１３から１７のいずれか１つに記載の３次元操作方法。

（付記１９）
前記所定処理の特定は、前記所定処理として、前記対象者の前記特定部位と前記仮想オブジェクトの特定点とを結ぶ線分の立体角変化量に対応する立体角変化量で前記仮想オブジェクトの該特定点を基準点とした回転処理を特定する、
付記１８に記載の３次元操作方法。

（付記２０）
前記所定処理の特定は、前記所定処理として、前記所定３次元範囲内から前記所定３次元範囲外への前記対象者の前記特定部位の移動を検出し、該移動前後における前記所定３次元範囲内の位置と前記所定３次元範囲外の位置との間の距離及び方向に応じた回転処理を特定する、
付記１８又は１９に記載の３次元操作方法。

（付記２１）
前記所定処理の特定は、前記取得された状態情報と前記３次元位置情報とが変化しない期間を計測し、該計測された期間が所定期間を超える場合に、前記所定処理として、機能メニューの表示データを付加する処理を特定する、
付記１３から２０のいずれか１つに記載の３次元操作方法。

（付記２２）
前記３次元情報から既知の共通実オブジェクトを検出し、
前記検出された共通実オブジェクトに基づいて、前記３次元座標空間を設定し、かつ、前記３次元センサの位置及び向きを算出し、
前記３次元センサとは異なる位置及び異なる向きに配置される撮像部から前記対象者の前記特定部位が写る視線画像を取得し、
前記取得された視線画像から既知の前記共通実オブジェクトを検出し、
前記検出された共通実オブジェクトに基づいて、前記３次元座標空間を共有し、かつ、前記撮像部の位置及び向きを算出し、
前記算出された前記撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記撮像部により撮像される前記視線画像に前記表示領域内の仮想３次元空間を合成し、
前記合成により得られる画像を前記表示部に表示させる、
ことを更に含み、
前記３次元位置情報の算出は、前記算出された３次元センサの位置及び向き並びに前記３次元座標空間に基づいて、前記取得された３次元情報から取得される前記対象者の特定部位に関する３次元位置情報を変換することにより、前記３次元座標空間上の前記３次元位置情報を算出する、
付記１２から２１のいずれか１つに記載の３次元操作方法。

（付記２３）
少なくとも１つのコンピュータに、付記１２から２１のいずれか１つに記載の３次元操作方法を実行させるプログラム。

（付記２４）
付記２２に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。

この出願は、２０１２年７月２７日に出願された日本特許出願特願２０１２−１６７１１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (11)

1. ３次元センサから３次元情報を取得する３次元情報取得部と、
   前記３次元情報取得部により取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出部と、
   前記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成部と、を備え、
   前記仮想データ生成部は、前記仮想３次元空間とは別に、前記表示領域内に表示する仮想オブジェクトをさらに生成し、
   前記表示領域内の前記仮想３次元空間及び前記仮想オブジェクトを表示部に表示させる表示処理部と、
   前記対象者の前記特定部位の状態情報を取得する状態取得部と、
   前記仮想３次元空間に対して所定処理を施す空間処理部と、
   前記仮想オブジェクトを基準とした前記特定部位の位置の変化と、前記特定部位の状態の変化との組み合わせに基づいて、複数の所定処理の中から、前記空間処理部により実行される前記所定処理を特定する操作特定部と、をさらに備え、
   前記操作特定部は、前記位置算出部により算出される３次元位置情報から、前記仮想オブジェクトを基準とした所定３次元範囲内に前記対象者の前記特定部位が存在しているか否かを判定し、該判定結果に応じて、前記空間処理部に前記所定処理を実行させるか否かを決定し、
   前記操作特定部によって前記空間処理部に前記所定処理を実行させると決定された場合に、前記空間処理部は前記特定された所定処理を実行し、
   前記表示処理部は、前記仮想３次元空間に対して前記所定処理が施された後、前記表示部に表示される前記仮想３次元空間を、前記所定処理が施された前記仮想３次元空間に変更する、３次元ユーザインタフェース装置。
2. 前記位置算出部は、前記対象者の特定部位として前記対象者の片手の３次元位置情報を算出し、
   前記状態取得部は、前記対象者の特定部位として前記対象者の前記片手の状態情報を取得し、
   前記操作特定部は、前記所定処理として、前記対象者の前記片手が特定状態を維持している間における該片手の直線移動量に対応する距離分、移動させる処理を特定する、
   請求項１に記載の３次元ユーザインタフェース装置。
3. 前記位置算出部は、前記対象者の複数の特定部位に関する３次元座標空間上の各３次元位置情報をそれぞれ算出し、
   前記状態取得部は、前記対象者の前記複数の特定部位に関する各状態情報をそれぞれ取得し、
   前記操作特定部は、前記位置算出部により算出される前記複数の特定部位に関する複数の３次元位置情報から前記複数の特定部位間の位置関係を算出し、該算出された位置関係の変化及び前記状態取得部により取得される前記複数の状態情報に基づいて、複数の所定処理の中から前記所定処理を特定する、
   請求項１又は２に記載の３次元ユーザインタフェース装置。
4. 前記位置算出部は、前記複数の特定部位として前記対象者の両手の３次元位置情報を算出し、
   前記状態取得部は、前記複数の特定部位として前記対象者の両手の状態情報を取得し、
   前記操作特定部は、前記所定処理として、前記対象者の両手間の距離の変化量に対応する拡大率又は縮小率で前記対象者の片手の位置を基準点とした拡大処理又は縮小処理、若しくは、前記対象者の両手間を結ぶ線分の立体角変化量に対応する立体角変化量で前記対象者の片手の位置を基準点とした回転処理を特定する、
   請求項３に記載の３次元ユーザインタフェース装置。
5. 前記操作特定部は、前記状態取得部により取得される状態情報が特定状態を示すか否かを判定し、該判定結果に応じて、前記空間処理部に前記所定処理を実行させるか否かを決定する、
   請求項１から４のいずれか１項に記載の３次元ユーザインタフェース装置。
6. 前記操作特定部は、前記所定処理として、前記対象者の前記特定部位と前記仮想オブジェクトの特定点とを結ぶ線分の立体角変化量に対応する立体角変化量で前記仮想オブジェクトの該特定点を基準点とした回転処理を特定する、
   請求項１から５いずれか１項に記載の３次元ユーザインタフェース装置。
7. 前記操作特定部は、前記所定処理として、前記所定３次元範囲内から前記所定３次元範囲外への前記対象者の前記特定部位の移動を検出し、該移動前後における前記所定３次元範囲内の位置と前記所定３次元範囲外の位置との間の距離及び方向に応じた回転処理を特定する、
   請求項１から６いずれか１項に記載の３次元ユーザインタフェース装置。
8. 前記操作特定部は、前記状態取得部により取得される状態情報と前記３次元位置情報とが変化しない期間を計測し、該計測された期間が所定期間を超える場合に、前記所定処理として、機能メニューの表示データを付加する処理を特定する、
   請求項１から７のいずれか１項に記載の３次元ユーザインタフェース装置。
9. 前記３次元情報から既知の共通実オブジェクトを検出する第１オブジェクト検出部と、
   前記第１オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を設定し、かつ、前記３次元センサの位置及び向きを算出する第１基準設定部と、
   前記３次元センサとは異なる位置及び異なる向きに配置される撮像部から前記対象者の前記特定部位が写る視線画像を取得する視線画像取得部と、
   前記視線画像取得部により取得される視線画像から既知の前記共通実オブジェクトを検出する第２オブジェクト検出部と、
   前記第２オブジェクト検出部により検出される前記共通実オブジェクトに基づいて、前記３次元座標空間を共有し、かつ、前記撮像部の位置及び向きを算出する第２基準設定部と、
   前記第２基準設定部により算出される前記撮像部の位置及び向き並びに前記３次元座標空間に基づいて、前記撮像部により撮像される前記視線画像に前記表示領域内の仮想３次元空間を合成する画像合成部と、
   を備え、
   前記位置算出部は、前記第１基準設定部により算出される前記３次元センサの位置及び向き並びに前記３次元座標空間に基づいて、前記３次元情報取得部により取得される３次元情報から取得される前記対象者の特定部位に関する３次元位置情報を変換することにより、前記３次元座標空間上の前記３次元位置情報を算出し、
   前記表示処理部は、前記画像合成部により得られる画像を前記表示部に表示させる、
   請求項１から８のいずれか１項に記載の３次元ユーザインタフェース装置。
10. 少なくとも１つのコンピュータにより実行される３次元操作方法であって、
    ３次元センサから３次元情報を取得する３次元情報取得ステップと、
    前記取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出ステップと、
    前記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成ステップと、を有し、
    前記仮想データ生成ステップは、前記仮想３次元空間とは別に、前記表示領域内に表示する仮想オブジェクトをさらに生成し、
    前記表示領域内の前記仮想３次元空間及び前記仮想オブジェクトを表示部に表示させる表示処理ステップと、
    前記対象者の前記特定部位の状態情報を取得する状態取得ステップと、
    前記仮想３次元空間に対して所定処理を施す空間処理ステップと、
    前記仮想オブジェクトを基準とした前記特定部位の位置の変化と、前記特定部位の状態の変化との組み合わせに基づいて、複数の所定処理の中から、前記空間処理ステップにより実行される前記所定処理を特定する操作特定ステップと、
    をさらに有し、
    前記操作特定ステップは、前記位置算出ステップにより算出される３次元位置情報から、前記仮想オブジェクトを基準とした所定３次元範囲内に前記対象者の前記特定部位が存在しているか否かを判定し、該判定結果に応じて、前記空間処理ステップに前記所定処理を実行させるか否かを決定し、
    前記操作特定ステップによって前記空間処理ステップに前記所定処理を実行させると決定された場合に、前記空間処理ステップは前記特定された所定処理を実行し、
    前記表示処理ステップは、前記仮想３次元空間に対して前記所定処理が施された後、前記表示部に表示される前記仮想３次元空間を、前記所定処理が施された前記仮想３次元空間に変更する、３次元操作方法。
11. 少なくとも１つのコンピュータに３次元操作方法を実行させるプログラムであって、
    前記３次元操作方法は、
    ３次元センサから３次元情報を取得する３次元情報取得ステップと、
    前記取得される３次元情報を用いて、対象者の特定部位に関する３次元座標空間上の３次元位置情報を算出する位置算出ステップと、
    前記３次元座標空間に配置され、少なくとも一部が表示領域に設定される仮想３次元空間を示す仮想３次元空間データを生成する仮想データ生成ステップと、を有し、
    前記仮想データ生成ステップは、前記仮想３次元空間とは別に、前記表示領域内に表示する仮想オブジェクトをさらに生成し、
    前記表示領域内の前記仮想３次元空間及び前記仮想オブジェクトを表示部に表示させる表示処理ステップと、
    前記対象者の前記特定部位の状態情報を取得する状態取得ステップと、
    前記仮想３次元空間に対して所定処理を施す空間処理ステップと、
    前記仮想オブジェクトを基準とした前記特定部位の位置の変化と、前記特定部位の状態の変化との組み合わせに基づいて、複数の所定処理の中から、前記空間処理ステップにより実行される前記所定処理を特定する操作特定ステップと、をさらに有し、
    前記操作特定ステップは、前記位置算出ステップにより算出される３次元位置情報から、前記仮想オブジェクトを基準とした所定３次元範囲内に前記対象者の前記特定部位が存在しているか否かを判定し、該判定結果に応じて、前記空間処理ステップに前記所定処理を実行させるか否かを決定し、
    前記操作特定ステップによって前記空間処理ステップに前記所定処理を実行させると決定された場合に、前記空間処理ステップは前記特定された所定処理を実行し、
    前記表示処理ステップは、前記仮想３次元空間に対して前記所定処理が施された後、前記表示部に表示される前記仮想３次元空間を、前記所定処理が施された前記仮想３次元空間に変更する、プログラム。

Images