JP2023160579A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】仮想オブジェクトに対する誤操作を防止する技術を提供すること。【解決手段】一態様による情報処理装置は、ユーザが操作可能な仮想オブジェクトが少なくとも配置された拡張現実空間又は複合現実空間を表示する情報処理装置であって、前記ユーザに関する情報を用いて、前記仮想オブジェクト上の操作位置を特定するように構成されている特定部と、前記ユーザに関する情報の位置を表す基準点と、前記操作位置とを用いて、前記ユーザが前記仮想オブジェクトを操作する際の操作方向を表す角度を算出するように構成されている算出部と、前記角度を用いて、前記仮想オブジェクトに対して操作が行われたか否かを判定するための操作判定領域を変更するように構成されている変更部と、を有する。【選択図】図７

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）と呼ばれる技術が従来から知られている。これらの技術では、現実空間内に仮想的なオブジェクト（以下、仮想オブジェクトともいう。）を重ねて表示したり、そのオブジェクトに対してユーザが操作を行ったりすることができる。仮想オブジェクトに対する操作に関連する技術として、例えば、特許文献１～３等が知られている。

特開２０１０－１５５５３号公報 特開２０１４－５６４６２号公報 特開２０２１－１５６３７号公報

しかしながら、従来技術では、操作対象の仮想オブジェクトに対するユーザの向きによっては、その仮想オブジェクトに隣接する他の仮想オブジェクトを誤って操作してしまうことがあった。

本開示は、上記の点に鑑みてなされたもので、仮想オブジェクトに対する誤操作を防止する技術を提供する。

本開示の一態様による情報処理装置は、ユーザが操作可能な仮想オブジェクトが少なくとも配置された拡張現実空間又は複合現実空間を表示する情報処理装置であって、前記ユーザに関する情報を用いて、前記仮想オブジェクト上の操作位置を特定するように構成されている特定部と、前記ユーザに関する情報の位置を表す基準点と、前記操作位置とを用いて、前記ユーザが前記仮想オブジェクトを操作する際の操作方向を表す角度を算出するように構成されている算出部と、前記角度を用いて、前記仮想オブジェクトに対して操作が行われたか否かを判定するための操作判定領域を変更するように構成されている変更部と、を有する。

仮想オブジェクトに対する誤操作を防止する技術が提供される。

複合現実空間内又は拡張現実空間内に配置された操作画像の一例を示す図である。 操作判定の一例を示す図である。 従来技術の課題を説明するための図である。 本実施形態に係るデバイスのハードウェア構成の一例を示す図である。 本実施形態に係るデバイスの機能構成の一例を示す図である。 本実施形態に係る操作位置監視処理の一例を示すフローチャートである。 本実施形態に係る操作判定領域変更処理の一例を示すフローチャートである。 ｙｚ平面における入射角算出の一例を示す図（その１）である。 ｙｚ平面における入射角算出の一例を示す図（その２）である。 ｘｚ平面における入射角算出の一例を示す図（その１）である。 ｘｚ平面における入射角算出の一例を示す図（その２）である。 操作判定領域の変更の一例を示す図（その１）である。 操作判定領域の変更の一例を示す図（その２）である。 本実施形態に係る操作実行処理の一例を示すフローチャートである。 ｙｚ平面における入射角算出の変形例を示す図（その１）である。 ｙｚ平面における入射角算出の変形例を示す図（その２）である。 ｘｚ平面における入射角算出の変形例を示す図（その１）である。 ｘｚ平面における入射角算出の変形例を示す図（その２）である。

以下、本発明の一実施形態について説明する。

＜仮想オブジェクトに対する操作＞
仮想オブジェクトとは、拡張現実空間（以下、ＡＲ空間ともいう。）又は複合現実空間（以下、ＭＲ空間ともいう。）内に配置される２次元又は３次元ＣＧ（Computer Graphics）等の画像のことである。仮想オブジェクトにはユーザが操作可能なものとユーザが操作可能でないものとが存在する。以下では、主に、ユーザが操作可能な仮想オブジェクトを想定し、「操作画像」と呼ぶことにする。また、ユーザが操作対象としている操作画像を「操作対象画像」、それ以外の操作対象画像を「非操作対象画像」と呼ぶことにする。

以下では、一例として、主に、図１に示す操作画像１０００を想定する。図１に示す操作画像１０００は、３次元のｘｙｚ座標系が設定されたＡＲ空間又はＭＲ空間内の或るｘｙ平面上に配置（つまり、或るｚ＝ｚ_０が表すｘｙ平面（ｘ，ｙ，ｚ_０）上に配置）されており、操作画像１００１～１００９で構成されている。例えば、操作画像１００１～１００６は、ユーザの操作によってそれぞれ設備Ａ～設備Ｆの状態等を表示させるための画像である。また、例えば、操作画像１００７及び１００９は、ユーザの操作によってそれぞれ前の画面を表す画像及び次の画面を表す画像を表示させるための画像である。例えば、操作画像１００８は、ユーザの操作によって設定画面を表す画像を表示させるための画像である。

ここで、一般に、各操作画像１００１～１００６の各々には、その操作画像に対する操作を判定するための操作判定領域が当該操作画像上に設定される。例えば、図２に示すように、操作画像１００３上には操作判定領域１１０３、操作画像１００６には操作判定領域１１０６、操作画像１００９には操作判定領域１１０９がそれぞれ設定される。なお、図２は、或るｙｚ平面上で操作画像１０００を構成する操作画像１００３、１００６及び１００９と、それらの操作画像１００３、１００６及び１００９上にそれぞれ設定された操作判定領域１１０３、１１０６及び１１０９とを表している。

或るユーザＵが操作画像１００６を操作したい場合、ユーザＵは、例えば、指等で操作画像１００６を押下するジェスチャを行う。このとき、ユーザＵの指等が、操作判定領域１１０９の或る閾値Ｄの位置まで移動した場合、操作画像１００６が操作されたと判定される。なお、図２に示す例では、操作画像の垂直方向（ｚ軸方向）に対して閾値Ｄが設定されているが、これは一例であって、閾値Ｄが設定される方向に垂直方向に限定されるものではなく、閾値Ｄは様々な方向に対して設定され得る。例えば、操作画像と水平な任意のｘｙ平面内の任意の方向に対して閾値Ｄが設定されてもよいし、ｚ軸方向とｘｙ平面内の任意の方向の両方に対して閾値Ｄが設定されてもよい。

このように、一般に、多くのＡＲ技術又はＭＲ技術では、操作画像上に操作判定領域を設定し、その操作判定領域を指等が或る閾値の位置まで移動したか否かにより、当該操作画像が操作されたか否かを判定している。

しかしながら、従来技術では、操作対象画像に隣接する非操作対象画像を誤って操作してしまうことがある。

例えば、図３に示すように、操作画像１０００がユーザＵの前方の斜め上方に存在する場合、当該ユーザＵは、その斜め下方から操作画像１００６を指当で押下するジェスチャを行うことになる。なお、Ｐはポインタ位置であり、操作画像１００６中でユーザＵが押下しようとしている位置を表している。

このような場合、ユーザＵの指等が、操作画像１００６の下側に配置された操作画像１００９の操作判定領域１１０９中も移動することになり、その結果、ユーザＵの指等が、当該操作判定領域１１０９の閾値Ｄの位置まで移動してしまい、操作画像１００９が操作されたと判定されてしまうことがある。

このように、従来技術では、操作対象画像に対するユーザの向きによっては、その操作対象画像に隣接する非操作対象画像を誤って操作してしまうことがある。これは、特に、ユーザが狭い場所で操作対象画像を操作しようとしたり、しゃがんだ姿勢で操作対象画像を操作しようとしたりする場合に発生し易い。また、複数の操作画像が密に配置されているほど発生し易い。このため、例えば、機器や設備、プラント等の保守点検作業や修理作業等といった多くの操作を必要する作業をＡＲ／ＭＲデバイスを用いて行う場合には、非操作対象画像を誤って操作してしまう事態が発生し易いと考えられる。

そこで、以下では、ＡＲ空間又はＭＲ空間内の操作画像に設定された操作判定領域の向きを変更することで、非操作対象画像に対する誤操作を防止することが可能なデバイス１０について説明する。ここで、デバイス１０としては、ＡＲ技術又はＭＲ技術により現実空間内に操作画像を配置可能なものであれば任意の情報処理装置を採用することができるが、以下では、主に、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を想定する。ただし、デバイス１０はヘッドマウントディスプレイに限られるものではなく、例えば、スマートフォン、タブレット端末、ウェアラブルデバイス等であってもよい。また、デバイス１０は、例えば、ＰＣ（パーソナルコンピュータ）等の情報処理装置と通信可能に接続されており、以下で説明するデバイス１０の構成要素の一部をＰＣ等の情報処理装置が備えていてもよいし、デバイス１０が実行する処理の一部をＰＣ等の情報処理装置が実行してもよい。

なお、図２及び図３に示す操作判定領域の形状は一例である。図２及び図３に示す操作判定領域の形状は立方体であることを想定しているが、これに限られるものではなく、例えば、多面体であってもよいし、一部又は全部の面に曲面を持つ立方体であってもよいし、仮想オブジェクトの形状に応じた立体領域（例えば、仮想オブジェクトを囲むような立体領域等）であってもよい。また、例えば、操作判定領域は立体（３次元領域）に限られず、平面や曲面等といった２次元領域であってもよい。操作判定領域がどのような形状であっても、操作対象の仮想オブジェクトとユーザの向き、複数の仮想オブジェクトの配置密度によっては、操作対象の仮想オブジェクトに隣接する他の仮想オブジェクトへの誤操作が発生し得る。

更に、仮想オブジェクトが操作されたか否かの判定に関しても、その仮想オブジェクトに設定された操作判定領域を指等が閾値の位置まで移動したか否かにより行う場合に限られない。例えば、操作判定領域を指等が触れたか否かにより判定してもよいし、操作判定領域を指等が通過したか否かにより判定してもよい。また、指を用いることも一例であって、これに限られず、例えば、指の代わりに、ペン型の入力デバイスが用いられもよいし、それ以外の何等かの入力デバイスが用いられてもよい。

以下では、簡単のため、主に、操作判定領域の形状は操作画像上に設定された立方体形状の領域であり、ユーザは指により操作画像に対して操作を行うものとする。

＜デバイス１０のハードウェア構成例＞
本実施形態に係るデバイス１０のハードウェア構成例を図４に示す。図４に示すように、本実施形態に係るデバイス１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、センサ１５と、メモリ装置１６と、プロセッサ１７とを有する。また、これら各ハードウェアは、バス１８を介して通信可能に接続される。

入力装置１１は、例えば、各種物理ボタン等である。なお、デバイス１０がスマートフォンやタブレット端末等である場合には、入力装置１１には、タッチパネル等が含まれていてもよい。

表示装置１２は、例えば、ディスプレイ、表示パネル等である。ＡＲ空間又はＭＲ空間とその空間内に配置された仮想オブジェクトは表示装置１２上に表示される。

外部Ｉ／Ｆ１３は、記録媒体１３ａ等の外部装置とのインタフェースである。記録媒体１３ａとしては、例えば、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

通信Ｉ／Ｆ１４は、デバイス１０を通信ネットワークに接続するためのインタフェースである。センサ１５は、例えば、深度センサ等を含む各種センサである。なお、深度センサ以外にも、センサ１５には、例えば、加速度センサ、ジャイロセンサ、可視光カメラ、赤外線カメラ等が含まれていてもよい。

メモリ装置１６は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の各種記憶装置である。プロセッサ１７は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の各種演算装置である。

なお、図４に示すハードウェア構成は一例であって、デバイス１０は、他のハードウェア構成を有していてもよい。例えば、デバイス１０は、複数のメモリ装置１６や複数のプロセッサ１７を有していてもよいし、図示したハードウェア以外の種々のハードウェアを有していてもよい。

＜デバイス１０の機能構成例＞
本実施形態に係るデバイス１０の機能構成例を図５に示す。図５に示すように、本実施形態に係るデバイス１０は、操作位置監視処理部１０１と、操作判定領域変更処理部１０２と、操作実行処理部１０３とを有する。これら各部は、例えば、デバイス１０にインストールされた１以上のプログラムが、プロセッサ１７に実行させる処理により実現される。また、本実施形態に係るデバイス１０は、記憶部１０４を有する。記憶部１０４は、例えば、メモリ装置１６等により実現される。

操作位置監視処理部１０１は、ユーザが操作しようとしている位置を示す操作位置（例えば、図３に示すポインタ位置Ｐ等）を監視する操作位置監視処理を実行する。以下では、一例として、操作位置はポインタ位置であり、またポインタ位置はユーザが特定の指（例えば、右手の人差し指）で指し示した方向を表すベクトルと何等かのオブジェクト（仮想オブジェクトに限られず、現実空間に存在する実在のオブジェクトも含む。）との交点を表す位置である。ここで、操作位置監視処理部１０１には、操作者情報取得部１１１と、操作位置特定部１１２と、操作位置判定部１１３とが含まれる。

操作者情報取得部１１１は、操作位置を特定するための操作者情報を記憶部１０４から取得する。以下では、操作者情報はユーザの手に関するメッシュデータを表すハンドメッシュデータであるものとする。ハンドメッシュデータとは、ユーザの手をカメラや深度センサ等により撮影又は測定した情報から既知の画像認識処理（例えば、ディープラーニング等を用いた物体認識処理）等により作成されるデータである。ハンドメッシュデータでは、ＡＲ空間又はＭＲ空間内におけるユーザの手の特徴点（例えば、指の関節や先端等）の座標を容易に算出することができる。なお、ハンドメッシュデータを作成する処理とその特徴点の座標を算出する処理はいずれも既知の処理であるため、以下では、ハンドメッシュデータは作成済であり、また特徴点の座標はいずれも既知であるものとする。

操作位置特定部１１２は、操作者情報取得部１１１によって取得されたハンドメッシュデータからポインタ位置を特定する。操作位置特定部１１２は、例えば、ハンドメッシュデータからユーザの右手の人差し指で指し示した方向を表す３次元ベクトルを算出し、その３次元ベクトルと何等かのオブジェクトとの交点をポインタ位置と特定すればよい。

操作位置判定部１１３は、操作位置特定部１１２によって特定されたポインタ位置が操作画像上に存在するか否かを判定する。

操作判定領域変更処理部１０２は、操作位置監視処理部１０１の操作位置判定部１１３によってポインタ位置が操作画像上に存在する判定された場合、当該操作画像に対するユーザの向きに応じて操作判定領域を変更する操作判定領域変更処理を実行する。ここで、操作判定領域変更処理部１０２には、距離算出部１２１と、角度算出部１２２と、操作判定領域変更部１２３とが含まれる。

距離算出部１２１は、所定の基準点が含まれるｙｚ平面において、当該基準点から当該操作画像に対して垂直に下ろした垂線の長さを表す距離ａと、当該垂線と当該操作画像との交点からポインタ位置を当該ｙｚ平面に射影した点までの距離ｂとを算出する。基準点は、操作画像を操作するユーザの位置を表す点のことである。例えば、指等によりポインタ位置を指し示す場合には、その指等の先端（例えば、右手の人差し指の先端等）を基準点とすればよい。

また、距離算出部１２１は、当該基準点が含まれるｘｚ平面において、当該基準点から当該操作画像に対して垂直に下ろした垂線の長さを表す距離ａ'と、当該垂線と当該操作画像との交点からポインタ位置を当該ｘｚ平面に射影した点までの距離ｂ'とを算出する。

角度算出部１２２は、距離算出部１２１によって算出された各距離を用いて、当該操作画像に対するユーザのｙｚ平面内の向きとｘｚ平面内の向きとをそれぞれ表す角度θ及びγ（以下、入射角θ及びγともいう。）を算出する。入射角θはｙｚ平面内におけるユーザの操作方向を表しており、同様に入射角γはｘｚ平面内におけるユーザの操作方向を表している。

操作判定領域変更部１２３は、角度算出部１２２によって算出された入射角θ及びγを用いて、操作判定領域の向きを変更する。すなわち、操作判定領域変更部１２３は、ｙｚ平面内で操作判定領域の向きを－θだけ変更すると共に、ｘｚ平面内で操作判定領域の向きを－γだけ変更する。これにより、当該操作判定領域がユーザの正面方向を向くことになるため、操作画像に対する誤操作が防止される。

操作実行処理部１０３は、操作画像に対する操作が行われたか否かを判定すると共にその判定結果に応じて操作を行う操作実行処理を実行する。ここで、操作実行処理部１０３には、閾値判定部１３１と、操作実行部１３２とが含まれる。

閾値判定部１３１は、ユーザの指が操作判定領域の閾値Ｄの位置まで移動したか否かを判定する。なお、これは、ユーザが、操作判定領域を閾値Ｄの距離分、指で押したことを意味する。

操作実行部１３２は、閾値判定部１３１によってユーザの指が操作判定領域の閾値Ｄの位置まで移動した場合、その操作判定領域が設定されている操作画像に対応する操作処理を実行する。

記憶部１０４は、各種情報（例えば、ハンドメッシュデータ、操作画像、閾値Ｄ等）を記憶する。なお、ＡＲ空間又はＭＲ空間内に配置された操作画像の座標は既知の技術により算出できるため、以下では、各操作画像の座標はいずれも既知であるものとする。

＜操作位置監視処理＞
以下、本実施形態に係る操作位置監視処理について、図６を参照しながら説明する。なお、図６に示す操作位置監視処理は、所定の時間間隔（例えば、数ミリ秒～数十ミリ等といった時間間隔）毎に繰り返し実行される。

操作位置監視処理部１０１の操作者情報取得部１１１は、ハンドメッシュデータを記憶部１０４から取得する（ステップＳ１０１）。

次に、操作位置監視処理部１０１の操作位置特定部１１２は、上記のステップＳ１０１で取得されたハンドメッシュデータからポインタ位置を特定する（ステップＳ１０２）。

次に、操作位置監視処理部１０１の操作位置判定部１１３は、上記のステップＳ１０３で特定されたポインタ位置が操作画像上に存在するか否かを判定する（ステップＳ１０３）。

上記のステップＳ１０３でポインタ位置が操作画像上に存在すると判定されなかった場合、操作位置監視処理部１０１は、操作位置監視処理を終了する。一方で、上記のステップＳ１０３でポインタ位置が操作画像上に存在すると判定された場合、操作判定領域変更処理部１０２は、操作判定領域変更処理を実行する（ステップＳ１０４）。

＜操作判定領域変更処理＞
以下、本実施形態に係る操作判定領域変更処理について、図７を参照しながら説明する。

操作判定領域変更処理部１０２の距離算出部１２１は、距離ａ、距離ｂ、距離ａ'及び距離ｂ'を算出する（ステップＳ２０１）。

次に、操作判定領域変更処理部１０２の角度算出部１２２は、上記のステップＳ２０１で算出された距離ａ、距離ｂ、距離ａ'及び距離ｂ'を用いて、当該操作画像に対するユーザのｙｚ平面内の向きを表す入射角θとｘｚ平面内の向きを表す入射角γとを算出する（ステップＳ２０２）。

ここで、一例として、図８に示すように、ユーザＵの前方の斜め上方に操作画像１０００が存在し、この操作画像１０００を構成する操作画像１００１～１００９のうち、操作画像１００６を操作したい場合を考える。

このとき、基準点Ｑが含まれるｙｚ平面において、基準点Ｑから操作画像１０００に対して下ろした垂線と当該操作画像１０００との交点をＲ、ポインタ位置Ｐを当該ｙｚ平面に射影した点をＰ_１とすれば、図８に示すように、距離ａはＱとＲを端点とする線分の長さ、距離ｂはＲとＰ_１を端点とする線分の長さとなる。したがって、入射角θは、θ＝ｔａｎ^－１（ｂ／ａ）と算出される。この様子を当該ｙｚ平面上で表すと図９のようになる。なお、Ｐ、Ｐ_１及びＲの座標は、基準点Ｑの座標と各操作画像の座標から算出することが可能である。

同様に、基準点Ｑが含まれるｘｚ平面において、基準点Ｑから操作画像１０００に対して下ろした垂線と当該操作画像１０００との交点をＲ'、ポインタ位置Ｐを当該ｘｚ平面に射影した点をＰ_２とすれば、図１０に示すように、距離ａ'はＱとＲ'を端点とする線分の長さ、距離ｂ'はＲ'とＰ_２を端点とする線分の長さとなる。したがって、入射角γは、γ＝ｔａｎ^－１（ｂ'／ａ'）と算出される。この様子を当該ｘｚ平面上で表すと図１１のようになる。なお、Ｐ、Ｐ_２及びＲ'は、基準点Ｑの座標と各操作画像の座標から算出することが可能である。

図７の説明に戻る。ステップＳ２０２に続いて、操作判定領域変更処理部１０２の操作判定領域変更部１２３は、上記のステップＳ２０２で算出された入射角θ及びγを用いて、操作判定領域の向きを変更する（ステップＳ２０３）。すなわち、操作判定領域変更部１２３は、ｙｚ平面内で操作判定領域の向きを－θだけ変更すると共に、ｘｚ平面内で操作判定領域の向きを－γだけ変更する。

例えば、図１２に示すように、ｙｚ平面内において、操作判定領域１１０６の上面又は底面の辺のうち、操作画像１００６と接している辺のいずれかを軸として、ユーザＵの方向を向くように操作判定領域１１０６を－θだけ回転させる。図１２に示す例では、操作判定領域１１０６の底面の辺であって、操作画像１００６と接している辺を軸として－θだけ回転させた場合を表している。

同様に、例えば、図１３に示すように、ｘｚ平面内において、操作判定領域１１０６の左側面又は右側面の辺のうち、操作画像１００６と接している辺のいずれかを軸として、ユーザＵの方向を向くように操作判定領域１１０６を－γだけ回転させる。図１３に示す例では、操作判定領域１１０６の右側面の辺であって、操作画像１００６と接している辺を軸として－γだけ回転させた場合を表している。

これにより、各操作判定領域が、ユーザが操作する方向に対して正面を向くことなり、その結果、隣接する操作画像に対して誤操作してしまう事態を防止することができる。しかも、操作画像自体は変更されないため、ユーザは違和感なく、操作画像に対して操作を行うことができる。

＜操作実行処理＞
以下、本実施形態に係る操作実行処理について、図１４を参照しながら説明する。

操作実行処理部１０３の閾値判定部１３１は、ユーザの指が操作判定領域の閾値Ｄの位置まで移動したか否かを判定する（ステップＳ３０１）。

上記のステップＳ３０２でユーザの指が操作判定領域の閾値Ｄの位置まで移動したと判定されなかった場合、操作実行処理部１０３は、操作実行処理を終了する。一方で、上記のステップＳ３０２でユーザの指が操作判定領域の閾値Ｄの位置まで移動したと判定された場合、操作実行処理部１０３の操作実行部１３２は、当該操作判定領域が設定されている操作画像に対応する操作処理を実行する（ステップＳ３０２）。これにより、その操作処理により、例えば、他の画面に遷移したり、何等かの情報を表示したり、何等かの情報処理が行われたりする。

＜変形例＞
以下、本実施形態の変形例について説明する。

≪変形例１≫
上記の実施形態では、指等が指し示す方向と何等かのオブジェクトとの交点をポインタ位置としたが、例えば、既知のアイトラッキング技術を用いて、指等が指し示す方向の代わりに、視線方向としてもよい。この場合、操作者情報はユーザの眼球を撮影した眼球画像であり、また基準点はユーザの両目の間の点（例えば、左眼球の中心と右眼球の中心とを結ぶ線分の中点）となる。

≪変形例２≫
上記の実施形態では、指等が指し示す方向と何等かのオブジェクトとの交点をポインタ位置としたが、例えば、デバイス１０がヘッドマウントディスプレイである場合には、指等の先端を基準点としたが、例えば、これに代えて、ヘッドマウントディスプレイの位置（言い換えれば、ユーザの頭の位置）を基準点としてもよい。この場合、操作者情報はデバイス１０の位置を示す情報となる。

ここで、一例として、図１５に示すように、ヘッドマウントディスプレイであるデバイス１０を装着しているユーザの前方の斜め上方に操作画像２０００が存在し、この操作画像２０００を操作したい場合を考える。なお、簡単のため、デバイス１０の位置（基準点）を原点Ｏとする。また、操作画像２０００は或るｚ＝ｚ_０が表すｘｙ平面（ｘ，ｙ，ｚ_０）上に配置されており、ポインタ位置をＰ＝（ｘ_０，ｙ_０，ｚ_０）とする。ポインタ位置はユーザの視線方向と何等かのオブジェクトとの交点である。

このとき、基準点（原点Ｏ）が含まれるｙｚ平面において、基準点（原点Ｏ）から操作画像２０００に対して下ろした垂線と当該操作画像２０００との交点をＲ＝（ｘ_０，０，ｚ_１）、ポインタ位置Ｐを当該ｙｚ平面に射影した点をＰ_１とすれば、図１５に示すように、距離ａはＯとＲを端点とする線分の長さ、距離ｂはＲとＰ_１を端点とする線分の長さとなる。したがって、入射角θは、θ＝ｔａｎ^－１（ｂ／ａ）＝ｔａｎ^－１（ｙ_０／ｘ_０）と算出される。この様子を当該ｙｚ平面上で表すと図１６のようになる。なお、Ｐ、Ｐ_１及びＲの座標は、各操作画像の座標から算出することが可能である。

同様に、基準点（原点Ｏ）が含まれるｘｚ平面において、基準点（原点Ｏ）から操作画像２０００に対して下ろした垂線と当該操作画像２０００との交点をＲ'、ポインタ位置Ｐを当該ｘｚ平面に射影した点をＰ_２とする。また、ポインタ位置Ｐは当該ｘｚ平面上に存在するものとする。このとき、図１７に示すように、Ｒ'＝Ｐ_１、Ｐ_２＝Ｐであり、距離ａ'はＯとＲ'を端点とする線分の長さ、距離ｂ'はＲ'とＰ_２を端点とする線分の長さとなる。したがって、入射角γは、γ＝ｔａｎ^－１（ｂ'／ａ'）＝ｔａｎ^－１（ｚ_０－ｚ_１／√（ｘ_０ ^２＋ｙ_０ ^２））と算出される。この様子を当該ｘｚ平面上で表すと図１８のようになる。なお、Ｐ、Ｐ_２及びＲの座標は、各操作画像の座標から算出することが可能である。

≪変形例３≫
上記の実施形態では、入射角θ及びγを算出した上で、ｙｚ平面内で操作判定領域の向きを－θ、ｘｚ平面内で操作判定領域の向きを－γだけ変更したが、例えば、入射角θ及びγに対してそれぞれ閾値を設定し、閾値を超えた場合にのみ操作判定領域の向きを変更してもよい。

具体的には、入射角θが所定の閾値ｔｈ_１を超えた場合にのみｙｚ平面内で操作判定領域の向きを－θだけ変更し、入射角γが所定の閾値ｔｈ_２を超えた場合にのみｘｚ平面内で操作判定領域の向きを－γだけ変更してもよい。なお、ｔｈ_１＝ｔｈ_２でもよいし、ｔｈ_１≠ｔｈ_２でもよい。

≪変形例４≫
上記の変形例３において、入射角θ及びγが閾値を超えた場合にのみ操作判定領域の向きを一定値だけ変更してもよい。

具体的には、入射角θが所定の閾値ｔｈ_１を超えた場合にのみｙｚ平面内で操作判定領域の向きをユーザの正面方向に一定値ｃ_１だけ変更し、入射角γが所定の閾値ｔｈ_２を超えた場合にのみｘｚ平面内で操作判定領域の向きをユーザの正面方向に一定値ｃ_２だけ変更してもよい。なお、ｃ_１＝ｃ_２でもよいし、ｃ_１≠ｃ_２でもよい。

≪変形例５≫
上記の実施形態では、操作画像の向きは変更していないが、操作画像の向きも変更するようにしてもよい。すなわち、ｙｚ平面内で操作画像の向きを－θだけ変更すると共に、ｘｚ平面内で操作画像の向きを－γだけ変更してもよい。

ただし、操作画像の向きを頻繁に変更すると、ユーザに違和感を生じさせる恐れがあるため、入射角θ及びγに対してそれぞれ閾値を設定し、閾値を超えた場合にのみ操作画像の向きを変更してもよい。

具体的には、入射角θが所定の閾値ｔｈ_３を超えた場合にのみｙｚ平面内で操作画像の向きを－θだけ変更し、入射角γが所定の閾値ｔｈ_４を超えた場合にのみｘｚ平面内で操作画像の向きを－γだけ変更してもよい。なお、ｔｈ_３＝ｔｈ_４でもよいし、ｔｈ_３≠ｔｈ_４でもよい。

更に、上記の閾値を設定した場合において、入射角θ及びγが閾値を超えた場合にのみ操作画像の向きを一定値だけ変更してもよい。

具体的には、入射角θが所定の閾値ｔｈ_３を超えた場合にのみｙｚ平面内で操作画像の向きをユーザの正面方向に一定値ｃ_３だけ変更し、入射角γが所定の閾値ｔｈ_４を超えた場合にのみｘｚ平面内で操作画像の向きをユーザの正面方向に一定値ｃ_４だけ変更してもよい。なお、ｃ_３＝ｃ_４でもよいし、ｃ_３≠ｃ_４でもよい。

＜まとめ＞
以上のように、本実施形態に係るデバイス１０は、ＡＲ空間又はＭＲ空間内でユーザが仮想オブジェクトを操作する際に、仮想オブジェクトに設定されている操作判定領域の向きをユーザの正面方向に変更する。これにより、操作判定領域がユーザの正面方向に存在することになるため、例えば、ユーザが操作画像を斜め方向から操作する場合等であっても、他の操作画像を誤操作してしまう事態を防止することが可能となる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

１０ デバイス
１１ 入力装置
１２ 表示装置
１３ 外部Ｉ／Ｆ
１３ａ 記録媒体
１４ 通信Ｉ／Ｆ
１５ センサ
１６ メモリ装置
１７ プロセッサ
１８ バス
１０１ 操作位置監視処理部
１０２ 操作判定領域変更処理部
１０３ 操作実行処理部
１０４ 記憶部
１１１ 操作者情報取得部
１１２ 操作位置特定部
１１３ 操作位置判定部
１２１ 距離算出部
１２２ 角度算出部
１２３ 操作判定領域変更部
１３１ 閾値判定部
１３２ 操作実行部

Claims (8)

1. ユーザが操作可能な仮想オブジェクトが少なくとも配置された拡張現実空間又は複合現実空間を表示する情報処理装置であって、
   前記ユーザに関する情報を用いて、前記仮想オブジェクト上の操作位置を特定するように構成されている特定部と、
   前記ユーザに関する情報の位置を表す基準点と、前記操作位置とを用いて、前記ユーザが前記仮想オブジェクトを操作する際の操作方向を表す角度を算出するように構成されている算出部と、
   前記角度を用いて、前記仮想オブジェクトに対して操作が行われたか否かを判定するための操作判定領域を変更するように構成されている変更部と、
   を有する情報処理装置。
2. 前記ユーザに関する情報は、前記ユーザの手を表すハンドメッシュデータであり、
   前記特定部は、
   前記ハンドメッシュデータを用いて、前記手の特定の指が指し示す方向を表す３次元ベクトルと前記仮想オブジェクトとの交点を前記操作位置として特定するように構成されている請求項１に記載の情報処理装置。
3. 前記ユーザに関する情報は、前記ユーザが装着しているヘッドマウントディスプレイの位置を示す情報であり、
   前記特定部は、
   前記ヘッドマウントディスプレイの位置を示す情報を用いて、前記ユーザの視線方向を表す３次元ベクトルと前記仮想オブジェクトとの交点を前記操作位置として特定するように構成されている請求項１に記載の情報処理装置。
4. 前記変更部は、
   前記角度が所定の閾値を超えている場合、前記操作判定領域を変更するように構成されている請求項１に記載の情報処理装置。
5. 前記変更部は、
   前記ユーザの正面方向に、前記操作判定領域の向きを前記角度だけ変更するように構成されている請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記算出部は、
   前記基準点を含む鉛直面内における前記操作方向を表す第１の角度と、前記基準点を含む水平面内における前記操作方向を表す第２の角度とをそれぞれ算出するように構成されており、
   前記変更部は、
   前記鉛直面内において、前記ユーザの正面方向に、前記操作判定領域の向きを前記第１の角度だけ変更し、
   前記水平面内において、前記ユーザの正面方向に、前記操作判定領域の向きを前記第２の角度だけ変更するように構成されている請求項５に記載の情報処理装置。
7. ユーザが操作可能な仮想オブジェクトが少なくとも配置された拡張現実空間又は複合現実空間を表示する情報処理装置が、
   前記ユーザに関する情報を用いて、前記仮想オブジェクト上の操作位置を特定する特定手順と、
   前記ユーザに関する情報の位置を表す基準点と、前記操作位置とを用いて、前記ユーザが前記仮想オブジェクトを操作する際の操作方向を表す角度を算出する算出手順と、
   前記角度を用いて、前記仮想オブジェクトに対して操作が行われたか否かを判定するための操作判定領域を変更する変更手順と、
   を実行する情報処理方法。
8. ユーザが操作可能な仮想オブジェクトが少なくとも配置された拡張現実空間又は複合現実空間を表示する情報処理装置に、
   前記ユーザに関する情報を用いて、前記仮想オブジェクト上の操作位置を特定する特定手順と、
   前記ユーザに関する情報の位置を表す基準点と、前記操作位置とを用いて、前記ユーザが前記仮想オブジェクトを操作する際の操作方向を表す角度を算出する算出手順と、
   前記角度を用いて、前記仮想オブジェクトに対して操作が行われたか否かを判定するための操作判定領域を変更する変更手順と、
   を実行させるプログラム。

Images