JP7451084B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、表示装置に仮想物体を含む画像を表示させる情報処理装置に関する。

近年、現実空間と仮想空間とのつなぎ目のない結合を目的とした、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）システムの研究が盛んに行われている。これらのシステムの提示を行う画像表示装置は、たとえば頭部装着型ディスプレイ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いることができる。

現実空間と仮想物体が複合したＭＲ空間では、図６のように、ユーザーが手に持った操作デバイス６１００から出力される仮想レーザー６２００を用いて、仮想物体６３００を選択し、任意の方向へ動かすなど、配置を操作する技術が知られている。例として、特許文献２では仮想空間内に直交座標の格子を作成し、その格子上に仮想物体を再配置する方法が提案されている。

さらに、特許文献１では世界座標系ＸＹＺ軸のうち、自動で任意の軸を選択し、移動方向をその軸に拘束することで、ＨＭＤ装着者による仮想物体の操作性を向上させる技術が公開されている。

特開２０１７－８４３２３号公報 特開平１１－３１６８５８号公報

特許文献１の方法は、ユーザーのアップ方向、視線方向、前記二つと垂直の方向、いずれかを基準とし、その基準軸と成す角が、一番小さい世界座標系の軸が拘束軸となる方法である。この方法は拘束軸が世界座標系の軸に限定されるため、仮想物体のローカル座標の軸に沿って移動したい場合には対応できない。また、事前に拘束軸の指定方法を設定する必要があるため、操作に慣れていないユーザーには向いておらず、仮想物体のローカル座標に沿った移動は困難である。本発明は、上記課題を鑑みてなされたものであり、表示装置に仮想物体を含む画像を表示させる情報処理装置において、操作軸を用いた仮想物体の移動を容易に行うことを目的とする。

上記課題を解決するために、本発明は、ユーザーが観察する画像を表示する表示装置に、仮想物体を含む画像を表示させる情報処理装置であって、前記ユーザーの操作に基づき、前記仮想物体を操作するための操作点を、前記仮想物体に設定する設定手段と、前記操作点の位置に基づき、前記仮想物体を回転移動する際に用いる操作円を生成する生成手段と、前記操作円に沿って、前記仮想物体を回転移動させる移動手段と、を有し、前記生成手段は、前記仮想物体の中心と前記操作点との距離を半径とする円を前記操作円として生成することを特徴とする。

本発明によれば、表示装置に仮想物体を含む画像を表示させる情報処理装置において、操作軸を用いた仮想物体の移動を容易に行うことが出来る。

本実施形態に係るシステムの機能構成例を示すブロック図である。 本実施形態に係る情報処理装置において、操作開始点を算出するための処理を示すフローチャートである。 本実施形態に係る情報処理装置において、操作軸を生成するための処理を示すフローチャートである。 本実施形態に係る情報処理装置において、操作基準軸を生成し、操作を実行する処理のフローチャートである。 本実施形態に係る情報処理装置において、操作開始点を算出するための処理を模式的に示したものである。 本実施形態に係る情報処理装置において、操作基準軸を生成し、操作を実行する処理を模式的に示したものである。 複合現実感システムにおける、仮想物体の操作を示す概略図である。

（実施形態）
図７は、仮想空間上のＣＧモデル（コンピュータグラフィックスモデル）を外部デバイスで移動した際の模式図である。図１は、本実施形態にかかわるシステムの機能構成例を示すブロック図である。図１に示すように、本実施形態に係るシステムは、情報処理装置１０００と、ユーザーが使用する頭部装着型表示装置の一例としてＨＭＤ１２００と、ユーザーからのイベントを入力するイベント入力部１３００で構成されている。

ＨＭＤ１２０（ヘッドマウントディスプレイ）には表示装置が内蔵されており、ユーザーは表示装置に表示された映像を観察する。また、情報処理装置１０００は、一般的なパーソナルコンピュータと同様の構成および機能を有し、以下の構成を有する。すなわち、仮想情報取得部１０１０、操作開始点算出部１０２０、操作軸生成部１０３０、操作基準軸設定部１０４０、操作信号処理部１０５０、仮想空間生成部１０６０、撮像画像取得部１０７０、合成画像生成部１０８０、合成画像出力部１０９０である。

ここで、情報処理装置１０００とＨＭＤとはデータ通信が可能なように接続されている。情報処理装置１０００とＨＭＤ１２００との間の接続は、有線、無線の何れであっても構わない。本実施形態における情報処理装置１０００は、ＨＭＤ１２００内の撮像部１２１０から撮像画像取得部１０７０を介して取り込んだ現実空間の画像と仮想物体の画像とを合成し、複合現実感の画像としてＨＭＤ１２００内の表示部１２２０に出力する。

次に、情報処理装置１０００における動作を説明する。

撮像部１２１０は現実空間を撮影し、撮影したステレオ画像を撮像画像取得部１０７０に取り込む。撮影されたステレオ画像は合成画像生成部１０８０にて仮想空間生成部１０６０で生成されたＣＧモデルの画像と合成して表示部１２２０に合成画像として表示される。

仮想情報取得部１０１０では、撮像部１２１０の事前に定めた世界座標に対する位置姿勢を取得する。撮像部１２１０の位置姿勢が取得できれば、その手段は、撮像部１２１０によって実空間に配置されたマーカーを撮像し、この画像中のマーカーの情報から、撮像部１２１０の位置姿勢を算出する手法がある。また、モーションキャプチャシステムを利用する方法や、撮像した画像を用いたＳｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）を利用する方法など、他の方法でも良い。

操作開始点算出部１０２０では、世界座標系における、操作を行う実空間のオブジェクト７１００の座標とＣＧモデルから、ＣＧモデル７３００の操作を開始する操作開始点を算出する。前記現実空間のオブジェクト７１００は、ＨＭＤ１２００から３次元座標と姿勢を特定できる構成であればよい。例えば、撮像部１２１０で取得した実空間のオブジェクトの２枚の画像からそれぞれ輪郭を抽出し、これらをステレオマッチングすることで、３次元輪郭を構成する各頂点の３次元座標群を算出する方法などが知られている。また、ユーザーが片手で持てるサイズの棒状物体の頂点に、仮想レーザーＣＧを重畳した構成からなるデバイスを用いてもよい。また、仮想空間を操作するコントローラーデバイスからの入力を用いてもよい。前記頂点を、ＣＧモデルを選択、操作する際の操作点と定義すると、操作点と仮想空間上のＣＧのモデル７３００とが接触していた場合に、ＣＧモデル上に操作開始点を生成する。

仮想空間上のＣＧモデルを外部デバイスで移動した際の模式図である図７では、外部デバイス７１００の位置情報から、仮想レーザー７２００を生成し、そのレーザーの先端を操作点としている。この場合、操作点がＣＧモデル７３００を選択し、外部デバイス７１００によってトリガーが入力されると、その時点での操作点位置が操作開始点として、ＣＧモデルを把持した処理が実行され、任意の位置にＣＧモデルを移動することが可能である。

本件はこの移動の際に、操作開始点と操作軸を用いることで、よりユーザビリティの高いＣＧ操作方法を提供する。

操作軸生成部１０３０では、仮想情報取得部１０１０と操作開始点算出部１０２０と位置姿勢情報から、所定の設定に基づきに基づき操作軸を生成する。この操作軸は、ＣＧモデルを移動させるときユーザビリティを向上させる目的で、移動方向に制限をかけるためにユーザーに対し表示するものであり、ＣＧモデルはこの軸に沿った移動をするよう処理される。所定の設定とは、例えば世界座標系における、ＸＹＺ軸各正負方向の全６方向であってもよいし、６方向のうちの任意の一方であってもよい。また直線移動の操作軸に制限せず、回転移動の操作円としてもよい。操作円の半径は、例えば、操作開始点と接触しているＣＧモデルの中心と、操作開始点との距離とする。操作円の中心は、ＣＧモデルの中心を原点としたＸＹＺ軸各正負方向の全６方向の操作軸とする。ＸＹＺ軸各正負方向の６方向のうちの任意の一方を操作円の中心としてもよい。

また３次元空間内の個々のオブジェクトがもつ座標系であるローカル座標系に対するＸＹＺ軸各正負方向の全６方向であってもよいし、６方向のうちの任意の一方であってもよい。

所定の機能を実行するトリガー信号が入力された場合に操作開始点を原点とした操作軸は生成される。本実施形態では、コントローラーデバイスによるボタン押下をトリガー信号入力例として説明するが、操作点の時系列的な位置変化に基づくジェスチャーや、ボタン以外のユーザーインタフェースコントロールによって信号を生成してもよい。

操作基準軸設定部１０４０は、操作開始点の位置や動き、操作開始点とＣＧモデルやユーザーインタフェースコントロールとの相対的な位置や動きに基づいて、前記操作軸のうち、操作方向の基準となる操作基準軸を一方向決定する。操作方向は、例えば、操作開始点と現フレームの操作点の座標の差分を取り、ＸＹＺ軸方向で最も移動距離が大きい方向とする。この操作方向をこの操作基準軸とし、操作基準軸に沿った一意の方向にのみＣＧモデルの移動を可能とする。

操作信号処理部１０５０は、前記操作基準軸の方向と操作点の位置変化方向によって、所定の機能を実行する信号を生成する。本実施形態では、操作点の時系列的な位置変化と、操作基準軸の方向に基づき移動操作の信号を生成する例について説明する。

仮想空間生成部１０６０では、ＭＲ空間に表示するＣＧモデルや、操作開始点の位置をユーザーに知らせるためのポインターのＣＧモデル、操作開始点を基準に表示される操作基準軸のＣＧモデルのデータが保持されている。前記データに加え、前記操作信号によって生じた処理結果等を、撮像画像取得部１０７０の位置姿勢情報を用いて、実空間のステレオ画像と整合的な視点からレンダリングする。

合成画像生成部１０８０では、実空間のステレオ画像と仮想空間生成部１０６０で生成した画像を合成する。このとき、操作点を抽出する実空間のオブジェクトにおいては、その３次元輪郭情報を利用して、ＣＧモデルとの奥行き方向の隠蔽関係が整合性をもって合成される。

合成画像出力部１０９０は合成画像生成部１０８０で生成された合成画像を表示部１２２０に送信し体験者に提示する。本実施形態では、ＨＭＤ１２００に内蔵されたディスプレイを用いる。

＜処理の手順および詳細＞
次に、操作開始点を算出するため操作開始点算出部１０２０の一連の処理を、同処理のフローチャートを示す図２を用いて説明する。また、同処理を模式的に表したものを図５Ａ、図５Ｂに示す。

ステップＳ２１００は、操作を行う実空間のオブジェクト６１００の頂点座標を取得する。撮像画像取得は背景画像、撮像装置の位置、姿勢情報を取得し、実空間オブジェクトに仮想レーザーデバイス５０１０を重畳し、仮想物体の表示位置を取得する。実空間オブジェクトを検出する手段は、マーカーの特徴点を検出するような画像処理による手段でも構わないし、位置姿勢センサーの位置情報からユーザーを検出する方法でも構わない。

ステップＳ２２００では、撮像画像から得られる、仮想レーザーデバイス５０１０の複数の奥行き情報の対応点から、所定の特徴に基づき操作点を選択する。奥行情報は、例えば、まずステレオ画像のうち１つの画像上の輪郭線上のサンプリング点に対応するエピポーラ線を、他方のステレオ画像に投影し、エピポーラ線と輪郭線が交わる点を対応点とする。この輪郭線上のサンプリング点を複数決定し、輪郭線上に複数の対応点を求める輪郭線上にある複数の対応点を三角測量によって奥行を算出する方法が知られている。

本実施形態では、対応点を取得した画像に射影した場合の先端の座標値を有する対応点を操作点とする。

ステップＳ２３００では、ステップＳ２２００で選択した操作点をＨＭＤ姿勢情報に基づいて世界座標上へ座標変換する。

ステップＳ２４００では、操作点と仮想空間上のＣＧモデル５３００の接触判定を実施する。本実施形態では、３次元点である操作点とポリゴン面で構成されるＣＧモデル５０３０の接触を判定するため、前フレームの操作点の位置と現フレームの操作点の位置を線分で結ぶ。この線分とＣＧモデル５３００のポリゴンの交点が存在した場合に、接触したと判断する。この他に、操作点に対し、所定の三次元領域を定め、この三次元領域を構成する面や線分とＣＧモデル５０３０の交点の存在有無から判断する方法を用いてもよい。接触していると判定された場合に、前記操作点を操作開始点５０２０とし、仮想空間生成部１０６０で操作ポインターをレンダリングする。

次に、操作軸を生成するため、操作軸生成部１０３０の一連の処理を、同処理のフローチャートを示す図３と、を図５Ａ、図５Ｂを用いて説明する。

ステップＳ３１００では、ＣＧモデル５３００を選択するコントローラーデバイスからのトリガー信号の入力を認識する。

ステップＳ３２００では、あらかじめ設定された操作軸５０４０の設定を読み込む。この設定は、例えば、表示する軸は、ＸＹＺの３軸すべてか、ある一意の方向か、あるいは、世界座標系かＣＧモデル５３００のローカル座標系か、といったものである。

ステップＳ３３００では、前記操作開始点５０２０と前記操作軸５０４０の設定に基づき、前記操作開始点５０２０を原点とした操作軸５０４０を生成する。実施例では世界座標系における、ＸＹＺ軸各正負方向の６方向を生成している。図５Ａでは、ＣＧモデル５０３０を軸に沿った直線移動を行う場合の軸の表示を示しており、図４Ｂでは軸に沿った回転を行う場合の軸表示の例を示すものである。図５Ｂの操作軸５０５０は、操作点と接触しているＣＧモデル５３００の中心と、操作開始点５０２０との距離を半径とした円を表示しており、この円に沿った回転が可能となることを示す。

次に、操作基準軸を算出するための一連の処理を、同処理のフローチャートを示す図４を用いて説明する。また、同処理を模式的に表したものを図６Ａ、図６Ｂに示す。

ステップＳ４１００では操作開始点５０２０の位置と現フレームの操作点６０１０の位置の差分を取得し、ＣＧモデル５３００の移動の有無を判断する。ＣＧモデル５３００の移動を判断する差分量は、０以上であったらでもよいし、事前に閾値を設定してもよい。例えば、操作基準軸６０５０に基づいた回転を行う場合、どの軸周りに回転するかについて、ユーザーの意図せぬ軸の選択の抑制を考慮し、以下のようなルールを設定してもよい。図におけるＸＹＺの３つの円周上において、現フレームにおける操作点６０１０と、操作開始点５０２０までの距離が３０ｍｍ内の時には、前述の操作点６０１０が最も近い点が属する円の軸が選択されるようにし、他の円の軸への遷移を防ぐことが可能である。

ステップ４２００では、現フレームの操作点の位置から操作軸５０４０までの距離を算出し、最も近い軸を操作基準軸６０４０とする。図６Ａでは、Ｘ軸方向に移動した際の、図６ＢではＺ軸を操作基準軸とした際の回転操作例を示している。このとき、操作開始点５０２０と、操作基準軸上の現フレームの操作点との距離を、ＣＧモデル５３００を移動、または回転した距離としてレンダリングしてもよい。

上記実施例は、ＭＲ空間におけるＣＧモデル操作について記述したが、操作デバイスによって仮想空間の操作が可能な、ＶＲでも使用可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (11)

1. ユーザーが観察する画像を表示する表示装置に、仮想物体を含む画像を表示させる情報処理装置であって、
   前記ユーザーの操作に基づき、前記仮想物体を操作するための操作点を、前記仮想物体に設定する設定手段と、
   前記操作点の位置に基づき、前記仮想物体を回転移動する際に用いる操作円を生成する生成手段と、
   前記操作円に沿って、前記仮想物体を回転移動させる移動手段と、を有し、
   前記生成手段は、前記仮想物体の中心と前記操作点との距離を半径とする円を前記操作円として生成することを特徴とする情報処理装置。
2. 前記表示装置に、前記操作円を表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記移動手段は、前記操作点の移動に応じて、前記操作円に沿って、前記仮想物体を回転移動させることを特徴とする請求項１に記載の情報処理装置。
4. 前記生成手段は、複数の操作円を生成し、
   前記移動手段は、前記操作点の位置に応じて、前記複数の操作円から１つの操作円を選択することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、３つの操作円を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記仮想物体を含む画像は、前記仮想物体と現実空間の画像との合成画像であることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記設定手段は、前記ユーザーが操作する仮想レーザーと前記仮想物体との交点を、前記操作点として設定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示装置と前記情報処理装置との間は、無線で接続されていることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示装置は、ヘッドマウントディスプレイであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
10. ユーザーが観察する画像を表示する表示装置に、仮想物体を含む画像を表示させる情報処理方法であって、
    設定手段が、前記ユーザーの操作に基づき、前記仮想物体を操作するための操作点を、前記仮想物体に設定する設定工程と、
    生成手段が、前記操作点の位置に基づき、前記仮想物体を回転移動する際に用いる操作円を生成する生成工程と、
    移動手段が、前記操作円に沿って、前記仮想物体を回転移動させる移動工程と、を有し、
    前記生成工程では、前記仮想物体の中心と前記操作点との距離を半径とする円を前記操作円として生成することを特徴とする情報処理方法。
11. 請求項１０に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images