JP2021135776A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】複合現実感の体験者が自身で動きを予測できない仮想物体の接近等による複合現実感の阻害等を防止可能にする。【解決手段】１以上の仮想物体を表示可能な表示装置（１１２）の所定の空間内における位置姿勢を取得する取得手段（１０５）と、表示装置（１１２）の位置姿勢と、所定の空間内における対象仮想物体の位置姿勢とに基づいて、表示装置（１１２）における対象仮想物体の表示方法を変更する制御手段（１０６，１０７，１０８）と、を有する。【選択図】図１

Description

本発明は、仮想物体を提示するための情報処理技術に関する。

現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。この技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。組み立て作業時に作業手順を重畳表示する組み立て支援、患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待される。

ここで、ＭＲを体験する者が、頭部装着型の表示装置、例えばＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）のように没入感の高い装置を装着している場合、当該ＭＲ体験者は、他のＭＲ体験者と衝突したり、現実物体と衝突したりする虞がある。そこで、特許文献１では、第１のＭＲ体験者の視点位置及び方向と、第２のＭＲ体験者の視点位置及び方向とを求め、第１と第２のＭＲ体験者の距離が閾値より小さくなった場合に、第２のＭＲ体験者が接近していることを報知する技術を開示している。また、特許文献２では、現実物体とＭＲ体験者との距離を測定し、接近していることを報知する技術を開示している。

特開２００６−３０１９２４号公報 特開２０１６−５８０４２号公報

しかし、前述の特許文献に開示された技術の場合、例えば自分以外のＭＲ体験者が手に持った現実物体に重畳された仮想物体については、その動きを予測することができない。このため、ＭＲ体験者が装着している表示装置の画面上に不意に（つまりＭＲ体験者の眼前に不意に）、その仮想物体が表示されることがある。ＭＲ体験中にそのような自分の意志と関係ない動きをする仮想物体が予期せぬ方向から表示された場合、ＭＲ体験者は、それに対応できず、驚いたり、ＭＲ体験が阻害されたり、する虞がある。

そこで本発明は、複合現実感の体験者が動きを予測できない仮想物体の接近等による、複合現実感の阻害等を防止可能にすることを目的とする。

本発明の情報処理装置は、１以上の仮想物体を表示可能な表示装置の、所定の空間内における位置姿勢を取得する取得手段と、前記表示装置の前記位置姿勢と、前記所定の空間内における前記１以上の仮想物体のうち、対象仮想物体の位置姿勢とに基づいて、前記表示装置における前記対象仮想物体の表示方法を変更する制御手段と、を有することを特徴とする。

本発明によれば、複合現実感の体験者が動きを予測できない仮想物体の接近等による複合現実感の阻害等を防止可能となる。

第１の実施形態に係る情報処理装置の構成図である。 ＭＲ体験者、現実物体、指標および仮想物体の説明に用いる図である。 １つの仮想物体のデータ構成例を示す図である。 仮想物体の表示方法が変更された場合の表示例を示す図である。 第１の実施形態における情報処理の流れを示すフローチャートである。 第２の実施形態に係る情報処理装置の構成図である。 第２の実施形態における情報処理の流れを示すフローチャートである。 第３の実施形態に係る情報処理装置の構成図である。 第３の実施形態における情報処理の流れを示すフローチャートである。 情報処理装置の実装が可能なハードウェア構成例を示す図である。

以下、実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を必ずしも限定するものではない。
＜第１の実施形態＞
図１は、第１の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
本実施形態の情報処理装置１００は、対象設定部１０１、仮想物体生成部１０２、データ保持部１０３、画像取得部１０４、位置姿勢取得部１０５、距離計測部１０６、表示変更部１０７、合成画像生成部１０８、および合成画像出力部１０９を有する。また、情報処理装置１００は、例えばＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）である撮像表示装置１１０に有線または無線によって接続されている。

撮像表示装置１１０は、撮像部１１１と表示部１１２とを備えたＨＭＤであり、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の体験者の頭部に装着される。以下、複合現実感を体験するユーザをＭＲ体験者と呼び、ＭＲ体験者が複合現実感を体験する所定の空間すなわち現実空間と仮想空間とが融合された成る三次元の複合現実感空間をＭＲ空間と呼ぶ。撮像部１１１は、ＭＲ体験者の頭部の向き（体験者の視線の方向）に対応した現実空間を撮像するビデオカメラである。撮像部１１１は、現実空間の撮像画像を情報処理装置１００に送出する。表示部１１２は、後述するようにして情報処理装置１００で生成されて送出されてきた合成画像を表示可能なディスプレイである。このように、撮像部１１１による撮影方向は当該ＭＲ空間内におけるＭＲ体験者の視線方向であり、表示部１１２にはその視線方向においてＭＲ体験者から見えるＭＲ空間内の様子が表示される。

本実施形態の情報処理装置１００において、データ保持部１０３は、ＭＲ体験者が装着する撮像表示装置１１０（ＨＭＤ）の表示部１１２に表示される可能性がある複数の仮想物体を構成するためのデータを保持している。

仮想物体生成部１０２は、データ保持部１０３から仮想物体を構成するためのデータを取得し、そのデータを基に仮想物体を生成する。
なお、対象設定部１０１、距離計測部１０６、および表示変更部１０７の説明は後述する。

位置姿勢取得部１０５は、三次元の現実空間内における撮像表示装置１１０の位置及び姿勢を取得する。位置姿勢取得部１０５は、撮像表示装置１１０の位置を公知の手法によって求めてもよいが、本実施形態の場合、撮像部１１１が現実空間を撮像した画像に含まれている既知の指標から得られる情報に基づいて位置を求めるとする。本実施形態において、既知の指標は、現実空間に配置されており、現実空間内における座標（位置）が既知となされた指標である。位置姿勢取得部１０５は、それら既知の指標が配置された現実空間を撮像した画像からそれぞれ抽出された指標の座標を基に、撮像表示装置１１０の位置を求める。

本実施形態の場合、撮像表示装置１１０の位置の取得に用いられる指標は、例えば図２に示すような四角形状の指標（以下、四角形指標Ｐ１と呼ぶ）であり、三次元の現実空間内には当該四角形指標Ｐ１が複数配置されているとする。なお図２は、各ＭＲ体験者、現実物体、指標および仮想物体の説明に用いる図であり、その詳細は後述する。本実施形態では、三次元の現実空間内に四角形指標Ｐ１がＰｋ（ｋ＝１，２，３，・・・，Ｋｏ）個配置される。Ｋｏは配置される四角形指標の数を表す。このような既知の座標を持つ指標（四角形指標）を撮影した画像を基に撮像表示装置１１０の位置を取得する方法は公知であるため、その詳しい説明は省略する。また本実施形態では四角形指標Ｐ１を挙げたが、撮像表示装置１１０の位置の取得に用いる指標の形状は四角形に限定されるものではない。例えば図２中の指標Ｐ２のように、現実空間の床や壁等に配された平面状等の指標でもよく、現実空間を撮影した画像から検出可能なものであれば、どのような指標であってもよい。現実空間における指標の配置情報（座標情報）は、公知の方法によって作成したものを用いればよい。

また位置姿勢取得部１０５は、例えば撮像表示装置１１０に搭載されたジャイロセンサなどの不図示の姿勢検知センサの出力を基に、撮像表示装置１１０の姿勢を求める。姿勢検知センサの出力に基づく撮像表示装置１１０の姿勢の取得方法は公知であるためその説明は省略する。なお、位置姿勢取得部１０５は、撮像表示装置１１０の撮像画像に含まれる前述した四角形指標Ｐ１等を基に、撮像表示装置１１０の姿勢を取得してもよい。

その他にも、例えばＭＲ空間内で仮想物体が重畳表示される現実物体に位置姿勢センサが装着されている場合、位置姿勢取得部１０５は、その位置姿勢センサの出力値を基に、撮像表示装置１１０と仮想物体の位置姿勢を取得することも可能である。なおこの場合、当該位置姿勢センサと撮像部１１１との相対的な位置関係は、予め校正しておく。

合成画像生成部１０８は、仮想物体生成部１０２で生成された仮想物体と、撮像表示装置１１０の撮像部１１１で撮像されて画像取得部１０４で取得された現実空間の画像とを、位置姿勢取得部１０５にて取得された位置姿勢に基づいて合成する。なお、現実空間の画像と仮想物体とを撮像表示装置１１０の位置姿勢に基づいて合成する処理は、既知の処理であるためその詳細な説明は省略する。

合成画像出力部１０９は、合成画像生成部１０８によって現実空間の画像に仮想物体が合成された合成画像を、撮像表示装置１１０の表示部１１２に送る。ＭＲ体験者が装着している撮像表示装置１１０の表示部１１２には、現実空間に仮想物体が合成された合成画像が表示され、これによりＭＲ体験者に複合現実感が提供されることになる。

以下、本実施形態では、図２に示すように、２名の人物が複合現実感を体験する場合を例に挙げて説明する。図２には、ＭＲ体験者２０１及びＭＲ体験者２０２の２名のうち、１名のＭＲ体験者２０２の手に持った現実物体２０５に仮想物体２０４が重畳表示されている例を示している。また図２の例において、仮想物体２０３は位置が固定された仮想物体であるとする。ここで、図２の例のようにＭＲ体験者２０２が手に持った現実物体２０５に仮想物体２０４を重畳させること、つまり現実空間内を移動する現実物体に仮想物体を重畳表示することは、当該現実物体２０５に指標Ｐ３を対応付けておくことで実現される。現実物体２０５はＭＲ体験者が持ち運び可能な物体であり、指標Ｐ３はその現実物体２０５上に配されている。そして仮想物体２０４は、その指標Ｐ３に対応付けられている。合成画像生成部１０８は、撮像部１１１にて撮像された画像から指標Ｐ３を認識することで仮想物体２０４を表示させるべき位置等を特定し、現実空間の撮像画像上の対応した位置に仮想物体２０４を重畳させるように合成する。これにより、ＭＲ体験者２０１のＨＭＤ２０６の画面上には、ＭＲ体験者２０２が手に持っている現実物体２０５に仮想物体２０４が重畳された画像が表示される。

図２に示したようなＭＲ体験例において、一方のＭＲ体験者２０２が手に持っている現実物体２０５を動かすと、その現実物体２０５に重畳されている仮想物体２０４も、当該現実物体２０５の動きに合わせて移動することになる。つまりＭＲ体験者２０２の手の動きに合わせて仮想物体２０４が移動するため、他方のＭＲ体験者２０１にとって、仮想物体２０４の動きを予期することは難しく、ＭＲ体験者２０１の眼前に不意に仮想物体２０４が表示されることが起きる可能性がある。この場合、ＭＲ体験者２０１は眼前に不意に表示された仮想物体２０４に対して対応できず、これにより驚いたり、ＭＲ体験が阻害されたりする可能性がある。

本実施形態の情報処理装置１００は、前述したようなＭＲ体験者が自身で動きを予測できない仮想物体の接近等によるＭＲ体験の阻害等を防止可能にするために、以下に説明するような情報処理を行う。ここでは、図２に示したようなＭＲ体験例において、ＭＲ体験者２０１が装着している撮像表示装置１１０（ＨＭＤ２０６）に対して合成画像を出力する情報処理装置１００で行われる情報処理を例に挙げて説明する。なお、図２の例の場合、他のＭＲ体験者２０２が装着している撮像表示装置１１０はＨＭＤ２０７であり、当該他のＭＲ体験者２０２のＨＭＤ２０７に合成画像を出力する際の情報処理装置１００の処理の説明は省略する。

本実施形態において、対象設定部１０１は、ＭＲ体験者２０１のＨＭＤ２０６（撮像表示装置１１０）に表示される仮想物体のうち、計測対象として設定された仮想物体（以下、計測対象仮想物体とする）に対して計測対象用の属性を設定する。計測対象仮想物体とは、ＭＲ体験者２０１が動きを予測できない可能性がある仮想物体、すなわち図２の例の場合、ＭＲ体験者２０１の眼前に不意に表示される可能性がある仮想物体である。ＭＲ体験者２０１が動きを予測できない可能性がある仮想物体としては、前述したように他のＭＲ体験者２０２が手に持った現実物体２０５に重畳される仮想物体２０４を挙げることができる。このため、対象設定部１０１は、他のＭＲ体験者２０２が手に持った現実物体２０５に重畳される仮想物体２０４を計測対象仮想物体として設定する。ただし計測対象物体は、他のＭＲ体験者２０２が手に持って動かすようなものに限らない。例えば他のＭＲ体験者２０２の全身または体の一部の動きに連動して表示されるアバターのような仮想物体であったり、他のＭＲ体験者２０２の動きに寄らないルールに基づいてＭＲ空間内を移動する仮想物体であったりしてもよい。また例えば、対象物体自体は動かない場合であっても、ＭＲ体験者２０１が移動し得る経路周囲に存在し、ＭＲ体験者２０１の視線の動かし方によって急に目前に現れる可能性がある仮想物体を、計測対象物体として設定しても構わない。

本実施形態では、ＭＲ体験者等のユーザが計測対象仮想物体を指定可能となされており、この場合、対象設定部１０１は、不図示のＧＵＩ（グラフィカルユーザインターフェース）を介してユーザが指定した仮想物体を、計測対象仮想物体として設定する。また、対象設定部１０１は、所定の大きさ以上の面積を持つ仮想物体を計測対象仮想物体として自動的に設定することも可能である。

第１の実施形態の場合、計測対象仮想物体は、ＭＲ空間内において、ＭＲ体験者２０１のＨＭＤ２０６との間の距離を計測する対象となされる仮想物体とする。なお、第１の実施形態では距離を計測する例を挙げるが、計測対象仮想物体に対する計測は、距離に限定されるものではない。詳細については後述する他の実施形態で説明するが、計測対象仮想物体に対する計測は、ＨＭＤ２０６の撮影方向と仮想物体の移動方向との成す角度、ＨＭＤ２０６と仮想物体との間の相対速度、画面内で仮想物体が占有する占有率などの場合もある。

本実施形態の情報処理装置１００において、対象設定部１０１は、計測対象仮想物体のデータに対して、以下のように計測対象用の属性を設定する。
図３は、一つの仮想物体のデータ構成例を示した図である。本実施形態において、仮想物体のデータ構成は、三次元空間内における仮想物体の位置（ｘ，ｙ，ｚ座標）および姿勢（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を示す位置姿勢情報５０２と、仮想物体の色や形状などの視覚的な情報を示すモデル情報５０４とが含まれる。本実施形態の場合、それらの情報に加えてさらに、計測対象用の属性を示す情報として、当該仮想物体が計測対象仮想物体であるかどうかを示す計測対象フラグ３０１と、透明度３０３とが含まれる。計測対象フラグ３０１は、「１」又は「０」の１ビットで表現される情報である。計測対象フラグ３０１の値が「１」の場合、当該仮想物体は計測対象仮想物体であること（ＯＮ）を示し、「０」の場合には当該仮想物体は計測対象仮想物体ではないこと（ＯＦＦ）を示す。透明度３０３は、その仮想物体の画像が合成画像生成部１０８で現実空間の画像と合成される際の、当該仮想物体の画像の透明度合を表す情報である。本実施形態の場合、計測対象フラグ３０１の初期設定は「０」であり、透明度３０３の初期設定は透明度ゼロ（つまり不透明）であるとする。対象設定部１０１は、計測対象仮想物体については計測対象フラグ３０１の値を「１」に設定する。

仮想物体生成部１０２は、図２のＭＲ体験者２０１のＨＭＤ２０６に表示されることになる仮想物体のデータを取得する。図２の例の場合、ＭＲ体験者２０１のＨＭＤ２０６に表示されることになる仮想物体は、ＭＲ空間内に配置される固定の仮想物体２０３や、ＭＲ体験者２０２が手に持った現実物体２０５に重畳される仮想物体２０４などである。ここで図２の例の場合、仮想物体２０４は、対象設定部１０１によって計測対象フラグ３０１が「１」に設定された計測対象仮想物体であり、一方、仮想物体２０３は、計測対象フラグ３０１が「０」の仮想物体である。そして、仮想物体生成部１０２は、ＭＲ体験者２０１のＨＭＤ２０６に表示されることになる仮想物体として、それら仮想物体２０３および仮想物体２０４（計測対象仮想物体）を生成する。さらに、仮想物体生成部１０２は、生成した仮想物体をＭＲ空間内に配置する位置を決定する。本実施形態の場合、仮想物体生成部１０２は、現実空間の撮像画像から位置姿勢取得部１０５によって取得された指標の位置に基づいて、ＭＲ空間内に各仮想物体を配置するべき座標位置を決定する。

また、位置姿勢取得部１０５は、ＭＲ体験者２０１が装着しているＨＭＤ２０６の位置姿勢を前述したようにして取得し、その位置姿勢の情報を距離計測部１０６に送る。
距離計測部１０６は、位置姿勢取得部１０５より供給された位置姿勢情報から、ＭＲ体験者２０１が装着しているＨＭＤ２０６の、三次元の現実空間内における位置を認識する。また、距離計測部１０６は、前述した計測対象用の属性を示す計測対象フラグ３０１の値（「１」）を基に計測対象仮想物体２０４を特定すると共に、その計測対象仮想物体２０４がＭＲ空間内で表示される位置を認識する。さらに、距離計測部１０６は、その計測対象仮想物体２０４と、ＭＲ体験者２０１のＨＭＤ２０６との間の距離を算出する。そして、距離計測部１０６は、計測対象仮想物体２０４とＨＭＤ２０６との間の距離が所定の距離閾値以下になった場合、その旨を表示変更部１０７に通知する。

表示変更部１０７は、計測対象仮想物体２０４とＨＭＤ２０６との間の距離が所定の距離閾値以下になった旨の通知を受け取ると、計測対象仮想物体２０４の表示方法を変更するための制御を行う。ここで表示方法の変更とは、見た目の変更を意味する。計測対象仮想物体２０４の表示方法を変更する制御として、表示変更部１０７は、例えば計測対象仮想物体２０４の透明度３０３を例えば最大値に変更する。計測対象仮想物体２０４の表示方法の変更は、計測対象仮想物体２０４の透明度３０３を最大値にする場合（つまり非表示にする場合）に限らず、他の値、例えばＭＲ体験者におけるＭＲ体験が阻害されない程度の透明度の値にするようなものであってもよい。また透明度の変更に限らず、透明度の変更に替えて、あるいはそれと組み合わせて、色や彩度の調整やアニメーション効果による表示方法の変更を利用してもよい。

合成画像生成部１０８は、表示変更部１０７にて表示方法を変更するように制御された計測対象仮想物体２０４や、計測対象になされていない仮想物体２０３等を、画像取得部１０４から供給された現実空間の撮像画像と合成して合成画像を生成する。例えば計測対象仮想物体２０４の透明度３０３が最大値になされた場合、合成画像生成部１０８での画像合成処理の際に、計測対象仮想物体２０４の画像は透明になされ、これによりＭＲ体験者２０１のＨＭＤ２０６上で計測対象仮想物体２０４は非表示になる。すなわち、例えばＭＲ体験者２０２が手を動かす等して、計測対象仮想物体である仮想物体２０４がＭＲ体験者２０１の眼前に移動してくるような場合、当該仮想物体２０４はＭＲ体験者２０１のＨＭＤ２０６上には表示されなくなる。このため、ＭＲ体験者２０１の眼前に仮想物体２０４が表示されるようなことがなくなり、ＭＲ体験者２０１のＭＲ体験が阻害されることもなくなる。なお、ＨＭＤ２０６との間の距離が所定の距離閾値より大きい計測対象仮想物体や、計測対象仮想物体として設定されていない他の仮想物体については透明度ゼロのままであるため、それらの画像はＨＭＤ２０６に表示される。

図４は、計測対象仮想物体２０４が透明になされた場合の、ＭＲ体験者２０１のＨＭＤ２０６に表示される映像４０１の例を示した図である。映像４０１内の手４０２は、ＭＲ体験者２０２の手であり、その手４０２には現実物体２０５が握られている。映像４０１内の現実物体２０５は、前述した図２の現実物体２０５である。また、図４中に点線で示している部分４０４は、図２の仮想物体２０４に対応しており、この例では透明度が最大値になされたことで仮想物体２０４が表示されていない状態（透明な状態）になっていることを表している。なお、仮想物体２０３については、計測対象仮想物体ではないため、表示されている。このように、ＭＲ体験者２０１のＨＭＤ２０６には、当該ＭＲ体験者２０１が予期せぬタイミングで仮想物体２０４が表示されるようなことがないため、ＭＲ体験者２０１のＭＲ体験が阻害されることはない。

図５は、前述したような本実施形態の情報処理装置１００における情報処理の流れを示したフローチャートである。以下、図５のフローチャートを参照しながら、本実施形態の情報処理装置１００の動作を説明する。

ステップＳ５０１において、対象設定部１０１は、計測対象仮想物体を設定する。設定対象となる仮想物体のデータは、前述のようにデータ保持部１０３に保持されており、例えばＭＲ体験者が不図示のＧＵＩ上のボタン等を指示して仮想物体を選択すると、対象設定部１０１は、その選択された仮想物体を計測対象仮想物体に設定する。また計測対象フラグの設定は、例えばＭＲ体験者が不図示のＧＵＩ上に用意されたリストボックスでフラグの値を切り替え等することで行われる。

ステップＳ５０２において、仮想物体生成部１０２は、ステップＳ２０１で計測対象仮想物体に設定された仮想物体や、計測対象仮想物体に設定されていない仮想物体を生成する。仮想物体生成部１０２は、例えばＭＲ体験者により不図示のモデル作成ボタン等のＧＵＩを介して仮想物体生成指示が入力されたことに応じて、データ保持部１０３からデータを取得して各仮想物体を生成する。

ステップＳ５０３において、仮想物体生成部１０２は、ステップＳ５０２で生成された仮想物体を、ＭＲ空間内に配置する。本実施形態では、前述したように現実空間の撮像画像から検出された四角形指標等のような位置取得用の指標の位置に基づいて、ＭＲ空間内に各仮想物体を配置するべき座標位置を決定し、そしてそれらの位置に各仮想物体を配置する。

ステップＳ５０４において、位置姿勢取得部１０５は、公知の方法により撮像表示装置１１０（ＨＭＤ）の位置姿勢を計測する。位置姿勢取得部１０５が取得する位置姿勢情報は公知のいずれの手法で求められてもよい。例えば前述したように、位置姿勢取得部１０５は、現実空間の撮像画像から検出した既知の指標の位置を基に、撮像表示装置１１０の位置姿勢を求める。また、位置姿勢取得部１０５は、現実空間の撮像画像から検出した指標を基に、計測対象仮想物体の位置姿勢をも算出し、それらの情報を距離計測部１０６と合成画像生成部１０８とに送出する。

ステップＳ５０５において、距離計測部１０６は、ステップＳ５０２で生成された仮想物体の属性が、計測対象仮想物体を示しているかを判定する。ステップＳ５０２で説明したように、仮想物体は、計測対象フラグの値によって計測対象仮想物体であるか、或いは計測対象仮想物体でないかが設定されている。ステップＳ５０５において、距離計測部１０６は、計測対象フラグの値が「１」であるか否かを判定し、「１」である場合にはステップＳ５０６に処理を進め、「１」でない場合（「０」である場合）にはステップＳ５０９へと処理を進める。

ステップＳ５０６に進むと、距離計測部１０６は、ステップ５０３で取得された計測対象仮想物体の位置と、ステップＳ５０４で取得された撮像表示装置の位置とを基に、ＭＲ空間内での計測対象仮想物体と撮像表示装置との間の距離を計測する。

そして次のステップＳ５０７において、距離計測部１０６は、計測対象仮想物体と撮像表示装置との間の距離が所定の距離閾値以下である場合にはステップＳ５０８に処理を進め、一方、距離閾値より大きい場合にはステップＳ５０９に処理を進める。なお、距離の閾値は、例えば不図示のＧＵＩを提示してＭＲ体験者に入力させることによって決定してもよいし、予め定められていてもよい。なお、距離の閾値は複数設定されていてもよい。例えば第１の距離閾値とそれより短い第２の距離閾値とが設定されている場合、距離計測部１０６は、計測対象仮想物体が第１の距離閾値以下になった時と、更にその後に、第２の距離閾値以下になった時に、それぞれその旨を表示変更部１０７に通知してもよい。

ステップＳ５０８に進むと、表示変更部１０７は、合成画像生成部１０８においてその計測対象仮想物体の表示が変更されるように制御する。この時の合成画像生成部１０８では、計測対象仮想物体の透明度を例えば最大、或いはＭＲ体験者におけるＭＲ体験が阻害されない程度の透明度にする。なお距離計測部１０６における距離閾値として例えば複数の距離閾値が設定されているような場合、表示変更部１０７は、計測対象仮想物体が各距離閾値以下になるごとに表示方法を変更してもよい。例えば、表示変更部１０７は、前述した第１の距離閾値以下になった旨の通知を受けた時に第１の表示方法に変更し、その後、第２の距離閾値以下になった旨の通知を受けた時に第２の表示方法に変更するように、距離に応じて表示方法を段階的に変更してもよい。

ステップＳ５０９に進むと、合成画像生成部１０８は、画像取得部１０４で取得した撮像画像と、計測対象仮想物体を含む各仮想物体の画像とを合成して合成画像を生成する。そして、その合成画像は、合成画像出力部１０９に送られ、その合成画像出力部１０９から撮像表示装置１１０の表示部１１２に送出される。

以上説明したように、本実施形態の情報処理装置１００では、仮想物体ごとに計測対象フラグが設定され、計測対象仮想物体となされた仮想物体はＭＲ体験者のＨＭＤに近接した場合にその表示方法が変更される。すなわち本実施形態によれば、計測対象仮想物体がＭＲ体験者のＨＭＤに近接した場合、その計測対象仮想物体の見え方が自動変更されることで、ＭＲ体験者が自身で動きを予測できない仮想物体によるＭＲ体験の阻害等を防ぐことができる。

＜第２の実施形態＞
第２の実施形態では、撮像表示装置１１０と計測対象仮想物体２０４との間の距離とは異なる情報を基にして、計測対象仮想物体の表示方法を変更する例について説明する。
図６は第２の実施形態における情報処理装置６００と撮像表示装置１１０の構成例を示した図である。図６において、図１と同じ構成要素には図１と同一の参照符号を付して、それらの詳細な説明は適宜省略する。また第２の実施形態においても前述の図２に示したＭＲ体験例に挙げて説明する。

第２の実施形態において、位置姿勢取得部１０５は、撮像表示装置１１０の撮像部１１１による撮影方向を取得し、その撮影方向の情報を角度計測部６０１に送出する。前述したように、撮像部１１１の撮影方向はＭＲ空間内におけるＭＲ体験者の視線方向であり、その視線方向のＭＲ体験者から見えるＭＲ空間内の様子が表示部１１２に表示される。このため、ＭＲ空間内における撮像部１１１の撮影方向と、表示部１１２によるＭＲ空間の表示方向とは一致している。

移動方向計測部６０２は、前フレームにおける計測対象仮想物体２０４の位置と現フレームにおける計測対象仮想物体２０４の位置との差分から、当該計測対象仮想物体２０４の移動方向を算出する。そして、その移動方向の情報を計測対象用の属性に含めて計測対象仮想物体２０４のデータに付加し、角度計測部６０１に送出する。

角度計測部６０１は、ＭＲ空間内における撮像部１１１の撮影方向（ＭＲ空間内における表示部１１２の表示方向）と計測対象仮想物体の移動方向とが成す角度を算出する。つまり角度計測部６０１は、それら撮影方向と移動方向の二つの方向を表す二つの線の交点でそれら二つの線が成す交点角度（交差角度）を算出する。そして、角度計測部６０１は、その交点角度が、予め設定した所定の角度閾値以下である場合にその旨を表示変更部１０７に通知する。ここで撮影方向と移動方向との交点角度は、ＭＲ体験者２０１の視線方向とその視線方向に対して向かってくる仮想物体の移動方向との間の角度を表している。このため、その交点角度が小さいほど、仮想物体の移動に伴って、その仮想物体がＭＲ体験者２０１の眼前に近づく可能性が高くなることになる。すなわち、交点角度が小さい場合には、仮想物体が移動することで、ＭＲ体験者２０１の眼前に当該仮想物体が表れる可能性が高いと言える。このため、第２の実施形態では、撮影方向と移動方向との交点角度が所定の角度閾値以下である場合にその旨を表示変更部１０７に通知する。

そして、第２の実施形態の表示変更部１０７は、その通知を受けると、合成画像生成部１０８における計測対象仮想物体２０４の表示方法を変更する。表示方法の変更は、第１の実施形態の例と同様とする。

図７は、第２の実施形態の情報処理装置１００における情報処理の流れを示したフローチャートである。図７のフローチャートにおいて、前述した図５のフローチャートと同じ処理ステップには図５と同一の参照符号を付して、それらの説明は適宜省略する。ステップＳ５０１からＳ５０３までの処理は前述同様であり、第２の実施形態の場合、ステップＳ５０３の処理後、ステップＳ７０１の処理に進む。

ステップＳ７０１に進むと、位置姿勢取得部１０５は、前述同様に撮像表示装置１１０の位置姿勢および撮影方向を取得し、それらの情報を角度計測部６０１と合成画像生成部１０８に送出する。ステップＳ７０１の後、情報処理装置６００の処理はステップＳ５０５に進む。そしてステップＳ５０５では、第１の実施形態と同様に計測対象フラグ３０１が「１」であるか否かが判定され、「１」でないと判定された場合にはステップＳ５０８の処理に進み、一方、「１」と判定された場合にはステップＳ７０２に処理が進められる。

ステップＳ７０２に進むと、移動方向計測部６０２は、前フレームと現フレームとにおける測対象仮想物体の位置の差分から移動方向を算出し、その移動方向の情報を計測対象用の属性に含めて計測対象仮想物体のデータに付加し、角度計測部６０１へ送出する。

次にステップＳ７０３において、角度計測部６０１は、ステップＳ７０１で取得された撮像表示装置１１０の撮影方向と、ステップＳ７０２で取得された計測対象仮想物体の移動方向との、二つの方向の交点角度を算出する。

次にステップＳ７０４において、角度計測部６０１は、ステップＳ７０３で求めた角度が、予め設定された所定の角度閾値以下か否かを判定する。そして、角度計測部６０１において交点角度が所定の角度閾値以下でない（角度閾値より大きい）と判定された場合、情報処理装置６００の処理はステップＳ５０９に進む。一方、角度計測部６０１は、交点角度が角度閾値以下であると判定した場合にはその旨を表示変更部１０７に通知し、その後、情報処理装置６００の処理はステップＳ５０８に進む。ステップＳ５０８とステップＳ５０９の処理は前述同様である。

以上により、第２の実施形態においては、撮影方向（ＭＲ体験者の視線方向）と計測対象仮想物体の移動方向との交点角度を基に、ＭＲ体験者の視線方向に対して向かってくる仮想物体について表示方向を変更する。これにより、第２の実施形態によれば、ＭＲ体験者が自身で動きを予測できない仮想物体によるＭＲ体験の阻害を防ぐことができることになる。

＜第２の実施形態の変形例＞
前述した例では、撮影方向と移動方向との交点角度を基に仮想物体の表示方法を変更するか否か判定する例を挙げたが、変形例として、表示方法を変更するか否かの判定条件に、撮像表示装置１１０と計測対象仮想物体２０４との間の相対速度を加えてもよい。

この変形例の場合、移動方向計測部６０２は、計測対象仮想物体２０４の位置の変化、すなわち例えば、前フレームと現フレームとにおける計測対象仮想物体２０４の位置の差分から、移動方向と移動速度を算出する。そして、移動方向計測部６０２は、それら移動方向と移動速度の情報を計測対象用の属性に含めて計測対象仮想物体２０４のデータに付加し、角度計測部６０１に送出する。

また角度計測部６０１は、前述同様に撮影方向と計測対象仮想物体２０４の移動方向との二つの方向の交点角度を算出すると共に、前フレームと現フレームとにおける撮像表示装置１１０の位置の差分から撮像表示装置１１０の移動速度をも算出する。さらに角度計測部６０１は、計測対象仮想物体２０４の移動方向及び移動速度と、撮像表示装置１１０の撮影方向及び移動速度とを基に、計測対象仮想物体２０４と撮像表示装置１１０との間の相対速度を算出する。そして、角度計測部６０１は、交点角度が前述した所定の角度閾値以下であり、且つ相対速度が所定の速度閾値以上である場合に、その旨を表示変更部１０７に通知する。この通知を受けた表示変更部１０７は、前述同様に計測対象仮想物体２０４の表示方法を変更させる。

第２の実施形態の変形例によれば、ＭＲ体験者の視線方向に対して所定の閾値角度以下となる方向から向かってくる仮想物体が、所定の速度閾値以上で近づいてくる場合に、その仮想物体の表示方法を変更することが可能となる。これにより、第２の実施形態の変形例においても、ＭＲ体験者が自身で動きを予測できない仮想物体によるＭＲ体験の阻害を防ぐことができる。

なお第２の実施形態の変形例の場合、ＭＲ体験者の視線方向に対して所定の閾値角度以下となる方向から向かってくる仮想物体であっても、その接近速度が所定の速度閾値未満である場合には当該仮想物体の表示方法は変更されない。つまり、接近速度が遅い仮想物体の場合、ＭＲ体験者が自身で動きを予測し易く、ＭＲ体験が阻害される可能性が低いため、接近速度が所定の速度閾値未満である仮想物体については表示方法を変更しないようする。

＜第３の実施形態＞
第３の実施形態では、ＭＲ体験者のＨＭＤの画面内における計測対象仮想物体の画面占有率に基づいて計測対象物体の表示方法を変更する例について説明する。
図８は第３の実施形態における情報処理装置８００と撮像表示装置１１０の構成例を示した図である。図８において、図１と同じ構成要素には図１と同一の参照符号を付して、それらの詳細な説明は適宜省略する。また第３の実施形態においても前述の図２に示したＭＲ体験例に挙げて説明する。

第３の実施形態の情報処理装置８００において、画像取得部１０４は、撮像部１１１から取得した撮像画像を占有率計測部８０１に送出する。
占有率計測部８０１は、画像取得部１０４を介して取得した撮像画像と、仮想物体生成部１０２で生成された計測対象仮想物体２０４を含む各仮想物体とから、表示部１１２の画面内で計測対象仮想物体２０４が占める割合（以下、画面占有率とする）を算出する。なお、占有率計測部８０１は、画面占有率を公知の方法により計測する。例えば、占有率計測部８０１は、画面占有率を、画面内における総画素数に対する計測対象仮想物体２０４の画素数から求めてもよいし、画面の面積に対する計測対象仮想物体２０４の面積から求めてもよい。そして、占有率計測部８０１は、計測対象仮想物体２０４の画面占有率が、予め設定された所定の占有率閾値以上である場合に、その旨を表示変更部１０７に通知する。すなわち、計測対象仮想物体の画面占有率が大きい場合、その計測対象仮想物体がＭＲ体験者２０１に対して与える影響は大きいと言える。このため、第３の実施形態では、計測対象仮想物体の画面占有率が所定の占有率閾値以上である場合に、その旨を表示変更部１０７に通知する。

そして、第３の実施形態の表示変更部１０７は、その通知を受けると、合成画像生成部１０８における計測対象仮想物体２０４の表示方法を変更する。表示方法の変更は、第１の実施形態の例と同様とする。

図９は、第３の実施形態の情報処理装置８００における情報処理の流れを示したフローチャートである。図９のフローチャートにおいて、前述した図５のフローチャートと同じ処理ステップには図５と同一の参照符号を付して、それらの説明は適宜省略する。ステップＳ５０１からＳ５０３までの処理は前述同様であり、第３の実施形態の場合、ステップＳ５０３の処理後、ステップＳ５０５の処理に進む。そして、ステップＳ５０５において、計測対象フラグが「１」でないと判定された場合にはステップＳ５０９の処理に進み、一方、計測対象フラグが「１」であると判定された場合にはステップＳ９０１の処理に進む。

ステップＳ９０１に進むと、占有率計測部８０１は、表示部１１２の画面に対する計測対象仮想物体２０４の画面占有率を計測し、その画面占有率の情報を計測対象仮想物体２０４のデータに付加する。

次にステップＳ９０２において、占有率計測部８０１は、ステップＳ９０１で求めた画面占有率が、予め設定した所定の占有率閾値以上であるか否かを判定する。そして、画面占有率が占有率閾値以上であると判定した場合、占有率計測部８０１はその旨を表示変更部１０７に通知し、その後、情報処理装置８００の処理はステップＳ５０８に進む。一方、画面占有率が占有率閾値未満であると判定された場合、情報処理装置８００の処理はステップＳ５０９に進む。ステップＳ５０８とステップＳ５０９の処理は前述同様である。

以上により、第３の実施形態においては、撮像表示装置１１０の表示部１１２の画面内での計測対象仮想物体の画面占有率が所定の占有率閾値以上である場合、その計測対象仮想物体の表示方法を変更することが可能となる。これにより、第３の実施形態によれば、ＭＲ体験者が自身で動きを予測できない仮想物体によるＭＲ体験の阻害を防ぐことができることになる。

＜第３の実施形態の変形例＞
前述した例では、計測対象仮想物体が画面内で占める割合である画面占有率を基に
表示方法を変更するか否か判定する例を挙げたが、変形例として、画面占有率の絶対量ではなく、画面占有率の変化量を、表示方法を変更するか否かの判定条件としてもよい。

この変形例の場合、占有率計測部８０１は、前フレームにおける画面占有率と現フレームにおける画面占有率との差分から、計測対象仮想物体２０４の画面占有率の変化量を算出する。そして、占有率計測部８０１は、画面占有率の変化量が所定の変化量閾値以上である場合に、その旨を表示変更部１０７に通知する。例えば、前フレームでの画面占有率よりも現フレームの画面占有率が大きくなり、その際の画面占有率の変化量が所定の変化量閾値以上になった時に、そのことを表示変更部１０７に通知する。或いは逆に、前フレームでの画面占有率よりも現フレームの画面占有率が小さくなり、その際に画面占有率の変化量が所定の変化量閾値以上になった時に、そのことを表示変更部１０７に通知してもよい。なお、ＭＲ体験者が予測できない仮想物体によるＭＲ体験の阻害を防ぐという観点からは、前フレームより現フレームの画面占有率が大きくなる際の変化量が変化量閾値以上になる場合に、表示変更部１０７への通知を行うことが望ましい。つまり、計測対象仮想物体がＭＲ体験者２０１に近づいた場合、当該計測対象仮想物体の画面占有率は大きくなるため、その際の画面占有率の変化量が変化量閾値以上になった時に表示変更部１０７への通知を行うようにする。このような通知を受けた表示変更部１０７は、前述同様に計測対象仮想物体２０４の表示方法を変更させる。

第３の実施形態の変形例によれば、計測対象仮想物体の画面占有率が画面内で大きく変化する場合に、その仮想物体の表示方法を変更することが可能となる。これにより、第２の実施形態の変形例においても、ＭＲ体験者が自身で予測できない仮想物体によるＭＲ体験の阻害を防ぐことができる。

＜ハードウェア構成例＞
図１０は、前述した各実施形態における情報処理装置の実装が可能なハードウェア構成例を示した図である。
図１０において、ＣＰＵ１０１０は、バス１０００を介して接続する各デバイスを統括的に制御する。ＣＰＵ１０１０は、読み出し専用メモリ（ＲＯＭ）１０２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各情報処理プログラム、デバイスドライバ等は、ＲＯＭ１０２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１０３０に一時記憶され、ＣＰＵ１０１０によって適宜実行される。また、入力Ｉ／Ｆ１０４０は、外部の装置（例えば撮像表示装置１１０の撮像部１１１や不図示の操作装置など）からの信号を各実施形態の情報処理装置が処理可能な形式で入力する。また、出力Ｉ／Ｆ１０５０は、外部の装置（例えば撮像表示装置１１０の表示部１１２）が処理可能な形式で信号を出力する。これらの各機能部は、ＣＰＵ１０１０が、ＲＯＭ１０２０に格納されたプログラムをＲＡＭ１０３０に展開し、前述した各実施形態に係るフローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１０１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

また前述した各実施形態の情報処理装置における各機能部は、全てがハードウェアにより実装されてもよいし、一部がソフトウェアによって実行されてもよい。ソフトウェアによって実行される場合には、図９のＣＰＵ１０１０、ＲＯＭ１０２０及びＲＡＭ１０３０等を用いて該ソフトウェアが実行される。

以上、本発明の各実施形態について説明したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の各実施形態の一部を適宜組み合わせることも可能である。

例えば第１〜第３の実施形態では、距離、角度、速度、画面占有率等の何れかを用いて計測対象仮想物体の表示方法を変更するか否かを判定したが、距離、角度、速度、画面占有率等の二つ以上を組み合わせて表示方法を変更するか否かの判定が行われてもよい。

また例えば、撮像表示装置１１０は、ＭＲ体験者の頭部に装着されて、撮像部１１１と表示部１１２とがＭＲ体験者の眼の付近に配置されたＨＭＤであったが、それらの物理的な配置は限定されず、タブレットやスマートフォン等のハンドヘルド型であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：情報処理装置、１１０：撮像表示装置、１０１：対象設定部、１０２：仮想物体生成部、１０４：画像取得部、１０５：位置姿勢取得部、１０６：距離計測部、１０７：表示変更部、１０８：合成画像生成部、１０９：合成画像出力部

Claims (18)

1. １以上の仮想物体を表示可能な表示装置の、所定の空間内における位置姿勢を取得する取得手段と、
   前記表示装置の前記位置姿勢と、前記所定の空間内における前記１以上の仮想物体のうち、対象仮想物体の位置姿勢とに基づいて、前記表示装置における前記対象仮想物体の表示方法を変更する制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記表示装置の位置姿勢と前記対象仮想物体の位置姿勢とを基に、前記所定の空間内における前記表示装置と前記対象仮想物体との間の距離を取得し、前記距離に基づいて、前記仮想物体の表示方法を変更することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記距離が所定の距離閾値以下になった場合に、前記対象仮想物体の表示方法の変更を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の距離閾値は複数の異なる距離閾値からなり、
   前記制御手段は、前記距離が前記異なる距離閾値以下になる毎に、前記対象仮想物体の表示方法を異なる表示方法に変更することを特徴とする請求項３に記載の情報処理装置。
5. 前記制御手段は、前記表示装置の位置姿勢と前記対象仮想物体の位置姿勢とを基に、前記所定の空間内における前記表示装置の表示方向と前記所定の空間内における前記対象仮想物体の移動方向とを取得し、前記表示方向と前記移動方向とが成す角度に基づいて、前記表示装置における前記対象仮想物体の表示方法を変更することを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記制御手段は、前記角度が所定の角度閾値以下になった場合に、前記仮想物体の表示の変更を行うことを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記所定の空間内における前記対象仮想物体の位置姿勢の変化から前記仮想物体の移動速度をさらに取得し、前記対象仮想物体の移動速度を基に前記表示装置における前記仮想物体の表示方法を変更することを特徴とする請求項５または請求項６に記載の情報処理装置。
8. 前記制御手段は、前記角度が所定の角度閾値以下で、かつ前記移動速度が所定の速度閾値以上である場合に、前記対象仮想物体の表示方法の変更を行うことを特徴とする請求項７に記載の情報処理装置。
9. 前記制御手段は、前記表示装置の画面に対する前記対象仮想物体の大きさを基に、前記表示装置における前記対象仮想物体の表示方法を変更することを特徴とする請求項１から請求項８のいずれか１項に記載の情報処理装置。
10. 前記制御手段は、前記表示装置の画面に対する前記対象仮想物体の占有率を取得し、前記占有率が所定の占有率閾値以上である場合に、前記対象仮想物体の表示方法の変更を行うことを特徴とする請求項９に記載の情報処理装置。
11. 前記制御手段は、前記表示装置の画面に対する前記対象仮想物体の占有率を取得し、前記占有率の変化量が所定の変化量閾値以上である場合に、前記対象仮想物体の表示方法の変更を行うことを特徴とする請求項９に記載の情報処理装置。
12. 前記表示方法の変更の対象になる前記対象仮想物体を設定する対象設定手段を有することを特徴とする請求項１から請求項１１のいずれか１項に記載の情報処理装置。
13. 前記対象設定手段は、ユーザにより指定された仮想物体、若しくは、所定の大きさ以上の面積を持つ仮想物体を、前記対象仮想物体として設定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記対象設定手段は、前記対象仮想物体に対して、表示方法の変更の対象であることを示す所定の属性を設定することを特徴とする請求項１２または請求項１３に記載の情報処理装置。
15. 前記制御手段は、前記表示装置に表示される前記対象仮想物体の透明度を変更することを特徴とする請求項１から請求項１４のいずれか１項に記載の情報処理装置。
16. 前記所定の空間は現実空間と仮想空間とを融合した三次元の複合現実感空間であり、
    前記表示装置には前記現実空間を撮像した画像に前記１以上の仮想物体を合成した合成画像が表示されることを特徴とする請求項１から請求項１５のいずれか１項に記載の情報処理装置。
17. 情報処理装置が実行する情報処理方法であって、
    １以上の仮想物体を表示可能な表示装置の、所定の空間内における位置姿勢を取得する取得工程と、
    前記表示装置の前記位置姿勢と、前記所定の空間内における前記１以上の仮想物体のうち、対象仮想物体の位置姿勢とに基づいて、前記表示装置における前記対象仮想物体の表示方法を変更する制御工程と、
    を有することを特徴とする情報処理方法。
18. コンピュータを請求項１から請求項１６のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images