JP6332281B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想オブジェクトを用いて可視化される。仮想オブジェクトは、関連付けられる実物体の位置に応じてＡＲ空間内に配置されるが、ＡＲ空間内で移動や衝突、変形といった動作を行うことも可能である。

例えば、下記特許文献１では、仮想オブジェクトを変形させたり、仮想オブジェクトで表現された地形との衝突判定を行いながら仮想オブジェクトを移動させたりする技術が開示されている。

特開２０１２−１４１８２２号公報

しかし、上記特許文献１に開示された技術では、仮想オブジェクトの変形や仮想オブジェクト同士の相互作用といった、仮想オブジェクトの変化が表現されるに過ぎない。ＡＲ技術による現実世界が拡張されたかのような感覚をユーザにより強く与えるためには、実空間のオブジェクトが変化する表現が提供されることが望ましい。

本開示によれば、実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部、を備える情報処理装置が提供される。

また、本開示によれば、プロセッサが、実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別すること、を含む情報処理方法が提供される。

また、本開示によれば、コンピュータを、実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、ＡＲ技術による現実世界が拡張されたかのような感覚をユーザにより強く与えることができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るＡＲ表示処理の概要を説明するための図である。 本実施形態に係るスマートフォンの構成の一例を示すブロック図である。 対象オブジェクトの識別処理を説明するための図である。 背景テクスチャの生成処理を説明するための説明図である。 背景テクスチャの生成処理を説明するための説明図である。 背景テクスチャ生成のためのＵＩの一例を示す図である。 対象オブジェクトの状態変化に伴う動的な描画マスク生成処理を説明するための図である。 背景テクスチャの表示処理を説明するための説明図である。 背景テクスチャの表示処理を説明するための説明図である。 背景テクスチャの表示処理を説明するための説明図である。 変化テクスチャの輝度補正処理の一例を示す図である。 本実施形態に係るスマートフォンにおいて実行される変化オブジェクトの生成処理の流れの一例を示すフローチャートである。 本実施形態に係るスマートフォンにおいて実行されるバッファリング処理の流れの一例を示すフローチャートである。 本実施形態に係るスマートフォンにおいて実行される背景テクスチャの生成処理の流れの一例を示すフローチャートである。 本実施形態に係るスマートフォンにおいて実行される変化テクスチャの生成処理の流れの一例を示すフローチャートである。 本実施形態に係るスマートフォンにおいて実行されるＡＲ表示処理の流れの一例を示すフローチャートである。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．スマートフォンの構成例
３．動作処理
３−１．変化オブジェクトの生成処理
３−２．バッファリング処理
３−３．背景テクスチャの生成処理
３−４．変化テクスチャの生成処理
３−５．ＡＲ表示処理
４．まとめ

＜１．概要＞
まず、図１を参照して、本開示の一実施形態に係るＡＲ表示処理の概要を説明する。

図１は、本開示の一実施形態に係るＡＲ表示処理の概要を説明するための図である。図１に示すように、ユーザはスマートフォン１を手に持って表示部７を見ており、表示部７の裏面側に配置された撮像部が机に向けられている。机には、電話機１０、ガムテープ１１、ヘルメット１２、飲料缶１３、およびスプレー缶１４が置かれている。本実施形態に係るスマートフォン１は、図１の符号１００に示すように、これらの机の上に置かれた実空間のオブジェクトを変化させた表示を行うことができる。

図１の符号１００に示すように、スマートフォン１は、仮想オブジェクトであるボール１２０がスマートフォン１から射出され、机の上のオブジェクトに衝突して実空間に作用している状態を表示している。詳しくは、スマートフォン１は、実時間で実空間が撮像された撮像画像に、跳ね飛ばされたガムテープ１１および破壊されたヘルメット１２を示すＡＲ画像１１１、１１２を重畳して表示する。また、スマートフォン１は、ガムテープ１１およびヘルメット１２がもともと位置していた領域であって、移動や破壊により新たに露出した部分に、背景を示すＡＲ画像１２１、１２２をそれぞれ重畳して表示する。ただし、実オブジェクトであっても、電話機１０、飲料缶１３、およびスプレー缶１４については、ボール１２０が衝突していない。そこで、スマートフォン１は、図１の符号１００に示すように、電話機１０、飲料缶１３、およびスプレー缶１４のスルー画像をそのまま表示している。以下では、実オブジェクトのうち、跳ね飛ばされたり破壊されたりといった状態変化の対象となるオブジェクトを対象オブジェクトと称し、机や壁といった対象オブジェクト以外のオブジェクトを背景オブジェクトとも称する。また、実空間を実時間で撮像した撮像画像をスルー画像とも称する。

このような表現を実現するための第１の事前準備として、まず、スマートフォン１は、実空間の三次元データを取得する。三次元データとは、実空間における物体の頂点の位置情報、頂点間を繋ぐ線分、および線分により囲まれる表面から成るデータであり、実空間の三次元形状（Surface）を表現する情報である。スマートフォン１は、この三次元データを用いることで、ＡＲ画像（オブジェクト画像）を適切な位置に表示したり、仮想オブジェクトと実オブジェクトとの衝突等のインタラクションを表現したりすることができる。

また、第２の事前準備として、スマートフォン１は、背景オブジェクトに関するＡＲ画像の元となる画像を収集して、背景オブジェクトの表面のテクスチャ（表面画像）を生成する。具体的には、まず、スマートフォン１は、三次元データにおける表面のうち背景オブジェクトに相当する部分について、対応する実空間の領域が撮像された撮像画像を収集してバッファリングする。例えば、図１に示した例に関しては、ガムテープ１１の正面から撮像した撮像画像のみでは、ガムテープ１１の背面側の背景オブジェクトは隠れて撮像されていない。このため、スマートフォン１は、ガムテープ１１の正面から撮像した撮像画像に加えて、ガムテープ１１の背面側から撮像した撮像画像をバッファリングする。そして、スマートフォン１は、バッファリングされた撮像画像（バッファ画像）を合成することで、対象オブジェクトの存在を消去した仮想的な１枚のテクスチャ（背景テクスチャ）を生成する。

また、第３の事前準備として、スマートフォン１は、対象オブジェクトに関するＡＲ画像の元となるテクスチャを生成する。具体的には、まず、スマートフォン１は、対象オブジェクトの状態を変化させた仮想オブジェクト（変化オブジェクト）を生成して、現在位置を計算する。例えば、図１に示した例に関しては、スマートフォン１は、ヘルメット１２の破片１１２の三次元データを生成する。そして、スマートフォン１は、変化オブジェクトの表面に表示すべき変化テクスチャを生成する。

そして、上述したＡＲ表示を実行する際、スマートフォン１は、オブジェクトの破壊や移動といった状態の変化に応じて、スルー画像を動的にマスクしながらＡＲ画像を表示する。具体的には、まず、スマートフォン１は、事前準備として生成された変化オブジェクトの状態変化を演算して、スルー画像における変化オブジェクトの現在位置を動的に決定する。例えば、図１に示した例においては、跳ね飛ばされたガムテープ１１の現在位置や、ヘルメット１２の破片１１２の現在位置を演算する。次いで、スマートフォン１は、スルー画像において、ＡＲ表示する際に実空間と異なった表示を行う領域を透過する描画マスクを生成する。例えば、図１に示したガムテープ１１に関しては、ガムテープ１１が跳ね飛ばされることにより新たに露出する背景、および跳ね飛ばされたガムテープ１１を表示する領域を透過する描画マスクを生成する。次いで、スマートフォン１は、描画マスクにおいて透過する領域に対応するテクスチャを表示する。

背景オブジェクトのＡＲ画像に関しては、スマートフォン１は、描画マスクを用いて、背景オブジェクトの表面に事前準備で生成された背景テクスチャを表示する。例えば、図１に示した例においては、ガムテープ１１が跳ね飛ばされることにより新たに露出する背景領域に、背景テクスチャの対応する領域１２１が表示される。このようにして、スマートフォン１は、対象オブジェクトの状態変化により新たに露出する領域に、自然な背景を表示することができる。

対象オブジェクトのＡＲ画像に関しては、スマートフォン１は、変化オブジェクトの表面に事前準備で生成された変化テクスチャを表示する。ただし、スマートフォン１は、対象オブジェクトの状態変化をより自然に表現するために、変化オブジェクトの表面のうちスルー画像においては露出している部分については、スルー画像のうち対応する領域を張り付けて、他の領域に変化テクスチャを張り付ける。例えば、図１に示した例においては、ガムテープ１１の外周部は露出しているため、スマートフォン１は、跳ね飛ばされたガムテープ１１の外周部にスルー画像の外周部の画像を張り付けて表示する。一方で、例えばヘルメット１２の内部は隠れているため、スマートフォン１は、破片１１２の破壊断面に事前準備で生成された変化テクスチャを表示する。このようにして、スマートフォン１は、状態が変化した対象オブジェクトをより自然に表現することができる。

なお、図１では、本開示の一実施形態に係る情報処理装置がスマートフォン１として実現される例を示したが、本開示に係る技術はこれに限定されない。例えば、情報処理装置は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、デジタルカメラ、デジタルビデオカメラ、タブレット端末、携帯電話端末等であってもよい。また、情報処理装置がＨＭＤとして実現される場合、ＨＭＤは、カメラにより撮像されたスルー画像にＡＲ画像を重畳して表示してもよいし、透明または半透明のスルー状態として形成された表示部にＡＲ画像を表示してもよい。

以上、本実施形態に係るＡＲ表示処理の概要を説明した。続いて、図２〜図１１を参照して、本実施形態に係るスマートフォン１の構成を説明する。

＜２．スマートフォンの構成例＞
図２は、本実施形態に係るスマートフォン１の構成の一例を示すブロック図である。図２に示すように、スマートフォン１は、撮像部２、姿勢情報取得部３、三次元データ取得部４、制御部５、表示制御部６、および表示部７を有する。

（１）撮像部２
撮像部２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。撮像部２は、単眼カメラであってもよいし、複眼（ステレオ）カメラであってもよい。単眼カメラ又は複眼カメラによって撮像された撮像画像は、後述する画像生成部５３によるテクスチャの生成に用いられてもよいし、三次元データ取得部４による動的な三次元データの生成に用いられてもよい。

本実施形態に係る撮像部２は、実空間を撮像して、後述の変化オブジェクト生成部５２によるテクスチャの生成に用いられる画像を取得する機能を有する。また、撮像部２は、実時間で実空間を撮像したスルー画像を取得する機能を有する。撮像部２は、制御部５および表示制御部６に撮像した画像を出力する。

（２）姿勢情報取得部３
姿勢情報取得部３は、スマートフォン１の位置および角度（姿勢）を示す姿勢情報を取得する機能を有する。特に、姿勢情報取得部３は、撮像部２の姿勢情報を取得する。ＡＲ技術において、真に有用な情報をユーザに呈示するためには、コンピュータが実空間の状況を的確に把握することが重要である。そのため、ＡＲ技術の基盤となる実空間の状況の把握を目的とした技術の開発が進められている。そのような技術のひとつとして、例えば、カメラの位置や姿勢とカメラの画像に映る特徴点の位置とを同時に推定可能なＳＬＡＭ（Simultaneous Localization And Mapping）とよばれる技術がある。単眼カメラを用いたＳＬＡＭ技術の基本的な原理は、「Andrew J.Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410」において説明されている。なお、カメラ画像を用いて視覚的に位置を推定するＳＬＡＭ技術は、特にＶＳＬＡＭ（visual SLAM）とも称される。ＳＬＡＭ技術においては、環境マップとカメラ画像とを用いて、カメラの位置および姿勢が推定される。姿勢情報取得部３は、例えばＳＬＡＭ技術を用いた場合、環境マップと物体に属す特徴点の三次元位置とのマッチングをとることにより、当該物体の形状を構成するポリゴン情報を実物体に対して高精度に位置合わせをすることができる。姿勢情報取得部３は、この位置合わせの結果により、撮像部２の姿勢情報を取得する。他にも、姿勢情報取得部３は、マーカーを用いた姿勢推定技術や、ＤＴＡＭ（Dense Tracking and Mapping in Real-Time）、Ｋｉｎｅｃｔ Ｆｕｓｉｏｎといった技術により、撮像部２の姿勢情報を取得してもよい。また、姿勢情報取得部３は、加速度センサや角速度（ジャイロ）センサ、地磁気センサにより検知された情報に基づいて、姿勢情報を取得してもよい。姿勢情報取得部３は、取得した姿勢情報を制御部５および表示制御部６に出力する。

（３）三次元データ取得部４
三次元データ取得部４は、実空間の三次元データを取得する機能を有する。三次元データは、例えば単眼撮像センサ又は複眼撮像センサによって、又は赤外線を用いた形状センサによって作成され得る。三次元データ取得部４は、撮像部２又は図示しない赤外線を用いた形状センサおよび姿勢情報取得部３を用いて三次元データを生成してもよいし、予め他の端末により生成された三次元データを外部から取得してもよい。三次元データは、例えばＣＡＤ（Computer Assisted Drafting）データとして実現される。三次元データ取得部４は、取得した三次元データを制御部５および表示制御部６に出力する。

（４）制御部５
制御部５は、演算処理装置および制御装置として機能し、各種プログラムに従ってスマートフォン１内の動作全般を制御する。制御部５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。なお、制御部５は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。図２に示すように、制御部５は、識別部５１、変化オブジェクト生成部５２、および画像生成部５３として機能する。

（４−１）識別部５１
識別部５１は三次元データ取得部４により取得された実空間の三次元データに基づいて、実空間に含まれる対象オブジェクトを背景オブジェクトから区別して識別する機能を有する。例えば、識別部５１は、三次元データが人工物（例えば室内の構造）を示しているものと仮定して、三次元データから床面（Dominant Plane）および壁面を識別する。そして、識別部５１は、床面および壁面以外であって、床面の上に突出している閾値以上の体積を有する三次元形状を、対象オブジェクトとして識別する。ただし、識別された対象オブジェクトのうち、もともと床面や壁面に接触していた部分などは、三次元データに表面として登録されていないため欠損（Hole）になり得る。このため、識別部５１は、欠損部分の周辺の頂点を伸ばしたり、欠損部分の周辺の頂点間を線で繋いだり、表面を補ったりすることで、欠損を補間する。他にも、識別部５１は、既存アルゴリズムにより欠損を補間してもよい。これにより対象オブジェクトの多面性（Manifoldness）が担保されるため体積計算が可能となり、識別部５１は対象オブジェクトを適切に識別することができる。識別部５１により識別された対象オブジェクトは、後述の変化オブジェクト生成部５２による変化オブジェクトの生成対象となる。また、識別部５１は、三次元データが示す三次元形状のうち、対象オブジェクト以外を背景オブジェクトとして識別する。識別部５１により対象オブジェクトと区別して識別された背景オブジェクトは、後述の変化オブジェクト生成部５２による変化オブジェクトの生成対象から除外される。識別部５１は、対象オブジェクトと同様の手法により、背景オブジェクトの欠損を補間してもよい。以下、図３を参照して、識別部５１による対象オブジェクトの識別処理について説明する。

図３は、対象オブジェクトの識別処理を説明するための図である。ここでは、三次元データ取得部４により、図３の符号２００に示す三次元データが取得された事例を想定する。識別部５１は、三次元データ２００から平面抽出を行い、最も大きい面積の平面２０１を床面として識別する。このとき、識別部５１は、三次元データ２００を取得した端末の加速度センサにより検知された重力方向に基づいて、床面２０１を抽出してもよい。三次元データ２００が三次元データ取得部４により生成された場合、生成の際に加速度センサにより検知された重力方向に基づいて、床面２０１が抽出される。重力方向を用いることにより、床面抽出精度は向上する。なお、三次元データが自然界の形状を示す場合、床面（地面）に起伏があることが想定されるので、識別部５１は、緩和した勾配閾値（Gradient Threshold）を用いて床面を抽出してもよい。また、識別部５１は、床面に載っているオブジェクトから壁面２０２を識別する。例えば、識別部５１は、矩形（Axis Aligned Boundary Box）を定義して、三次元データが示す三次元形状の端部にある、床面に対して垂直な形状群を壁面２０２として識別する。以上説明した処理により、識別部５１は、対象オブジェクト２１０と、それ以外の背景オブジェクト２２０を分離して識別する。

（４−２）変化オブジェクト生成部５２
変化オブジェクト生成部５２は、識別部５１により識別された対象オブジェクトについて、対象オブジェクトの状態を変化させた変化オブジェクトを生成する機能を有する。詳しくは、変化オブジェクト生成部５２は、変化オブジェクトの頂点の位置情報、頂点間を繋ぐ線分、および線分により囲まれる表面から成るデータを生成する。変化オブジェクトは、例えば対象オブジェクトが破壊された破片であってもよいし、凹凸が形成された対象オブジェクトであってもよい。例えば、変化オブジェクト生成部５２は、対象オブジェクトにVoronoi FractureやVoronoi Shatter等のアルゴリズムを適用することで、破壊後の破片を示す変化オブジェクトを生成する。以下、図３を再度参照して、変化オブジェクト生成部５２による変化オブジェクトの生成処理について説明する。

図３に示すように、変化オブジェクト生成部５２は、識別部５１により識別された対象オブジェクト２１０を、破壊により生じる破壊断面を形成して複数個に分離することで、破片を示す変化オブジェクト２３０を生成する。このとき、変化オブジェクト生成部５２は、破片の各表面について、破壊前に対象オブジェクトの表面であったか否かを示すフラグ情報を設定する。このフラグ情報は、後述する表示制御部６による破片の描画の際に参照される。

（４−３）画像生成部５３
画像生成部５３は、ＡＲ画像のもととなるテクスチャを、ＡＲ表示のための事前準備として予め生成する機能を有する。詳しくは、画像生成部５３は、識別部５１により識別された背景オブジェクトの仮想のオブジェクト画像、即ち状態変化により新たに露出する背景オブジェクトの表面に表示すべきテクスチャ（背景テクスチャ）を生成する。また、画像生成部５３は、識別部５１により識別された対象オブジェクトの状態を変化させた仮想のオブジェクト画像、即ち変化オブジェクト生成部５２により生成された変化オブジェクトの表面に表示すべきテクスチャ（変化テクスチャ）を生成する。画像生成部５３は、例えば撮像部２により実空間が撮像された撮像画像に基づいてテクスチャを生成する。

（４−３−１）背景テクスチャの生成
画像生成部５３は、実空間が撮像された１枚以上の撮像画像において露出している背景部分を合成することで、背景オブジェクトの表面に表示すべき背景テクスチャ（第１の表面画像）を生成する。詳しくは、画像生成部５３は、三次元データにおける頂点を繋ぐ線分により区切られる領域（以下ではポリゴンとも称する）を最小単位として、１枚以上の撮像画像から背景オブジェクトに相当する画像を集めて合成することで、１枚の背景テクスチャを生成する。図４は、背景テクスチャの生成処理を説明するための説明図である。図４は、実空間の撮像画像と三次元データとの対応関係を示している。図４では、対象オブジェクトの表面が実線で囲まれたポリゴンとして示され、背景オブジェクトの表面が破線で囲まれたポリゴンとして示されている。画像生成部５３は、１枚以上の撮像画像から、図４の破線で示された背景オブジェクトの各ポリゴンに対応する画像を集めて合成することで、背景テクスチャを生成する。

画像生成部５３は、撮像部２により撮像された撮像画像を複数枚バッファリングしておき、バッファリングされた１枚以上のバッファ画像を用いて背景テクスチャを合成する。バッファリングの際、画像生成部５３は、独立性が高い撮像画像を優先的にバッファリングする。独立性が高いとは、対象オブジェクトにより背景が隠れる部分の重複が少ないことを意味する。これにより、画像生成部５３は、より少ない枚数でより多くのポリゴンを含む背景テクスチャを生成することができるため、合成する際の継ぎ目の数が減少して、より自然なＡＲ表示が実現される。また、画像生成部５３は、直近に撮像された撮像画像を優先的にバッファリングする。これにより、画像生成部５３は、より直近に撮像された撮像画像で背景テクスチャを生成することができるので、ＡＲ画像の元となるバッファ画像とスルー画像との撮像時刻の差が削減されて、より自然なＡＲ表示が実現される。なお、本明細書では、画像生成部５３が複数枚のバッファ画像を用いて背景テクスチャを生成するものとして説明するが、本開示にかかる技術はこれに限定されない。例えば、画像生成部５３は、複数枚のバッファ画像を用いて後述する変化テクスチャを生成してもよい。他にも、画像生成部５３は、複数枚のバッファ画像を用いて実物体に関する任意のテクスチャを生成してもよい。

画像生成部５３は、独立性の判定を頂点ごとに行う。詳しくは、画像生成部５３は、なるべく多くの背景オブジェクトの頂点が可視となるようバッファリングを行う。例えば、画像生成部５３は、背景オブジェクトの不可視頂点と可視頂点とを判別して、すべての頂点がいずれかの撮像画像において可視頂点となるよう、バッファリングする。頂点ごとに可視性が判定されるため、ピクセルごとに判定される場合と比較して判定回数が削減されて計算量が削減される。なお、可視頂点とは、三次元データの頂点のうち撮像画像における対応する位置が露出している頂点である。また、不可視頂点とは、三次元データの頂点のうち撮像画像における対応する位置が隠れている頂点である。例えば、図４に示した例においては、ヘルメット１２よりも手前の頂点３１０は可視頂点であり、ヘルメット１２の背面側にある隠れた頂点３２０は不可視頂点である。もちろん、マシンパワーが増加した場合、画像生成部５３はピクセルごとの可視性の判定を採用してもよい。

画像生成部５３は、姿勢情報取得部３により取得された姿勢情報および三次元データを用いて撮像部２が実空間のどの位置からどの角度で撮像したかを計算することで、撮像画像における頂点の可視性を判定して、バッファリングするか否かを判定する。図５は、背景テクスチャの生成処理を説明するための説明図である。図５に示すように、画像生成部５３は、姿勢情報および三次元データを用いて対象オブジェクトの頂点位置を動的に計算して、撮像画像４００の対象オブジェクトの領域が透過するマスク４１０を生成する。そして、画像生成部５３は、マスク４１０の透過する領域に含まれる頂点を不可視頂点として判定し、それ以外の頂点を可視頂点として判定する。なお、画像生成部５３は、マスク４１０に代えて、マスク４１０の透過領域を二次元的に領域拡大したマスク４２０を用いて頂点の可視性を判定してもよい。この場合、より広い範囲の頂点が不可視頂点として判定されるため、姿勢情報取得部３の姿勢推定誤差が吸収され、不可視頂点が誤って可視頂点と判定されるような誤判定が回避される。

画像生成部５３は、上述したように、１枚以上のバッファ画像を合成することで、１枚の背景テクスチャを生成する。画像生成部５３は、可視面積が大きい撮像画像を優先的に合成する。より詳しくは、画像生成部５３は、可視面積が大きい撮像画像から合成された領域が、背景テクスチャにおいてより多くの領域を占めるようバッファ画像を合成する。これにより、より少ない枚数の撮像画像により背景テクスチャが生成されるので、より統一感のある自然なＡＲ表示が実現される。なお、画像生成部５３は、可視頂点数が多い場合に可視面積が大きいと判定して、可視頂点数が少ない場合に可視面積が小さいと判定してもよい。

背景オブジェクトのうち、対象オブジェクトが接触していた床面など、いずれのバッファ画像においても不可視なポリゴンは、合成された背景テクスチャにおいて空白の欠損部分となり得る。よって、画像生成部５３は、Inpainting等の画像補間アルゴリズムにより背景テクスチャの欠損を補間してもよい。なお、背景テクスチャのうち、バッファ画像から合成された領域を可視領域の背景テクスチャと称し、Inpainting等の画像補間アルゴリズムにより補間された領域を、不可視領域の背景テクスチャとも称する。

スマートフォン１は、独立性の高い撮像画像をバッファリングするためのＵＩ（User Interface）を提供してもよい。例えば、スマートフォン１は、三次元データが表す立体の表面のうち背景に対応する部分の全領域が、バッファリングされた１つ以上の撮像画像の少なくともいずれかにおいて露出されるように、撮像部２を誘導するＵＩを表示する。具体的には、スマートフォン１は、三次元データの背景のすべての頂点が、バッファリングされたいずれかの撮像画像において可視頂点となるようユーザを誘導する。図６は、背景テクスチャ生成のためのＵＩの一例を示す図である。図６に示すＵＩ５００では、例えばヘルメット１２の背面および床に接する面は、バッファリングされた撮像画像に含まれていないことを示す表示５１２がなされている。このため、ＵＩ５００では、ヘルメット１２の背面側から撮像するよう誘導する表示５２０がされている。また、ガムテープ１１の背景側からガムテープ１１を撮像した撮像画像がすでにバッファリングされている場合、ガムテープ１１の床に接する面はバッファリングされた撮像画像に含まれていないことを示す表示５１１がなされる。さらに、スマートフォン１は、収集率を示す表示５３０を表示することで、ユーザにゲーム感覚を与えつつバッファリングを進めてもよい。このようなＵＩの表示は、後述の表示制御部６により行われる。

時間経過等に応じて実空間に環境変化が生じ、バッファリングした複数の画像間で輝度値に差分が生じる場合がある。そこで、画像生成部５３は、バッファリングの際またはテクスチャ生成の際に、バッファリングされた撮像画像において露出している背景であって三次元データの頂点に対応する位置近傍の輝度値を記録する。後述の表示制御部６により、スルー画像と整合するようこの輝度値を比較してテクスチャの輝度値が補正されるため、より自然なＡＲ表示が実現される。補正の精度を向上させるため、画像生成部５３は、頂点と対応付いた輝度値を、輝度値の分布として複数記録してもよい。画像生成部５３は、可視頂点の中でも、背景テクスチャを表示する位置近傍、即ち対象オブジェクトの近傍にある、背景オブジェクトの可視頂点に限定して画素値を記録する。これにより、後述の表示制御部６が整合性を取るために行う輝度値の比較回数が削減され、また輝度値補正の精度が向上する。もちろん、マシンパワーが増加した場合、全可視頂点についての画素値の記録および輝度値の比較が行われてもよい。なお、画像生成部５３は、撮像画像のうち頂点に相当する位置の法線ベクトルに基づいて、輝度値を記録するか否かを判定してもよい。例えば、画像生成部５３は、法線ベクトルの方向が撮像部２を向いていた場合に輝度値を記録することで、横向き等の外乱になり得る位置の輝度値を記録することを避けることができる。画像生成部５３は、外れ値による影響を除外できる数の頂点の画素値を記録するものとする。

（４−３−２）変化テクスチャの生成
画像生成部５３は、変化オブジェクト生成部５２により生成された変化オブジェクトの表面に表示すべき変化テクスチャを生成する。変化オブジェクトに関して表示されるテクスチャとしては、例えば破片断面等の不可視な部分のテクスチャと、もともと露出しており可視であった部分のテクスチャの２種類が挙げられる。画像生成部５３は、このうち前者を変化テクスチャ（第２の表面画像）として生成する。後者については、後述の表示制御部６により、スルー画像から対応する部分が表示される。

画像生成部５３は、変化テクスチャを、撮像画像のうち対象オブジェクトの露出した表面に相当する部分に基づいて推定することで生成する。例えば、画像生成部５３は、変化テクスチャの生成として、対象オブジェクトの撮像画像において露出している部分の画素値の平均値等により単一色を決定してもよい。後述の表示制御部６により、変化オブジェクトの不可視領域のポリゴンがこの単一色で塗りつぶされることになる。他にも、画像生成部５３は、Inpainting等の画像補間アルゴリズムにより変化テクスチャを生成してもよい。図４で示された例においては、ヘルメット１２の表面は可視であり、ヘルメット１２の内側は不可視である。よって、画像生成部５３は、例えば図１に示した破壊されたヘルメット１２を示すＡＲ画像１１２を表示する場合、破片のうち不可視であった破壊断面の変化テクスチャとして、ヘルメット１２の表面の画素値を平均した単一色を決定する。

上述したように、背景テクスチャおよび変化テクスチャは、それぞれ撮像部２により撮像された画像に基づいて生成されるが、本開示にかかる技術はこれに限定されない。例えば、画像生成部５３は、外部の撮像装置により予め撮像された撮像画像に基づいて背景テクスチャおよび変化テクスチャを生成してもよい。ただし、撮像条件が異なる可能性を考慮すると、背景テクスチャおよび変化テクスチャの元となる撮像画像を撮像する撮像部と、ＡＲ画像を重畳するスルー画像を撮像する撮像部とが同一であることが好ましい。なお、背景テクスチャおよび変化テクスチャは、撮像画像に基づかずに生成されてもよい。例えば、画像生成部５３は、任意の単一色を塗りつぶしたテクスチャを生成してもよいし、図示しない深度センサによるセンシング結果に基づいて遠近感を表現するテクスチャを生成してもよい。

（５）表示制御部６
表示制御部６は、画像生成部５３により生成されたテクスチャまたはスルー画像を用いて、ＡＲ表示を行うよう表示部７を制御する機能を有する。詳しくは、まず、表示制御部６は、姿勢情報取得部３により取得された姿勢情報および三次元データ取得部４により取得された三次元データを用いて、スルー画像における背景オブジェクト、および変化オブジェクトの頂点位置を動的に決定する。そして、表示制御部６は、変化オブジェクトの状態変化に応じてスルー画像を動的にマスクしながら、スルー画像にＡＲ画像を重畳して表示する。表示制御部６による制御は、変化オブジェクトの状態の演算、動的な描画マスクの生成、背景テクスチャの表示、および変化オブジェクトへのテクスチャの表示に大別される。

（５−１）変化オブジェクトの状態の演算
表示制御部６は、変化オブジェクトの状態を演算する。詳しくは、まず、表示制御部６は、変化オブジェクトの動きを演算する。そして、表示制御部６は、姿勢情報および三次元データを用いて、スルー画像における背景オブジェクトおよび変化オブジェクトの頂点位置を動的に決定する。例えば、状態変化が破壊である場合、表示制御部６は、破片の位置や姿勢を物理演算して、スルー画像における背景オブジェクトの頂点位置および各破片の頂点位置を決定する。

（５−２）動的な描画マスクの生成
表示制御部６は、スルー画像において、対象オブジェクトの状態変化に伴い、実空間と異なったＡＲ表示を行う領域を透過する描画マスクを動的に生成する。例えば、図１に示した例においては、ヘルメット１２がボール１２０に当たった衝撃で奥側に移動しているため、移動により新たに露出する背景、および破壊されたヘルメット１２の破片が位置する領域を透過する描画マスクを生成する。なお、表示制御部６は、透過領域を二次元的に領域拡大させたり、描画マスクにガウシアンブラーを適用したりしてもよい。これにより、もともとの背景と描画マスクを用いて描画されるテクスチャとの継ぎ目がより自然に表示される。図７は、対象オブジェクトの状態変化に伴う動的な描画マスク生成処理を説明するための図である。図７における符号６１０および符号６２０は、表示部７により表示される画像を示し、符号６１２および符号６２２は、表示制御部６による動的に生成される描画マスクを示している。図７の符号６１０に示すように対象オブジェクトに状態変化が生じていない場合、表示制御部６は、ＡＲ表示を行わずスルー画像をそのまま表示するため、符号６１２に示すように透過する領域がない描画マスクを生成する。一方で、図７の符号６２０に示すように対象オブジェクトの状態に変化が生じた場合、表示制御部６は、符号６２２に示すようにＡＲ画像を表示する領域を透過する描画マスクを生成する。

（５−３）背景テクスチャの表示
表示制御部６は、対象オブジェクトにより隠れた背景オブジェクトのうち、対象オブジェクトの状態が変化することにより新たに露出するポリゴンに、背景テクスチャを貼り付けたＡＲ画像を表示する。詳しくは、表示制御部６は、姿勢情報および三次元データを用いてスルー画像における背景オブジェクトの頂点位置を動的に決定しながら、背景オブジェクトのうち新たに露出するポリゴンに、背景テクスチャの対応する領域を貼り付けたＡＲ画像を、スルー画像に重畳して表示する。このとき、表示制御部６は、背景テクスチャの輝度値や画素値を補正してもよい。例えば、表示制御部６は、バッファリングの際に記録された輝度値の分布とスルー画像における対応する位置の輝度値の分布との比較結果に基づいて、両者の輝度値がより近づくよう背景テクスチャの輝度値を補正する。これにより、背景テクスチャがよりスルー画像と整合し、より自然なＡＲ表示が実現される。以下、図８〜図１０を参照して、背景テクスチャの表示処理について具体的に説明する。

図８〜図１０は、背景テクスチャの表示処理を説明するための説明図である。図８〜図１０では、一例として、スルー画像から対象オブジェクトをすべて消去する場合の表示例が示されている。図８では、対象オブジェクトにより隠れた背景に、可視領域の背景テクスチャを表示した一例を示している。図８に示すように、例えばヘルメット１２の背面側から撮像された撮像画像がバッファリングされている場合、ヘルメット１２の上半分の領域に可視領域の背景テクスチャが表示される。これにより、あたかもヘルメット１２の上半分が透けているかのような表示がなされる。図９では、対象オブジェクトにより隠れた背景に、可視領域の背景テクスチャに加えて不可視領域の背景テクスチャを表示した一例を示している。図９に示すように、例えばヘルメット１２が接触していた床面が撮像された撮像画像がバッファリングされていない場合、床面に対応するヘルメット１２の下半分の領域に不可視領域の背景テクスチャが表示される。これにより、あたかもヘルメット１２が存在していないかのような表示がなされる。図１０では、図９から三次元データの表示を削除した表示例が示されている。

（５−４）変化オブジェクトへのテクスチャの表示
表示制御部６は、動的に決定された変化オブジェクトの頂点位置を用いて、変化オブジェクトの表面にテクスチャを貼り付けて表示する。上述したように、変化オブジェクトに関して表示されるテクスチャとしては、不可視であった部分のテクスチャと、可視であった部分のテクスチャの２種類が挙げられる。前者については、表示制御部６は、変化オブジェクトのうち状態変化により新たに露出するポリゴンに、画像生成部５３により生成された変化テクスチャを貼り付けたＡＲ画像を表示する。例えば、図１に示した例においては、表示制御部６は、破片の各表面のポリゴンのうち破壊断面に相当するポリゴンに、画像生成部５３により決定された単一色を塗りつぶしたテクスチャを貼り付ける。また、後者については、表示制御部６は、スルー画像において露出している対象オブジェクトの画像を、変化オブジェクトの対応するポリゴンに貼り付けたＡＲ画像を表示する。例えば、図１に示した例においては、表示制御部６は、スルー画像において露出しているヘルメット１２の表面の画像を、破片の各表面のポリゴンのうちヘルメット１２の表面に対応するポリゴンに貼り付ける。なお、表示制御部６は、変化オブジェクト生成部５２により設定されたフラグ情報を参照して、変化テクスチャを表示するか、スルー画像の一部を表示するかを判定してもよい。

表示制御部６は、対象オブジェクトのオリジナル位置と、動的に決定された変化オブジェクトの位置との相違に応じた輝度補正を行う。例えば、表示制御部６は、スルー画像における対象オブジェクトの輝度分布に基づいて光源位置を推定して、推定した光源から変化オブジェクトへの光の当たり方を演算することで、変化テクスチャの輝度分布を補正して表示する。これにより、表示制御部６は、破壊や移動といった対象オブジェクトの状態変化に応じた自然な光の当たり方を表現することができる。図１１は、変化テクスチャの輝度補正処理の一例を示す図である。図１１に示すように、破壊された電話機１０の破片７１０は、破壊により位置および角度に変化が生じている。このため表示制御部６は、破片７１０のうち受話器外側部分７１２の輝度値を補正することで影を表現している。表示制御部６は、破壊された瞬間から影を発生させることで、より自然な対象オブジェクトの破壊を表現することができる。なお、光源位置はあらかじめ所定の位置にあるものとしてもよい。

（６）表示部７
表示部７は、表示制御部６による制御に基づいて、撮像部２により撮像されたスルー画像、および画像生成部５３により生成されたＡＲ画像を合成して表示する。表示部７は、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、などにより実現される。また、本実施形態に係る情報処理装置がＨＭＤとして実現される場合、表示部７は、透明または半透明のスルー状態として形成され、スルー状態の表示部７に映る実空間にＡＲ画像を表示してもよい。他にも、表示部７は、表示制御部６による制御に基づき、図６を参照して説明した、独立性の高い撮像画像をバッファリングするためのＵＩを表示する。

以上、本実施形態に係るスマートフォン１の構成例を説明した。続いて、図１２〜図１６を参照して、本実施形態に係るスマートフォン１の動作処理を説明する。

＜３．動作処理＞
以下では、一例として、スマートフォン１が、対象オブジェクトが破壊されたＡＲ画像を表示する例における動作処理を説明する

［３−１．変化オブジェクトの生成処理］
図１２は、本実施形態に係るスマートフォン１において実行される変化オブジェクトの生成処理の流れの一例を示すフローチャートである。

図１２に示すように、まず、ステップＳ１０２で、識別部５１は、床面を抽出する。詳しくは、識別部５１は、三次元データ取得部４により取得された三次元データから平面抽出を行い、最も大きい面積の平面を床面として識別する。このとき、識別部５１は、三次元データが示す三次元形状の端部にある、床面に対して垂直な形状群を壁面２０２として識別してもよい。

次いで、ステップＳ１０４で、識別部５１は、対象オブジェクトと背景オブジェクトとを分離する。詳しくは、識別部５１は、床面および壁面以外であって、床面の上に突出している閾値以上の体積を有する三次元形状を、対象オブジェクトとして識別する。また、識別部５１は、三次元データが示す三次元形状のうち、対象オブジェクト以外を背景オブジェクトとして識別する。

次に、ステップＳ１０６で、識別部５１は、対象オブジェクトの欠損を補間する。詳しくは、識別部５１は、対象オブジェクトのうち、もともと床面や壁面に接触していた部分などの欠損について、欠損部分の周辺の頂点を伸ばしたり、欠損部分の周辺の頂点間を線で繋いだり、表面を補ったりすることで、欠損を補間する。同様にして、識別部５１は、背景オブジェクトの欠損を補間する。

そして、ステップＳ１０８で、変化オブジェクト生成部５２は、対象オブジェクトの状態を変化させた変化オブジェクトを生成する。具体的には、変化オブジェクト生成部５２は、対象オブジェクトにVoronoi FractureやVoronoi Shatter等のアルゴリズムを適用することで、破壊後の破片を示す変化オブジェクトを生成する。

［３−２．バッファリング処理］
図１３は、本実施形態に係るスマートフォン１において実行されるバッファリング処理の流れの一例を示すフローチャートである。

図１３に示すように、まず、ステップＳ２０２で、撮像部２は、実空間を撮像して撮像画像を画像生成部５３に出力する。

次いで、ステップＳ２０４で、画像生成部５３は、撮像部２の位置および姿勢を推定する。詳しくは、画像生成部５３は、ステップＳ２０２において撮像部２が撮像した際に姿勢情報取得部３により取得された姿勢情報、および三次元データ取得部４により取得された三次元データを用いて、撮像部２が実空間のどの位置からどの角度でバッファリング候補の撮像画像を撮像したかを推定する。

次に、ステップＳ２０６で、画像生成部５３は、ステップＳ２０２において撮像部２により撮像された撮像画像をバッファリングするか否かを判定する。詳しくは、まず、画像生成部５３は、ステップＳ２０４において推定された撮像部２の実空間における位置および角度に基づいて、撮像画像における背景オブジェクトの頂点の可視性を判定する。そして、画像生成部５３は、独立性が高く、且つ直近に撮像された撮像画像が優先的にバッファリングされるよう、バッファリング可否を判定する。このようなバッファリング可否判定により、より少ない枚数のより直近に撮像されたバッファ画像により背景テクスチャが生成されることになり、より自然なＡＲ表示が実現される。なお、画像生成部５３は、すでにバッファリングされているバッファ画像よりも、独立性が高い撮像画像が新たに撮像された場合、バッファ画像を入れ換えることでバッファの内容を更新してもよい。

バッファリングすると判定された場合（Ｓ２０６／ＹＥＳ）、ステップＳ２０８で、画像生成部５３は、撮像画像をバッファリングする。一方で、バッファリングしないと判定された場合（Ｓ２０６／ＮＯ）、処理は再度ステップＳ２０２に戻る。

次いで、ステップＳ２１０で、画像生成部５３は、バッファリングする撮像画像において露出している背景であって三次元データの頂点に対応する位置近傍の輝度値を、頂点と対応付いた輝度値の分布として複数記録する。上述したように、このとき記録された輝度値の分布は、表示制御部６により参照されて、ＡＲ表示の際に背景テクスチャの輝度値が補正される。これにより、より自然なＡＲ表示が実現される。

スマートフォン１は、以上説明した処理を繰り返すことで、より独立性が高くより直近に撮像された撮像画像を優先的にバッファリングする。

［３−３．背景テクスチャの生成処理］
図１４は、本実施形態に係るスマートフォン１において実行される背景テクスチャの生成処理の流れの一例を示すフローチャートである。

図１４に示すように、まず、ステップＳ３０２で、画像生成部５３は、可視面積に基づいてバッファ画像を昇順に、即ち可視面積が小さい順（可視頂点が少ない順）にソートする。後述のステップＳ３０６において、画像生成部５３は、ソートされた順にバッファ画像を合成していくことで、結果的に可視面積が大きいバッファ画像を優先的に合成することとなる。

次いで、ステップＳ３０４で、画像生成部５３は、各バッファ画像に対して、最大可視面積が最大のバッファ画像を基準とした画素値の補正を行う。これにより、継ぎ目の前後で画素値が大きく異なるような不自然な背景テクスチャが生成されることが回避される。

そして、ステップＳ３０６で、画像生成部５３は、ステップＳ３０２においてソートされた順に、即ち可視面積が小さい順にバッファ画像を合成することで背景テクスチャを生成する。具体的には、画像生成部５３は、可視面積が小さい順にバッファ画像を重ねて描画していき、最後に一番大きな可視面積を有するバッファ画像を描画する。初めの方に描画されたバッファ画像は、後に描画されたバッファ画像により重複部分が上書きされることになるため、可視面積が小さいほど描画領域が狭くなる。このため、画像生成部５３は、可視面積が大きい撮像画像から合成された領域が、背景テクスチャにおいてより多くの領域を占めるよう合成することとなる。画像生成部５３は、ガウシアンブラーマスクを用いて各バッファ画像を合成することで、継ぎ目のより自然な表現を実現してもよい。

次に、ステップＳ３０８で、画像生成部５３は、生成した背景テクスチャの欠損部分を補間する。具体的には、画像生成部５３は、対象オブジェクトが接触していた床面など、バッファ画像のいずれにおいても不可視な領域について、Inpainting等の画像補間アルゴリズムにより補間する。

スマートフォン１は、以上説明した処理により、１枚の背景テクスチャを生成する。

［３−４．変化テクスチャの生成処理］
図１５は、本実施形態に係るスマートフォン１において実行される変化テクスチャの生成処理の流れの一例を示すフローチャートである。

図１５に示すように、ステップＳ４０２で、画像生成部５３は、対象オブジェクトの可視部分に基づいて、表示制御部６により変化テクスチャとして用いられる単一色を決定する。他にも、画像生成部５３は、Inpainting等の画像補間アルゴリズムにより変化テクスチャを生成してもよい。

スマートフォン１は、以上説明した処理により、変化テクスチャを生成する。ここまで［３−１．変化オブジェクトの生成処理］〜［３−４．変化テクスチャの生成処理］において説明した処理は、事前準備として予め、または次に説明する［３−５．ＡＲ表示処理］で説明する処理の直前に実行されるものとする。これにより、各種テクスチャの元となる画像とスルー画像との撮像時刻の差が削減されて、より自然なＡＲ表示が実現される。

［３−５．ＡＲ表示処理］
図１６は、本実施形態に係るスマートフォン１において実行されるＡＲ表示処理の流れの一例を示すフローチャートである。図１６では、図１に示した対象オブジェクトの破壊を示すＡＲ表示を行う例を想定して、具体的に説明する。

図１６に示すように、まず、ステップＳ５０２で、表示制御部６は、撮像部２により実時間で撮像されたスルー画像、および姿勢情報取得部３により実時間で取得された姿勢情報を取得する。

次いで、ステップＳ５０４で、表示制御部６は、破片の位置および姿勢を演算する。詳しくは、表示制御部６は、破片の運動を物理演算して、ステップＳ５０２において取得された姿勢情報および三次元データを用いてスルー画像における背景オブジェクトおよび破片の各頂点の現在位置を演算する。

次に、ステップＳ５０６で、表示制御部６は、破壊状況に応じて描画マスクを動的に生成する。詳しくは、表示制御部６は、ステップＳ５０４において決定された各破片の頂点位置を用いて、破片が表示される領域および背景テクスチャが表示される領域を透過する描画マスクを生成する。なお、表示制御部６は、透過領域を二次元的に領域拡大したり、描画マスクにガウシアンブラーを適用したりすることで、もともとの背景と描画マスクを用いて描画されるテクスチャとの継ぎ目がより自然に表示される。

次いで、ステップＳ５０８で、表示制御部６は、輝度補正のパラメータを算出する。詳しくは、表示制御部６は、バッファリングの際に記録された輝度値の分布とスルー画像における対応する位置の輝度値の分布との比較結果に基づいて、両者の輝度値がより近づくよう背景テクスチャの輝度値を補正する。

次いで、ステップＳ５１０で、表示制御部６は、撮像部２により実時間で撮像されたスルー画像を描画する。後に続く処理により、変化テクスチャや背景テクスチャ等が重ねて描画されることにより、スルー画像にＡＲ画像が重畳される。

次に、ステップＳ５１２で、表示制御部６は、変化オブジェクト、および背景オブジェクトのすべてのオブジェクトで深度バッファを埋める。

次いで、ステップＳ５１４で、表示制御部６は、ステップＳ５０６において生成された描画マスクに基づいて、背景テクスチャを描画する。詳しくは、表示制御部６は、深度バッファを参照して、背景オブジェクトのうち描画マスクにおいて透過する領域に含まれるポリゴンに、背景テクスチャの対応する領域を貼り付けて描画する。

そして、ステップＳ５１６で、表示制御部６は、破片を描画する。詳しくは、表示制御部６は、深度バッファを参照して、破片のうち状態変化により新たに露出する破片断面等のポリゴンに、画像生成部５３により決定された単一色を着色する。また、表示制御部６は、スルー画像において露出している対象オブジェクトの表面の画像を、破片のうち対応するポリゴンに描画する。

次に、ステップＳ５１８で、表示制御部６は、各種の後処理を行う。例えば、表示制御部６は、他の仮想オブジェクトを描画したり、光源位置の推定および影の描画を行ったりする。

スマートフォン１は、以上説明した処理により、スルー画像に、実空間に存在する対象オブジェクトが破壊された様子を表現するＡＲ画像を重畳して表示する。

＜４．まとめ＞
ここまで、図１〜図１６を用いて、本開示に係る技術の実施形態を詳細に説明した。上述した実施形態によれば、実空間に存在するオブジェクトが変化する表現が提供され、ＡＲ技術による現実世界が拡張されたかのような感覚をユーザにより強く与えることができる。例えば、本実施形態に係るスマートフォン１は、実世界に存在するオブジェクトの自然な破壊表現を実現することができる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、撮像部２、姿勢情報取得部３、三次元データ取得部４、制御部５、表示制御部６、および表示部７がスマートフォン１として同一装置内に形成される例を説明したが、本技術はかかる例に限定されない。例えば、撮像部２が外部装置に含まれ、スマートフォン１は外部装置から取得した撮像画像に基づいて、上述したＡＲ表示を行ってもよい。他にも、例えばクラウド上のサーバが三次元データ取得部４、制御部５、および表示制御部６を有し、サーバとネットワークを介して接続するクライアント装置が撮像部２、姿勢情報取得部３、および表示部７を有していてもよい。この場合、クライアント装置は、撮像画像および姿勢情報をサーバに送信して、サーバによる各種演算および制御に応じてＡＲ画像を表示してもよい。

また、上記実施形態では、対象オブジェクトの状態の変化として、破壊される例を説明したが、本開示はかかる例に限定されない。例えば、スマートフォン１は、対象オブジェクトの拡大・縮小や、移動などを表現してもよい。対象オブジェクトの移動が表現される場合、本開示に係る技術は、例えば机や椅子を仮想的に移動させる模様替えシミュレータ等に適用され得る。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部、
を備える情報処理装置。
（２）
前記情報処理装置は、
前記識別部により識別された前記オブジェクトの前記オブジェクト画像を生成する画像生成部をさらに備える、前記（１）に記載の情報処理装置。
（３）
前記情報処理装置は、
前記オブジェクトの状態を変化させた仮想の変化オブジェクトを生成する変化オブジェクト生成部と、
前記変化オブジェクトの表面に前記画像生成部により生成された前記オブジェクト画像を表示するよう表示部を制御する表示制御部と、
をさらに備える、前記（２）に記載の情報処理装置。
（４）
前記画像生成部は、前記実空間が撮像された撮像画像のうち前記オブジェクトの露出した表面に相当する部分に基づいて、前記撮像画像においては隠れている前記オブジェクトの表面を推定した第２の表面画像を生成し、
前記表示制御部は、前記変化オブジェクトのうち前記変化により新たに露出する領域に、前記第２の表面画像を貼り付けた前記オブジェクト画像を表示する、前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、前記実空間を実時間で撮像したスルー画像において露出している対象オブジェクトの画像を、前記変化オブジェクトの対応する領域に貼り付けた前記オブジェクト画像を表示する、前記（３）または（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記実空間における光源位置を推定して、推定した前記光源位置に応じて前記オブジェクト画像の輝度を補正して表示する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記オブジェクトにより隠れた前記背景のうち前記オブジェクトの状態が変化することで新たに露出する部分に、第１の表面画像を貼り付けた前記オブジェクト画像を表示する、前記（３）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記画像生成部は、前記実空間が撮像された１枚以上の撮像画像において露出している前記背景を合成することで前記第１の表面画像を生成する、前記（７）に記載の情報処理装置。
（９）
前記画像生成部は、前記実空間が撮像された撮像画像のうち、前記オブジェクトにより前記背景が隠れる部分の重複が少なく、且つ直近に撮像された前記撮像画像を、優先的にバッファリングして前記第１の表面画像の生成に用いる、前記（８）に記載の情報処理装置。
（１０）
前記画像生成部は、撮像画像を撮像した撮像部の位置および角度を示す姿勢情報および前記三次元データに基づいて、前記撮像画像をバッファリングするか否かを判定する、前記（９）に記載の情報処理装置。
（１１）
前記表示制御部は、前記三次元データが表す立体の表面のうち前記背景に対応する部分の全領域が、バッファリングされた１つ以上の前記撮像画像の少なくともいずれかにおいて露出されるように、前記画像生成部が画像生成に用いる撮像画像を撮像する撮像部の撮像姿勢を誘導する表示を行う、前記（９）または（１０）に記載の情報処理装置。
（１２）
前記表示制御部は、バッファリングされた撮像画像において露出している前記背景であって前記三次元データの頂点に対応する位置近傍の輝度値と、前記実空間を実時間で撮像されたスルー画像における対応する位置の輝度値との比較結果に基づいて、前記第１の表面画像の輝度値を補正する、前記（９）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、
前記画像生成部が画像生成に用いる撮像画像を撮像する撮像部をさらに備え、
前記表示制御部は、前記撮像部により実時間で撮像された撮像画像に前記画像生成部により生成された画像を合成して表示する、前記（３）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記識別部により区別して識別された前記背景は、変化オブジェクト生成部による前記変化オブジェクトの生成対象から除外される、前記（３）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記識別部は、前記三次元データから床面を抽出して、抽出した前記床面の上に突出する部分を前記オブジェクトとして識別し、前記オブジェクト以外を前記背景として識別する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記識別部は、重力方向に基づいて前記床面を抽出する、前記（１５）に記載の情報処理装置。
（１７）
前記状態の変化は、前記オブジェクトの破壊を含む、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
プロセッサが、実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別すること、
を含む情報処理方法。
（１９）
コンピュータを、
実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部、
として機能させるためのプログラム。

１ スマートフォン
２ 撮像部
３ 姿勢情報取得部
４ 三次元データ取得部
５ 制御部
５１ 識別部
５２ 変化オブジェクト生成部
５３ 画像生成部
６ 表示制御部
７ 表示部
１０ 電話機
１１ ガムテープ
１２ ヘルメット
１３ 飲料缶
１４ スプレー缶

Claims (17)

1. 実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部と、
   前記識別部により識別された前記オブジェクトの前記オブジェクト画像を生成する画像生成部と、
   前記オブジェクトの状態を変化させた仮想の変化オブジェクトを生成する変化オブジェクト生成部と、
   前記変化オブジェクトの表面に前記画像生成部により生成された前記オブジェクト画像を表示するよう表示部を制御する表示制御部と、
   を備える、情報処理装置。
2. 前記画像生成部は、前記実空間が撮像された撮像画像のうち前記オブジェクトの露出した表面に相当する部分に基づいて、前記撮像画像においては隠れている前記オブジェクトの表面を推定した第２の表面画像を生成し、
   前記表示制御部は、前記変化オブジェクトのうち前記変化により新たに露出する領域に、前記第２の表面画像を貼り付けた前記オブジェクト画像を表示する、請求項１に記載の情報処理装置。
3. 前記表示制御部は、前記実空間を実時間で撮像したスルー画像において露出している対象オブジェクトの画像を、前記変化オブジェクトの対応する領域に貼り付けた前記オブジェクト画像を表示する、請求項１又は２に記載の情報処理装置。
4. 前記表示制御部は、前記実空間における光源位置を推定して、推定した前記光源位置に応じて前記オブジェクト画像の輝度を補正して表示する、請求項１〜３のいずれか一項に記載の情報処理装置。
5. 前記表示制御部は、前記オブジェクトにより隠れた前記背景のうち前記オブジェクトの状態が変化することで新たに露出する部分に、第１の表面画像を貼り付けた前記オブジェクト画像を表示する、請求項１〜４のいずれか一項に記載の情報処理装置。
6. 前記画像生成部は、前記実空間が撮像された１枚以上の撮像画像において露出している前記背景を合成することで前記第１の表面画像を生成する、請求項５に記載の情報処理装置。
7. 前記画像生成部は、前記実空間が撮像された撮像画像のうち、前記オブジェクトにより前記背景が隠れる部分の重複が少なく、且つ直近に撮像された前記撮像画像を、優先的にバッファリングして前記第１の表面画像の生成に用いる、請求項６に記載の情報処理装置。
8. 前記画像生成部は、撮像画像を撮像した撮像部の位置および角度を示す姿勢情報および前記三次元データに基づいて、前記撮像画像をバッファリングするか否かを判定する、請求項７に記載の情報処理装置。
9. 前記表示制御部は、前記三次元データが表す立体の表面のうち前記背景に対応する部分の全領域が、バッファリングされた１つ以上の前記撮像画像の少なくともいずれかにおいて露出されるように、前記画像生成部が画像生成に用いる撮像画像を撮像する撮像部の撮像姿勢を誘導する表示を行う、請求項７又は８に記載の情報処理装置。
10. 前記表示制御部は、バッファリングされた撮像画像において露出している前記背景であって前記三次元データの頂点に対応する位置近傍の輝度値と、前記実空間を実時間で撮像されたスルー画像における対応する位置の輝度値との比較結果に基づいて、前記第１の表面画像の輝度値を補正する、請求項７〜９のいずれか一項に記載の情報処理装置。
11. 前記情報処理装置は、
    前記画像生成部が画像生成に用いる撮像画像を撮像する撮像部をさらに備え、
    前記表示制御部は、前記撮像部により実時間で撮像された撮像画像に前記画像生成部により生成された画像を合成して表示する、請求項１〜１０のいずれか一項に記載の情報処理装置。
12. 前記識別部により区別して識別された前記背景は、変化オブジェクト生成部による前記変化オブジェクトの生成対象から除外される、請求項１〜１１のいずれか一項に記載の情報処理装置。
13. 前記識別部は、前記三次元データから床面を抽出して、抽出した前記床面の上に突出する部分を前記オブジェクトとして識別し、前記オブジェクト以外を前記背景として識別する、請求項１〜１２のいずれか一項に記載の情報処理装置。
14. 前記識別部は、重力方向に基づいて前記床面を抽出する、請求項１３に記載の情報処理装置。
15. 前記状態の変化は、前記オブジェクトの破壊を含む、請求項１〜１４のいずれか一項に記載の情報処理装置。
16. プロセッサが、実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別することと、
    識別された前記オブジェクトの前記オブジェクト画像を生成することと、
    前記オブジェクトの状態を変化させた仮想の変化オブジェクトを生成することと、
    前記変化オブジェクトの表面に前記オブジェクト画像を表示するよう表示部を制御することと、
    を含む情報処理方法。
17. コンピュータを、
    実空間の三次元データに基づいて、前記実空間に含まれるオブジェクトを、前記オブジェクトの状態を変化させた仮想のオブジェクト画像を生成するために背景から区別して識別する識別部と、
    前記識別部により識別された前記オブジェクトの前記オブジェクト画像を生成する画像生成部と、
    前記オブジェクトの状態を変化させた仮想の変化オブジェクトを生成する変化オブジェクト生成部と、
    前記変化オブジェクトの表面に前記画像生成部により生成された前記オブジェクト画像を表示するよう表示部を制御する表示制御部と、
    として機能させるためのプログラム。
    
    

Images