JP6102648B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本開示は、情報処理装置及び情報処理方法に関する。

近年、三次元形状の画像を表示することが可能なテレビジョンまたはスマートフォンのような電子機器が市場に流通するようになり、それに伴い、三次元形状の画像の生成および編集が可能な電子機器またはアプリケーションの開発が行われている。

一般的に、三次元形状の画像の生成には、複数視点での撮像により得られる画像が必要となるため、高解像度の三次元形状の画像を生成するためには、複数の高解像度の画像が必要となる。しかし、高解像度の画像が得られる撮像機器は、低解像度の画像が得られる撮像機器に比べて、高価であるため、高解像度の三次元形状の画像の生成には高いコストがかかる。

それに対し、特許文献１では、高解像度画像と低解像度画像とを用いて、高解像度の仮想視点画像を得ることにより、コストを抑制する方法が提示されている。

特開２０１２−１５０６１４号公報

しかし、特許文献１で開示される発明は、高解像度画像を撮像するカメラと低解像度画像を撮像するカメラが別のカメラであるため、仮想視点画像を得るためには複数のカメラが必要となる。

また、一般的に、高解像度画像は、低解像度画像と比べてデータ量が多く、高解像度画像を処理に用いる場合は、相応の記憶容量および処理能力が求められる。

そこで、本開示では、画像の深度情報を生成するためのハードウェア資源を削減することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。

本開示によれば、１のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、前記基準画像の解像度が低解像度にされた画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、を備える情報処理装置が提供される。

以上説明したように本開示によれば、画像の深度情報の生成するためのハードウェア資源を削減することが可能な情報処理装置および情報処理方法が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置の概要を説明するための図である。 本開示の第１の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の第１の実施形態に係る判定部の判定処理の例を説明するための図である。 本開示の第１の実施形態に係る表示制御部が生成する案内画面の例について説明するための図である。 本開示の第１の実施形態における情報処理装置の処理を概念的に示すフローチャートである。 本開示の第１の実施形態におけるカメラ姿勢の推定の処理を概念的に示すフローチャートである。 本開示の第１の実施形態における深度情報の生成の可否判定の処理を概念的に示すフローチャートである。 本開示の第１の実施形態に係る表示制御部が生成する案内画面の例を説明するための図である。 本開示の第２の実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の第２の実勢形態に係る基準画像判定部の処理の例を説明するための図である。 本開示の第２の実施形態における情報処理装置の処理を概念的に示すフローチャートである。 本開示の第２の実施形態における基準画像の設定の可否判定の処理を概念的に示すフローチャートである。 本開示に係る情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理装置の概要
２．第１の実施形態
２−１．情報処理装置の構成
２−２．情報処理装置の処理
２−３．案内画面の例
２−４．深度情報の生成に必要な画像の不足時の情報処理装置の振舞いの例
３．第２の実施形態
３−１．情報処理装置の構成
３−２．情報処理装置の処理
４．ハードウェア構成
５．むすび

＜１．本開示の一実施形態による情報処理装置の概要＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置の概要を説明する。図１は、本開示の一実施形態に係る情報処理装置の概要を説明するための図である。図１に示される情報処理装置１００は、ユーザにより移動される可搬式の携帯端末であり、撮像装置として機能するカメラを内蔵する。このため、情報処理装置１００は、ユーザにより移動されながら撮像を繰り返すことにより、同一の被写体を多様な位置および向きから見た画像を得ることが可能である。

例えば、情報処理装置１００は、図１にしめしたようにＴ１〜Ｔ３にかけて移動しながら被写体であるサイコロ１の撮像を繰り返すことにより、サイコロ１を多様な位置および向きから見た画像を得ることが可能である。なお、以下では、情報処理装置１００の位置および向き、すなわち情報処理装置１００に内蔵されるカメラの位置および向きを、カメラ姿勢とも称する。

また、情報処理装置１００は、多様なカメラ姿勢での撮像により得られた複数の画像、および各画像の撮像時のカメラ姿勢を順次記憶し、記憶した複数の画像および各画像のカメラ姿勢に基づき、ある基準画像における被写体の相対的な奥行方向の距離を示す深度情報を生成する。例えば、情報処理装置１００は、図１に示したＴ３での撮像により得られた画像を基準画像として扱う場合、基準画像内の被写体とＴ３までの撮像により得られた複数の画像内の被写体とのマッチング結果と、基準画像および複数の画像の各々の撮像時のカメラ姿勢の関係とに基づき、基準画像における被写体の深度情報を生成することが可能である。

ここで、撮像により得られる複数の画像が非縮小状態で情報処理装置１００に記憶されると、複数の画像の記憶容量、および上記のマッチングにおける処理負荷が増大する。そこで、本実施形態による情報処理装置１００は、基準画像とのマッチングの対象となる複数の画像の解像度が基準画像の解像度よりも低くなるように複数の画像を縮小し、複数の画像を縮小した状態で記憶する。また、深度情報の生成の際には、縮小された基準画像が用いられる。例えば、撮像により得られる画像がＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）である場合には、情報処理装置１００は、画像をＱＱＶＧＡ（Ｑｕａｒｔｅｒ Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）に縮小する等して記憶する。

上記のように、本実施形態による情報処理装置１００は、多様なカメラ姿勢での撮像により得られた複数の画像を縮小して、縮小された画像と各画像の撮像時のカメラ姿勢を順次記憶し、記憶した複数の画像および各画像のカメラ姿勢に基づき、ある基準画像における深度情報を生成する。このため、複数の画像の記憶容量、および深度情報の生成における処理負荷が低減されることにより、深度情報の生成のための記憶容量および処理能力を削減することが可能となる。

なお、図１においては情報処理装置１００の一例としてスマートフォンを示しているが、情報処理装置１００は、デジタルカメラ、携帯ゲーム機、またはＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）等の携帯端末であってもよい。また、説明の便宜上、第１、第２の実施形態による情報処理装置１００の各々を、情報処理装置１００−１、および情報処理装置１００−２のように、末尾に実施形態に対応する番号を付することにより区別する。

＜２．第１の実施形態＞
［２−１．情報処理装置の構成］
以上、本開示の一実施形態に係る情報処理装置１００の概要について説明した。次に、図２を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の構成について説明する。図２は、本開示の第１の実施形態に係る情報処理装置１００−１の概略的な機能構成を示すブロック図である。

図２を参照すると、情報処理装置１００−１は、カメラ１０２、操作部１０４、記憶部１０６、カメラ姿勢推定部１０８、センサ１１０、縮小部１１２、判定部１１４、深度情報生成部１１６、表示制御部１１８、および表示部１２０を備える。

カメラ１０２は、情報処理装置１００−１のカメラ機能が起動されると所定の時間間隔で撮像を行う。また、カメラ１０２は、所定の時間間隔での撮像とは別に、操作部１０４からの操作検知結果に基づいて撮像を行う。ここで、操作部１０４からの操作検知結果に基づいた撮像により得られた画像は基準画像として扱われる。カメラ１０２は、単一のカメラで構成され、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。なお、カメラ１０２に代えて、記憶部１０６に記憶されている画像を読み出す読出し部、または外部からの画像入力を受け付ける入力部が設けられてもよい。

操作部１０４は、操作者２が情報処理装置１００−１に対して行う撮像操作を検知し、カメラ１０２に撮像を促す。例えば、操作部１０４はシャッターボタンおよびシャッターボタンの押下を検知する構成からなるモジュールであり、シャッターボタンが押下された場合に、操作部１０４は、シャッターボタンの押下を検知し、カメラ１０２に検知結果を伝達する。なお、検知結果は後述する縮小部１１２にも伝達される。

記憶部１０６は、後述する縮小部１１２により縮小された画像、および縮小された画像のカメラ姿勢を記憶する。縮小された画像とカメラ姿勢とは関連付けて記憶される。

カメラ姿勢推定部１０８は、記憶部１０６に直前に記憶された画像のカメラ姿勢と、センサ１１０から得られる情報と、を用いてカメラ１０２の撮像により得られた画像のカメラ姿勢の推定を行う。具体的には、センサ１１０の情報は、カメラ１０２の位置および向きの変化であり、カメラ姿勢推定部１０８は、記憶部１０６に直前に記憶された画像のカメラ姿勢の位置および向きに対して相対的な、新たな撮像により得られた画像の撮像時におけるカメラ１０２の位置および向きを、センサ１１０から得たカメラ１０２の位置および向きの変化を用いて算出する。ここで、操作部１０４からの操作検知結果に基づいた撮像により得られた画像のカメラ姿勢は基準カメラ姿勢として扱われる。

なお、カメラ姿勢推定部１０８は、センサ１１０から得られる情報を用いてカメラ姿勢を推定する代わりに、例えば、カメラ姿勢推定部１０８は、画像間の画素値のマッチング（ピクセルマッチング）または特徴点のマッチング（ステレオマッチング）等の結果を用いてカメラ姿勢を推定してもよい。

センサ１１０は、情報処理装置１００−１の動きを検知する。具体的には、センサ１１０は、情報処理装置１００−１の位置および向きの変化を検知する。例えば、センサ１１０は、加速度センサおよび角速度センサ（ジャイロセンサ）、または角速度センサに代えて地磁気センサが用いられ得る。

縮小部１１２は、カメラ１０２の撮像により得られた画像を縮小し、基準画像以外の縮小された画像をカメラ姿勢推定部１０８により推定されたカメラ姿勢とともに記憶部１０６に記憶させる。具体的には、操作部１０４により撮像操作が検知されなかった場合に、縮小部１１２は、カメラ１０２の所定の時間間隔での撮像により得られた画像を縮小し、記憶部１０６に記憶させる。一方、操作部１０４により撮像操作が検知された場合、すなわち画像が操作部１０４からの操作検知結果に基づいたカメラ１０２の撮像により得られた場合は、縮小部１１２は、画像を縮小するが、縮小された画像を記憶部１０６に記憶させない。

このように、縮小部１１２は、カメラ１０２の所定の時間間隔での撮像により得られた画像を縮小して記憶部１０６に記憶する。また、縮小部１１２は、操作部１０４からの操作検知結果に基づいたカメラ１０２の撮像により得られた画像を縮小し、縮小された画像はそのまま情報処理装置１００−１の処理に用いられる。このため、画像が縮小されることにより、深度情報の生成の処理のための記憶容量を低減することが可能となる。

判定部１１４は、深度情報の生成の可否判定を行う。具体的には、記憶部１０６に記憶されている複数の画像のうちで、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う。なお、以下では説明の便宜上、記憶部１０６に記憶されている複数の画像のうちで、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数を、画像数Ｍと呼ぶ。より具体的には、図３を参照して説明する。図３は、本開示の第１の実施形態に係る判定部１１４の判定処理の例を説明するための図である。

図３を参照すると、カメラ１０２を内蔵する情報処理装置１００−１を軌道１０のように移動させた場合の、カメラ１０２が撮像を行った地点におけるカメラ姿勢２０ａ〜２０ｋが示されている。カメラ姿勢２０ａ〜２０ｊは、記憶部１０６に記憶されている画像のカメラ姿勢であり、またカメラ姿勢２０ｋは基準カメラ姿勢である。図３では、基準カメラ姿勢２０ｋを除くカメラ姿勢２０ａ〜２０ｊのうち、例えば、カメラ姿勢２０ｆ〜２０ｊで撮像された画像が、基準カメラ姿勢２０ｋを基準に定められるカメラ姿勢の範囲で撮像された画像であるとして示されている。

基準カメラ姿勢２０ｋを基準に定められるカメラ姿勢の範囲は、所定の条件を満たすカメラ１０２の位置および向きで定められる。上記の所定の条件は、例えば、記憶部１０６に記憶されている画像のカメラ姿勢の位置が、基準カメラ姿勢２０ｋの位置から所定の距離内にあること、かつ、記憶部１０６に記憶されている画像のカメラ姿勢の向きの方向と、基準カメラ姿勢２０ｋのカメラの向きの方向と、がなす角度が、所定の角度以下であること、であり得る。

図３を参照して説明すると、例えば、所定の距離がＤ、所定の角度がＲである条件が設定されている場合、カメラ姿勢２０ｆ〜２０ｊの各々の位置は、基準カメラ姿勢２０ｋの位置からの所定の距離Ｄの範囲内にあり、カメラ姿勢２０ｆ〜２０ｊの各々の向きの方向は、基準カメラ姿勢２０ｋの向きの方向と所定の角度Ｒ以下で交差するため、カメラ姿勢２０ｆ〜２０ｊは条件を満たすカメラ姿勢となる。例えば、カメラ姿勢２０ｆの位置は、基準カメラ姿勢２０ｋの位置からの所定の距離Ｄの範囲内にあり、カメラ姿勢２０ｆの向きの方向と、基準カメラ姿勢２０ｋの向きの方向の交差する角度Ｒ１は所定の角度Ｒ以下である。

一方、カメラ姿勢２０ｄの向きの方向と基準カメラ姿勢２０ｋの向きの方向の交差する角度Ｒ２は所定の角度Ｒ以下であるが、カメラ姿勢２０ｄの位置は基準カメラ姿勢２０ｋの位置から所定の距離Ｄの範囲内にないので、カメラ姿勢２０ｄは条件を満たさない。また、カメラ姿勢２０ｅの位置は基準カメラ姿勢２０ｋの位置から所定の距離Ｄの範囲内であるが、カメラ姿勢２０ｅの向きの方向と基準カメラ姿勢２０ｋの向きの方向の交差する角度Ｒ３は所定の角度Ｒより大きいので、カメラ姿勢２０ｅは条件を満たさない。

判定部１１４は、所定の条件を満たすカメラ姿勢の数をカウントし、前述の画像数Ｍを把握する。そして、画像数Ｍが所定の閾値を上回れば、深度情報の生成が可能と判定され、画像数Ｍが所定の閾値を下回れば、深度情報の生成は不可能と判定される。

このように、判定部１１４は、深度情報の生成が可能かの判定を行うことで、深度情報の生成に必要な画像が不足している場合に深度情報の生成が行われて深度情報の生成に失敗することを防止することにより、処理負荷の低減が可能となる。さらに、情報処理装置１００は、深度情報の生成を判定部１１４による判定後に一度に行うことで、画像を取得中には深度情報の生成を行わないことにより、画像の取得中の情報処理装置１００の処理負荷を低減することが可能となる。

なお、本実施形態では、判定部１１４は、画像数Ｍについての閾値判定を行うが、さらに、判定部１１４は、上記の条件を満たす画像のカメラ姿勢が、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内で分散して撮像されることを上記の条件に加えてもよい。例えば、当該カメラ姿勢の範囲内で上記の条件を満たす画像のカメラ姿勢の位置が、均一に分布していることを条件として追加してもよい。

このように、記憶部１０６に記憶されている複数の画像のうちで、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像が、当該カメラ姿勢の範囲内で分散していること、という条件を判定部１１４の判定条件に追加することで、多様な視点での撮像により得られる画像が深度情報の生成に利用されることにより、より精度の高い深度情報の生成が可能となる。

ここで図２を参照して情報処理装置１００−１の説明に戻ると、深度情報生成部１１６は、判定部１１４により深度情報の生成が可能と判定された場合に、深度情報の生成を行う。具体的には、深度情報生成部１１６は、記憶部１０６に記憶される複数の画像のうち、画像数Ｍが閾値を上回ると判定部により判定された場合に、深度情報の生成を行う。深度情報の生成は、基準画像および基準カメラ姿勢と、記憶部１０６に記憶されている複数の画像のうち、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像および当該画像のカメラ姿勢と、を用いて行われる。

このように、深度情報生成部１１６は、記憶部１０６に記憶される複数の画像のうち、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像を用いて深度情報の生成を行うことで、深度情報の生成に有用なカメラ姿勢を選び出して処理が行われることにより、得られる深度情報の精度を向上させることが可能となる。

なお、深度情報の生成については、一般的な種々の手法が用いられ得る。例えば、ＤＴＡＭ（Ｄｅｎｓｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｐｉｎｇ ｉｎ Ｒｅａｌ−Ｔｉｍｅ）等の手法が用いられてもよい。また、得られた深度情報は、低解像度画像間のマッチング結果に基づくため、深度情報の利用態様によっては解像度が不足し得る。そのため、得られた深度情報に対して、例えば、スムージング、アップサンプリング、または深度情報に対応する高解像度の輝度画像（例えば、基準画像）を入力としたＪｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ等で深度情報の解像度を向上させる処理が行われてもよい。

表示制御部１１８は、判定部１１４により深度情報の生成が不可能と判定された場合に、操作者２への案内画面２０２を生成する。具体的には、案内画面２０２は、操作者２に対して前述の条件を満たす画像の数が所定の閾値に対して不足していることを示す画面である。より具体的には、図４を参照して説明する。図４は、本開示の第１の実施形態に係る表示制御部１１８が生成する案内画面の例について説明するための図である。

図４を参照すると、情報処理装置１００−１の表示部１２０に案内画面２０２が表示されている。案内画面２０２は、例えば、文字列で、操作者２に対して前述の条件を満たす画像の数が所定の閾値に対して不足していることを示してもよい。

このように、表示制御部１１８は、判定部１１４により深度情報の生成が不可能と判定された場合に、操作者２に対して案内画面２０２を生成し、表示部１２０に表示させることで、視覚的に深度情報の生成処理に必要な画像の数が不足していることが示されることにより、操作者２は深度情報の生成が実行されない理由を容易に理解することが可能となる。

ここで図２を参照して情報処理装置１００−１の説明に戻ると、表示部１２０は、表示制御部１１８により生成された案内画面２０２を表示する。表示部１２０は、例えば、図４に示されるような情報処理装置１００−１の表示画面を表示し得る。

［２−２．情報処理装置の処理］
次に、図５を参照して、本開示の第１の実施形態に係る情報処理装置１００−１の処理について説明する。図５は、本開示の第１の実施形態における情報処理装置１００−１の処理を概念的に示すフローチャートである。

まず、ユーザ操作が検出されたかの判定が行われる（ステップＳ４０２）。具体的には、操作部１０４により撮像操作を検知したかの判定が行われる。

ステップＳ４０２にて、ユーザ操作が検出されなかったと判定された場合、カメラ１０２は、撮像により画像を入手する（ステップＳ４０４）。具体的には、カメラ１０２は、所定の時間間隔での撮像により画像を入手する。

次に、入手された画像について、カメラ姿勢推定部１０８によりカメラ姿勢が推定される（ステップＳ４０６）。より具体的には、図６を参照して説明する。図６は、本開示の第１の実施形態におけるカメラ姿勢の推定の処理を概念的に示すフローチャートである。

図６を参照すると、まず、カメラ姿勢推定部１０８は、画像およびセンサ１１０で検知された情報を入手する（ステップＳ５０２）。具体的には、入手される画像は、カメラ１０２の撮像により得られた画像であり、センサ１１０で検知された情報は、当該画像の撮像時におけるカメラ１０２の位置および向きの変化である。

次に、縮小部１１２により縮小された画像が記憶部１０６に存在するかの判定が行われる（ステップＳ５０４）。本実施形態では、例えば、撮像時における画像間の相対的なカメラ１０２の位置および向きに基づいてカメラ姿勢推定が行われ得るため、直前の撮像により得られ記憶された画像が存在しない場合は、ステップＳ５１０に処理が進められ、カメラ姿勢推定が行われない。

ステップＳ５０４にて、縮小部１１２により縮小された画像が記憶部１０６に存在すると判定された場合、直前の撮像により得られた画像およびカメラ姿勢が記憶部１０６から読み出される（ステップＳ５０６）。

次に、記憶部１０６から読み出されたカメラ姿勢およびセンサ１１０から得られたカメラ１０２の位置および向きの変化に基づいて、入手された画像のカメラ姿勢が算出される（ステップＳ５０８）。具体的には、センサ１１０から得られたカメラ１０２の位置および向きの変化に基づいてカメラ１０２の位置および向きの変化量が算出され、記憶部１０６から読み出されたカメラ姿勢の位置および向きを基準として、算出された変化量が適用されて、入手された画像のカメラ姿勢の位置および向きが算出される。

ステップＳ５０４にて、縮小部１１２により縮小された画像が記憶部１０６に存在すると判定されなかった場合、入手された画像のカメラ姿勢が基準値として設定される（ステップＳ５１０）。本実施形態では、例えば、以降で算出されるカメラ姿勢は、基準値として設定されたカメラ姿勢に対する相対的な値が用いられ得る。

ここで図５を参照して情報処理装置１００−１の処理の説明に戻ると縮小部１１２により、入手された画像が縮小され、縮小された画像がカメラ姿勢とともに記憶部１０６に記憶される（ステップＳ４０８）。記憶部１０６に記憶させる処理が完了すると、ステップＳ４０２に処理が戻される。

ステップＳ４０２にて、ユーザ操作が検知されたと判定された場合、カメラ１０２は、撮像により基準画像を入手する。（ステップＳ４１０）。具体的には、カメラ１０２は、操作部１０４の撮像操作の検知結果に基づいて撮像を行い、基準画像を入手する。

次に、入手された基準画像について、カメラ姿勢推定部１０８によりカメラ姿勢が推定される（ステップＳ４１２）。カメラ姿勢推定部１０８の処理は、ステップＳ４０６と同様であるため、詳細な説明は省略する。

次に、判定部１１４により深度情報の生成の可否判定が行われる（ステップＳ４１４）。具体的には、操作部１０４で撮像操作が検知された場合、判定部１１４により前述の画像数Ｍについての閾値判定が行われる。より具体的には、図７を参照して説明する。図７は、本開示の第１の実施形態における深度情報の生成の可否判定の処理を概念的に示すフローチャートである。

図７を参照すると、まず、ステップＳ４１４の処理の準備として、画像の数のカウントが初期化され、記憶部１０６に記憶されたカメラ姿勢が読出される（ステップＳ６０２）。具体的には、画像数Ｍをカウントするためのカウンタが初期化される。

次に、読み出されたカメラ姿勢の位置が、基準カメラ姿勢の位置から所定の距離の範囲内にあるか判定が行われる（ステップＳ６０４）。具体的には、読み出されたカメラ姿勢の位置から基準カメラ姿勢の位置までの相対的な距離が算出され、当該距離と所定の距離との比較が行われる。

ステップＳ６０４にて、読み出されたカメラ姿勢の位置が、基準カメラ姿勢の位置から所定の距離の範囲内にあると判定された場合、読み出されたカメラ姿勢のカメラの向きの方向が、基準カメラ姿勢のカメラの向きの方向と所定の角度以下で交差するか判定が行われる（ステップＳ６０６）。具体的には、読み出されたカメラ姿勢の向きの方向と基準カメラ姿勢の向きの方向との交差角度が算出され、算出された交差角度と所定の角度との比較が行われる。

ステップＳ６０６にて、読み出されたカメラ姿勢のカメラの向きの方向が、基準カメラ姿勢のカメラの向きの方向と所定の角度以下で交差すると判定された場合、画像の数がカウントアップされる（ステップＳ６０８）。

なお、ステップＳ６０４またはステップＳ６０６にて、否定的な判定がなされた場合は、ステップＳ６１０に処理が進められる。

次に、記憶部１０６に記憶されている次のカメラ姿勢が存在するかの判定が行われる（ステップＳ６１０）。言い換えると、記憶部１０６に、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当するかの判定を行う対象の画像が存在するかの判定が行われる。

ステップＳ６１０にて、記憶部１０６に記憶されている次のカメラ姿勢が存在すると判定された場合、次のカメラ姿勢が記憶部１０６から読み出され、ステップＳ６０４に処理が戻される（ステップＳ６１２）。

ステップＳ６１０にて、記憶部１０６に記憶されている次のカメラ姿勢が存在しないと判定された場合、カウントされた画像の数が所定の閾値を上回るかの判定が行われる（ステップＳ６１４）。カウントされた画像の数が閾値を上回ると判定された場合、ステップＳ４１８に処理が進められ、カウントされた画像の数が閾値を上回ると判定されなかった場合、ステップＳ４１６に処理が進められる。

ここで図５を参照して情報処理装置１００−１の処理の説明に戻ると、ステップＳ４１４にて、深度情報の生成が不可能であると判定部１１４により判定された場合、表示制御部１１８により操作者２への案内画面２０２が生成され、表示部１２０により案内画面２０２が表示される（ステップＳ４１６）。具体的には、判定部１１４により、画像数Ｍが所定の閾値を上回ると判定された場合、表示制御部１１８により操作者２に示される案内画面２０２が生成される。

ステップＳ４１４にて、深度情報の生成が可能であると判定部１１４により判定された場合、縮小部１１２により基準画像が縮小され、深度情報生成部１１６により、深度情報の生成が行われる（ステップＳ４１８）。

このように、本開示の第１の実施形態によれば、情報処理装置１００−１は、１のカメラ１０２の撮像により得られる複数の画像と基準画像についてカメラ姿勢推定を行い、情報処理装置１００−１は、記憶部１０６に記憶される縮小された当該複数の画像のうちの一部と当該画像のカメラ姿勢および縮小された基準画像と基準カメラ姿勢を用いて深度情報の生成を行う。このため、撮像により得られた画像が縮小されて記憶部に記憶され、縮小された基準画像と記憶部に記憶された複数の画像のうちの一部とが深度情報の生成に用いられることにより、１のカメラを有する情報処理装置１００における深度情報の生成にかかる処理負荷および要求される記憶容量を抑制することが可能となる。

［２−３．案内画面の例］
本実施形態では、表示制御部１１８が生成する案内画面２０２は、操作者２に追加のカメラ姿勢における撮像を促す画面であってもよい。例えば、案内画面２０２は、情報処理装置１００−１を動かして撮像するように指示する文字列であり得る。

このように、表示制御部１１８が操作者２に追加のカメラ姿勢における撮像を促す案内画面を生成することで、操作者２が情報処理装置１００−１を動かし、撮像されていなかったカメラ姿勢での撮像が行われることにより、深度情報の生成に必要な画像を得ることが可能となる。

また、案内画面２０２は、さらに具体的に必要なカメラ姿勢を操作者２に示してもよい。具体的には、判定部１１４は、記憶部１０６に記憶されているカメラ姿勢の各々に基づいて、基準カメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像のうちで不足しているカメラ姿勢での撮像を判定し、表示制御部１１８は、不足しているカメラ姿勢における撮像を誘導する案内画面を生成してもよい。より具体的には、図８を参照して説明する。図８は、本開示の第１の実施形態に係る表示制御部１１８が生成する案内画面の例を説明するための図である。

図８を参照すると、情報処理装置１００−１の表示部１２０に矢印の画像を有する案内画面２０４が表示されている。案内画面２０４に表示されている矢印の画像は、操作者２に撮像させたいカメラ姿勢への方向を示す。矢印の方向は、判定部１１４の判定の際に判定される不足しているカメラ姿勢に基づいて表示制御部１１８により算出される。例えば、判定部１１４により判定された不足しているカメラ姿勢の位置と、現在のカメラ姿勢の位置と、が比較され、現在のカメラ姿勢の位置から不足しているカメラ姿勢の位置への方向が算出され得る。

このように、判定部１１４により判定される不足しているカメラ姿勢に基づいて、表示制御部１１８が、不足しているカメラ姿勢における撮像を誘導する案内画面２０４を生成し、表示部１２０に表示させることで、操作者２に不足している画像のカメラ姿勢を直観的に理解させ、不足している画像のカメラ姿勢で撮像させることにより、より速くかつ望ましい深度情報の生成に必要な画像を得ることが可能となる。

［２−４．深度情報の生成に必要な画像の不足時の情報処理装置の振舞いの例］
本実施形態では、操作者２による撮像操作が行われても、深度情報の生成に必要な画像が不足している場合には、カメラ１０２は、基準画像を得るための撮像を行わないように制御してもよい。具体的には、カメラ姿勢推定部１０８は、操作者２による撮像操作が行われた時のカメラ姿勢を推定し、判定部１１４は、記憶部１０６に記憶されている複数の画像のうちの、操作者２による撮像操作が行われた時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う。そして、当該画像に該当する数が閾値を下回ると判定部１１４により判定された場合、カメラ１０２は基準画像を得るための撮像を行わない。

より具体的には、カメラ姿勢推定部１０８は、操作部１０４が撮像操作を検知した場合、カメラ姿勢の推定を行い、判定部１１４は、記憶部１０６に記憶されている複数の画像のうちの、操作部１０４が撮像操作を検知した時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う。そして、当該画像に該当する数が閾値を下回ると判定部１１４により判定された場合、カメラ１０２は基準画像を得るための撮像を行わず、当該画像に該当する数が閾値を上回ると判定部１１４により判定された場合、カメラ１０２は撮像を行い、得られた画像が基準画像となる。例えば、操作者２がシャッターボタンを押して基準画像を得るための撮像を行おうとした場合に、深度情報の生成に必要な画像が不足している場合には、カメラ１０２は、シャッターが切れないように制御され得る。

このように、カメラ姿勢推定部１０８は、操作部１０４が撮像操作を検知した時のカメラ姿勢を推定し、判定部１１４は、記憶部１０６に記憶されている複数の画像のうちの、操作部１０４が撮像操作を検知した時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行い、当該画像に該当する数が閾値を下回ると判定部１１４により判定された場合、カメラ１０２は基準画像を得るための撮像を行わないことで、表示部１２０等の視覚的に操作者２に伝える機能が無くても、撮像操作に対する情報処理装置１００−１の反応により、操作者２に基準画像を得るための撮像ができないことを直観的に理解させ、深度情報の生成に必要な画像を得るための撮像を促すことが可能となる。

＜３．第２の実施形態＞
［３−１．情報処理装置の構成］
以上、本開示の第１の実施形態に係る情報処理装置１００−１について説明した。次に、図９を参照して、本開示の第２の実施形態に係る情報処理装置１００−２の構成について説明する。図９は、本開示の第２の実施形態に係る情報処理装置１００−２の概略的な機能構成を示すブロック図である。

図９を参照すると、情報処理装置１００−２は、カメラ１０２、記憶部１０６、カメラ姿勢推定部１０８、センサ１１０、縮小部１１２、深度情報生成部１１６、に加えて基準画像判定部１３０を備える。

基準画像判定部１３０は、記憶部１０６に記憶されている複数の画像の中から基準画像となる画像を判定し、判定された画像を基準画像に設定する。

具体的には、基準画像判定部１３０は、記憶部１０６に記憶されている画像が所定の条件を満たす場合、記憶部１０６に記憶される複数の画像の各々について、当該複数の画像のうちの、当該複数の画像の各々のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う。なお、以下では説明の便宜上、記憶部１０６に記憶される複数の画像のうちの、当該複数の画像の各々のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数を、画像数Ｍ１と呼ぶ。そして、閾値を上回る画像群の中で、最も画像数Ｍ１が大きい画像を基準画像として設定する。上記の所定の条件の判定は、例えば、記憶部１０６に記憶されている複数の画像の数についての閾値判定であり得る。より具体的には、図１０を参照して説明する。図１０は、本開示の第２の実施形態に係る基準画像判定部１３０の処理の例を説明するための図である。

図１０を参照すると、カメラ１０２を内蔵する情報処理装置１００−２を軌道１０のように移動させた場合の、カメラ１０２が撮像を行った地点におけるカメラ姿勢２０ａ〜２０ｋが示されている。カメラ姿勢２０ａ〜２０ｋは、記憶部１０６に記憶されている画像のカメラ姿勢である。

例えば、記憶部１０６に記憶されている画像の所定の条件判定の閾値が４とされる場合、カメラ姿勢２０ｄでの撮像により得られた画像が記憶部１０６に記憶されると、基準画像判定部１３０は、カメラ姿勢２０ａ〜２０ｄについて処理を行う。基準画像判定部１３０は、カメラ姿勢２０ａ〜２０ｄの各々において、本開示の第１の実施形態に係る判定部１１４と同様の閾値判定を行い、カメラ姿勢２０ａ〜２０ｄの各々の画像数Ｍ１を判定する。そして、閾値を上回ると判定された画像数Ｍ１の各々の大小が比較され、最も大きい画像数Ｍ１を有するカメラ姿勢である２０ｃでの撮像により得られた画像が基準画像として設定される。

次に、カメラ姿勢２０ｈでの撮像により得られた画像が記憶部１０６に記憶されると、記憶部１０６に記憶されている画像の数が４となるため、基準画像判定部１３０は、カメラ姿勢２０ｅ〜２０ｈについて処理を行う。基準画像判定部１３０は、カメラ姿勢２０ｅ〜２０ｈの各々において、本開示の第１の実施形態に係る判定部１１４と同様の閾値判定を行い、カメラ姿勢２０ｅ〜２０ｈの各々の画像数Ｍ１を判定する。しかし、カメラ姿勢２０ｅ〜２０ｈの各々の画像数Ｍ１がすべて閾値を下回るため、基準画像判定部１３０の処理は中止される。

続いて、カメラ姿勢２０ｉ、２０ｊの場合もカメラ姿勢２０ｈの場合と同様に、基準画像判定部１３０の処理が中止される。そして、カメラ姿勢２０ｋの場合、カメラ姿勢２０ｋの画像数Ｍ１が閾値を上回り、かつカメラ姿勢２０ｅ〜２０ｋの中で最も大きい画像数Ｍ１であるので、カメラ姿勢２０ｋでの撮像により得られる画像が基準画像として設定される。

［３−２．情報処理装置の処理］
次に、図１１を参照して、第２の実施形態に係る情報処理装置１００−２の処理について説明する。図１１は、本開示の第２の実施形態における情報処理装置１００−２の処理を概念的に示すフローチャートである。

まず、ステップＳ４０４、Ｓ４０６、Ｓ４０８の処理の後、基準画像判定部１３０により、記憶部１０６に記憶されている複数の画像の数についての閾値判定が行われる（ステップＳ７０２）。なお、ステップＳ７０２にて、記憶部１０６に記憶されている複数の画像の数が閾値を下回ると判定された場合、ステップＳ４０２に処理が戻される。

ステップＳ７０２にて、記憶部１０６に記憶されている複数の画像の数が閾値を上回ると判定された場合、基準画像が設定可能かの判定が行われる（ステップＳ７０４）。具体的には、図１２を参照して説明する。図１２は、本開示の第２の実施形態における基準画像の設定の可否判定の処理を概念的に示すフローチャートである。

図１２を参照すると、まず、ステップＳ７０４における処理の準備としての設定が行われる（ステップＳ８０２）。具体的には、仮の基準画像の設定が初期化され、記憶部１０６に記憶されているカメラ姿勢が読出される。

次に、読み出されたカメラ姿勢における画像数Ｍ１についての閾値判定が行われる（ステップＳ８０４）。具体的には、読み出されたカメラ姿勢が基準カメラ姿勢として設定され、本開示の第１の実施形態に係る判定部１１４の処理（ステップＳ４１４）と同様の閾値判定が行われる。閾値判定の処理の内容はステップＳ４１４と実質上同一であるため、詳細な説明は省略する。

ステップＳ８０４にて、画像数Ｍ１が閾値を上回ると判定された場合、画像数Ｍ１と仮の基準カメラ姿勢における画像数Ｍ１との比較が行われる（ステップＳ８０６）。なお、以下では便宜上、仮の基準画像における画像数Ｍ１を、画像数Ｍ２と呼ぶ。

ステップＳ８０６にて、画像数Ｍ１が画像数Ｍ２を上回ると判定された場合、読み出したカメラ姿勢の画像が現在の仮の基準画像に代えて仮の基準画像に設定される（ステップＳ８０８）。

なお、ステップＳ８０４およびステップＳ８０６にて、否定的な判定がなされた場合は、ステップＳ８１０に処理が進められる。

次に、記憶部１０６に記憶されている次のカメラ姿勢が存在するかの判定が行われる（ステップＳ８１０）。言い換えると、記憶部１０６に、読み出されたカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当するかの判定を行う対象の画像が存在するかの判定が行われる。

ステップＳ８１０にて、記憶部１０６に記憶されている次のカメラ姿勢が存在すると判定された場合、カメラ姿勢が記憶部１０６から読み出され、ステップＳ８０４に処理が戻される（ステップＳ８１２）。

上記ステップＳ８０４〜Ｓ８１２の処理が、記憶部１０６に記憶されている複数の画像のカメラ姿勢について繰り返されることにより、記憶部１０６に記憶されている複数の画像のうちで最も画像数Ｍ１が大きい画像が仮の基準画像に設定される。

ステップＳ８１０にて、記憶部１０６に記憶されている次のカメラ姿勢が存在しないと判定された場合、仮の基準画像が設定されているかの判定が行われる（ステップＳ８１４）。

ステップＳ８１４にて、仮の基準画像が設定されていると判定された場合、仮の基準画像に設定されている画像が基準画像として設定され、ステップＳ４１８に処理が進められる（ステップＳ８１６）。

なお、ステップＳ８１４にて、仮の基準画像が設定されていないと判定された場合、ステップＳ４０４に処理が戻される。

このように、本開示の第２の実施形態によれば、情報処理装置１００−２は、記憶部１０６に記憶されている複数の画像の中から最も画像数Ｍ１が大きい画像を判定し、判定された画像を基準画像として深度情報の生成を行う。このため、記憶部１０６に記憶されている複数の画像のうちで深度情報の生成に必要な画像が最も多い画像が基準画像として選択されることにより、精度の高い深度情報の生成を行うことが可能となる。

＜４．ハードウェア構成＞
以上、本発明の実施形態を説明した。上述した情報処理装置１００の処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

図１３は、本開示に係る情報処理装置１００のハードウェア構成を示した説明図である。図１３に示したように、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。

ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置１００内のカメラ姿勢推定部１０８、縮小部１１２、判定部１１４、深度情報生成部１１６、表示制御部１１８、および基準画像判定部１３０の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理装置１００内の記憶部１０６の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１５４は、本実施形態にかかる情報処理装置１００の操作部１０４の一例としてのマウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段、および情報処理装置１００に内蔵されるカメラ１０２と、ユーザによる入力およびカメラ１０２からの入力に基づいて入力信号を生成し、ＣＰＵ１４２に出力する入力制御回路などから構成されている。情報処理装置１００のユーザは、入力装置１５４を操作することにより、情報処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置１５６は、情報処理装置１００の表示部１２０の一例として、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置への出力を行う。さらに、出力装置１５６は、スピーカおよびヘッドフォンなどの音声出力を行ってもよい。

ストレージ装置１５８は、本実施形態にかかる情報処理装置１００の記憶部１０６の一例として構成されたデータ格納用の装置である。ストレージ装置１５８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置１５８は、ＣＰＵ１４２が実行するプログラムや各種データを格納する。

ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書込むこともできる。

接続ポート１６２は、例えば、情報処理装置１００の外部の情報処理装置または周辺機器と接続するためのバスである。また、接続ポート１６２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であってもよい。

通信装置１６４は、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１６４は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

＜５．むすび＞
本開示の第１の実施形態によれば、撮像により得られた画像が縮小されて記憶部１０６に記憶され、縮小されない基準画像と記憶部１０６に記憶された複数の画像のうちの一部とが深度情報の生成に用いられることにより、１のカメラを有する情報処理装置１００の深度情報の生成にかかる処理負荷および要求される記憶容量を抑制することが可能となる。また、本開示の第２の実施形態によれば、記憶部１０６に記憶されている複数の画像のうちで深度情報の生成に必要な画像が最も多い画像が基準画像として選択されることにより、精度の高い深度情報の生成を行うことが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）１のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、を備える情報処理装置。
（２）前記記憶部に記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う判定部をさらに備え、前記深度情報生成部は、前記画像に該当する数が前記閾値を上回ると前記判定部により判定された場合に前記深度情報の生成を行う、前記（１）に記載の情報処理装置。
（３）前記深度情報生成部は、前記記憶部に記憶されている前記複数の画像のうちで、前記カメラ姿勢の範囲内での撮像により得られた画像を、前記少なくとも一部の画像として用いて前記深度情報の生成を行う、前記（２）に記載の情報処理装置。
（４）前記判定部により前記画像に該当する数が閾値を下回ると判定された場合にユーザへの案内画面を表示させる表示制御部をさらに備える、前記（２）に記載の情報処理装置。
（５）前記判定部は、前記記憶部に記憶されている前記複数の画像のうちの、前記カメラ姿勢の範囲内で分散するカメラ姿勢での撮像により得られた画像に該当する数についての閾値判定を行い、前記深度情報生成部は、前記画像に該当する数が前記閾値を上回ると前記判定部により判定された場合に前記深度情報の生成を行う、前記（２）に記載の情報処理装置。
（６）前記案内画面は、前記画像に該当する数が不足していることを示す画面である、前記（４）に記載の情報処理装置。
（７）前記案内画面は、ユーザに追加のカメラ姿勢における撮像を促す画面である、前記（４）に記載の情報処理装置。
（８）前記判定部は、前記記憶部に記憶されている前記第２のカメラ姿勢の各々に基づき、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像のうちで不足しているカメラ姿勢での撮像を判定し、
前記案内画面は、前記不足しているカメラ姿勢における撮像を誘導する画面である、前記（７）に記載の情報処理装置。
（９）前記基準画像は、ユーザ操作に基づく撮像により得られ、
前記複数の画像は、前記基準画像が得られる前に得られた画像である、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）前記カメラ姿勢推定部は、前記ユーザ操作が行われた時のカメラ姿勢を推定し、
前記判定部は、前記記憶部に記憶されている前記複数の画像のうちの、前記ユーザ操作が行われた時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行い、前記画像に該当する数が前記閾値を下回ると前記判定部により判定された場合、前記カメラは前記基準画像を得るための撮像を行わない、前記（９）に記載の情報処理装置。
（１１）前記深度情報生成部は、前記基準画像を低解像度化して得られる画像と前記複数の画像とのマッチングにより得られる深度情報を、前記基準画像を用いて高解像度化する、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）１のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得することと、前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定することと、前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶することと、前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢のと、を用いて前記基準画像の深度情報の生成を行うことと、を含む情報処理方法。

２ 操作者
２０ カメラ姿勢
１００ 情報処理装置
１０２ カメラ
１０６ 記憶部
１０８ カメラ姿勢推定部
１１４ 判定部
１１６ 深度情報生成部
１１８ 表示制御部
１３０ 基準画像判定部
２０２、２０４ 案内画像

Claims (12)

1. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、
   前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、
   前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、
   前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、
   前記記憶部に記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う判定部と、
   を備え、
   前記深度情報生成部は、前記画像に該当する数が閾値を上回ると前記判定部により判定された場合に、前記記憶部に記憶されている前記複数の画像のうちで、前記カメラ姿勢の範囲内での撮像により得られた画像を、前記少なくとも一部の画像として用いて前記深度情報の生成を行う、情報処理装置。
2. 前記基準画像は、ユーザ操作に基づく撮像により得られ、
   前記複数の画像は、前記基準画像が得られる前に得られた画像である、請求項１に記載の情報処理装置。
3. 前記カメラ姿勢推定部は、前記ユーザ操作が行われた時のカメラ姿勢を推定し、
   前記判定部は、前記記憶部に記憶されている前記複数の画像のうちの、前記ユーザ操作が行われた時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行い、
   前記画像に該当する数が前記閾値を下回ると前記判定部により判定された場合、前記カメラは前記基準画像を得るための撮像を行わない、請求項２に記載の情報処理装置。
4. 前記深度情報生成部は、前記基準画像を低解像度化して得られる画像と前記複数の画像とのマッチングにより得られる深度情報を、前記基準画像を用いて高解像度化する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、
   前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、
   前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、
   前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、
   前記記憶部に記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う判定部と、
   前記判定部により前記画像に該当する数が閾値を下回ると判定された場合にユーザへの案内画面を表示させる表示制御部と、
   を備え、
   前記深度情報生成部は、前記画像に該当する数が前記閾値を上回ると前記判定部により判定された場合に前記深度情報の生成を行う、情報処理装置。
6. 前記案内画面は、前記画像に該当する数が不足していることを示す画面である、請求項５に記載の情報処理装置。
7. 前記案内画面は、ユーザに追加のカメラ姿勢における撮像を促す画面である、請求項５に記載の情報処理装置。
8. 前記判定部は、前記記憶部に記憶されている前記第２のカメラ姿勢の各々に基づき、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像のうちで不足しているカメラ姿勢での撮像を判定し、
   前記案内画面は、前記不足しているカメラ姿勢における撮像を誘導する画面である、請求項７に記載の情報処理装置。
9. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、
   前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、
   前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、
   前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、
   前記記憶部に記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内で分散するカメラ姿勢での撮像により得られた画像に該当する数についての閾値判定を行う判定部と、
   を備え、
   前記深度情報生成部は、前記画像に該当する数が閾値を上回ると前記判定部により判定された場合に前記深度情報の生成を行う、情報処理装置。
10. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得する取得部と、
    前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定するカメラ姿勢推定部と、
    前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶する記憶部と、
    前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行う深度情報生成部と、
    前記記憶部に記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行う判定部と、
    を備え、
    前記基準画像は、ユーザ操作に基づく撮像により得られ、
    前記複数の画像は、前記基準画像が得られる前に得られた画像であり、
    前記カメラ姿勢推定部は、前記ユーザ操作が行われた時のカメラ姿勢を推定し、
    前記判定部は、前記記憶部に記憶されている前記複数の画像のうちの、前記ユーザ操作が行われた時のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行い、
    前記深度情報生成部は、前記画像に該当する数が閾値を上回ると前記判定部により判定された場合に前記深度情報の生成を行い、
    前記画像に該当する数が前記閾値を下回ると前記判定部により判定された場合、前記カメラは前記基準画像を得るための撮像を行わない、情報処理装置。
11. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得することと、
    前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定することと、
    前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶することと、
    前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行うことと、
    記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行うことと、
    を含み、
    前記深度情報は、前記画像に該当する数が閾値を上回ると判定された場合に、記憶されている前記複数の画像のうちで、前記カメラ姿勢の範囲内での撮像により得られた画像を、前記少なくとも一部の画像として用いて生成される、情報処理方法。
12. １のカメラの撮像により得られる、１の基準画像および前記基準画像よりも低解像度である複数の画像の各々を取得することと、
    前記基準画像の撮像時におけるカメラ姿勢である第１のカメラ姿勢および前記複数の画像の各々の撮像時におけるカメラ姿勢である第２のカメラ姿勢を推定することと、
    前記複数の画像の各々を前記第２のカメラ姿勢の各々とともに記憶することと、
    前記基準画像と、前記基準画像を低解像度化して得られる画像および前記第１のカメラ姿勢と、前記複数の画像のうちの少なくとも一部の画像および当該画像に対応する第２のカメラ姿勢と、を用いて前記基準画像の深度情報の生成を行うことと、
    記憶されている前記複数の画像のうちの、前記第１のカメラ姿勢を基準に定められるカメラ姿勢の範囲内での撮像により得られた画像に該当する数についての閾値判定を行うことと、
    前記画像に該当する数が閾値を下回ると判定された場合にユーザへの案内画面を表示させることと、
    を含み、
    前記深度情報は、前記画像に該当する数が前記閾値を上回ると判定された場合に生成される、情報処理方法。
    

Images