JP6256840B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、第１視点から撮影された入力画像における被写体の深度を示すデプス情報を用いて、当該入力画像を第１視点と異なる複数の第２視点から見た画像を生成する画像処理装置に関する。

近年、ユーザが、撮像装置で撮影された画像を編集することが多くなっている。例えば、ユーザは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介して画像内の一部領域を指定することで、例えば、その一部領域に写っている被写体の像が拡大される（例えば、特許文献１を参照）。

ところで、通常のズーム機能では、被写体の像は拡大倍率に従って拡大、又は、縮小されるものの、カメラを実際に被写体に近づけて撮影されたような像を得る事はできない。実際に被写体に近づいたような効果を得るための方法として、例えば特許文献２に記載の方法がある。特許文献２によると、複数の方向から被写体が撮影されることで得られた複数の入力画像が合成されることで三次元モデルが生成される。生成された三次元モデルにおいて、任意の視点位置からの射影変換が行われることにより、被写体像が生成される。このような方法によって、カメラを被写体に近づけて撮影したような被写体像、又は、実際のカメラとは異なる方向から撮影したような被写体像が得られる。

特開平９−１０２９４５号公報 特開２００２−２９０９６４号公報

このような装置においては、視点変更後の表示される画像の画質を向上することが望まれている。

そこで、本発明は、視点変更後の表示される画像の画質を向上できる画像処理装置を提供することを目的とする。

本発明の一態様に係る画像処理装置は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明は、視点変更後の表示される画像の画質を向上できる画像処理装置を提供できる。

図１は、実施の形態１に係る画像処理装置のブロック図である。 図２は、実施の形態１に係る画像処理方法のフローチャートである。 図３は、実施の形態１に係る画像処理装置のブロック図である。 図４は、実施の形態１に係る画像処理方法のフローチャートである。 図５は、実施の形態１に係る視点変換処理を説明するための図である。 図６は、実施の形態１に係る視点変換処理を説明するための図である。 図７は、実施の形態１に係る視点変換処理を説明するための図である。 図８は、実施の形態１に係る視点変換後の空白領域の一例を示す図である。 図９は、実施の形態１に係る空白領域解析処理のフローチャートである。 図１０は、実施の形態１に係る空白マップの一例を示す図である。 図１１は、実施の形態１に係る空白マップの別の例を示す図である。 図１２は、実施の形態２に係る画像処理装置のブロック図である。 図１３は、実施の形態２に係る画像処理方法のフローチャートである。 図１４は、実施の形態３に係る画像処理装置のブロック図である。 図１５Ａは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｂは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｃは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｄは、実施の形態３に係るルート選択処理を説明するための図である。 図１６Ａは、実施の形態に係る撮像装置の一例を示す外観図である。 図１６Ｂは、実施の形態係る撮像装置の一例を示す外観図である。

（本発明の基礎となった知見）
本発明者は、従来の技術において、以下の問題が生じることを見出した。

特許文献２に記載される方法では、変換画像の画質が大きく劣化する場合がある。例えば、射影変換により生成された変換画像内に、入力画像に対応する像が存在しない空白領域が発生する場合がある。一般的に、多くの小さな空白領域が分散して存在する場合よりも、少しの大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きくなる。よって、大きな空白領域が発生してしまう場合には、変換画像の画質が大きく劣化してしまうことを本発明者は見出した。また、このような大きな空白領域のある領域が画像中に存在するかどうかは、実際に画像を変換するまでは事前には分からない。

この視点変換方法を用いて、ユーザがＧＵＩで視点変換画像を制御する場合を考えてみる。この場合、ユーザはどの領域を指定した場合にどの程度の空白領域が存在するかの情報が事前に得られないため、ユーザの指定した領域によっては画質の劣化した変換画像が表示されてしまうことを本発明者は見出した。

本発明の一態様に係る画像処理装置は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える。

この構成によれば、当該画像処理装置は、複数の第２視点ごとに、当該第２視点に対応する第１変換画像に含まれる空白領域の大きさを示す空白情報を生成する。これにより、当該画像処理装置は、例えば、当該空白情報をユーザに提示することで、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。または、当該画像処理装置は、当該空白情報を用いて、画質の低い変換画像が表示されることを抑制できる。このように、当該画像処理装置は、視点変更後の表示される画像の画質を向上できる。

例えば、前記画像処理装置は、さらに、前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成部と、前記空白マップを表示する表示部とを備えてもよい。

この構成によれば、当該画像処理装置は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。

例えば、前記表示部は、さらに、前記入力画像を表示し、前記入力画像上の複数の位置の各々は、前記複数の第２視点の各々と対応付けられており、前記画像処理装置は、さらに、ユーザにより指定された前記入力画像上の位置に対応付けられている第２視点である選択視点を選択する視点選択部を備え、前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像を、前記入力画像から前記選択視点に対応する前記第１変換画像に切り替え、前記複数の二次元位置は、前記入力画像上の複数の位置に対応付けられており、前記表示部は、前記入力画像を表示する際に、前記空白マップを表示してもよい。

この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、視点の変更操作後の画像における空白領域に関する情報を表示できる。これにより、ユーザは、直感的に視点の変更操作後の空白領域に関する情報を認識できる。

例えば、前記マップ生成部は、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている前記第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す前記空白マップを生成してもよい。

この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、視点の変更操作後の画像における空白領域の大きさを表示できる。これにより、ユーザは、直感的に視点の変更操作後の空白領域の大きさを認識できる。

例えば、前記視点変換部は、さらに、前記デプス情報を用いて、前記入力画像を、前記複数の第２視点の各々を前記入力画像平面に対して垂直に移動させた複数の第３視点から見た画像である複数の第２変換画像を生成し、前記空白領域解析部は、さらに、前記複数の第２変換画像の各々に含まれる前記空白領域の大きさが予め定められた閾値以下であるか否かを判定し、前記空白マップは、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、前記空白領域の大きさが前記閾値以下である第３視点を示してもよい。

この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、変更後の視点において可能なズーム動作（入力画像平面に対する垂直方向の視点の移動）の程度を表示できる。これにより、ユーザは、直感的に視点の変更操作後に可能なズーム動作の程度を認識できる。

例えば、前記画像処理装置は、さらに、前記入力画像を表示する表示部と、前記空白情報を用いて、前記複数の第１変換画像のうち、前記空白領域の大きさが予め定められた閾値以下である第１変換画像を判定し、前記空白領域の大きさが前記閾値以下である第１変換画像のうちいずれかを選択画像として選択する視点選択部を備え、前記表示部は、表示する画像を、前記入力画像から前記選択画像に切り替えてもよい。

この構成によれば、当該画像処理装置は、画質の低い変換画像が表示されることを抑制できる。

例えば、前記画像処理装置は、さらに、前記入力画像を表示する表示部と、前記複数の第２視点のうちいずれかを選択視点として選択する視点選択部と、前記空白情報を用いて、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を判定し、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を中間視点画像として選択するルート選択部とを備え、前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像の視点が、前記第１視点から前記選択視点に連続的に変化するように、前記入力画像と、前記中間視点画像と、前記選択視点に対応する第１変換画像とをこの順に切り替えて表示してもよい。

この構成によれば、当該画像処理装置は、視点の変更動作時において、画質の低い画像が表示されることを抑制できる。

例えば、前記マップ生成部は、前記複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、前記複数のグループの各々に一つ前記二次元位置を対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記グループに含まれる複数の第２視点における前記空白領域の大きさを用いて、当該グループにおける前記空白領域の大きさの度合いを算出し、前記複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられている前記グループにおける前記空白領域の大きさの度合いを示す前記空白マップを生成してもよい。

この構成によれば、当該画像処理装置は、ユーザが操作したい場所とは異なる場所を選択してしまう場合などの操作時の誤動作を抑制できる。

例えば、前記視点変換部は、前記入力画像と、前記デプス情報と、前記入力画像が撮影された際のカメラパラメータとを用いて、カメラ座標系における前記被写体の三次元モデルを生成し、前記三次元モデルを、前記複数の第２視点の各々に対応する複数の変換パラメータを用いて射影変換することにより、前記複数の第１変換画像を生成してもよい。

また、本発明の一態様に係る画像処理方法は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得ステップと、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換ステップと、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析ステップとを含む。

これよれば、当該画像処理方法は、複数の第２視点ごとに、当該第２視点に対応する第１変換画像に含まれる空白領域の大きさを示す空白情報を生成する。これにより、当該画像処理方法は、例えば、当該空白情報をユーザに提示することで、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。または、当該画像処理方法は、当該空白情報を用いて、画質の低い変換画像が表示されることを抑制できる。このように、当該画像処理方法は、視点変更後の表示される画像の画質を向上できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態に係る画像処理装置は、複数の視点ごとに、視点変更後の変換画像における空白領域の大きさを示す空白マップを生成し、当該空白マップをユーザに提示する。これにより、当該画像処理装置は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。

まず、本実施の形態に係る画像処理装置の概略構成及びその動作について説明する。

図１は、本実施の形態に係る画像処理装置１００の概略構成を示すブロック図である。

図１に示す画像処理装置１００は、入力画像１２１及びデプス情報１２２を用いて空白情報１２４を生成する。入力画像１２１は、第１視点から被写体が撮影された画像である。デプス情報１２２は、入力画像１２１における被写体の深度を示す。

この画像処理装置１００は、データ取得部１０１と、視点変換部１０２と、空白領域解析部１０３とを備える。

データ取得部１０１は、入力画像１２１及びデプス情報１２２を取得する。

視点変換部１０２は、デプス情報１２２を用いて、入力画像１２１を、第１視点と異なる複数の第２視点から見た画像である複数の変換画像１２３を生成する。

空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析する。ここで空白領域とは、入力画像１２１内に対応する画素が存在しない領域である。また、空白領域解析部１０３は、空白情報１２４を生成する。空白情報１２４は、複数の第２視点ごとに、当該第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す。

図２は、画像処理装置１００による画像処理方法のフローチャートである。

まず、データ取得部１０１は、入力画像１２１とデプス情報１２２とを取得する（Ｓ１０１）。次に、視点変換部１０２は、入力画像１２１及びデプス情報１２２を用いて、複数の変換画像１２３を生成する（Ｓ１０３）。次に、空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析し、空白情報１２４を生成する（Ｓ１０４）。

以下、画像処理装置１００の詳細な構成を説明する。

図３は、本実施の形態に係る画像処理装置１００の構成を示すブロック図である。

図３に示す画像処理装置１００は、例えば、デジタルスチルカメラ又はデジタルビデオカメラに内蔵される。なお、画像処理装置１００は、静止画を表示する機能を有する各種機器に用いることができる。例えば、画像処理装置１００は、パーソナルコンピュータ、又はスマートフォン等にも用いることができる。

この画像処理装置１００は、静止画である入力画像１２１を表示するとともに、ユーザから入力された視点変更指示に従い、入力画像１２１の視点を変更した変換画像１２８を表示する。また、当該画像処理装置１００は、各視点位置における空白領域の大きさを示す空白マップ１２９を生成し、当該空白マップ１２９を入力画像１２１上に表示する。

この画像処理装置１００は、データ取得部１０１と、視点変換部１０２と、空白領域解析部１０３と、マップ生成部１０４と、画像縮小部１０５、視点変換部１０６と、表示部１０７とを備える。

データ取得部１０１は、入力画像１２１、デプス情報１２２、カメラパラメータ１２５、及び複数の変換パラメータ１２６を取得する。

デプス情報１２２は、入力画像１２１における、当該入力画像１２１を撮影したカメラから被写体までの距離を示すデータである。例えば、デプス情報１２２は、入力画像１２１に含まれる複数の画素の各々の深度を示すデプスマップである。なお、このデプス情報１２２は、画像処理装置１００の外部から入力されてもよいし、画像処理装置１００が生成してもよい。例えば、画像処理装置１００は、同一の被写体を撮影した、焦点位置の異なる複数の画像を用いて、デプス情報１２２を生成してもよい。

カメラパラメータ１２５は、入力画像１２１の撮影条件を示すパラメータである。具体的には、カメラパラメータ１２５は、撮影時の画角、深度の前端距離、及び深度の後端距離の情報を含む。

複数の変換パラメータ１２６の各々は、三次元モデルの射影変換に関するパラメータである。なお、変換パラメータ１２６は、必ずしも視点位置の変更指示である必要はなく、例えば、変換パラメータ１２６は、射影変換の種類（例えば、透視射影又は正射影など）を示す情報であってもよいし、画角を示す情報であってもよい。なお、データ取得部１０１は、これらのカメラパラメータ１２５及び複数の変換パラメータ１２６を、画像処理装置１００の外部から取得してもよいし、カメラパラメータ１２５及び複数の変換パラメータ１２６は、当該画像処理装置１００内に保持されていてもよい。

画像縮小部１０５は、入力画像１２１及びデプス情報１２２の画像サイズを縮小することで、入力画像１２１Ａ及びデプス情報１２２Ａを生成する。入力画像１２１Ａ及びデプス情報１２２Ａのサイズは、表示部１０７で表示される画像のサイズ以下が好ましいが、特にこれに限るものではない。また、画像処理装置１００は、必ずしも画像縮小部１０５を備える必要はなく、視点変換部１０２に入力画像１２１及びデプス情報１２２がそのまま入力されてもよい。この場合、後述する処理における入力画像１２１Ａ及びデプス情報１２２Ａをそれぞれ、入力画像１２１及びデプス情報１２２に置き換えればよい。また、画像の縮小処理を行わない場合には、後述する視点変換部１０２及び視点変換部１０６を単一の処理部で実現することも可能である。また、空白領域解析部１０３までは、元の画像サイズで解析を行い、その解析結果である空白情報１２４が縮小されてもよい。

視点変換部１０２は、入力画像１２１Ａ、デプス情報１２２Ａ及びカメラパラメータ１２５を用いて、カメラ座標系における被写体の三次元モデルを生成する。次に、視点変換部１０２は、当該三次元モデルに対して、変換パラメータ１２６を用いた射影変換を行うことにより変換画像１２３を生成する。また、射影変換は複数の変換パラメータの各々を用いて行われ、その結果、複数の変換画像１２３が生成される。つまり、複数の変換画像１２３は、入力画像１２１を複数の異なる視点から見た画像である。

空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析することで空白情報１２４を生成する。

マップ生成部１０４は、空白領域解析部１０３で生成された空白情報１２４を用いて、表示用の空白マップ１２９を生成する。この空白マップ１２９は、空白領域に関する情報を二次元的に示す。具体的には、複数の第２視点は、複数の二次元位置に対応付けられる。また、空白マップ１２９は、複数の二次元位置毎に、当該二次元位置に対応付けられた第２視点における空白領域に関する情報である。また、この複数の二次元位置は、入力画像１２１上の複数の位置に対応付けられている。なお、空白マップ１２９の表示形式はこれに限定されない。例えば、空白マップ１２９は、空白領域に関する情報を三次元的に示してもよい。

視点選択部１０８は、ユーザ操作により指定された視点位置を選択視点１２７として選択する。具体的には、入力画像１２１上の複数の位置の各々は、複数の第２視点の各々と対応付けられている。そして、視点選択部１０８は、ユーザにより指定された入力画像１２１上の位置に対応付けられている第２視点を選択視点として選択する。なお、視点選択部１０８は、入力画像１２１に対する視点位置の変更指示を変換パラメータ１２６の入力としてユーザから受け付けてもよい。この場合、この変換パラメータ１２６が視点変換部１０６に送られる。そして、視点変換部１０６は、この変換パラメータ１２６を用いて視点変換処理を行う。

視点変換部１０６は、入力画像１２１、デプス情報１２２及びカメラパラメータ１２５を用いて、被写体の三次元モデルを生成する。次に、視点変換部１０６は、当該三次元モデルに対して、選択視点１２７に対応する変換パラメータ１２６を用いた射影変換を行うことで変換画像１２８を生成する。つまり、変換画像１２８は、入力画像１２１を選択視点１２７から見た画像である。

表示部１０７は、入力画像１２１を表示する。また、表示部１０７は、視点選択部１０８により選択視点１２７が選択された場合、表示する画像を入力画像１２１から変換画像１２８に切り替える。また、表示部１０７は、入力画像１２１を表示する際に、空白マップ１２９を入力画像１２１上に重ねて表示する。

なお、表示部１０７は、入力画像１２１の周辺に空白マップ１２９を表示してもよい。また、空白マップ１２９は、その全てが入力画像１２１に重ならないように表示されてもよいし、一部が入力画像１２１と重なるように表示されてもよい。また、表示部１０７は、入力画像１２１の周辺に、入力画像１２１の縮小画像を表示し、空白マップ１２９を当該縮小画像上に重ねて表示してもよい。

例えば、表示部１０７は、画像処理装置１００が備えるディスプレイ、又は、外部のディスプレイ（例えば、画像処理装置１００が内蔵されたカメラが備えるディスプレイ）に、これらの画像を表示する。

次に、本実施の形態に係る画像処理装置１００による画像処理方法の流れを、図４を用いて説明する。図４は、本実施の形態に係る画像処理方法のフローチャートである。

まず、データ取得部１０１は、入力データとして入力画像１２１、デプス情報１２２、カメラパラメータ１２５及び変換パラメータ１２６を取得する（Ｓ１０１）。次に、必要に応じて画像縮小部１０５は、入力画像１２１及びデプス情報１２２を縮小することで入力画像１２１Ａ及びデプス情報１２２Ａを生成する（Ｓ１０２）。次に、視点変換部１０２は、入力画像１２１Ａ及びデプス情報１２２Ａを用いて、複数の変換画像１２３を生成する（Ｓ１０３）。次に、空白領域解析部１０３は、各変換画像１２３に含まれる空白領域の大きさを解析することで空白情報１２４を生成する（Ｓ１０４）。次に、マップ生成部１０４は、空白情報１２４を用いて空白マップ１２９を生成する（Ｓ１０５）。

次に、表示部１０７は、入力画像１２１及び空白マップ１２９をＧＵＩ上へ表示する（Ｓ１０６）。この状態において、ユーザにより、例えば、入力画像１２１の任意の位置が選択されることで、変更先の視点位置が指示される。視点選択部１０８は、ユーザにより指定された視点位置を選択視点１２７として取得する（Ｓ１０７）。次に、視点選択部１０８は、選択視点１２７から入力画像１２１を見た変換画像１２８を生成する（Ｓ１０８）。最後に、表示部１０７は、生成された変換画像１２８を表示する（１０９）。

なお、上述したように、入力画像１２１及びデプス情報１２２を縮小する処理（Ｓ１０２）を行わなくてもよい。この場合、ステップＳ１０８で変換画像１２８を生成せず、ステップＳ１０９において、表示部１０７は、ステップＳ１０３で生成された変換画像１２３を表示してもよい。または、ステップＳ１０８において、視点変換部１０６は、ステップＳ１０３で生成された変換画像１２３に対して、所定の処理（例えば、空白領域を補完する処理）を行うことで変換画像１２８を生成してもよい。

以下、変換画像１２３を生成する処理（図４のＳ１０３）について図５〜図７を参照しながら詳細に説明する。ここでは、視点位置を、ズーム方向（入力画像平面に対して垂直な方向）へ変更する場合について説明する。図５〜図７では、Ｘ軸方向及びＹ軸方向は、水平方向及び垂直方向（入力画像平面に平行な方向）を示し、Ｚ軸方向は、深度方向（奥行き方向）を示す。

まず、図５に示すように、視点変換部１０２は、スクリーン座標系で表わされた入力画像１２１とデプス情報１２２と（図５の（ａ））を用いて、射影座標系で表わされた三次元モデルを生成する（図５の（ｂ））。つまり、視点変換部１０２は、入力画像１２１とデプス情報１２２とを用いて、射影座標系における画素の位置を示すベクトルＶｐ（ｘ，ｙ，ｚ）を画素ごとに算出する。ここで、スクリーン座標系は、表示画面に対応する二次元の座標系である。射影座標系は、クリップ座標系又はデバイス座標系とも呼ばれ、カメラ座標系において射影変換を行うことにより得られる三次元の座標系である。カメラ座標系は、ビュー座標系とも呼ばれ、視点（カメラ）位置及び視線方向によって定義される三次元の座標系である。本実施の形態では、カメラ座標系において、視点位置は原点と一致し、視線方向はＺ軸方向（深度方向）と一致する。

続いて、視点変換部１０２は、カメラパラメータ１２５を用いて、三次元モデルを射影座標系からカメラ座標系に変換する（図５の（ｃ））。具体的には、視点変換部１０２は、下記式（１）〜（３）を用いて、射影座標系における各画素の位置を示すベクトルＶｐを、カメラ座標系における各画素の位置を示すベクトルＶｃへ変換する。なお、以下の式（１）〜（３）において、ベクトルＶｐ及びＶｃは、同次座標で表わされている。

ここで、ｘ’、ｙ’、ｚ’、及びｗ’は、以下の式（２）によって計算される。

ここで、行列Ｍｐｃは、射影行列Ｍｃｐの逆行列である。射影行列Ｍｃｐは、深度の前端距離ｚｎ、深度の後端距離ｚｆ、画角ｆｏｖＹ、及びアスペクト比Ａｓｐｅｃｔを用いて、以下の式（３）のように表わされる。

次に、視点変換部１０２は、図６に示すように、視点位置の変更指示に従って、カメラ座標系において三次元モデルの視点位置を変更する（図６の（ａ）及び（ｂ））。具体的には、視点変換部１０２は、カメラ座標系における各画素の位置を示すベクトルＶｃを視点位置の移動方向と逆方向に移動させることにより、視点位置変更後の各画素の位置を示すベクトルＶｃ’を算出する。続いて、視点変換部１０２は、視点位置が変更された三次元モデルを、カメラ座標系から射影座標系に変換する（図６の（ｃ））。具体的には、視点変換部１０２は、カメラ座標系における視点位置変更後の各画素の位置を示すベクトルＶｃ’を射影座標系における各画素の位置を示すベクトルＶｐ’に変換する。つまり、視点変換部１０２は、以下の式（４）に示す射影変換を行うことにより、ベクトルＶｐ’を算出する。

本実施の形態では、式（４）に示す射影行列Ｍｃｐは、式（３）に示す射影行列Ｍｃｐと同一である。なお、ここで用いられる射影行列Ｍｃｐは、必ずしもこのような射影行列である必要はない。射影行列は、例えば、正射影行列であってもよいし、回転又は反転を伴う射影行列であってもよい。つまり、変換パラメータ１２６に射影行列を示す情報が含まれる場合は、変換パラメータ１２６が示す射影行列が用いられればよい。最後に、視点変換部１０２は、図７に示すように、射影座標系で表わされた三次元モデルからスクリーン座標系で表わされた変換画像１２３を生成する（図７の（ａ）及び（ｂ））。

以上のように、視点変換部１０２は、複数の変換画像１２３を生成する。

なお、視点変換部１０６においても、上記と同様の処理により変換画像１２８が生成される。なお、視点変換部１０６は、上記処理に加え、生成した変換画像に対して空白領域の画素を補完する処理を行ってもよい。

ところで、図７の（ｂ）に示すように、変換画像１２３内には空白領域２０１が存在する。この空白領域２０１は、入力画像１２１内に対応する画素が存在しない空白画素の集合である。この空白画素は例えば、空白領域２０１に隣接する画素の画素値を用いるなどの方法により、補間することができる。しかしながら、この空白画素が大きい場合には、補間されたとしても補間された部分が目立つため、変換画像１２３の画質劣化につながる。一般的に、多くの小さな空白領域２０１が分散して存在する場合よりも、少しの大きな空白領域２０１が存在する場合の方が画質の劣化に与える影響が大きい。よって、大きな空白領域２０１が発生してしまう場合には、変換画像１２３の画質が大きく劣化してしまう。このため、空白領域解析部１０３では、空白領域２０１の大きさを示す空白値（例えば画素数）を用いて、変換画像１２３に大きな空白領域２０１が存在するか否かを解析する。

ここで、視点位置の変更は、Ｚ軸方向（画像平面に垂直な方向）の視点位置の変更と、Ｘ軸方向及びＹ軸方向（画像平面に平行な方向）の視点位置の変更とを含む。以下では、特に、Ｚ軸方向の視点位置を変更することを、ズーム倍率を変更すると呼ぶ。また、ズーム倍率が大きくなるとは、被写体側に視点位置が近づくことである。また、Ｘ軸方向及びＹ軸方向の視点位置（視点位置のＸ及びＹ座標）を平面視点位置とも呼ぶ。

空白領域２０１のサイズは、単にズーム倍率が大きくなるほど大きくなる訳ではなく、ズーム倍率とその時の平面視点位置によって変わる。図８は、この一例を示す。図８の（ａ）はズーム前の元画像を示す。元画像には３つの被写体２５１〜２５３が含まれる。また、被写体２５１〜２５３のうち、被写体２５２が最も手前側に位置しており、被写体２５１は最も奥側に位置し、被写体２５３はその間に位置している。

図８の（ｃ）は、図８の（ａ）の状態から、平面視点位置は図８の（ａ）と同じままでズーム倍率を高くした時の変換画像を示す。ズーム倍率が高くなったため、被写体２５２の位置は視点位置に更に近くなる。これにより、被写体２５２は大きく写る一方で、他の被写体２５１及び２５３に空白領域が見えてきてしまう。

図８の（ｂ）は、図８の（ａ）の状態から、平面視点位置を右側へ移動し、かつ、ズーム倍率を高くした時の変換画像を示す。なお、図８の（ｂ）におけるズーム倍率は、図８の（ｃ）におけるズーム倍率より小さい。視点位置を図８の（ａ）の時から右側へずらしたために、本来であれば図８の（ａ）の被写体の右側が見えなければならないが、元画像には被写体の右側はもともと存在しないため、大きな空白領域が生じてしまっている。図８の（ｂ）は、図８の（ｃ）よりもズーム倍率は小さいが、平面視点位置をずらしたことで大きな空白領域が生じている。このように、空白領域の大きさは、ズーム倍率及び平面視点位置の両方に影響される。よって、空白領域解析部１０３は、ズーム倍率及び平面視点位置の両方を変えた場合について、空白領域の大きさを調べる。

図９は、空白情報１２４の生成処理（図４のＳ１０３及びＳ１０４）を示すフローチャートである。このフローチャートに沿って処理動作の説明を行う。

まず、空白領域解析部１０３は、空白情報を初期化する（Ｓ２０１）。次に、視点変換部１０２は、予め定められた最大ズーム倍率の値を取得し（Ｓ２０２）、取得した最大ズーム倍率を用いて、変更先の複数のズーム倍率を決定する（Ｓ２０３）。例えば、視点変換部１０２は、ズーム倍率の刻み幅を決定する。例えば、視点変換部１０２は、最大ズーム倍率が１．４倍の場合、刻み幅を０．１に決定する。なお、変更先の複数のズーム倍率、最大ズーム倍率及び刻み幅を決定する方法は、これに限定されず任意の方法で決定されてよい。また、変更先の複数のズーム倍率、最大ズーム倍率及び刻み幅のうち少なくとも一つが予め定められていてもよい。

次に、視点変換部１０２は、変更先の複数の平面視点位置を決定する（Ｓ２０４）。例えば、視点変換部１０２は、変更先の平面視点位置の上限値及び刻み幅を、上下方向及び左右方向に対してそれぞれ決定する。なお、変更先の複数の平面視点位置、上限値及び刻み幅を決定する方法は、これに限定されず任意の方法で決定されてよい。また、変更先の複数の平面視点位置、上限値及び刻み幅のうち少なくとも一つが予め定められていてもよい。

次に、視点変換部１０２は、ステップＳ２０３で決定された複数のズーム倍率のうち一つを選択する（Ｓ２０５）。また、視点変換部１０２は、ステップＳ２０４で決定された複数の平面視点位置のうち一つを選択する（Ｓ２０６）。

次に、視点変換部１０２は、ステップＳ２０５で選択されたズーム倍率、かつＳ２０６で選択された平面視点位置から入力画像１２１を見た変換画像１２３を生成する（Ｓ２０７）。

次に、空白領域解析部１０３は、ステップＳ２０７で生成された変換画像１２３の全体に含まれる空白領域を検出し、検出した空白領域のうち最大の空白領域の大きさ（空白サイズ）を調べる（Ｓ２０８）。この空白領域の大きさは、連続する空白領域の画素数でも良いし、単位領域に含まれる空白領域の画素数でも良い。

次に、空白領域解析部１０３は、検出された空白サイズを、選択されている視点位置に対応付けて空白情報１２４に記録する（Ｓ２０９）。

ステップＳ２０４で設定された全ての平面視点位置に対する処理が終了していない場合（Ｓ２１０でＮｏ）、視点変換部１０２は、次に探索する平面視点位置を選択し（Ｓ２０６）、ステップＳ２０７以降の処理を繰り返す。つまり、ステップＳ２０４で設定された複数の平面視点位置に対して、空白領域の大きさが解析される。

全ての平面視点位置に対する処理が終了した場合（Ｓ２１０でＹｅｓ）、かつ、ステップＳ２０３で設定された全てのズーム倍率に対する処理が終了していない場合（Ｓ２１１でＮｏ）、視点変換部１０２は、次に探索するズーム倍率を選択し（Ｓ２０５）、ステップＳ２０６以降の処理を繰り返す。つまり、ステップＳ２０３で設定された複数のズーム倍率と、ステップＳ２０４で設定された複数の平面視点位置とで構成される複数の組に対して、空白領域の大きさがそれぞれ解析される。

全てのズーム倍率に対する処理が終了した場合（Ｓ２１１でＹｅｓ）、処理が終了する。

以上の処理により、平面視点位置及びズーム倍率で構成される複数の組の各々における空白サイズが空白情報１２４に記録される。仮に平面視点位置を縦方向１０段階及び横方向１０段階変更し、ズーム倍率を５段階変更した場合には、１０×１０×５の視点位置における空白サイズを示す空白情報１２４が生成される。

このように、視点変換部１０２は、デプス情報１２２を用いて、入力画像１２１を第１視点と異なる複数の第２視点から見た画像である複数の変換画像１２３（第１変換画像）と、入力画像１２１を、複数の第２視点の各々を入力画像平面に対して垂直に移動させた複数の第３視点から見た画像である複数の変換画像１２３（第２変換画像）とを生成する。そして、空白領域解析部１０３は、この複数の変換画像１２３（複数の第１変換画像及び複数の第２変換画像）の各々における空白サイズを解析する。

なお、ここでは、ズーム倍率及び平面視点位置を一定の刻み幅で変更する例を述べたが、刻み幅は一定でなくてもよい。また、上記説明では、ズーム倍率及び平面視点位置をともに変更しているが、一方のみを変更してもよい。また、上記説明では、変更先の複数の視点位置が、ズーム倍率と平面視点位置とで定義されたが、変更先の複数の視点位置として三次元空間における任意の視点位置が用いられてもよい。

また、上記処理の順序は一例であり、上記以外の方法で、空白情報１２４を生成してもよい。例えば、上記説明では、一つの視点位置ごとに、変換画像１２３が生成され、当該変換画像１２３における空白サイズが解析されているが、複数の視点位置に対応する複数の変換画像１２３が生成され、その後、当該複数の変換画像１２３の空白サイズが解析されてもよい。

マップ生成部１０４は、空白領域解析部１０３で生成された空白情報１２４を用いて、表示部１０７が表示する空白マップ１２９を生成する。具体的には、マップ生成部１０４は、空白領域の大きさの程度を表す空白マップ１２９を生成する。

図１０は、空白マップ１２９の一例を示す図である。図１０に示すように、各平面視点位置が、ＧＵＩ画面上（入力画像１２１上）の位置に対応付けられる。例えば、ＧＵＩ画面の中心位置は、平面視点位置を変更しない元の視点位置に対応付けられる。また、ＧＵＩ画面の端部が平面視点位置の上限値又は下限値と対応付けられる。つまり、ＧＵＩ画面の右側の位置は、入力画像１２１を右側から見る視点位置に対応付けられる。同様に、ＧＵＩ画面の左側、上側及び下側は、それぞれ、入力画像１２１を、左側、上側及び下側から見る視点位置に対応付けられる。そして、ＧＵＩ画面の中央部に近づくほど、視点位置の変化量は小さく、ＧＵＩ画面の端部に近づくほど、視点位置の変化量は大きい。

また、複数の視点位置は、ユーザによるＧＵＩ画面に対する入力操作と対応付けられていてもよい。例えば、ユーザが入力画像１２１上の任意の位置を選択することで、当該位置に対応する視点位置に視点位置が変更される。例えば、入力画像１２１の右側の位置が選択された場合、入力画像１２１を右側から見た変換画像１２８が表示される。この場合、このユーザ操作に対する位置と、上記空白マップ１２９における視点位置とが対応付けられてもよい。言い換えると、空白マップ１２９において空白サイズが小さいことが示される位置が選択された場合、空白サイズが小さい変換画像１２８が表示される。

ここで、例えば、ＧＵＩ画面の位置と対応付けられる視点位置は、平面視点位置である。また、各平面視点位置における、空白サイズを示す情報は、当該平面視点位置において、ズーム倍率を変化させた場合の最大の空白サイズである。なお、この最大の空白サイズを示す情報は、空白情報１２４に示される空白サイズの実際の値であってもよいし、図１０に示すように、空白情報１２４に示される空白サイズの値を、複数段階に分類した情報であってもよい。図１０に示す例では、最大の空白サイズは３段階に分類されており、空白マップ１２９として３値のマスクが生成される。

また、各平面視点位置における、空白サイズを示す情報は、当該平面視点位置において、ズーム倍率を変化させた場合の複数の空白サイズから得られる情報であってもよい。例えば、当該情報は、当該複数の空白サイズの平均値であってもよいし、指定されたズーム倍率における空白サイズであってもよい。

つまり、マップ生成部１０４は、入力画像１２１上の複数の位置に対応付けて、当該位置に対応付けられている第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す空白マップ１２９を生成する。

また、画素ごとに異なる空白サイズが細かく分布している場合には、マップ生成部１０４は、空白情報１２４における空白サイズの単位よりも広い領域（例えば１６×１６画素領域など）で、空白サイズを平均し、平均化により得られた空白サイズを用いて、この領域単位でマスクを生成しても良い。つまり、マップ生成部１０４は、複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、複数のグループの各々に一つ二次元位置を対応付ける。そして、マップ生成部１０４は、空白情報１２４を用いて、複数の二次元位置毎に、当該二次元位置に対応付けられたグループに含まれる複数の第２視点における空白領域の大きさを用いて、当該グループにおける空白領域の大きさの度合いを算出する。次に、マップ生成部１０４は、複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられているグループにおける空白領域の大きさの度合いを二次元的に示す空白マップ１２９を生成する。これにより、ユーザが操作したい場所とは異なる場所を触ってしまう場合などの操作時の誤動作を抑制できる。

表示部１０７は、マップ生成部１０４で生成された空白マップ１２９をＧＵＩなどのユーザーインターフェイス上へ表示する。

このように、画像処理装置１００は、ユーザが視点位置を指定する前に空白領域の大きさに関する情報を表示する。これにより、ユーザは事前に変換画像の画質の程度を把握できる。なお、平面視点位置ごとに空白領域の程度を示す空白マップ１２９を表示する場合には、画像処理装置１００は、例えば、予め指定されたズーム倍率、かつ、ユーザが指定した平面視点位置から見た変換画像を表示する。

また、空白マップ１２９は、平面視点位置ごとに、選択可能なズーム倍率の程度を示してもよい。図１１は、空白マップ１２９の別の例を示す図である。図１１に示す空白マップ１２９は、図１０に示す空白マップ１２９と同様に、ＧＵＩ画面の位置に平面視点位置が対応付けられている。また、各平面視点位置に対応付けて、当該平面視点位置に視点を変更した場合に、選択可能なズーム倍率の程度が示される。ここで、選択可能なズーム倍率とは、複数のズーム倍率のうち、空白サイズが予め定められた閾値未満であるズーム倍率である。

この場合、マップ生成部１０４は、各視点位置における、ズーム倍率を変化させた場合の複数の空白サイズを用いて、当該視点位置における最大ズーム倍率を検出する。ここで、最大ズーム倍率とは、当該最大ズーム倍率以下のズーム倍率であれば閾値を超える大きさの空白領域が変換画像に含まれないことを示すズーム倍率である。マップ生成部１０４は、この最大ズーム倍率を各視点位置で求めることで空白マップ１２９を生成する。つまり、空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域の大きさが予め定められた閾値以下であるか否かを判定する。空白マップ１２９は、入力画像１２１上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、空白領域の大きさが閾値以下である第３視点を示す。

また、図１０に示す場合と同様に、図１１では、この最大ズーム倍率を３段階で示している。この場合は、表示されている３段階の最大ズーム倍率、かつ、ユーザが指定した平面視点位置から見た変換画像が表示される。例えば、最大ズーム倍率が「大」であれば、ズーム倍率として１．４倍が選択され、最大ズーム倍率が「中」であれば、ズーム倍率として１．２倍が選択され、最大ズーム倍率が「小」であれば、ズーム倍率として１．０倍が選択される。

以上により、本実施の形態に係る画像処理装置１００は、複数の第２視点ごとに、当該第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す空白情報１２４を生成する。そして、画像処理装置１００は、当該空白情報１２４を用いて空白マップ１２９を生成し、当該空白マップ１２９を入力画像１２１上に表示する。

これにより、画像処理装置１００は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像１２８が選択されることを防止できる。このように、画像処理装置１００は、視点変更後の表示される画像の画質を向上できる。

なお、上記説明では、画像処理装置１００は、視点変更先が指定された場合に、その視点変更先の変換画像１２８を表示するとしたが、元の視点位置から、視点変更先の視点位置へ向かう順に連続的に視点位置が変更されるように、複数の変換画像１２８を連続的に切り替えて表示してもよい。

（実施の形態２）
上記実施の形態１では、ユーザの指示に従い視点位置を変更する場合を説明した。本実施の形態に係る画像処理装置１００Ａは、生成した空白情報１２４を用いて、変更先の視点位置を自動で決定する。

以下、本実施の形態に係る画像処理装置１００Ａについて、図１２を参照しながら説明する。以下、図３と同様の構成要素については同じ符号を用いて説明を省略し、異なる構成要素についてのみ説明を行う。

本実施の形態に係る画像処理装置１００Ａは、図３に示す画像処理装置１００に対して、視点選択部１０８及びマップ生成部１０４の代わりに視点選択部１０８Ａを備える。

この画像処理装置１００Ａは、例えば、入力画像１２１を表示した後、所定の時間が経過した場合に、視点位置を変更した変換画像１２８を表示する。

視点選択部１０８Ａは、空白領域解析部１０３で生成された空白情報１２４を用いて、視点変更先の視点位置である選択視点１２７を選択する。例えば、視点選択部１０８Ａは、空白サイズが予め定められた閾値未満の視点位置を選択する。なお、視点選択部１０８Ａは、特定のズーム倍率において、空白サイズが最小となる視点位置を選択してもよい。ここで、特定のズーム倍率とは、例えば、予め定められたズーム倍率、又は、ユーザによる操作により指定されたズーム倍率である。

つまり、視点選択部１０８は、空白情報１２４を用いて、複数の変換画像１２３のうち、空白領域の大きさが予め定められた閾値以下である変換画像１２３を判定し、空白領域の大きさが閾値以下である変換画像１２３のうちいずれかを選択画像として選択する。

なお、画像処理装置１００Ａは、さらに、図３に示す視点選択部１０８及びマップ生成部１０４を備えてもよい。この場合、画像処理装置１００Ａは、空白マップ１２９を表示した後に、所定の期間、ユーザ入力がない場合に、視点変更を行なってもよい。

図１３は、画像処理装置１００Ａによる画像処理方法のフローチャートである。図１３に示す処理は、図４に示すステップＳ１０５〜Ｓ１０７の変わりにステップＳ１０６Ａ及びＳ１０７Ａを含む。

ステップＳ１０４において空白情報１２４が生成された後、表示部１０７は、入力画像１２１を表示する（Ｓ１０６Ａ）。次に、視点選択部１０８は、空白情報１２４を用いて選択視点１２７を選択する（Ｓ１０７Ａ）。以降の処理は、図４と同様である。

なお、入力画像１２１を表示するタイミングは、上記に限定されず、変換画像１２８を表示する（Ｓ１０９）前であれば任意のタイミングでよい。

以上により、本実施の形態に係る画像処理装置１００Ａは、空白サイズが大きい、画質の低い変換画像１２８が表示されることを防止できる。

（実施の形態３）
本実施の形態に係る画像処理装置１００Ｂは、視点変更を行う際に、元の視点位置から変更先の視点位置に向かう順に、連続的に視点位置を変更する。さらに、画像処理装置１００Ｂは、空白情報１２４を用いて、この視点変更の経路において空白サイズが大きい画像が表示されないように当該経路を選択する。

本実施の形態に係る画像処理装置１００Ｂについて、図１４を参照しながら説明する。以下、図３又は図１２と同様の構成要素については同じ符号を用いて説明を省略し、異なる構成要素についてのみ説明を行う。

図１４に示す画像処理装置１００Ｂは、図１２に示す画像処理装置１００Ａに対して、さらに、ルート選択部１０９を備える。なお、ここでは、図１２に示す画像処理装置１００Ａが、さらに、ルート選択部１０９を備える構成を説明するが、図３に示す画像処理装置１００が、さらに、ルート選択部１０９を備えてもよい。

ルート選択部１０９は、選択視点１２７及び空白情報１２４を用いて、視点変更のルート１３０を決定する。このルート１３０は、視点変更の開始から視点変更の終了までに通る視点位置のルートである。具体的には、ルート選択部１０９は、空白情報１２４を用いて、第１視点と選択視点１２７との間に位置する複数の第２視点に対応する複数の変換画像１２３のうち、空白領域の大きさが閾値以下である変換画像１２３を判定する。そして、ルート選択部１０９は、第１視点と選択視点１２７との間に位置する複数の第２視点に対応する複数の変換画像１２３のうち、空白領域の大きさが閾値以下である１又は複数の変換画像１２３を中間視点画像として選択する。そして、表示部１０７は、視点選択部１０８Ａにより選択視点１２７が選択された場合に、表示する画像の視点が、第１視点から選択視点１２７に連続的に変化するように、入力画像１２１と、中間視点画像と、選択視点に対応する変換画像１２８とをこの順に切り替えて表示する。

以下、図１５Ａ〜図１５Ｄを用いてこのルートを決定する動作を説明する。

図１５Ａは、空白情報１２４の一例を示す図である。図１５Ｂは、元の視点位置と、変更先の視点位置との一例を示す図である。

この場合、例えば、ルートを選択する方法としては、図１５Ｃに示すように、元の視点位置と、変更先の視点位置とを最短距離で結ぶルートを選択する方法が考えられる。しかしながら、図１５Ｃに示す例では、ルートに、空白領域が大きい視点位置が含まれる。これにより、表示される変換画像の劣化が目立ってしまう。

これに対して、本実施の形態では、ルート選択部１０９は、このような最短ルートに限らず、空白情報１２４を用いて、画質の低い変換画像１２８が選択されないようにルートを選択する。具体的には、ルート選択部１０９は、空白サイズが予め定められた閾値以下の視点位置のみを通り、かつ、最短となるルートを選択する。例えば、図１５Ｄに示す例では、空白サイズが「小」又は「中」の視点位置のみを通り、かつ、最短となるルートが選択されている。なお、ルート選択部１０９は、ルートの長さに基づくパラメータと、空白領域の大きさに基づくパラメータとの和又は積が最小となるルートを選択してもよい。

視点変換部１０６は、このようにして決定された視点変更のルート１３０を用いて、ルート１３０に含まれる複数の視点位置に対応する変換画像１２８を生成する。そして、表示部１０７は、元の視点位置から、移動先の視点位置に連続して視点位置が変更するように、複数の変換画像１２８を順次表示する。

以上により、本実施の形態に係る画像処理装置１００Ｂは、視点位置を変更する際に、画質の低い画像が表示されることを抑制できる。

以上、本発明の実施の形態に係る画像処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る画像処理装置は、例えば、図１６Ａに示すようなデジタルスチルカメラ、及び図１６Ｂに示すようなデジタルビデオカメラなどに用いられる。

また、上記実施の形態に係る画像処理装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記の画像処理方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、画像処理装置に適用できる。また、本発明は、画像処理装置を備える民生用或いは業務用の撮像装置（デジタルスチルカメラ、又はビデオカメラ）、又は携帯端末などに適用できる。

１００、１００Ａ、１００Ｂ 画像処理装置
１０１ データ取得部
１０２、１０６ 視点変換部
１０３ 空白領域解析部
１０４ マップ生成部
１０５ 画像縮小部
１０７ 表示部
１０８、１０８Ａ 視点選択部
１０９ ルート選択部
１２１、１２１Ａ 入力画像
１２２、１２２Ａ デプス情報
１２３、１２８ 変換画像
１２４ 空白情報
１２５ カメラパラメータ
１２６ 変換パラメータ
１２７ 選択視点
１２９ 空白マップ

Claims (10)

1. 第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、
   前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、
   前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部と、
   前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成部と、
   前記空白マップを表示する表示部とを備える
   画像処理装置。
2. 前記表示部は、さらに、前記入力画像を表示し、
   前記入力画像上の複数の位置の各々は、前記複数の第２視点の各々と対応付けられており、
   前記画像処理装置は、さらに、
   ユーザにより指定された前記入力画像上の位置に対応付けられている第２視点である選択視点を選択する視点選択部を備え、
   前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像を、前記入力画像から前記選択視点に対応する前記第１変換画像に切り替え、
   前記複数の二次元位置は、前記入力画像上の複数の位置に対応付けられており、
   前記表示部は、前記入力画像を表示する際に、前記空白マップを表示する
   請求項１記載の画像処理装置。
3. 前記マップ生成部は、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている前記第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す前記空白マップを生成する
   請求項２記載の画像処理装置。
4. 前記視点変換部は、さらに、前記デプス情報を用いて、前記入力画像を、前記複数の第２視点の各々を前記入力画像の平面に対して垂直に移動させた複数の第３視点から見た画像である複数の第２変換画像を生成し、
   前記空白領域解析部は、さらに、前記複数の第２変換画像の各々に含まれる前記空白領域の大きさが予め定められた閾値以下であるか否かを判定し、
   前記空白マップは、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、前記空白領域の大きさが前記閾値以下である第３視点を示す
   請求項２記載の画像処理装置。
5. 前記表示部は、さらに、前記入力画像を表示し、
   前記画像処理装置は、さらに、
   前記空白情報を用いて、前記複数の第１変換画像のうち、前記空白領域の大きさが予め定められた閾値以下である第１変換画像を判定し、前記空白領域の大きさが前記閾値以下である第１変換画像のうちいずれかを選択画像として選択する視点選択部を備え、
   前記表示部は、表示する画像を、前記入力画像から前記選択画像に切り替える
   請求項１記載の画像処理装置。
6. 前記表示部は、さらに、前記入力画像を表示し、
   前記画像処理装置は、さらに、
   前記複数の第２視点のうちいずれかを選択視点として選択する視点選択部と、
   前記空白情報を用いて、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが予め定められた閾値以下である第１変換画像を判定し、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を中間視点画像として選択するルート選択部とを備え、
   前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像の視点が、前記第１視点から前記選択視点に連続的に変化するように、前記入力画像と、前記中間視点画像と、前記選択視点に対応する第１変換画像とをこの順に切り替えて表示する
   請求項１記載の画像処理装置。
7. 前記マップ生成部は、
   前記複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、
   前記複数のグループの各々に一つ前記二次元位置を対応付け、
   前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記グループに含まれる複数の第２視点における前記空白領域の大きさを用いて、当該グループにおける前記空白領域の大きさの度合いを算出し、
   前記複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられている前記グループにおける前記空白領域の大きさの度合いを示す前記空白マップを生成する
   請求項１記載の画像処理装置。
8. 前記視点変換部は、
   前記入力画像と、前記デプス情報と、前記入力画像が撮影された際のカメラパラメータとを用いて、カメラ座標系における前記被写体の三次元モデルを生成し、
   前記三次元モデルを、前記複数の第２視点の各々に対応する複数の変換パラメータを用いて射影変換することにより、前記複数の第１変換画像を生成する
   請求項１〜７のいずれか１項に記載の画像処理装置。
9. 第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得ステップと、
   前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換ステップと、
   前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析ステップと、
   前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成ステップと、
   前記空白マップを表示する表示ステップとを含む
   画像処理方法。
10. 第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、
    前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、
    前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部と、
    前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成部と、
    前記空白マップを表示する表示部とを備える
    集積回路。

Images