JP6610535B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、奥行き画像を用いて画像の撮影方法を擬似的に変更することができるようにした画像処理装置および画像処理方法に関する。

近年、フラットパネルディスプレイは大型化している。視距離が一定である場合、フラットパネルディスプレイが大型になるほど、広視野画像の観視により臨場感（没入感）が向上する。なお、本明細書において、臨場感とは、画像が表す世界に実際に居るかのような感覚を指す。

また、近年、4K解像度や8K解像度等の高解像度のディスプレイの実用化が始まろうとしている。ディスプレイの高解像度化は、実物に近い画像表現を実現可能にし、実物感を向上させる。なお、本明細書において、実物感とは、画像が表すものが実際に存在するかのような感覚を指す。

高解像度の大型ディスプレイに画像を表示する場合、表示対象の画像の解像度は、ディスプレイの解像度以下になる場合、例えば、ディスプレイの解像度は4k解像度であるが、表示対象の画像の解像度は2k解像度である場合が多いと考えられる。

この場合、例えば、ディスプレイに搭載されている線形または非線形のスケーリング技術を用いて、表示対象の画像の解像度がディスプレイの解像度にアップコンバートされ、表示される。非線形のスケーリング技術は、例えば、特許文献１乃至４並びに非特許文献１および２に記載されている。

特開２００７−２６４４５６号公報 特開２００８−２４２０４８号公報 特開２００８−２３３７６５号公報 特開２００９−１６２８９９号公報

"Seam Carving for Content-Aware Image Resizing",Avidan et al, SIGGRAPH 2007 "Multi-scale ultrawide foveated video extrapolation",A.Adies,T. Avraham, and Y. Schechner. Israel Institute of Technology In ICCP, 2011

ところで、画像の各画素の被写体の奥行き方向の位置を表す画素値からなる奥行き画像を用いて、画像の撮影方法を擬似的に変更することは考えられていなかった。

本開示は、このような状況に鑑みてなされたものであり、奥行き画像を用いて画像の撮影方法を擬似的に変更することができるようにするものである。

本開示の第１の側面の画像処理装置は、画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値を擬似撮影画像として生成する擬似画像生成部を備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値が擬似撮影画像として生成される。

本開示の第２の側面の画像処理装置は、画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角を推定する撮影画角推定部と、前記撮影画角推定部により推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値を擬似撮影画像として生成する生成部とを備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角が推定され、推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値が擬似撮影画像として生成される。

なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１および第２の側面によれば、画像を生成することができる。また、本開示の第１の側面によれば、奥行き画像を用いて画像の撮影方法を擬似的に変更することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 図１の周辺生成部の構成例を示すブロック図である。 外挿補間のホールド方式、ミラー方式、および平行シフト方式を説明する図である。 外挿補間情報を説明する図である。 図２の調整部の構成例を示すブロック図である。 コントラストゲインの例を示す図である。 彩度ゲインの例を示す図である。 図５の精細度調整部における平滑化フィルタのタップ数の例を示す図である。 図５の明るさ調整部による明るさ調整におけるオフセット値の例を示す図である。 周辺領域の内側からの距離を表す図である。 図１の合成部による入力画像の合成を説明する図である。 図１の解析部の構成例を示すブロック図である。 図１２の推定部による重要度マップの生成について説明する図である。 図１の決定部の構成例を示すブロック図である。 バイナリマップの例を示す図である。 図１５のバイナリマップから検出される重要領域の例を示す図である。 被写体の３次元位置と画像上の２次元位置の関係を示す図である。 パラメータの決定方法の第１の例を説明する図である。 パラメータの決定方法の第２の例を説明する図である。 パラメータの決定方法の第３の例を説明する図である。 図１の擬似画像生成部の構成例を示すブロック図である。 図１の画像処理装置の処理を説明するフローチャートである。 パラメータの決定方法の第４の例を説明する図である。 パラメータの決定方法の第４の例を説明する図である。 パラメータの決定方法の第５の例を説明する図である。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 図２６の解析部の構成例を示すブロック図である。 図２７のアングル推定部の構成例を示すブロック図である。 図２８の消失点解析部による消失情報に基づく仮想視点のディスプレイにおける垂直方向の位置の決定を説明する図である。 図２６の決定部の構成例を示すブロック図である。 図２６の画像処理装置の処理を説明するフローチャートである。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 図３２の解析部の構成例を示すブロック図である。 図３３の撮影画角推定部の構成例を示すブロック図である。 顔ベースパース強度を説明する図である。 人物ベースパース強度を説明する図である。 オブジェクトベースパース強度を説明する図である。 パース強度ベース撮影画角を説明する図である。 被写界深度ベース撮影画角を説明する図である。 図３２の決定部の構成例を示すブロック図である。 図４０の分析部における撮影画角の決定方法を説明する図である。 図３２の中心生成部の構成例を示すブロック図である。 図３２の周辺生成部の構成例を示すブロック図である。 広視野画像の例を示す図である。 図３２の画像処理装置の画像処理を説明するフローチャートである。 画像処理装置による効果を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図２５）
２．第２実施の形態：画像処理装置（図２６乃至図３１）
３．第３実施の形態：画像処理装置（図３２乃至図４５）
４．第１乃至第３実施の形態の効果(図４６)
５．第４実施の形態：コンピュータ（図４７）

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、奥行き画像生成部１１、周辺生成部１２、合成部１３、解析部１４、決定部１５、および擬似画像生成部１６により構成される。画像処理装置１０は、外部から入力される画像である入力画像から、撮影方法を擬似的に変更した擬似撮影画像を生成する。

具体的には、画像処理装置１０の奥行き画像生成部１１は、入力画像から奥行き画像を生成し、周辺生成部１２と合成部１３に供給する。奥行き画像の生成方法としては、例えば、特開２０１３−１７２２１４号公報に記載されている方法を用いることができる。

周辺生成部１２には、外部から、予め決められた外挿補間する領域を示す補間領域情報が入力される。周辺生成部１２は、補間領域情報に基づいて、入力画像を用いて入力画像の周辺領域の画像（以下、周辺画像という）を外挿補間する。また、周辺生成部１２は、補間領域情報に基づいて、奥行き画像生成部１１から供給される奥行き画像を用いて奥行き画像の周辺領域の奥行き画像（以下、周辺奥行き画像という）を外挿補間する。周辺生成部１２は、周辺画像および周辺奥行き画像を合成部１３に供給する。

合成部１３は、周辺生成部１２から供給される周辺画像と入力画像とを合成し、合成画像を生成する。また、合成部１３は、周辺生成部１２から供給される周辺奥行き画像と、奥行き画像生成部１１から供給される奥行き画像とを合成し、合成画像の奥行き画像（以下、合成奥行き画像という）を生成する。合成部１３は、合成画像と合成奥行き画像を擬似画像生成部１６に供給する。

解析部１４は、入力画像に関する情報に基づいて、入力画像から、入力画像の特徴として所定の領域を抽出する。解析部１４は、その領域に基づいて、入力画像を構成する各画素の重要度を画素値で表す重要度マップを生成し、決定部１５に供給する。

決定部１５は、外部から入力される入力画像の属性を表す属性信号と、解析部１４から供給される重要度マップとに基づいて、最終的な重要度マップを決定する。決定部１５は、最終的な重要度マップに基づいて、重要領域が擬似撮影画像を観視する観視者の中心視野内に収まるようにパラメータの値を決定し、擬似画像生成部１６に供給する。

なお、観視者の中心視野とは、例えば、推奨される視位置（例えば、画面の高さの1.5倍）を中心としたときの角度が±30度以内となる画面内の領域である。中心視野の基になる視位置は、推奨される視位置ではなく、観視者により設定された視位置、図示せぬカメラやセンサなどにより測定された実際の観視者の視位置などであってもよい。

擬似画像生成部１６は、合成部１３からの合成奥行き画像と決定部１５からのパラメータの値とに基づいて、合成部１３から供給される合成画像から擬似撮影画像を生成する。擬似撮影画像とは、実際に撮影された入力画像から生成される合成画像の被写体を、入力画像の撮影方法とは異なる撮影方法で撮影したときの撮影画像の予測値である。擬似画像生成部１６は、擬似撮影画像を図示せぬ外部のディスプレイに出力する。

なお、パラメータは、水平方向および垂直方向の両方について決定されるが、説明を簡単にするため、以下では、水平方向のパラメータのみが決定されるものとする。垂直方向のパラメータは、水平方向のパラメータと同様に決定される。

（周辺生成部の構成例）
図２は、図１の周辺生成部１２の構成例を示すブロック図である。

図２の周辺生成部１２は、外挿部３１、精細度調整部３２、外挿部３３、および調整部３４により構成される。

周辺生成部１２の外挿部３１は、外挿部３３からの外挿補間情報と外部から入力される補間領域情報とに基づいて、外挿部３３で入力画像を用いて実行された外挿補間と同一の方法で、図１の奥行き画像生成部１１から供給される奥行き画像を用いて外挿補間を行う。

なお、外挿補間情報は、外挿部３３による入力画像の外挿補間に関する情報であり、外挿部３３による外挿補間の方式等を表す。外挿補間の方式としては、非特許文献２に記載されている方式、ホールド方式、ミラー方式、平行シフト方式などを用いることができる。また、“Display pixel caching”,Clemens Birklbauer, 他. SIGGRAPH ‘11 ACM SIGGRAPH 2011 Talks Article No. 45に記載されているように、過去や未来のフレームの画像を用いて外挿補間を行う方式を用いることもできる。外挿部３１は、外挿補間の結果生成される周辺奥行き画像を精細度調整部３２に供給する。

精細度調整部３２は、外挿部３３から供給される入力画像の外挿補間結果の確からしさを示す外挿信頼度に基づいて、外挿部３１から供給される周辺奥行き画像の精細度を調整する。具体的には、精細度調整部３２は、周辺奥行き画像に対して、外挿信頼度に基づいて設定されるタップ数の平滑化フィルタ（例えば、ガウシアンフィルタ）を用いたフィルタ処理を行う。精細度調整部３２は、調整後の周辺奥行き画像を図１の合成部１３に供給する。

外挿部３３は、外部から入力される補間領域情報に基づいて、入力画像を用いた外挿補間を行い、周辺画像を生成する。外挿部３３は、周辺画像を調整部３４に供給する。また、外挿部３３は、外挿補間情報を生成し、外挿部３１に供給する。さらに、外挿部３３は、外挿信頼度を生成する。例えば、外挿部３３は、外挿補間におけるマッチングの精度を0以上1以下の値で表し、外挿信頼度とする。外挿部３３は、外挿信頼度を精細度調整部３２および調整部３４に供給する。

調整部３４は、外挿部３３から供給される外挿信頼度と補間領域情報とに基づいて、外挿部３３から供給される周辺画像を調整し、調整後の周辺奥行き画像を図１の合成部１３に供給する。

（外挿補間の方式の説明）
図３は、外挿補間のホールド方式、ミラー方式、および平行シフト方式を説明する図である。

図３の左側に示すように、外挿部３３においてホールド方式の外挿補間が行われる場合、入力画像の周辺領域内の最も内側の画素と隣接する入力画像内の画素の画素値Ｃが、その入力画像の周辺領域内の最も内側の画素とその画素より外側の画素の画素値とされる。

一方、図３の中央に示すように、外挿部３３においてミラー方式の外挿補間が行われる場合、入力画像の周辺領域内の最も内側の画素と入力画像内の画素の境界を中心として画素値が対称となるように、入力画像の周辺領域内の画素の画素値が決定される。

図３の例では、入力画像の周辺領域内の最も内側の画素と入力画像内の画素の境界から１つ目の入力画像内の画素の画素値が画素値Ｃであるため、その境界から１つ目の入力画像の周辺領域内の画素の画素値が画素値Ｃに決定されている。同様に、境界から２つ目の入力画像内の画素の画素値が画素値Ｂであるため、その境界から２つ目の入力画像の周辺領域内の画素の画素値が画素値Ｂに決定されている。

また、図３の右側に示すように、外挿部３３において平行シフト方式の外挿補間が行われる場合、入力画像の周辺領域内の最も内側の画素と入力画像内の画素の境界から所定の範囲の画素の画素値が、入力画像の周辺領域内の最も外側の画素から最も内側の画素までの画素の画素値に決定される。

図３の例では、入力画像の周辺領域内の最も内側の画素と入力画像内の画素の境界から１つ目の入力画像内の画素の画素値が画素値Ｃであるため、入力画像の周辺領域内の最も外側の画素の画素値は、画素値Ｃに決定されている。同様に、境界から２つ目の入力画像内の画素の画素値が画素値Ｂであるため、入力画像の周辺領域内の最も外側から２つ目の画素の画素値は、画素値Ｂに決定されている。

なお、図３では、入力画像に対する各方式の外挿補間について説明したが、奥行き画像に対する各方式の外挿補間も同様である。

（外挿補間情報の説明）
図４は、外挿補間情報を説明する図である。

図４に示すように、入力画像５１の外挿補間の方式として、非特許文献２に記載されている入力画像内の画素を参照して外挿補間する周辺領域の画素を予測するマッチング方式が採用された場合、外挿部３３は、マッチング方式を表す外挿補間情報を生成する。

この場合、外挿部３１は、外挿補間情報が表すマッチング方式で奥行き画像５２の外挿補間を行う。具体的には、外挿部３１は、奥行き画像５２内の画素５２ａを参照して外挿補間する周辺領域の画素５２ｂを予測する。

なお、このとき、奥行き画像における参照元の画素５２ａと参照先の画素５２ｂの空間的な位置関係が、入力画像における参照元の画素５１ａと参照先の画素５１ｂの空間的な位置の関係と同一になるように予測が行われる。これにより、周辺画像と周辺奥行き画像の間の整合性を保つことができる。

（調整部の構成例）
図５は、図２の調整部３４の構成例を示すブロック図である。

図５の調整部３４は、コントラスト調整部７１、彩度調整部７２、精細度調整部７３、および明るさ調整部７４により構成される。

調整部３４のコントラスト調整部７１は、図２の外挿部３３から供給される外挿信頼度に基づいて、外挿部３３から供給される周辺画像のダイナミックレンジを変更し、コントラストを調整する。具体的には、コントラスト調整部７１は、周辺画像の各画素の輝度成分に対して以下の式（１）の演算を行うことにより、コントラスト調整後の周辺画像の各画素の輝度成分を求める。

式（１）において、LCnst_Yは、コントラスト調整後の周辺画像の各画素の輝度成分であり、EYは、コントラスト調整前の周辺画像の各画素の輝度成分である。AVE_Yは、コントラスト調整前の周辺画像の輝度成分の平均値であり、CnstGainは、外挿信頼度に基づいて設定されるコントラストゲインである。

コントラスト調整部７１は、コントラスト調整後の周辺画像の各画素の輝度成分と、外挿部３３から供給される周辺画像の各画素の色差成分とからなる画像を、コントラスト調整後の周辺画像として彩度調整部７２に供給する。

彩度調整部７２は、外挿信頼度に基づいて、コントラスト調整部７１から供給される周辺画像の彩度を調整する。具体的には、彩度調整部７２は、周辺画像の各画素の彩度成分に対して、外挿信頼度に基づいて設定される彩度ゲインを乗算することにより、周辺画像の彩度を調整する。彩度調整部７２は、彩度調整後の周辺画像を精細度調整部７３に供給する。

精細度調整部７３は、外挿信頼度に基づいて、彩度調整部７２から供給される周辺画像の精細度を調整する。具体的には、精細度調整部７３は、周辺画像に対して、外挿信頼度に基づいて設定されるタップ数の平滑化フィルタ（例えば、ガウシアンフィルタ）を用いたフィルタ処理を行う。精細度調整部７３は、フィルタ処理後の周辺画像を明るさ調整部７４に供給する。

明るさ調整部７４は、外挿信頼度と補間領域情報に基づいて、精細度調整部７３から供給される周辺画像の明るさを調整する。具体的には、明るさ調整部７４は、周辺画像の各画素の輝度（または明度）成分に対して以下の式（２）の演算を行うことにより、明るさ調整後の各画素の輝度成分を算出する。

式（２）において、PYは、明るさ調整後の各画素の輝度成分であり、SmthYは、明るさ調整前の各画素の輝度成分である。DarkOffsetPredは、外挿信頼度に基づいて設定されるオフセット値である。また、DarkOffsetDistは、補間領域情報に基づいて設定されるオフセット値である。

明るさ調整部７４は、明るさ調整後の各画素の輝度成分と、精細度調整部７３から供給される周辺画像の各画素の色差成分とからなる画像を、明るさ調整後の周辺画像として、図１の合成部１３に供給する。

（コントラストゲインの例）
図６は、コントラストゲインの例を示す図である。

図６に示すように、コントラストゲインは、外挿信頼度が大きいほど大きくなるように設定される、０より大きく１以下である値である。従って、外挿信頼度が低い場合、コントラストゲインは小さくなり、周辺画像のコントラストが小さくなる。その結果、周辺画像は目立たなくなる。

（彩度ゲインの例）
図７は、彩度ゲインの例を示す図である。

図７に示すように、彩度ゲインは、外挿信頼度が大きいほど大きくなるように設定される、０より大きく１以下である値である。従って、外挿信頼度が低い場合、彩度ゲインが小さくなり、周辺画像の彩度が小さくなる。その結果、周辺画像は目立たなくなる。

（平滑化フィルタのタップ数の例）
図８は、図５の精細度調整部７３における平滑化フィルタのタップ数の例を示す図である。

図８に示すように、平滑化フィルタのタップ数は、外挿信頼度が小さいほど大きくなるように設定される１以上の値である。従って、外挿信頼度が低い場合平滑化フィルタのタップ数が大きくなり、フィルタ処理後の周辺画像のボケ感が強くなる。その結果、周辺画像は目立たなくなる。

なお、図示は省略するが、図２の精細度調整部３２における平滑化フィルタのタップ数も、図８の場合と同様に、外挿信頼度が小さいほど大きくなるように設定される１以上の値である。

（明るさ調整におけるオフセット値の例）
図９は、図５の明るさ調整部７４による明るさ調整におけるオフセット値DarkOffsetPredとオフセット値DarkOffsetDistの例を示す図である。

図９のＡに示すように、オフセット値DarkOffsetPredは、外挿信頼度が大きいほど小さくなるように設定される。一方、図９のＢに示すように、オフセット値DarkOffsetDistは、対応する画素の、周辺領域の内側からの距離が大きいほど大きくなるように設定される。

即ち、図１０に示すように、入力画像９１の周辺領域９２の内側には、入力画像９１と重複する重複領域９３が存在する。オフセット値DarkOffsetDistは、対応する画素の、周辺領域９２の内側、即ち重複領域９３の内側からの距離ｄが大きいほど大きくなるように設定される。

以上により、外挿信頼度が低い場合、オフセット値DarkOffsetPredが大きくなり、周辺画像が暗くなる。その結果、周辺画像は目立たなくなる。また、距離ｄが大きいほどオフセット値DarkOffsetDistは大きいので、より外側の画素ほど暗くなる。その結果、外挿補間によるアーティファクトを軽減することができる。

（入力画像の合成の説明）
図１１は、図１の合成部１３による入力画像の合成を説明する図である。

合成部１３は、周辺生成部１２から供給される入力画像のうちの周辺領域と重複する重複領域以外の領域の画像を、その領域の合成画像とする。また、合成部１３は、周辺生成部１２から供給される周辺画像のうちの入力画像と重複する重複領域以外の領域の画像を、その領域の合成画像とする。

さらに、合成部１３は、入力画像のうちの重複領域の画像と、周辺画像のうちの重複領域の画像を、以下の式（３）により画素ごとに合成し、重複領域の合成画像とする。

式（３）において、Blendは、重複領域の合成画像の各画素の画素値である。また、Psigは、周辺画像のうちの重複領域の各画素の画素値であり、Csigは、入力画像のうちの重複領域の各画素の画素値である。

また、Wp,Wcは、入力画像の周辺領域の内側から各画素までの水平方向または垂直方向の距離に基づく重み係数であり、重み係数WpとWcの和は１である。具体的には、画素値Blendに対応する画素が、入力画像の左右に存在する重複領域内の画素である場合、重み係数WpおよびWcとしては、水平方向の距離に基づく重み係数が用いられる。一方、画素値Blendに対応する画素が、入力画像の上下に存在する重複領域内の画素である場合、重み係数WpおよびWcとしては、垂直方向の距離に基づく重み係数が用いられる。

また、例えば、入力画像の周辺領域の最も内側の水平方向（または垂直方向）の位置を０としたとき、重み係数Wpは、図１１に示すように、対応する画素の水平方向（または垂直方向）の位置が重複領域の最も外側の水平方向（または垂直方向）の位置-dwである場合に１となる。そして、重み係数Wpは、対応する画素の水平方向（または垂直方向）の位置が、重複領域の最も内側の水平方向（または垂直方向）の位置である０に近づくにつれて小さくなり、位置が０である場合０となる。

一方、重み係数Wcは、図１１に示すように、対応する画素の水平方向（または垂直方向）の位置が位置-dwである場合に０となり、その位置が０に近づくにつれて大きくなり、位置が０である場合１となる。

なお、図１１では、入力画像の合成について説明したが、奥行き画像の合成についても同様に行われる。

（解析部の構成例）
図１２は、図１の解析部１４の構成例を示すブロック図である。

図１２の解析部１４は、字幕テロップ検出部１９１、顔検出部１９２、人物検出部１９３、顕著度検出部１９４、および推定部１９５により構成される。

解析部１４の字幕テロップ検出部１９１は、入力画像のOSD（On Screen Display）情報等に基づいて、入力画像の字幕またはテロップの領域である字幕テロップ領域を検出する。字幕テロップ検出領域の検出方法としては、例えば、”A comprehensive method for multilingual video text detection",Lyu, M.R.:Jiqiang Song;Min Cai:localization, and extraction.IEEE Transactions on Circuits and Systems for Video Technology 15(2), 243-255(2005)に記載されている方法を用いることができる。

字幕テロップ検出部１９１は、検出された字幕テロップ領域の位置、大きさ、および確からしさを示す字幕テロップマップを生成する。字幕テロップマップとは、入力画像を構成する各画素が字幕テロップ領域である確からしさを0乃至255の画素値で表す画像である。ここでは、字幕テロップマップの画素値が大きいほど、字幕テロップ領域である確からしさが高いものとする。字幕テロップ検出部１９１は、生成された字幕テロップマップを推定部１９５に供給する。

顔検出部１９２は、入力画像から顔領域を検出する。例えば、入力画像がビジュアルコミュニケーション時の画像である場合、顔検出部１９２は、各ウィンドウの位置情報に基づいて顔領域を検出する。

そして、顔検出部１９２は、検出された顔領域の位置、大きさ、および確からしさを示す顔マップを生成する。顔マップとは、入力画像を構成する各画素が顔領域である確からしさを0乃至255の画素値で表す画像である。ここでは、顔マップの画素値が大きいほど、顔領域である確からしさが高いものとする。顔検出部１９２は、生成された顔マップを推定部１９５に供給する。

人物検出部１９３は、入力画像から人物領域を検出する。例えば、入力画像が監視カメラで撮影された画像である場合、人物検出部１９３は、監視カメラから供給される追尾対象の情報に基づいて、人物領域を検出する。

人物検出部１９３は、検出された人物領域の位置、大きさ、および確からしさを示す人物マップを生成する。人物マップとは、入力画像を構成する各画素が人物領域である確からしさを0乃至255の画素値で表す画像である。ここでは、人物マップの画素値が大きいほど、人物領域である確からしさが高いものとする。人物検出部１９３は、生成された人物マップを推定部１９５に供給する。

顕著度（誘目度）検出部１９４は、観視者からの指定等により、入力画像から、人間の目を引きやすい被写体の領域を、主要な被写体領域として検出する。被写体領域の検出方法としては、例えば、特開２０１０−２６２５０６号に記載されている方法を用いることができる。顕著度検出部１９４は、検出された被写体領域の位置、大きさ、および確からしさを示す被写体マップを生成する。

被写体マップとは、入力画像を構成する各画素が被写体領域である確からしさを0乃至255の画素値で表す画像である。ここでは、被写体マップの画素値が大きいほど、被写体領域である確からしさが高いものとする。顕著度検出部１９４は、生成された被写体マップを推定部１９５に供給する。

推定部１９５は、字幕テロップ検出部１９１からの字幕テロップマップ、顔検出部１９２からの顔マップ、人物検出部１９３からの人物マップ、および顕著度検出部１９４からの被写体マップに基づいて、重要度マップを生成する。推定部１９５は、生成した重要度マップを図１の決定部１５に供給する。

（重要度マップの生成の説明）
図１３は、図１２の推定部１９５による重要度マップの生成について説明する図である。

図１３に示すように、推定部１９５は、画素ごとに、その画素の字幕テロップマップの画素値、顔マップの画素値、人物マップの画素値、および被写体マップの画素値を、以下の式（４）により加重平均し、加重平均値を重要度マップの画素値とする。

式（４）において、Map_sig(x,y)は、重要度マップの位置（x、y）の画素の画素値である。また、W_text,W_face,W_human、およびW_sailencyは、重み係数であり、この重み係数の和は１である。Map_text(x,y)は、字幕テロップマップの位置（x、y）の画素の画素値であり、Map_face(x,y)は、顔マップの位置（x、y）の画素の画素値である。Map_human(x,y)は、人物マップの位置（x、y）の画素の画素値であり、Map_sailency (x,y)は、被写体マップの位置（x、y）の画素の画素値である。

ここでは、加重平均値を重要度マップの画素値とするが、字幕テロップマップの画素値、顔マップの画素値、人物マップの画素値、および被写体マップの画素値のうちの最大値を重要度マップの画素値としてもよい。また、加重平均値は、ダイナミックレンジが0乃至255になるように正規化されて重要度マップの画素値とされるようにしてもよい。

（決定部の構成例）
図１４は、図１の決定部１５の構成例を示すブロック図である。

図１４の決定部１５は、分析部２１１、重要領域決定部２１２、およびパラメータ決定部２１３により構成される。

決定部１５の分析部２１１は、外部から属性信号として入力されるEPG（Electronic Program Guide）の番組ジャンル情報等に基づいて、重要度マップを生成する。

具体的には、例えば、ニュース番組、バラエティ番組、およびワイド―ショー番組の画像では、字幕やテロップが存在する可能性が高く、また、字幕やテロップが表示される領域も予め推定可能である。従って、番組ジャンル情報が、ニュース番組、バラエティ番組、またはワイド―ショー番組を表す場合、分析部２１１は、字幕やテロップが表示されると推定される領域を重要度の高い領域として検出し、その領域内の画素が重要であることを表す重要度マップを生成する。

また、スポーツ番組では、撮影方法や撮影アングルなどが予め決まっている。例えば、テニスの試合では、画面の上部と下部にプレイヤが存在するアングルで撮影が行われる。従って、番組ジャンル情報がテニスの試合を表す場合、分析部２１１は、画面の上部と下部の領域を重要度の高い領域として検出し、その領域内の画素が重要であることを表す重要度マップを生成する。

なお、分析部２１１が生成する重要度マップは、各画素の重要度を0乃至255の画素値で表す画像であり、ここでは、画素値は、大きいほど重要度が高いことを表している。分析部２１１は、生成された重要度マップを重要領域決定部２１２に供給する。

重要領域決定部２１２は、図１２の推定部１９５から供給される重要度マップと、分析部２１１から供給される重要度マップとに基づいて、以下の式（５）により最終的な重要度マップを決定する。

式（５）において、BlendSigMap(x,y)は、最終的な重要度マップの位置(x,y)の画素の画素値である。Wは、重み係数であり、０以上１以下の値である。Map_sig(x,y)は、推定部１９５から供給される重要度マップの位置(x,y)の画素の画素値であり、MetaSigMap(x,y)は、分析部２１１から供給される重要度マップの位置(x,y)の画素の画素値である。

重要領域決定部２１２は、最終的な重要度マップを２値化し、バイナリマップを生成する。なお、このとき、重要領域決定部２１２は、必要に応じて、孤立除去などのために、メディアンフィルタやモロフォロジーフィルタを適用してもよい。

重要領域決定部２１２は、バイナリマップの画素値が１である画素、即ち白色の画素に外接する矩形領域を重要領域として検出し、その重要領域を表す重要領域情報を最終的な重要領域情報としてパラメータ決定部２１３に供給する。

パラメータ決定部２１３は、重要領域決定部２１２から供給される最終的な重要領域情報に基づいて、入力画像の重要領域が観視者の中心視野内に収まるようにパラメータを決定し、図１の擬似画像生成部１６に供給する。

（バイナリマップの例）
図１５は、バイナリマップの例を示す図である。

重要領域決定部２１２は、最終的な重要度マップの各画素値を、その画素値が閾値を超えた場合１にし、閾値を超えない場合０にすることにより２値化する。従って、図１３に示した最終的な重要度マップが２値化されると、図１５に示すバイナリマップが生成される。

（重要領域の例）
図１６は、図１５のバイナリマップから検出される重要領域の例を示す図である。

図１６に示すように、バイナリマップが図１５に示すマップである場合、画素値が１である白色の領域に外接する矩形領域２３１が重要領域として検出される。そして、図１６に示すように、入力画像２３２内の矩形領域２３１が観視者の中心視野内に収まるように、パラメータが決定される。

（被写体の３次元位置と画像上の２次元位置の関係）
図１７は、被写体の３次元位置と画像上の２次元位置の関係を示す図である。

図１７は、観視者と画像を表示するディスプレイを上から見た図である。また、一点鎖線は、画像の被写体の物理的な奥行き方向の位置を表している。

図１７の例では、一点鎖線で示すように、水平方向に並ぶ被写体の奥行き方向の位置が、全てディスプレイ２５１の表示面の手前にあるが、ディスプレイ２５１の表示面と被写体の奥行き方向の位置の関係は、これに限定されない。水平方向に並ぶ被写体の奥行き方向の位置は、全てディスプレイ２５１の表示面の奥にあってもよいし、奥と手前の両方に混在していてもよい。

画像の各画素のディスプレイ２５１上の水平方向の位置をxpとすると、その画素に対応する被写体の奥行き方向の位置は、位置xpの画素の奥行き画像の画素値を用いて、以下の式（６）で定義される。

式（６）において、Depth(xp)は、位置xpの画素に対応する被写体の奥行き方向の位置である。また、depth(xp)は、位置xpの画素の奥行き画像の画素値であり、0乃至255の値である。また、Depth_Lengthは、図１７中一点鎖線で示す被写体の物理的な奥行き方向の位置のダイナミックレンジである。

また、画像は、被写体の３次元位置を透視変換により画像上の２次元位置に変換したものである。従って、画像では、３次元空間の被写体が２次元画像上に３次元構造を反映させたかたちで（近くのものは大きく、遠くのものは小さくなるように）再現される。

よって、奥行き方向の位置Depth(xp)の被写体の画像のディスプレイ２５１上の水平方向の表示位置と位置xpとの差分（射影によるシフト量）は、以下の式（７）で求められる。

式（７）において、Shiftp(xp)は、奥行き方向の位置Depth(xp)の被写体の画像のディスプレイ２５１上の水平方向の表示位置と位置xpとの差分である。xcは、画像の視点である仮想視点のディスプレイ２５１における水平方向の位置（の座標）である。なお、xp，xcは、例えば左側の位置ほど小さくなる値である。また、Visual_Distanceは、仮想視点とディスプレイ２５１の距離、即ち仮想視距離である。

式（６）および式（７）によれば、画像の水平方向の表示位置は、仮想視距離や仮想視点の水平方向の位置を変更することにより変更することができる。従って、パラメータ決定部２１３は、入力画像の重要領域が観視者の中心視野内に収まるように、擬似撮影画像の仮想視距離や仮想視点の水平方向の位置をパラメータとして決定する。

仮想視距離が変更されると、被写体との接近感（被写体までの前後感）が変化する。仮想視点の水平方向の位置が変更されると、視線方向が変化する。

（パラメータの決定方法の第１の例）
図１８は、パラメータの決定方法の第１の例を説明する図である。

図１８は、観視者と画像を表示するディスプレイを上から見た図である。また、一点鎖線は、入力画像の被写体の物理的な奥行き方向の位置を表している。これらのことは、後述する図１９、図２０、および図２３乃至図２５においても同様である。

図１８に示すように、重要領域２７１および２７２が、入力画像２７３の端部に存在する場合、例えば仮想視距離が比較的小さいVD_Aであると、重要領域２７１および２７２が中心視野外になる。しかしながら、例えば仮想視距離がVD_Aより大きいVD_Bである場合、重量領域２７１および２７２は中心視野内に収まる。

従って、この場合、パラメータ決定部２１３は、重要領域２７１および２７２が中心視野内に収まるように、パラメータとしての仮想視距離をVD_Bに決定する。その結果、擬似撮影画像の重要領域の視認性を向上させることができる。なお、本明細書において、視認性とは、画像の見やすさや画像の内容の把握しやすさを指す。

擬似画像生成部１６は、仮想視距離をVD_Bに即座に変更してもよいし、仮想視距離のVD_Bより小さいデフォルト値からVD_Bまで段階的に変更するようにしてもよい。擬似画像生成部１６は、仮想視距離を段階的に変更する場合、変更後の仮想視距離と合成奥行き画像とに基づいて、合成画像の被写体をドリーアウト撮影（被写体に対してカメラを後退させながら撮影）したときの運動視差を有する画像を擬似撮影画像として生成することができる。その結果、擬似撮影画像の奥行き感を強調することができる。

（パラメータの決定方法の第２の例）
図１９は、パラメータの決定方法の第２の例を説明する図である。

図１９に示すように、入力画像２７３の重要領域２８１が比較的小さい場合、例えば仮想視距離が比較的大きいVD_Cであると、重要領域２８１の中心視野内の占有率が非常に小さくなり、重要領域２８１が見づらい。しかしながら、例えば仮想視距離がVD_Cより小さいVD_Dである場合、重要領域２８１の中心視野内の占有率が大きくなるので、重要領域２８１の視認性が向上する。

従って、この場合、パラメータ決定部２１３は、重要領域２８１が中心視野内に収まり、重要領域２８１の中心視野内の占有率が閾値以上となるように、パラメータとしての仮想視距離をVD_Dに決定する。その結果、擬似撮影画像の重要領域の視認性を向上させることができる。

例えば、大型のディスプレイで広視野で観視されることを仮定して、広角で入力画像が撮影される場合、重要領域は小さくなり、見づらくなる。

一方、4K解像度や8K解像度などの高解像度の大型のディスプレイで画像を観視する場合、画素の表示サイズが小さいため、観視者はディスプレイに近づいても画素構造が気にならない。例えば、4K解像度の大型のディスプレイでは画面の高さの1.5倍の距離まで、8K解像度の大型のディスプレイでは画面の高さの0.75倍の距離まで近づいても、観視者はディスプレイの画素構造が気にならない。従って、観視者は、ディスプレイに近づいて画像を観視することが可能である。

よって、広角で撮影された入力画像を観察者がディスプレイに近づいて監視する場合、パラメータとしての仮想視距離が短くされる。これにより、重要領域が大きい擬似撮影画像が生成され、表示されるため、重要領域の視認性が向上する。

擬似画像生成部１６は、仮想視距離をVD_Dに即座に変更してもよいし、仮想視距離のVD_Dより大きいデフォルト値からVD_Dまで段階的に変更するようにしてもよい。擬似画像生成部１６は、仮想視距離を段階的に変更する場合、変更後の仮想視距離の値と合成奥行き画像とに基づいて、合成画像の被写体をドリーイン撮影（被写体に対してカメラを前進させながら撮影）したときの運動視差を有する画像を擬似撮影画像として生成することができる。その結果、擬似撮影画像の奥行き感を強調することができる。

（パラメータの決定方法の第３の例）
図２０は、パラメータの決定方法の第３の例を説明する図である。

図２０に示すように、重要領域２９１が、入力画像２７３の端部に存在する場合、例えば仮想視点の水平方向の位置が中央付近の位置xc_Aであると、重要領域２９１が中心視野外になる。しかしながら、例えば仮想視点の水平方向の位置が比較的重要領域２９１側の位置xc_Bである場合、重要領域２９１は中心視野内に収まる。

従って、この場合、パラメータ決定部２１３は、重要領域２９１が中心視野内に収まるように、パラメータとしての仮想視点の水平方向の位置をxc_Bに決定する。その結果、擬似撮影画像の重要領域の視認性を向上させることができる。

擬似画像生成部１６は、仮想視点の水平方向の位置をxc_Bに即座に変更してもよいし、仮想視点の水平方向の位置のxc_Bより大きいデフォルト値からxc_Bまで段階的に変更するようにしてもよい。擬似画像生成部１６は、仮想視点の水平方向の位置を段階的に変更する場合、変更後の位置の値と合成奥行き画像とに基づいて、合成画像の被写体をトラック撮影（被写体に対してカメラを並行させながら撮影）したときの運動視差を有する画像を擬似撮影画像として生成することができる。その結果、擬似撮影画像の奥行き感を強調することができる。

（擬似画像生成部の構成例）
図２１は、図１の擬似画像生成部１６の構成例を示すブロック図である。

図２１の擬似画像生成部１６は、変換部３１１と切り出し部３１２により構成される。

変換部３１１は、合成部１３から供給される合成画像および合成奥行き画像と、決定部１５から供給されるパラメータを用いて、透視変換モデルにしたがって擬似撮影画像を生成する。

具体的には、変換部３１１は、合成奥行き画像の画素値を画素値depth(xp)として用いて上述した式（６）を演算することにより、奥行き方向の位置Depth(xp)を求める。なお、Depth_Lengthは、予め決められた固定値であってもよいし、観視者等の指示により変更可能な可変値であってもよい。Depth_Lengthにより、擬似撮影画像の奥行き感（凹凸感）を変更することができる。

また、変換部３１１は、奥行き方向の位置Depth(xp)と、パラメータとしての仮想視距離や仮想視点の水平方向の位置とを用いて、上述した（７）により、差分Shiftp(xp)を求める。なお、パラメータは、仮想視距離および仮想視点の水平方向の位置のいずれか一方であってもよいし、両方であってもよい。パラメータが仮想視距離のみである場合には、仮想視点の水平方向の位置として予め決められた固定値が用いられる。また、パラメータが仮想視点の水平方向の位置のみである場合には、仮想視距離として予め決められた固定値が用いられる。

さらに、変換部３１１は、差分Shiftp(xp)に基づいて、合成画像の位置xpの画素の画素値を差分Shiftp(xp)だけ移動して配置(レンダリング)することにより、擬似撮影画像を生成する。なお、画素値が配置されなかった位置の画素は、近傍の画素の画素値などを用いて補間される。変換部３１１は、擬似撮影画像を切り出し部３１２に供給する。

切り出し部３１２は、変換部３１１から供給される擬似撮影画像の解像度が所定の解像度となるように、必要に応じてトリミング(削除)を行い、出力する。

（画像処理装置の処理の説明）
図２２は、図１の画像処理装置１０の処理を説明するフローチャートである。

図２２のステップＳ１１において、画像処理装置１０は、外部から画像が入力されたかどうかを判定する。なお、画像は、フレーム単位で入力されてもよいし、複数のフレーム単位で入力されてもよい。

ステップＳ１１で外部から画像がまだ入力されていないと判定された場合、外部から画像が入力されるまで待機する。

ステップＳ１１で外部から画像が入力されたと判定された場合、ステップＳ１２において、画像処理装置１０は、その画像を入力画像として取得する。

ステップＳ１３において、解析部１４は、入力画像の字幕テロップ領域、顔領域、人物領域、および被写体領域を検出し、重要度マップを生成する領域解析処理を行う。解析部１４は、生成された重要度マップを決定部１５に供給する。

ステップＳ１４において、決定部１５は、外部から属性信号が入力されたかどうかを判定する。ステップＳ１４で外部から属性信号が入力されたと判定された場合、処理はステップＳ１５に進む。

ステップＳ１５において、決定部１５の分析部２１１（図１４）は、外部から属性信号として入力された番組ジャンル情報に基づいて重要度マップを生成し、処理をステップＳ１６に進める。

一方、ステップＳ１４で外部から属性信号が入力されていないと判定された場合、処理はステップＳ１６に進む。

ステップＳ１６において、重要領域決定部２１２は、解析部１４からの重要度マップと分析部２１１により生成された重要度マップに基づいて最終的な重要度マップを決定する。重要領域決定部２１２は、最終的な重要度マップに基づいて重要領域情報を生成し、パラメータ決定部２１３に供給する。

ステップＳ１７において、パラメータ決定部２１３は、重要領域情報に基づいて、入力画像の重要領域が観視者の中心視野内に収まるようにパラメータを決定し、擬似画像生成部１６に供給する。

ステップＳ１８において、奥行き画像生成部１１は、入力画像から奥行き画像を生成し、周辺生成部１２と合成部１３に供給する。

ステップＳ１９において、周辺生成部１２は、外部から入力される補間領域情報に基づいて、入力画像および奥行き画像を用いた外挿補間を行い、周辺画像および周辺奥行き画像を生成する周辺領域生成処理を行う。周辺生成部１２は、周辺画像および周辺奥行き画像を合成部１３に供給する。

ステップＳ２０において、合成部１３は、周辺生成部１２から供給される周辺画像と入力画像とを合成し、周辺生成部１２から供給される周辺奥行き画像と奥行き画像とを合成する合成処理を行う。合成部１３は、合成の結果得られる合成画像と合成奥行き画像を擬似画像生成部１６に供給する。

ステップＳ２１において、擬似画像生成部１６は、合成部１３からの合成奥行き画像と決定部１５からのパラメータとに基づいて、合成部１３から供給される合成画像から擬似撮影画像を生成する。ステップＳ２２において、擬似画像生成部１６は、擬似撮影画像を出力する。

ステップＳ２３において、画像処理装置１０は、画像が新たに入力されたかどうかを判定する。ステップＳ２３で画像が新たに入力されたと判定された場合、処理はステップＳ１２に戻り、画像が新たに入力されなくなるまで、ステップＳ１２乃至Ｓ２３の処理が繰り返される。

一方、ステップＳ２３で画像が新たに入力されていないと判定された場合、処理は終了する。

以上のように、画像処理装置１０は、入力画像の特徴に基づくパラメータの値と奥行き画像とに基づいて、入力画像から擬似撮影画像を生成する。従って、奥行き画像を用いて入力画像の撮影方法を擬似的に変更することができる。

なお、擬似撮影画像の生成に用いられるモデルは、上述した透視変換モデル以外のモデルであってもよい。この場合のパラメータの決定方法について以下に説明する。

（パラメータの決定方法の第４の例）
図２３および図２４は、パラメータの決定方法の第４の例を説明する図である。

図２３および図２４の例では、以下の式（８）に示すスケーリングモデルにしたがって擬似撮影画像が生成される。

式（８）において、Shifts(xp)は、奥行き方向の位置Depth(xp)の被写体の画像のディスプレイ２５１上の水平方向の表示位置と位置xpとの差分（スケーリングによるシフト量）である。また、Zparaは、入力画像のスケーリング率である。さらに、xcは、仮想視点のディスプレイ２５１における水平方向の位置（の座標）である。

式（８）によれば、入力画像の水平方向の表示位置は、スケーリング率を変更することにより変更することができる。従って、スケーリングモデルにしたがって擬似撮影画像が生成される場合、パラメータ決定部２１３は、入力画像の重要領域が観視者の中心視野内に収まるように、スケーリング率をパラメータとして決定する。

図２３に示すように、入力画像２７３の重要領域３３１が比較的小さい場合、重要領域３３１の中心視野内の占有率が非常に小さくなり、重要領域３３１が見づらい。しかしながら、入力画像２７３が１より大きいスケーリング率で拡大されると、スケーリング後の重要領域３３１は重要領域３３２となり、重要領域の中心視野内の占有率が大きくなるので、重要領域の視認性が向上する。

従って、この場合、パラメータ決定部２１３は、重要領域３３１が中心視野内に収まり、重要領域３３１の中心視野内の占有率が閾値以上となるように、パラメータとしてのスケーリング率を１より大きい値に決定する。その結果、合成画像が拡大され、擬似撮影画像内の重要領域３３１が重要領域３３２に拡大されるので、重要領域の視認性が向上する。

なお、図２３の例では、見やすくするために、重要領域３３１の手前側に重要領域３３２が図示されているが、実際には、重要領域３３１と重要領域３３２の奥行き方向の位置は同一である。

擬似画像生成部１６は、スケーリング率をパラメータの値に即座に変更してもよいし、１からパラメータの値まで段階的に変更するようにしてもよい。擬似画像生成部１６は、スケーリング率を段階的に変更する場合、変更後のスケーリング率と合成奥行き画像とに基づいて、合成画像の被写体をズームイン（望遠）撮影したときの画像の予測値を擬似撮影画像として生成することができる。

一方、図２４に示すように、入力画像２７３の重要領域３４１が比較的大きい場合、重要領域３４１の中心視野内の占有率が非常に大きくなり、重要領域３４１が中心視野からはみだす。しかしながら、入力画像２７３が１より小さいスケーリング率で縮小されると、スケーリング後の重要領域３４１は重要領域３４２となり、中心視野内に収まるので、重要領域の視認性が向上する。

従って、この場合、パラメータ決定部２１３は、重要領域３４１が中心視野内に収まり、重要領域３４１の中心視野内の占有率が閾値以上となるように、パラメータとしてのスケーリング率を１より小さい値に決定する。その結果、合成画像が縮小され、擬似撮影画像内の重要領域３４１が重要領域３４２に縮小されるので、重要領域の視認性が向上する。

なお、図２４の例では、見やすくするために、重要領域３４１の手前側に重要領域３４２が図示されているが、実際には、重要領域３４１と重要領域３４２の奥行き方向の位置は同一である。

擬似画像生成部１６は、スケーリング率をパラメータの値に即座に変更してもよいし、１からパラメータの値まで段階的に変更するようにしてもよい。擬似画像生成部１６は、スケーリング率を段階的に変更する場合、変更後のスケーリング率と合成奥行き画像とに基づいて、合成画像の被写体をズームアウト（広角）撮影したときの画像の予測値を擬似撮影画像として生成することができる。

以上のようにスケーリングモデルにしたがって擬似撮影画像が生成される場合、擬似画像生成部１６は、変換部３１１と切り出し部３１２の間に調整部を備える。そして、調整部は、変換部３１１から供給される擬似撮影画像、合成部１３から出力される合成奥行き画像、および決定部１５から供給されるパラメータを用いて、擬似撮影画像の被写界深度を調整する。

具体的には、パラメータとしてのスケーリング率が１より大きい場合、調整部は、擬似撮影画像の重要領域よりも手前側の領域と奥側の領域の画素値に対して平滑化処理を行う。これにより、擬似撮影画像において、重要領域にピントがあった状態で被写体深度が浅くなり、重要領域以外でフォーカスぼけが発生する。

また、パラメータとしてのスケーリング率が１より小さい場合、調整部は、ピントが合っていないボケ領域に対し、超解像度処理、高域強調処理などのデブラー処理を行う。これにより、擬似撮影画像の被写体深度が深くなる。調整部により被写界深度が調整された疑似撮影画像は切り出し部３１２に供給される。

（パラメータの決定方法の第５の例）
図２５は、パラメータの決定方法の第５の例を説明する図である。

図２５の例では、視線方向を考慮した透視変換モデルにしたがって擬似撮影画像が生成される。視線方向を考慮した透視変換モデルでは、上述した式（６）を用いて図２５中一点鎖線で示す奥行き方向の位置Depth(xp)が求められる。

そして、奥行き方向の位置Depth(xp)の被写体の３次元位置が、視線方向を中心軸とした透視変換により２次元位置に変換されて、奥行き方向の位置Depth(xp)の被写体の画像のディスプレイ２５１上の水平方向の表示位置と位置xpとの差分が求められる。具体的には、その差分は、奥行き方向の位置Depth(xp)、位置xp、仮想視点の水平方向の位置、仮想視距離、および視線方向の角度θｅを用いて求められる。

なお、視線方向の角度θｅとは、仮想視点の水平方向および垂直方向の位置がディスプレイ２５１の中心と同一である場合の仮想視点とディスプレイ２５１の中心を結ぶ線と、視線方向のなす角である。

視線方向を考慮した透視変換モデルによれば、入力画像の水平方向の表示位置は、視線方向の角度θｅを変更することにより変更することができる。従って、パラメータ決定部２１３は、入力画像の重要領域が観視者の中心視野内に収まるように、視線方向の角度θｅをパラメータとして決定する。

図２５のＡに示すように、重要領域３５１が入力画像２７３の端部に存在する場合、例えば視線方向の角度θｅが０であると、重要領域３５１が中心視野外になる。しかしながら、例えば視線方向の角度θｅが０より大きいと、入力画像２７３内の重要領域３５１の位置が中央付近に移動し、重量領域３５１は中心視野内に収まる。

従って、この場合、パラメータ決定部２１３は、重要領域３５１が中心視野内に収まるように、パラメータとしての視線方向の角度θｅを０より大きい値に決定する。その結果、擬似撮影画像の重要領域の視認性を向上させることができる。

擬似画像生成部１６は、視線方向の角度θｅをパラメータの値に即座に変更してもよいし、０からパラメータの値まで段階的に変更するようにしてもよい。擬似画像生成部１６は、視線方向の角度θｅ段階的に変更する場合、変更後の視線方向の角度θｅと合成奥行き画像とに基づいて、合成画像の被写体をパニング(チルト)撮影（被写体に対してカメラを水平（垂直）に回転しながら撮影）したときの画像の予測値を擬似撮影画像として生成することができる。

＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図２６は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図２６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２６の画像処理装置４００の構成は、解析部１４の代わりに解析部４０１が設けられる点、および、決定部１５の代わりに決定部４０２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置４００は、重要領域情報ではなく、入力画像の撮影時のカメラアングルに基づいてパラメータを決定する。

解析部４０１は、入力画像から撮影時のカメラアングルを推定する。解析部４０１は、推定されたカメラアングルを表すカメラアングル画像推定情報を決定部４０２に供給する。

決定部４０２は、入力画像を撮影したカメラから入力される、内蔵センサにより検出されたセンサ情報と、解析部４０１から供給されるカメラアングル画像推定情報とに基づいて、最終的なカメラアングルの推定値を表すカメラアングル情報を決定する。決定部４０２は、カメラアングル情報に基づいてパラメータを決定し、擬似画像生成部１６に供給する。

なお、パラメータは、水平方向および垂直方向の両方について決定されるが、説明を簡単にするため、以下では、垂直方向のパラメータのみが決定されるものとする。水平方向のパラメータは、垂直方向のパラメータと同様に決定される。

（解析部の構成例）
図２７は、図２６の解析部４０１の構成例を示すブロック図である。

図２６の解析部４０１は、水平線検出部４２１、空面積検出部４２２、顔方向検出部４２３、奥行画像生成部４２４、およびアングル推定部４２５により構成される。

解析部４０１の水平線検出部４２１は、入力画像から水平線を検出し、水平線の位置をアングル推定部４２５に供給する。空面積検出部４２２は、入力画像から空の領域を検出し、空の領域の面積をアングル推定部４２５に供給する。顔方向検出部４２３は、入力画像から顔の方向を検出し、顔の方向をアングル推定部４２５に供給する。

奥行画像生成部４２４は、入力画像から奥行き画像を生成する。奥行き画像の生成方法としては、消失点および消失線の位置などの情報を利用した方法が採用される。この方法は、例えば、“Low complexity 3D depth map generation for stereo applications”, Cheng-An Chien, ICCE2011に記載されている。奥行画像生成部４２４は、奥行き画像の生成の際に利用した消失点および消失線の位置などの情報を、消失情報としてアングル推定部４２５に供給する。

アングル推定部４２５は、水平線検出部４２１からの水平線の位置、空面積検出部４２２からの空の領域の面積、顔方向検出部４２３からの顔の方向、および奥行画像生成部４２４からの消失情報に基づいて、カメラアングル画像推定情報を生成し、図２６の決定部４０２に供給する。

（アングル推定部の構成例）
図２８は、図２７のアングル推定部４２５の構成例を示すブロック図である。

図２８のアングル推定部４２５は、水平線解析部４４１、空面積解析部４４２、顔方向解析部４４３、消失点解析部４４４，およびアングル決定部４４５により構成される。

アングル推定部４２５の水平線解析部４４１は、水平線検出部４２１からの水平線の位置が画面の下側にあるほど、入力画像のカメラアングルがアオリ撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより下方向に設定する。

また、水平線解析部４４１は、水平線の位置が画面の上側にあるほど、入力画像のカメラアングルが俯瞰撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより上方向に設定する。水平線解析部４４１は、設定された仮想視点のディスプレイにおける垂直方向の位置を表す水平線ベース仮想視点情報をアングル決定部４４５に供給する。

空面積解析部４４２は、空面積検出部４２２から供給される空の領域の面積が大きいほど、入力画像のカメラアングルがアオリ撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより下方向に設定する。

また、空面積解析部４４２は、空の領域の面積が小さいほど、入力画像のカメラアングルが俯瞰撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより上方向に設定する。空面積解析部４４２は、設定された仮想視点のディスプレイにおける垂直方向の位置を表す空面積ベース仮想視点情報をアングル決定部４４５に供給する。

顔方向解析部４４３は、顔方向検出部４２３から供給される顔の方向が上方向に近いほど、入力画像のカメラアングルがアオリ撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより下方向に設定する。また、顔方向解析部４４３は、顔の方向が下方向に近いほど、入力画像のカメラアングルが俯瞰撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより上方向に設定する。顔方向解析部４４３は、設定された仮想視点のディスプレイにおける垂直方向の位置を表す顔方向ベース仮想視点情報をアングル決定部４４５に供給する。

消失点解析部４４４は、奥行画像生成部４２４から供給される消失情報に基づいて、下側に消失点がないほど、入力画像のカメラアングルがアオリ撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより下方向に設定する。また、消失点解析部４４４は、上側に消失点がないほど、入力画像のカメラアングルが俯瞰撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置をより上方向に設定する。顔方向解析部４４３は、設定された仮想視点のディスプレイにおける垂直方向の位置を表す消失点ベース仮想視点情報をアングル決定部４４５に供給する。

アングル決定部４４５は、水平線ベース仮想視点情報、空面積ベース仮想視点情報、顔方向ベース仮想視点情報、および消失点ベース仮想視点情報を用いて、以下の式（９）により、入力画像に基づく最終的な仮想視点のディスプレイにおける垂直方向の位置の推定値を算出する。

式（９）において、All_xcは、入力画像に基づく最終的な仮想視点のディスプレイにおける垂直方向の位置の推定値である。また、Wg,Ws,Wh、およびWvは重み係数であり、解析部４０１で検出される水平線、空の領域、顔方向、消失点および消失線の確からしさなどを用いて決定される。この確からしさは、解析部４０１により決定され、決定部４０２に供給される。

また、式（９）において、G_xcは、水平線ベース仮想視点情報が表す位置（の座標）であり、S_xcは、空面積ベース仮想視点情報が表す位置（の座標）である。H_xcは、顔方向ベース仮想視点情報が表す位置（の座標）であり、V_xcは、消失点ベース仮想視点情報が表す位置（の座標）である。

式（９）によれば、位置All_xcは、水平線ベース仮想視点情報、空面積ベース仮想視点情報、顔方向ベース仮想視点情報、および消失点ベース仮想視点情報が表す位置（の座標）の加重平均である。アングル決定部４４５は、入力画像に基づく最終的な仮想視点のディスプレイにおける垂直方向の位置の推定値を表す情報を、カメラアングル画像推定情報として図２６の決定部４０２に供給する。

（消失情報に基づく仮想視点のディスプレイにおける垂直方向の位置の決定の説明）
図２９は、図２８の消失点解析部４４４による消失情報に基づく仮想視点のディスプレイにおける垂直方向の位置の決定を説明する図である。

なお、図２９において、Ｖ１乃至Ｖ３は入力画像内の消失点の位置を表している。

図２９のＡの透視構図では、消失点の位置Ｖ１乃至Ｖ３は入力画像の下側に存在しない。従って、消失情報が表す消失点の位置が図２９のＡの位置Ｖ１乃至Ｖ３である場合、消失点解析部４４４は、入力画像のカメラアングルがアオリ撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置を下方向に設定する。

また、図２９のＢの透視構図では、消失点の位置Ｖ１乃至Ｖ３は入力画像の上側に存在しない。従って、消失情報が表す消失点の位置が図２９のＢの位置Ｖ１乃至Ｖ３である場合、消失点解析部４４４は、入力画像のカメラアングルが俯瞰撮影に近いアングルであると判断し、仮想視点のディスプレイにおける垂直方向の位置を上方向に設定する。

（決定部の構成例）
図３０は、図２６の決定部４０２の構成例を示すブロック図である。

図３０の決定部４０２は、分析部４６１、アングル決定部４６２、およびパラメータ決定部４６３により構成される。

決定部４０２の分析部４６１には、入力画像を撮影したカメラから、そのカメラに内蔵されているGPS(Global Positioning System)やジャイロセンサなどにより検出されたセンサ情報が入力される。分析部４６１は、そのセンサ情報に基づいて仮想視点のディスプレイにおける垂直方向の位置を、カメラアングルを表す情報として推定し、推定された位置を表すカメラアングルセンサ推定情報をアングル決定部４６２に供給する。

アングル決定部４６２は、図２８のアングル決定部４４５から供給されるカメラアングル画像推定情報と、分析部４６１から供給されるカメラアングルセンサ推定情報とに基づいて、以下の式（１０）によりカメラアングル情報を決定する。

式（１０）において、Final_xcは、カメラアングル情報が表す位置である。また、W_allは、重み係数であり、０以上１以下の値である。All_xcは、カメラアングル画像推定情報が表す位置であり、Sensor_xcは、カメラアングルセンサ推定情報が表す位置である。アングル決定部４６２は、カメラアングル情報をパラメータ決定部４６３に供給する。

パラメータ決定部４６３は、カメラアングル情報が表す位置をパラメータとして、図２６の擬似画像生成部１６に供給する。

このパラメータは、擬似画像生成部１６による擬似撮影画像の生成時に用いられる。具体的には、擬似画像生成部１６は、上述した式（６）と（７）の水平方向を垂直方向に代えた式を用いて、入力画像の各画素のディスプレイ上の垂直方向の位置をypとしたときの奥行き方向の位置Depth(yp)の被写体の画像のディスプレイ上の垂直方向の表示位置と、位置ypとの差分を生成する。そして、擬似画像生成部１６は、その差分に基づいて、合成画像の各画素の画素値を移動して配置することにより、合成画像の被写体を入力画像の撮影位置より上または下の位置で撮影したときの撮影画像の予測値を擬似撮影画像として生成する。

（画像処理装置の処理の説明）
図３１は、図２６の画像処理装置４００の処理を説明するフローチャートである。

図３１のステップＳ４１およびＳ４２の処理は、図２２のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ４３において、解析部４０１は、入力画像から撮影時のカメラアングルを推定する。解析部４０１は、推定されたカメラアングルを表すカメラアングル画像推定情報を決定部４０２に供給する。

ステップＳ４４において、決定部４０２は、外部からセンサ情報が入力されたかどうかを判定する。ステップＳ４４で外部からセンサ情報が入力されたと判定された場合、処理はステップＳ４５に進む。

ステップＳ４５において、決定部４０２の分析部４６１（図３０）は、外部から入力されたセンサ情報に基づいてカメラアングルを推定する。分析部４６１は、推定されたカメラアングルを表すカメラアングルセンサ推定情報をアングル決定部４６２に供給し、処理をステップＳ４６に進める。

一方、ステップＳ４４で外部からセンサ情報が入力されていないと判定された場合、処理はステップＳ４６に進む。

ステップＳ４６において、アングル決定部４６２は、解析部４０１から供給されるカメラアングル画像推定情報と、分析部４６１から供給されるカメラアングルセンサ推定情報とに基づいて、上述した式（１０）によりカメラアングル情報を決定する。アングル決定部４６２は、カメラアングル情報をパラメータ決定部４６３に供給する。

ステップＳ４７において、パラメータ決定部４６３は、アングル決定部４６２から供給されるカメラアングル情報に基づいて、カメラアングル情報が表す位置をパラメータに決定する。パラメータ決定部４６３は、パラメータを擬似画像生成部１６に供給する。

ステップＳ４８乃至Ｓ５３の処理は、図２２のステップＳ１８乃至Ｓ２３の処理と同様であるので、説明は省略する。

以上のように、画像処理装置４００は、入力画像のカメラアングル情報に基づいて、入力画像の仮想視点を中心位置からよりずらすことにより擬似撮影画像を生成する。従って、擬似撮影画像では、入力画像に比べて、カメラアングルの構図がより強調され、撮影者の意図がより認識されやすくなる。

＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図３２は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

図３２の画像処理装置５００は、解析部５０１、決定部５０２、中心生成部５０３、周辺生成部５０４、および合成部５０５により構成される。画像処理装置５００は、入力画像の特徴に基づくサイズの画像を画面の所定の領域(以下、画面中心領域という)に配置し、画面中心領域の周辺の領域(以下、画面周辺領域という)を外挿補間することにより、広視野画像を生成する。

具体的には、画像処理装置５００の解析部５０１は、入力画像に関する情報に基づいて、入力画像から、入力画像の特徴として所定の領域を抽出する。解析部５０１は、抽出された所定の領域に基づいて、重要度マップを生成し、撮影画角を推定する。解析部５０１は、重要度マップと撮影画角を決定部５０２に供給する。

決定部５０２は、外部から入力される重要度マップ用の属性信号と解析部５０１から供給される重要度マップとに基づいて、最終的な重要度マップを決定する。また、決定部５０２は、撮影画角用の属性信号と解析部５０１から供給される撮影画角とに基づいて、最終的な撮影画角を決定する。

決定部５０２は、最終的な重要度マップ、撮影画角、および外部から入力される視聴環境に関する情報である視聴環境情報に基づいて、画面中心領域を決定する。視聴環境情報とは、外部センサやユーザ入力により設定された、実際の視点と広視野画像を表示するディスプレイとの距離である実視距離、ディスプレイのサイズなどである。決定部５０２は、画面中心領域の位置およびサイズを特定する画面中心領域情報を中心生成部５０３と周辺生成部５０４に供給する。

中心生成部５０３は、入力画像のサイズが、決定部５０２から供給される画面中心領域情報により特定される画面中心領域のサイズになるように、入力画像をスケーリング処理し、画面中心領域の画像を生成する。中心生成部５０３は、生成された画面中心領域の画像を合成部５０５と周辺生成部５０４に供給する。

周辺生成部５０４は、決定部５０２から供給される画面中心領域情報に基づいて、その画面中心領域情報により特定される画面中心領域の周辺の、画面中心領域と内側が重なる領域を、画面周辺領域として決定する。周辺生成部５０４は、中心生成部５０３から供給される画面中心領域の画像、および、外部から入力される画像を用いて画面周辺領域の画像を外挿補間し、合成部５０５に供給する。

合成部５０５は、中心生成部５０３からの画面中心領域の画像と周辺生成部５０４からの画面周辺領域の画像を合成し、その結果生成される合成画像を広視野画像として出力する。

なお、撮影画角は、水平方向および垂直方向の両方について決定されるが、説明を簡単にするため、以下では、水平方向の撮影画角のみが決定されるものとする。垂直方向の撮影画角は、水平方向の撮影画角と同様に決定される。

（解析部の構成例）
図３３は、図３２の解析部５０１の構成例を示すブロック図である。

図３３に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３２の解析部５０１は、顔検出部１９２、人物検出部１９３、顕著度検出部１９４、奥行き画像生成部５２１、オブジェクト検出部５２２、パース検出部５２３、背景計測部５２４、および重要領域推定部５２５、および撮影画角推定部５２６により構成される。

奥行き画像生成部５２１は、消失点および消失線の位置などの情報を利用した方法で、入力画像から奥行き画像を生成し、背景計測部５２４および撮影画角推定部５２６に供給する。また、奥行き画像生成部５２１は、奥行き画像の生成の際に利用した消失点および消失線の位置などの情報を、消失情報としてパース検出部５２３に供給する。

オブジェクト検出部５２２は、物体認識処理により、入力画像から各種のオブジェクト（物体）を抽出する。オブジェクト検出部５２２は、抽出された各オブジェクトのサイズの相関が、想定される相関に近いほど高くなるように、オブジェクトの確からしさを決定する。

例えば、オブジェクト検出部５２２は、オブジェクトとして抽出された犬や猫のサイズが人のサイズより小さいとき、犬や猫と人のオブジェクトの確からしさを比較的大きい値に決定する。また、オブジェクトとして抽出されたビル、森、山などのサイズが人のサイズより大きいとき、ビル、森、山などと人のオブジェクトの確からしさを比較的大きい値に決定する。

オブジェクト検出部５２２は、オブジェクトごとに、各画素のオブジェクトの確からしさを表す0乃至255の値を画素値とする画像をオブジェクトマップとして生成する。ここでは、オブジェクトマップの画素値が大きいほど、オブジェクトの確からしさが高いものとする。オブジェクト検出部５２２は、生成されたオブジェクトマップを重要領域推定部５２５および撮影画角推定部５２６に供給する。

パース検出部５２３は、奥行き画像生成部５２１から供給される消失情報からパース強度を生成する。具体的には、パース検出部５２３は、消失情報に基づいて、消失点や消失線を１点透視、２点透視、または３点透視というタイプに分類する。そして、パース検出部５２３は、タイプごとに、消失点が画面の中央の近くに存在するほど大きくなるように、パース強度を決定する。これにより、消失点が画面中央から離れた場合、例えば消失点が画面外に存在する場合、パース強度は低くなる。パース検出部５２３は、パース強度を撮影画角推定部５２６に供給する。

背景計測部５２４は、奥行き画像生成部５２１から供給される奥行き画像に基づいて、被写体の奥行き方向の位置が奥側である画素の領域を背景領域に決定する。背景計測部５２４は、入力画像の背景領域の帯域分布が高域まで伸びているかどうかを判定する。例えば、背景計測部５２４は、入力画像の背景領域が、高域信号が比較的アップコンバートされた画像であるかどうかを判定する。この判定方法の詳細は、例えば、特許第5056242号に記載されている。

なお、背景計測部５２４は、フーリエ変換などの周波数変換を行い、係数が高域まで含まれているかどうかを判定することにより、入力画像の背景領域の帯域分布が高域まで伸びているかどうかを判定するようにしてもよい。背景計測部５２４は、判定結果に応じて帯域分布が伸びている高域のレベルを表す背景部精細度信号を生成し、撮影画角推定部５２６に供給する。

重要領域推定部５２５は、顔検出部１９２からの顔マップ、人物検出部１９３からの人物マップ、顕著度検出部１９４からの被写体マップ、およびオブジェクト検出部５２２からのオブジェクトマップに基づいて、重要度マップを生成する。重要度マップの生成方法は、字幕テロップマップの代わりにオブジェクトマップを用いる点を除いて、図１２の推定部１９５における生成方法と同一である。重要領域推定部５２５は、生成した重要度マップを図３２の決定部５０２に供給する。

撮影画角推定部５２６は、奥行き画像、顔マップ、人物マップ、オブジェクトマップ、パース強度、および背景部精細度信号を用いて、撮影画角を推定する。撮影画角推定部５２６は、推定された撮影画角を決定部５０２に供給する。

（撮影画角推定部の構成例）
図３４は、図３３の撮影画角推定部５２６の構成例を示すブロック図である。

図３４の撮影画角推定部５２６は、顔決定部５４１、人物決定部５４２、オブジェクト決定部５４３、および撮影画角変換部５４４により構成される。

撮影画角推定部５２６の顔決定部５４１は、図３３の顔検出部１９２から供給される顔マップに基づいて、奥行き画像生成部５２１から供給される奥行き画像の顔領域の画素値を抽出する。顔決定部５４１は、抽出された奥行き画像の顔領域の画素値に基づく閾値と顔領域のサイズとを比較することにより、顔領域のパース強度を決定する。顔決定部５４１は、決定されたパース強度を顔ベースパース強度として撮影画角変換部５４４に供給する。

人物決定部５４２は、人物検出部１９３から供給される人物マップに基づいて、奥行き画像生成部５２１から供給される奥行き画像の人物領域の画素値を抽出する。人物決定部５４２は、抽出された奥行き画像の人物領域の画素値に基づく閾値と人物領域のサイズとを比較することにより、人物領域のパース強度を決定する。人物決定部５４２は、決定されたパース強度を人物ベースパース強度として撮影画角変換部５４４に供給する。

オブジェクト決定部５４３は、オブジェクトごとに、顕著度検出部１９４から供給されるオブジェクトマップに基づいて、奥行き画像生成部５２１から供給される奥行き画像のオブジェクト領域の画素値を抽出する。オブジェクト決定部５４３は、オブジェクトごとに、抽出された奥行き画像のオブジェクト領域の画素値に基づく閾値とオブジェクト領域のサイズとを比較することにより、オブジェクト領域のパース強度を決定する。オブジェクト決定部５４３は、オブジェクトごとに、決定されたパース強度をオブジェクトベースパース強度として撮影画角変換部５４４に供給する。

撮影画角変換部５４４は、顔決定部５４１からの顔ベースパース強度、人物決定部５４２からの人物ベースパース強度、オブジェクト決定部５４３からのオブジェクトベースパース強度、およびパース検出部５２３からのパース強度に基づいて、以下の式（１１）により、総合パース強度を算出する。

式（１１）において、All_Persは統合パース強度であり、F_Persは顔ベースパース強度であり、H_Persは人物ベースパース強度である。また、O_Persは各オブジェクトのオブジェクトベースパース強度であり、V_Persはパース強度である。さらに、Wf,Wh,Wo,Wvは、重み係数である。Wf,Wh,Woは、対応する領域（顔領域、人物領域、オブジェクト領域）の個数やマップ（顔マップ、人物マップ、オブジェクトマップ）の画素値に基づく領域の確からしさなどを用いて決定される。また、Wvは、消失情報が表す消失点や消失線の個数などを用いて決定される。

式（１１）によれば、統合パース強度は、顔ベースパース強度、人物ベースパース強度、オブジェクトベースパース強度、およびパース強度の加重平均である。

また、撮影画角変換部５４４は、統合パース強度に基づいて撮影画角を推定し、推定された撮影画角をパース強度ベース撮影画角とする。また、撮影画角変換部５４４は、図３３の背景計測部５２４から供給される背景部精細度信号に基づいて撮影画角を推定し、推定された撮影画角を被写界深度ベース撮影画角とする。

そして、撮影画角変換部５４４は、パース強度ベース撮影画角と被写界深度ベース撮影画角とに基づいて、以下の式（１２）により入力画像の特徴に基づく撮影画角の最終的な推定値を決定する。

式（１２）において、Est_angleは入力画像の特徴に基づく撮影画角の最終的な推定値であり、P_angleはパース強度ベース撮影画角であり、B_angleは被写界深度ベース撮影画角である。また、Wp,Wbは、重み係数である。

式（１２）によれば、入力画像の特徴に基づく撮影画角の最終的な推定値は、パース強度ベース撮影画角と被写界深度ベース撮影画角の加重平均である。撮影画角変換部５４４は、決定された撮影画角（入力画像の特徴に基づく撮影画角の最終的な推定値）を図３２の決定部５０２に供給する。

（顔ベースパース強度の説明）
図３５は、顔ベースパース強度を説明する図である。

図３５において、横軸は、奥行き画像の顔領域の画素値が表す被写体の奥行き方向の位置を表し、縦軸は、その顔領域のサイズを表す。

顔決定部５４１は、奥行き方向の位置が奥側であるほど所定の傾きで小さくなる閾値に基づいて、顔領域の奥行き方向の位置が奥側である場合、顔領域の奥行き方向の位置が、その閾値より小さいほど大きくなり、大きいほど小さくなるように顔ベースパース強度を決定する。一方、顔領域の奥行き方向の位置が手前側である場合、顔決定部５４１は、顔領域の奥行き方向の位置が、閾値より大きいほど大きくなり、小さいほど小さくなるように顔ベースパース強度を決定する。

従って、顔ベースパース強度が大きい場合、顔領域の奥行き方向の位置とサイズの関係を示す直線は、例えば、図３５の実線で示すように、傾きが比較的大きくなる。また、顔ベースパース強度が小さい場合、顔領域の奥行き方向の位置とサイズの関係を示す直線は、例えば、図３５の点線で示すように、傾きが比較的小さくなる。

撮影画角が大きいほど、手前側と奥側に存在する顔の大きさの差は大きくなる。即ち、撮影画角が大きいほど、顔領域の奥行き方向の位置とサイズの関係を示す直線の傾きは大きくなる。従って、上述したように顔ベースパース強度が決定されることにより、広角撮影された入力画像の顔領域ほど、顔ベースパース強度が大きくなる。

（人物ベースパース強度の説明）
図３６は、人物ベースパース強度を説明する図である。

図３６において、横軸は、奥行き画像の人物領域の画素値が表す被写体の奥行き方向の位置を表し、縦軸は、その人物領域のサイズを表す。

人物決定部５４２は、奥行き方向の位置が奥側であるほど所定の傾きで小さくなる閾値に基づいて、人物領域の奥行き方向の位置が奥側である場合、人物領域の奥行き方向の位置が、その閾値より小さいほど大きくなり、大きいほど小さくなるように人物ベースパース強度を決定する。一方、人物領域の奥行き方向の位置が手前側である場合、人物決定部５４２は、人物領域の奥行き方向の位置が、閾値より大きいほど大きくなり、小さいほど小さくなるように人物ベースパース強度を決定する。

従って、人物ベースパース強度が大きい場合、人物領域の奥行き方向の位置とサイズの関係を示す直線は、例えば、図３６の実線で示すように、傾きが比較的大きくなる。また、人物ベースパース強度が小さい場合、人物領域の奥行き方向の位置とサイズの関係の直線は、例えば、図３６の点線で示すように、傾きが比較的小さくなる。

撮影画角が大きいほど、手前側と奥側に存在する人物の大きさの差は大きくなる。即ち、撮影画角が大きいほど、人物領域の奥行き方向の位置とサイズの関係を示す直線の傾きは大きくなる。従って、上述したように人物ベースパース強度が決定されることにより、広角撮影された入力画像の人物領域ほど、人物ベースパース強度が大きくなる。

（オブジェクトベースパース強度の説明）
図３７は、オブジェクトベースパース強度を説明する図である。

図３７において、横軸は、奥行き画像のオブジェクト領域の画素値が表す被写体の奥行き方向の位置を表し、縦軸は、そのオブジェクト領域のサイズを表す。

オブジェクト決定部５４３は、オブジェクトごとに、奥行き方向の位置が奥側であるほど所定の傾きで小さくなる閾値に基づいて、オブジェクト領域の奥行き方向の位置が奥側である場合、オブジェクト領域の奥行き方向の位置が、その閾値より小さいほど大きくなり、大きいほど小さくなるようにオブジェクトベースパース強度を決定する。

一方、オブジェクト領域の奥行き方向の位置が手前側である場合、オブジェクト決定部５４３は、オブジェクト領域の奥行き方向の位置が、閾値より大きいほど大きくなり、小さいほど小さくなるようにオブジェクトベースパース強度を決定する。

従って、オブジェクトベースパース強度が大きい場合、オブジェクト領域の奥行き方向の位置とサイズの関係を示す直線は、例えば、図３７の実線で示すように、傾きが比較的大きくなる。また、オブジェクトベースパース強度が小さい場合、オブジェクト領域の奥行き方向の位置とサイズの関係を示す直線は、例えば、図３７の点線で示すように、傾きが比較的小さくなる。

撮影画角が大きいほど、手前側と奥側に存在するオブジェクトの大きさの差は大きくなる。即ち、撮影画角が大きいほど、オブジェクト領域の奥行き方向の位置とサイズの関係を示す直線の傾きは大きくなる。従って、上述したようにオブジェクトベースパース強度が決定されることにより、広角撮影された入力画像のオブジェクト領域ほど、オブジェクトベースパース強度が大きくなる。

（パース強度ベース撮影画角の説明）
図３８は、パース強度ベース撮影画角を説明する図である。

図３８において、横軸は、統合パース強度を表し、縦軸は、その統合パース強度に基づいて決定されるパース強度ベース撮影画角を表している。

撮影画角変換部５４４は、統合パース強度が大きいほど、広角撮影である、即ち撮影画角が大きいと推定する。従って、図３８に示すように、統合パース強度が大きいほど大きくなるようにパース強度ベース撮影画角が決定される。

（被写界深度ベース撮影画角の説明）
図３９は、被写界深度ベース撮影画角を説明する図である。

図３９において、横軸は、背景部精細度信号を表し、縦軸は、その背景部精細度信号に基づいて決定される被写界深度ベース撮影画角を表している。

撮影画角変換部５４４は、背景部精細度信号が大きいほど、即ち背景がぼけていないほど、撮影画角が大きいと推定する。従って、図３９に示すように、背景部精細度信号が大きいほど大きくなるように被写界深度ベース撮影画角が設定される。

（決定部の構成例）
図４０は、図３２の決定部５０２の構成例を示すブロック図である。

図４０に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図４０の決定部５０２は、分析部２１１、重要領域決定部２１２、分析部５６１、撮影画角決定部５６２、および領域決定部５６３により構成される。

決定部５０２の分析部５６１は、外部から撮影画角用の属性信号として入力される、入力画像の撮影時の焦点距離とイメージセンサのサイズに基づいて、撮影画角を決定する。なお、分析部５６１は、外部からJPEG(Joint Photographic Experts Group)のExif情報などを取得することにより撮影画角を設定してもよい。分析部５６１は、撮影画角を撮影画角決定部５６２に供給する。

撮影画角決定部５６２は、図３４の撮影画角変換部５４４から供給される撮影画角と、分析部５６１から供給される撮影画角とに基づいて、以下の式（１３）により最終的な撮影画角を決定する。

式（１３）において、Final_angleは、最終的な撮影画角であり、Est_angleは、撮影画角変換部５４４から供給される撮影画角であり、Meta_angleは分析部５６１から供給される撮影画角である。また、W_estは、重み係数を表し、０以上１以下の値である。撮影画角決定部５６２は、最終的な撮影画角を領域決定部５６３に供給する。

領域決定部５６３は、外部から入力される観視環境情報に含まれる実視距離とディスプレイのサイズに基づいて観視画角を求める。領域決定部５６３は、観視画角、撮影画角決定部５６２から供給される最終的な撮影画角、および重要領域決定部２１２により生成される最終的な重要領域情報に基づいて、縦横比が画面と同一である画面内の所定の位置の所定のサイズの領域を画面中心領域に決定する。

具体的には、領域決定部５６３は、画面中心領域の撮影画角が観視画角と同一になるように、画面に対する画面中心領域の比率である画面相対比を決定する。また、最終的な重要領域情報が表す重要領域が、観視者の中心視野内に収まるように、画面中心領域の位置を決定する。領域決定部５６３は、画面相対比と画面中心領域の位置を表す情報を、画面中心領域情報として、図３２の中心生成部５０３と周辺生成部５０４に供給する。これにより、画面中心領域の撮影画角が観視画角と同一になる撮影画角で撮影したときの撮影画像の予測値である擬似撮影画像が画面中心領域の画像として生成される。

（属性信号に基づく撮影画角の決定方法）
図４１は、図４０の分析部５６１における撮影画角の決定方法を説明する図である。

図４１に示すように、イメージセンサ５８２が、被写体５８１を撮影して入力画像を生成する場合、入力画像の撮影画角θ、イメージセンサ５８２のサイズｘ、および撮影時の焦点距離ｆの関係は、以下の式（１４）で表される。

従って、分析部５６１は、撮影画角用の属性信号として入力される入力画像の撮影時の焦点距離ｆとイメージセンサのサイズｘに基づいて、以下の式（１５）により、撮影画角θを求める。

（中心生成部の構成例）
図４２は、図３２の中心生成部５０３の構成例を示すブロック図である。

図４２の中心生成部５０３は、設定部６０１とスケーリング部６０２により構成される。

中心生成部５０３の設定部６０１は、図４０の領域決定部５６３から供給される画面中心領域情報に含まれる画面相対比に基づいて、以下の式（１６）によりスケール率を設定し、スケーリング部６０２に供給する。

式（１６）において、Scaleは、スケール率であり、W_disp,H_dispは、それぞれ、画面の横方向（水平方向）のサイズ、縦方向（垂直方向）のサイズである。また、CentralPartRatioは、画面相対比であり、W_in,H_inは、それぞれ、入力画像の水平方向のサイズ、垂直方向のサイズである。

スケーリング部６０２は、設定部６０１から供給されるスケール率に基づいて、入力画像のサイズが画面中心領域のサイズになるように、入力画像をスケーリング処理する。スケール率が１より大きい場合、スケーリング処理は拡大処理となるが、この拡大処理としては、例えば、バイリニア補間技術、バイキュービック補間技術、ランチョス補間技術、いわゆる超解像技術などを用いることができる。

スケーリング部６０２は、スケーリング処理後の入力画像を画面中心領域の画像として図３２の周辺生成部５０４と合成部５０５に供給する。

（周辺生成部の構成例）
図４３は、図３２の周辺生成部５０４の構成例を示すブロック図である。

図３２の周辺生成部５０４は、設定部６２１、外挿部６２２、および調整部６２３により構成される。

周辺生成部５０４の設定部６２１は、図４０の領域決定部５６３から供給される画面中心領域情報に基づいて画面周辺領域を決定する。そして、設定部６２１は、画面周辺領域を特定する画面周辺領域情報を外挿部６２２と調整部６２３に供給する。

外挿部６２２は、設定部６２１から供給される画面周辺領域情報により特定される画面周辺領域の画像を、図４２のスケーリング部６０２から供給される画面中心領域の画像、および、外部から供給される画像を用いて、外挿補間を行うことにより生成する。なお、外挿部６２２における外挿補間の方式としては、図２の外挿部３１における方式と同様の方式を用いることができる。

また、外部から供給される画像としては、例えば、外部記録媒体上の画像、ネットワーク上の画像、CG（Computer Graphics）データベースの画像がある。外挿補間の方式としてマッチング方式が採用される場合、外挿部６２２は、外部から供給される画像のうちの、画像、撮影位置、撮影日時などについて入力画像との類似度が高い画像を参照して外挿補間を行う。

このように、外挿部６２２は、画面中心領域の画像だけでなく、外部から供給される画像も用いて外挿補間を行う。従って、外挿部６２２は、入力画像だけでは外挿予測が難しいシーンの入力画像に対しても、画像、撮影位置、撮影日時などが類似する画像を用いることにより、外挿予測を行うことができる。また、画面周辺領域の画像が、森や芝生などの典型的なテクスチャである場合、ＣＧデータベースの画像を用いて外挿補間を行うことにより、画面周辺領域の画像の画質を向上させることができる。

外挿部６２２は、外挿補間により生成された画面周辺領域の画像を調整部６２３に供給する。また、外挿部６２２は、外挿補間結果の確からしさを示す外挿信頼度を生成する。例えば、外挿部６２２は、外挿補間におけるマッチングの精度を0以上1以下の値で表し、外挿信頼度とする。外挿部６２２は、外挿信頼度を調整部６２３に供給する。

調整部６２３は、外挿部６２２から供給される外挿信頼度に基づいて、画面周辺領域の画像を調整し、調整後の画面周辺領域の画像を図３２の合成部５０５に供給する。

なお、ここでは、外挿部６２２は、画面中心領域の画像と外部から供給される画像のうちの類似度の高い画像を用いて外挿補間を行うものとするが、外挿部６２２は、外部から供給される、広視野画像を表示するディスプレイの背後の壁の撮影画像を用いて外挿補間を行うようにしてもよい。

図４４のＡに示すように、画面中心領域の画像と外部から供給される画像のうちの類似度の高い画像を用いて外挿補間が行われる場合、ディスプレイ６４１には、画面中心領域６５１Ａと画面周辺領域６５１Ｂの絵柄がつながった広視野画像６５１が表示される。従って、観視者は、ディスプレイ６４１の画面サイズの広視野画像６５１を観視することができる。

これに対して、図４４のＢに示すように、外部から供給されるディスプレイ６４１の背後の壁６４２の撮影画像を用いて外挿補間が行われる場合、ディスプレイ６４１には、画面中心領域６５１Ａとディスプレイ６４１の背後の壁６４２の画像が配置される画面周辺領域６５２Ｂとからなる広視野画像６５２が表示される。従って、画面周辺領域６５２Ｂの画像と壁６４２が一体化し、観視者は、あたかも画面中心領域６５１Ａの画像を小窓を介して遠くから観視しているように感じる。よって、広視野画像の実物感や臨場感が向上する。

なお、外挿部６２２は、画面中心領域の画像のみを用いて外挿補間を行うようにしてもよい。

（画像処理装置の処理の説明）
図４５は、図３２の画像処理装置５００の画像処理を説明するフローチャートである。

図４５のステップＳ７１乃至Ｓ７３の処理は、図２２のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。

ステップＳ７４において、解析部５０１は、撮影画角を推定する。ステップＳ７５において、決定部５０２は、外部から重要度マップ用の属性信号が入力されたかどうかを判定する。ステップＳ７５で重要度マップ用の属性信号が入力されたと判定された場合、処理はステップＳ７６に進む。

ステップＳ７６において、決定部５０２の分析部２１１（図４０）は、外部から重要度マップ用の属性信号として入力されるEPGの番組ジャンル情報等に基づいて、重要度マップを生成する。分析部２１１は、生成された重要度マップを重要領域決定部２１２に供給し、処理をステップＳ７７に進む。

一方、ステップＳ７５で重要度マップ用の属性信号が入力されていないと判定された場合、処理はステップＳ７７に進む。

ステップＳ７７において、重要領域決定部２１２は、解析部５０１からの重要度マップと分析部２１１により生成された重要度マップに基づいて最終的な重要度マップを決定する。重要領域決定部２１２は、重要度マップに基づいて重要領域情報を生成し、領域決定部５６３に供給する。

ステップＳ７８において、決定部５０２は、外部から撮影画角用の属性信号が入力されたかどうかを判定する。ステップＳ７８で撮影画角用の属性信号が入力されたと判定された場合、処理はステップＳ７９に進む。

ステップＳ７９において、決定部５０２の分析部５６１（図４０）は、外部から撮影画角用の属性信号に基づいて、撮影画角を決定する。分析部５６１は、撮影画角を撮影画角決定部５６２に供給し、処理をステップＳ８０に進める。

一方、ステップＳ７８で撮影画角用の属性信号が入力されていないと判定された場合、処理はステップＳ８０に進む。

ステップＳ８０において、撮影画角決定部５６２は、解析部５０１から供給される撮影画角と、分析部５６１から供給される撮影画角とに基づいて、最終的な撮影画角を決定する。撮影画角決定部５６２は、最終的な撮影画角を領域決定部５６３に供給する。

ステップＳ８１において、領域決定部５６３は、観視画角、最終的な重要領域情報、および最終的な撮影画角に基づいて、画面中心領域を決定する。なお、観視画角は、外部から入力される観視環境情報に基づいて求められる。領域決定部５６３は、画面相対比と画面中心領域の位置を表す情報を、画面中心領域情報として、中心生成部５０３と周辺生成部５０４に供給する。

ステップＳ８２において、中心生成部５０３は、決定部５０２からの画面中心領域情報に基づいて入力画像をスケーリング処理し、画面中心領域の画像を生成する画面中心領域生成処理を行う。中心生成部５０３は、生成された画面中心領域の画像を周辺生成部５０４と合成部５０５に供給する。

ステップＳ８３において、周辺生成部５０４は、決定部５０２からの画面中心領域情報に基づいて画面周辺領域生成処理を行う。画面周辺領域生成処理は、画面中心領域情報に基づいて、画面中心領域の画像または外部から供給される画像を用いて外挿補間を行うことにより画面周辺領域の画像を生成し、外挿信頼度に基づいて調整する処理である。周辺生成部５０４は、調整後の画面周辺領域の画像を合成部５０５に供給する。

ステップＳ８４において、合成部５０５は、中心生成部５０３からの画面中心領域の画像と周辺生成部５０４からの画面周辺領域の画像を合成する合成処理を行う。ステップＳ８５において、合成部５０５は、合成処理の結果得られる合成画像を広視野画像として出力する。

ステップＳ８６において、画像処理装置５００は、画像が新たに入力されたかどうかを判定する。ステップＳ８６で画像が新たに入力されたと判定された場合、処理はステップＳ７２に戻り、画像が新たに入力されなくなるまで、ステップＳ７２乃至Ｓ８６の処理が繰り返される。

一方、ステップＳ８６で画像が新たに入力されていないと判定された場合、処理は終了する。

以上のように、画像処理装置５００は、入力画像と奥行き画像に基づいて、入力画像の撮影画角を推定する。そして、画像処理装置５００は、推定された撮影画角と擬似撮影画像の観視画角に基づいて、入力画像から、観視画角と同一の撮影画角で撮影したときの撮影画像の予測値を擬似撮影画像として生成する。従って、奥行き画像を用いて入力画像の撮影方法を擬似的に変更することができる。

＜効果の説明＞
図４６は、画像処理装置１０、画像処理装置４００、および画像処理装置５００による効果を説明する図である。

図４６に示すように、画像処理装置１０は、重要領域が中心視野内に収まるように、入力画像の仮想視点の位置を水平方向または垂直方向に移動させながら、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をトラック撮影したときの運動視差を有する画像である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にトラック撮影した擬似トラック撮影画像であるといえる。

擬似トラック撮影画像では、入力画像に比べて、臨場感、視認性、および奥行き感が向上する。例えば、擬似トラック撮影画像が、合成画像の被写体を擬似的に水平方向にトラック撮影した画像である場合、電車から外の景色を観視するときのように水平方向に運動視差が発生するため、奥行き感が向上する。

また、画像処理装置１０は、重要領域が中心視野内に収まり、重要領域の中心視野内の占有率が閾値以上となるように、入力画像の仮想視距離を前進移動させながら、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をドリーイン撮影したときの運動視差を有する画像である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にドリーイン撮影した擬似ドリーイン撮影画像であるといえる。

擬似ドリーイン撮影画像では、入力画像に比べて、臨場感、視認性、および奥行き感が向上する。例えば、小さくて見にくい重要領域を前に近づいて観視するときのように運動視差が発生するため、奥行き感が向上する。

さらに、画像処理装置１０は、重要領域が中心視野内に収まるように、入力画像の仮想視距離を後進移動させながら、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をドリーアウト撮影したときの運動視差を有する画像である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にドリーアウト撮影した擬似ドリーアウト撮影画像であるといえる。

擬似ドリーアウト撮影画像では、入力画像に比べて、臨場感、視認性、および奥行き感が向上する。例えば、近づきすぎて見にくい重要領域を後ろに下がって観視するときのように運動視差が発生するため、奥行き感が向上する。

画像処理装置５００は、観視画角が撮影画角より大きい場合、観視画角と撮影画角が同一になるように、入力画像を縮小することにより、撮影画角と観視画角が同一である広視野画像を生成する。これにより、例えば、撮影者が撮影位置から観視したシーンを、広視野画像を観視する観視者に観視させることができる。

従って、このような広視野画像では、入力画像に比べて、臨場感と実物感が向上する。例えば、入力画像が望遠撮影された場合、被写体から遠く離れた撮影者の撮影位置から観視したシーンの画像を広視野画像として観視者に観視させ、臨場感と実物感を向上させることができる。

また、画像処理装置５００は、観視画角が撮影画角より小さい場合、観視画角と撮影画角が同一になるように、入力画像を拡大することにより、撮影画角と観視画角が同一である広視野画像を生成する。これにより、例えば、撮影者が撮影位置から観視したシーンを、広視野画像を観視する観視者に観視させることができる。

従って、このような広視野画像では、入力画像に比べて、臨場感、実物感、および視認性が向上する。例えば、入力画像が広角撮影された場合、被写体の近くに寄っている撮影者の撮影位置から観視したシーンの画像を広視野画像として観視者に観視させ、臨場感、実物感、および視認性を向上させることができる。

画像処理装置４００は、入力画像の撮影時のカメラアングルに基づいて、そのカメラアングルを強調するように仮想視点の位置を変更して、擬似撮影画像を生成する。この擬似撮影画像は、入力画像に比べてカメラアングルをより強調して、合成画像の被写体を撮影したときの撮影画像の予測値である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にカメラアングルを強調して撮影した擬似カメラアングル撮影画像であるといえる。

擬似カメラアングル撮影画像では、撮影者が意図した構図の印象を強めることができるため、入力画像に比べてシーンの印象度が向上する。

画像処理装置１０はまた、重要領域が中心視野内に収まるように、入力画像のスケーリング率を増加させながら、重要領域の手前側と奥側の領域の画素値を平滑化することにより、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をズームイン撮影したときの狭角の撮影画角と浅い被写界深度を有する画像である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にズームイン撮影した擬似ズームイン撮影画像であるといえる。

擬似ズームイン撮影画像では、入力画像に比べて、視認性と奥行き感が向上する。即ち、合成画像内の小さくて見づらい重要領域をズームイン撮影したときのように視認性と奥行き感が向上する。

また、画像処理装置１０は、重要領域が中心視野内に収まるように、入力画像のスケーリング率を減少させながら、ボケ領域に対してデブラー処理を行うことにより、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をズームアウト撮影したときの広角の撮影画角と深い被写界深度を有する画像である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にズームイン撮影した擬似ズームイン撮影画像であるといえる。

擬似ズームアウト撮影画像では、入力画像に比べて視認性が向上する。即ち、合成画像の被写体を広角撮影したときのように被写界深度が深くなり、視認性が向上する。

さらに、画像処理装置１０は、重要領域が中心視野内に収まるように、入力画像の視線方向の角度を変更しながら、擬似撮影画像を生成する。この擬似撮影画像は、合成画像の被写体をパニング(チルト)撮影したときの撮影画像の予測値である。従って、この擬似撮影画像は、合成画像の被写体を擬似的にパニング(チルト)撮影した擬似パニング(チルト)撮影画像であるといえる。

擬似パニング（チルト）撮影画像では、入力画像に比べて視認性が向上する。例えば、入力画像が広角パノラマ画像である場合、入力画像の被写体の周囲を回転して撮影したときのように、視認性が向上する。

なお、撮影画角と観視画角が同一である広視野画像の生成時、および、擬似パニング（チルト）撮影画像の生成時には、奥行き画像は用いられなくてもよい。また、擬似カメラアングル撮影画像の生成時、消失情報は用いられなくてもよい。

＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本開示は、以下のような構成もとることができる。

（１）
画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値を擬似撮影画像として生成する擬似画像生成部
を備える画像処理装置。
（２）
前記値は、前記画像の重要領域が、前記擬似撮影画像を観視する観視者の中心視野内に収まるように決定される
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記擬似画像生成部は、前記パラメータの値を、所定値から、決定された前記値に段階的に変更し、変更後の前記値と前記奥行き画像に基づいて前記擬似撮影画像を生成する
ように構成された
前記（２）に記載の画像処理装置。
（４）
前記パラメータは、前記擬似撮影画像の仮想視点の位置であり、
前記所定の撮影方法は、トラック撮影である
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記パラメータは、前記擬似撮影画像の仮想視距離であり、
前記所定の撮影方法は、ドリーイン撮影またはドリーアウト撮影である
ように構成された
前記（３）または（４）に記載の画像処理装置。
（６）
前記パラメータは、前記画像のスケーリング率であり、
前記所定の撮影方法は、ズームイン撮影またはズームアウト撮影である
ように構成された
前記（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記所定の撮影方法に基づいて、前記擬似画像生成部により生成された前記擬似撮影画像の被写界深度を調整する調整部
をさらに備える
前記（６）に記載の画像処理装置。
（８）
前記調整部は、前記所定の撮影方法がズームイン撮影である場合、前記擬似撮影画像の前記重要領域の前記被写体の奥行き方向の位置よりも手前側と奥側の前記被写体の領域を平滑化することにより、前記被写界深度を調整する
ように構成された
前記（７）に記載の画像処理装置。
（９）
前記調整部は、前記所定の撮影方法がズームアウト撮影である場合、前記擬似撮影画像のボケ領域に対してデブラー処理を行うことにより、前記被写界深度を調整する
ように構成された
前記（７）または（８）に記載の画像処理装置。
（１０）
前記パラメータは、前記擬似撮影画像の視線方向の角度であり、
前記所定の撮影方法は、パニング撮影またはチルト撮影である
ように構成された
前記（３）乃至（９）に記載の画像処理装置。
（１１）
前記パラメータは、前記擬似撮影画像の仮想視点の位置であり、
前記所定の撮影方法は、前記画像の撮影位置より上または下の位置での撮影である
ように構成された
前記（１）に記載の画像処理装置。
（１２）
前記擬似画像生成部は、前記値と、外挿補間された周辺奥行き画像と前記奥行き画像を合成した合成奥行き画像とに基づいて、外挿補間された周辺画像と前記画像を合成した合成画像から前記擬似撮影画像を生成する
ように構成された
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記画像を用いて前記周辺画像を外挿補間し、前記奥行き画像を用いて前記周辺奥行き画像を外挿補間する周辺生成部と、
前記周辺生成部により外挿補間された前記周辺画像と前記画像を合成して前記合成画像を生成し、前記周辺生成部により外挿補間された前記周辺奥行き画像と前記奥行き画像を合成して前記合成奥行き画像を生成する合成部と
をさらに備える
前記（１２）に記載の画像処理装置。
（１４）
前記擬似画像生成部により生成された前記擬似撮影画像の少なくとも一部を削除する切り出し部
をさらに備える
前記（１３）に記載の画像処理装置。
（１５）
画像処理装置が、
画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値を擬似撮影画像として生成する擬似画像生成ステップ
を含む画像処理方法。
（１６）
画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角を推定する撮影画角推定部と、
前記撮影画角推定部により推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値を擬似撮影画像として生成する生成部と
を備える画像処理装置。
（１７）
前記生成部は、前記観視画角が前記撮影画角より大きい場合、前記画像を縮小することにより前記擬似撮影画像を生成する
ように構成された
前記（１６）に記載の画像処理装置。
（１８）
前記生成部は、前記観視画角が前記撮影画角より小さい場合、前記画像を拡大することにより前記擬似撮影画像を生成する
ように構成された
前記（１６）または（１７）に記載の画像処理装置。
（１９）
前記生成部により生成された前記擬似撮影画像または外部から入力される画像を用いて、前記擬似撮影画像の周辺領域の画像を外挿補間する周辺生成部と、
前記周辺生成部により外挿補間された前記周辺領域の画像と前記擬似撮影画像を合成する合成部と
をさらに備える
前記（１６）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
画像処理装置が、
画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角を推定する撮影画角推定ステップと、
前記撮影画角推定ステップの処理により推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値を擬似撮影画像として生成する生成ステップと
を含む画像処理方法。

１０ 画像処理装置， １２ 周辺生成部， １３ 合成部， １５ 決定部， ３１１ 変換部， ３１２ 切り出し部， ４００ 画像処理装置， ４０２ 決定部， ５００ 画像処理装置， ５０３ 中心生成部， ５０４ 周辺生成部， ５０５ 合成部， ５２６ 撮影画角推定部

Claims (20)

1. 画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値を擬似撮影画像として生成する擬似画像生成部
   を備える画像処理装置。
2. 前記値は、前記画像の重要領域が、前記擬似撮影画像を観視する観視者の中心視野内に収まるように決定される
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記擬似画像生成部は、前記パラメータの値を、所定値から、決定された前記値に段階的に変更し、変更後の前記値と前記奥行き画像に基づいて前記擬似撮影画像を生成する
   ように構成された
   請求項２に記載の画像処理装置。
4. 前記パラメータは、前記擬似撮影画像の仮想視点の位置であり、
   前記所定の撮影方法は、トラック撮影である
   ように構成された
   請求項３に記載の画像処理装置。
5. 前記パラメータは、前記擬似撮影画像の仮想視距離であり、
   前記所定の撮影方法は、ドリーイン撮影またはドリーアウト撮影である
   ように構成された
   請求項３に記載の画像処理装置。
6. 前記パラメータは、前記画像のスケーリング率であり、
   前記所定の撮影方法は、ズームイン撮影またはズームアウト撮影である
   ように構成された
   請求項３に記載の画像処理装置。
7. 前記所定の撮影方法に基づいて、前記擬似画像生成部により生成された前記擬似撮影画像の被写界深度を調整する調整部
   をさらに備える
   請求項６に記載の画像処理装置。
8. 前記調整部は、前記所定の撮影方法がズームイン撮影である場合、前記擬似撮影画像の前記重要領域の前記被写体の奥行き方向の位置よりも手前側と奥側の前記被写体の領域を平滑化することにより、前記被写界深度を調整する
   ように構成された
   請求項７に記載の画像処理装置。
9. 前記調整部は、前記所定の撮影方法がズームアウト撮影である場合、前記擬似撮影画像のボケ領域に対してデブラー処理を行うことにより、前記被写界深度を調整する
   ように構成された
   請求項７に記載の画像処理装置。
10. 前記パラメータは、前記擬似撮影画像の視線方向の角度であり、
    前記所定の撮影方法は、パニング撮影またはチルト撮影である
    ように構成された
    請求項３に記載の画像処理装置。
11. 前記パラメータは、前記擬似撮影画像の仮想視点の位置であり、
    前記所定の撮影方法は、前記画像の撮影位置より上または下の位置での撮影である
    ように構成された
    請求項１に記載の画像処理装置。
12. 前記擬似画像生成部は、前記値と、外挿補間された周辺奥行き画像と前記奥行き画像を合成した合成奥行き画像とに基づいて、外挿補間された周辺画像と前記画像を合成した合成画像から前記擬似撮影画像を生成する
    ように構成された
    請求項１に記載の画像処理装置。
13. 前記画像を用いて前記周辺画像を外挿補間し、前記奥行き画像を用いて前記周辺奥行き画像を外挿補間する周辺生成部と、
    前記周辺生成部により外挿補間された前記周辺画像と前記画像を合成して前記合成画像を生成し、前記周辺生成部により外挿補間された前記周辺奥行き画像と前記奥行き画像を合成して前記合成奥行き画像を生成する合成部と
    をさらに備える
    請求項１２に記載の画像処理装置。
14. 前記擬似画像生成部により生成された前記擬似撮影画像の少なくとも一部を削除する切り出し部
    をさらに備える
    請求項１３に記載の画像処理装置。
15. 画像処理装置が、
    画像の特徴に基づいて決定されたパラメータの値と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像から、所定の撮影方法で前記被写体を撮影した撮影画像の予測値を擬似撮影画像として生成する擬似画像生成ステップ
    を含む画像処理方法。
16. 画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角を推定する撮影画角推定部と、
    前記撮影画角推定部により推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値を擬似撮影画像として生成する生成部と
    を備える画像処理装置。
17. 前記生成部は、前記観視画角が前記撮影画角より大きい場合、前記画像を縮小することにより前記擬似撮影画像を生成する
    ように構成された
    請求項１６に記載の画像処理装置。
18. 前記生成部は、前記観視画角が前記撮影画角より小さい場合、前記画像を拡大することにより前記擬似撮影画像を生成する
    ように構成された
    請求項１６に記載の画像処理装置。
19. 前記生成部により生成された前記擬似撮影画像または外部から入力される画像を用いて、前記擬似撮影画像の周辺領域の画像を外挿補間する周辺生成部と、
    前記周辺生成部により外挿補間された前記周辺領域の画像と前記擬似撮影画像を合成する合成部と
    をさらに備える
    請求項１６に記載の画像処理装置。
20. 画像処理装置が、
    画像と前記画像の被写体の奥行き方向の位置を表す奥行き画像とに基づいて、前記画像の撮影画角を推定する撮影画角推定ステップと、
    前記撮影画角推定ステップの処理により推定された前記撮影画角と、擬似撮影画像の観視画角とに基づいて、前記画像から、前記観視画角と同一の画角で撮影した場合の撮影画像の予測値を擬似撮影画像として生成する生成ステップと
    を含む画像処理方法。

Images