JP6552256B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は、撮像後の画像に対して後から焦点距離と視点を変更した画像を生成する画像処理装置及び画像処理装置の制御方法に関するものである。

撮像装置を前後に移動させながらズーム操作し、被写体の大きさは変化させずに背景を大きくすることで遠近感を操作する撮影技法が広く知られている。しかしながら、物理的に遠ざかれない撮影場所や、使用するレンズの倍率以上の焦点距離が必要となるといった物理的制約が原因で、撮影ができないことがある。

そこで、従来から撮影後の画像に対して、仮想視点で撮影した画像を後処理で生成することが行なわれている。

特許文献１は、撮影画像を被写体領域ごとに分割した後に、距離情報を用いて被写体領域を拡大または縮小した背景画像を合成することで、仮想視点で撮影した画像を生成している。

特開２００６−３３２７４３号公報

しかし、特許文献１のように撮影後の画像から仮想撮影条件で撮影した画像を生成する場合、変形前に被写体に隠れていた領域が欠落領域となってしまう。

上述した課題を解決する為に、本発明の画像処理装置は、撮影により得られた入力画像を取得する取得手段と、前記取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する仮想的な撮影条件を決定する決定手段と、前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定手段により決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成手段と、前記入力画像のうちの前記主被写体領域に分類された画像と前記生成手段により生成された前記背景画像とを合成して前記出力画像を生成する合成手段と、を有し、前記分類手段は、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、前記生成手段は、前記分類手段で分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする。

撮像後の画像に対して後から仮想的な撮影条件の画像を生成する際、仮想撮影条件での撮影の再現性は保ちつつ、欠落領域（オクルージョン領域）の発生も抑制することができる。

第１の実施形態のシステム図である。 第１の実施形態の画像変形部のシステム図である。 第１の実施形態のフローチャートである。 第１の実施形態の処理で用いる画像を説明する図である。 仮想視点でのカメラ位置と焦点距離の関係を説明する図である。 撮影時のカメラから背景の距離ならび背景の変倍率の関係を示す図である。 第１の実施形態の画像の領域分割を説明する図である。 第２の実施形態のシステム図である。 第２の実施形態のフローチャートである。 第２の実施形態の処理で用いる画像を説明する図である。

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。以下に説明する一実施形態は、画像処理装置の一例としての、撮影により得られた画像から異なる撮影条件の画像を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、撮影により得られた画像から異なる撮影条件の画像を生成することが可能な任意の機器に適用可能である。

〔第１の実施形態〕
第１の実施形態について図１から図７を用いて説明する。第１の実施形態は、仮想視点の画像を生成するために、撮影画像を奥行き方向の被写体距離に応じて分割し、所定の距離以上にある距離を一律に画像変形することを特徴とする。

《生成する出力画像》
ここで、本実施形態のＰＣにおいて、撮影により得られた画像（入力画像）から生成される画像（出力画像）の構成について説明する。本実施形態では、入力画像を撮影した際の撮影環境における主被写体及び背景被写体の位置関係を維持しつつ、撮影時とは異なる仮想的な撮影条件に対応させた出力画像の一例として、入力画像から所謂ドリーズームした関係にある画像を生成する。

「ドリーズーム」とは、被写体に対して撮像装置を近づけたり（ドリーイン）遠ざかったり（ドリーアウト）させながら焦点距離を変更することで、画像における主被写体の位置及び大きさを維持したまま、背景のみ伸縮したような効果をもたらす撮影方法である。具体的にはドリーインしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を短くして広角側に移行させることでドリーズームが実現できる。またドリーアウトしながら撮影する場合には、主被写体の位置及び大きさが維持されるように焦点距離を長くして望遠側に移行させることでドリーズームが実現できる。

しかしながら、このようなドリーズーム撮影には、撮像装置を光軸方向に移動可能な物理的なスペースと、移動量に対応した焦点距離を設定可能な撮像光学系が必要となる。つまり、撮影場所において撮像装置をもって移動を行うことが困難な場合や、対応する焦点距離に撮像光学系が対応していない場合にはドリーズーム撮影を行うことができない。従って、本実施形態ではこのようなドリーズーム撮影を擬似的に可能ならしめるため、入力画像に対して変形を伴う画像処理を適用することで、ドリーズームした関係にある出力画像を生成する。以下では、入力画像とドリーズームした関係にある出力画像を「ドリーズーム画像」と称して説明を行う。

《画像処理に係る構成》
図１、図２は、本発明の実施形態に係るＰＣ１００の機能構成のうち、ドリーズーム画像の生成を行う画像処理に係る機能構成を示したブロック図である。以下に説明する各ブロックは、例えばＰＣ１００が有する不図示の制御部が、ＨＤＤ等の記録装置に記録された対応するアプリケーションプログラムをＲＡＭ等に展開して実行することで実現される、画像処理に係る各モジュールであるものとして説明する。しかしながら、本発明の実施において画像処理はプログラムにより実現されるものに限らず、１以上のモジュールに対応する機能を有する情報処理回路等のハードウェアによって動作が実現されるものであってもよい。

画像入力部１０１は、撮像装置において撮影された画像を入力画像として取得する。以下の説明において、入力画像４０１は、図４（Ａ）に示されるような撮影画像であるものとして説明する。本実施形態では画像処理によってドリーズーム画像を生成するが、主被写体は図４（Ｂ）に示す通り画角中心に位置する主被写体画像４１１であるとする。

距離情報入力部１０３、カメラパラメータ入力部１０４は、入力画像４０１が撮影された際の撮影条件の情報を取得する。本実施形態では撮影条件の情報には、少なくとも撮影時に撮像装置に設定されていた撮像光学系の焦点距離の情報、及び撮影画角内に捉えられていた被写体各々の撮像装置との距離の情報（距離情報）を含むものとする。各被写体と入力画像４０１を撮影した撮像装置との距離は、撮像装置が瞳分割画像を記録する撮像素子を用いている場合、２つの分割瞳領域に対応する画像の相関演算により求められるデフォーカス量に基づいて算出されるものであってもよい。また、焦点位置を変化させながら撮影された複数の画像のコントラスト評価値を用いるものであってもよいし、複数の位置で同時に撮影された画像の相関演算により求められるデフォーカス量を用いるものであってもよい。距離情報入力部１０３は取得した撮影時の撮影条件の情報のうちの距離情報を領域分割部２０１に出力する。またカメラパラメータ入力部１０４は、撮影時の撮影条件の情報のうちの距離情報及び焦点距離の情報を後述の変形パラメータ算出部１０５に出力する。

領域分割部２０１は、情報入力部１０５から入力された距離情報に基づいて、入力画像４０１を主被写体領域とそれ以外の背景領域とに分割した画像を生成する。特に本実施形態のように背景領域に複数の異なる距離に背景被写体が存在する場合、領域分割部１０２は背景領域に含まれる各々深度の範囲が異なる背景被写体を、深度の範囲ごとに分離した画像を生成する。

なお、本実施形態では説明を簡単にするため、入力画像４０１を「分割」するものとして説明するが、本発明の実施において入力画像４０１は必ずしも分割される必要はない。本実施形態の画像処理では、入力画像４０１は主被写体領域と背景領域、あるいは背景領域内の個々の背景被写体の領域に分離されて処理できればよい。故に、領域分割部１０２は入力画像４０１の各画素に、あるいは所定の大きさの領域ごとに、主被写体領域と背景領域のいずれかに「分類」したことを示す情報を付す構成であってもよい。また画像の分割は、距離情報だけでなく例えば特定の背景被写体に係る特徴量等を用いて行ってもよい。また本実施形態のように背景領域の画像を撮像装置からの距離に応じて複数の背景画像に分割するものとして説明したが、背景領域の画像は撮像装置からの距離の範囲ごとに分離せずとも本発明の実施は可能である。なお、距離に応じて複数の背景画像に分割する場合は、例えば像の拡大によって背景被写体間にオクルージョンが生じる場合であっても容易に対応することができる。

カメラパラメータ入力部１０４は、生成するドリーズーム画像に係る条件を示す条件情報を取得し、変形パラメータ算出部１０７に出力する。本実施形態では条件設定部１０６は、入力画像４０１の背景領域のうちの最奥に位置する背景被写体の像の大きさを、ドリーズーム画像においてどれだけ変化させるかを示す情報を例えばユーザ入力等により取得する。具体的にはカメラパラメータ入力部１０４は、最奥に位置する背景被写体である樹木４２４の像について、入力画像４０１における大きさとドリーズーム画像における大きさとの比率（変倍率）を示す変倍率情報を取得する。本実施形態では変倍率情報はユーザ入力により設定されるものとして説明するが、本発明の実施はこれに限られるものでなく、例えば予め定められた変倍率のリストから順次取得するもの等であってもよい。また変倍率を指定する背景被写体は最奥に位置する被写体に限られるものでなく、背景領域のうちの所定の方法により選択される背景被写体がその指定対象であってよい。また変倍率を指定する方法は、例えばＧＵＩ画面に従ったスライドバーへの操作入力により行われてもよい。あるいは、例えばタッチ入力を検出するセンサを有する表示装置に入力画像４０１が表示される場合、２つのタッチ入力点の間隔を変更する、所謂ピンチイン／アウト操作によって行われてもよい。

変形パラメータ算出部１０５は、入力された焦点距離の情報、距離情報、変倍率情報とに基づいて、背景画像４２１の各々をドリーズーム画像用に変形するための変形パラメータを算出する。変形パラメータの算出方法については、ドリーズーム画像の生成原理とともに後述する。変形パラメータ算出部１０５は、算出した変形パラメータを画像変形部１０２に順次出力する。

画像変形部１０２は、入力された変形パラメータに従って背景画像４２１の各々を変形させ、図４（Ｄ）に示されるようなドリーズーム画像用の変形後背景画像４３１を生成する。変形後背景画像４３１を生成するための変形は、入力画像４０１の撮影時における主被写体及び背景被写体の撮影環境における位置関係を保持するように行われるため、撮像装置との距離に応じて、各背景被写体の変倍率が変更されて生成される。

画像合成部２０３は、入力された主被写体画像４１１と変形後背景画像４３１とを合成し、図４（Ｅ）に示されるようなドリーズーム画像を生成して出力する。具体的には画像合成部２０３は、画像における主被写体画像４１１の位置及び大きさが入力画像４０１と同一となるように変形後背景画像４３１上に主被写体画像４１１を重畳して所謂オーバーレイ合成を行う。後述するように、ドリーズーム画像の生成処理では、入力画像４０１の撮影時とは異なる焦点距離を仮想的に設定することになる。画像合成部２０３は、焦点距離の変更に伴う焦点状態の変化を表現するために、即ち、焦点距離が長くなった場合に被写界深度が浅くなる状態を表現するために、変形後背景画像４３１に対して低域通過フィルタを適用してもよい。この場合、フィルタの強度は主被写体と背景被写体との距離比に基づいて設定され、主被写体から離れている背景被写体の像がよりボケるようにすればよい。また画像合成部２０３は、ドリーズーム画像における主被写体領域と背景領域の境界部での段差を目立ちにくくするために、主被写体領域の境界の周辺領域ではオーバーレイ合成ではなく、主被写体画像４１１と変形後背景画像４３１とを加重加算合成してもよい。あるいは、主被写体画像４１１に対する画素のフィルタ係数をゼロにしてフィルタ処理を行って合成してもよい。

《ドリーズーム画像の生成原理》
以下、変形パラメータ算出部１０５における変形パラメータの算出に係る、ドリーズーム画像の生成原理について図を参照して詳細を説明する。

まず、撮像装置がピンホールカメラである場合の撮像装置中心の３次元座標系、正規化画像座標系、及び画像座標系の座標変換の関係を用いると、

が成り立つ。

ここで、（ｘ，ｙ）は任意の被写体を正規化画像座標面上に投影した際の座標、（ｘ’，ｙ’）は撮影により得られる画像座標面上に投影した際の座標である。またｆ_ｘ及びｆ_ｙは、画像座標系に変換する際に設定される焦点距離をｘ’軸及びｙ’軸各々のピクセル単位で表したものであり、設定される焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値である。またｃ_ｘ及びｃ_ｙは、画像の左上を原点（０，０）としたときの画像中心の座標に相当する。また、ｒ_ｌｍは撮像装置の回転を示す回転行列の各成分であり、ｔ_ｎは撮像装置の並進移動を示す撮像装置中心の３次元座標系における移動量の各成分を示す。本実施形態では入力画像４０１とドリーズーム画像とは、撮像装置を回転させずに光軸方向のみ並進移動して撮影した関係となる。つまり、入力画像４０１の撮影時の撮像装置の姿勢及び位置を基準とすると、撮影時に対応する式１の中央の行列は

となり、ドリーズーム画像を仮想的に撮影する場合の式１の中央の行列は、

となる。従って、ｗは撮影時はＺ、ドリーズーム画像生成時はＺ＋ｔ_３となる。なお、（Ｘ，Ｙ，Ｚ）は撮影画像を３次元座標に投影しものであり、

により算出される。ここで、（ｕ，ｖ）は撮影した画像における被写体の座標であり、ｄは距離情報である。またｆ_ｘ０及びｆ_ｙ０は撮影時に設定されていた焦点距離、ｃ_ｘ０及びｃ_ｙ０は撮影した画像の左上を原点（０，０）としたときの画像中心の座標とする。なお、ｆ_ｘ０及びｆ_ｙ０は、撮影時の焦点距離を撮像素子の水平方向及び垂直方向の画素ピッチで各々除した値、ｄは対角の画素ピッチで除した値である。

また、ドリーズーム画像では主被写体の像の位置及び大きさは、入力画像４０１と同一とするため、次のような関係が成り立つ。以下、簡単のため、主被写体と背景の被写体（背景被写体）がそれぞれ１体ずつ、図４のような位置関係で撮影時に存在していた場合を例に説明する。

図４の例では、焦点距離ｆ_Ｗで、撮像装置から距離ｓ_Ｗ１離れた位置に存在する高さｙ_１の主被写体及び撮像装置から距離ｓ_Ｗ２離れた位置に存在する高さｙ_２の背景被写体を撮影した状況を示している。該撮影により入力画像４０１が得られたとする。また、入力画像４０１に対応する結像面である、撮像光学系から焦点距離ｆ_Ｗの位置にある画像座標面上に、主被写体の像が高さｙ_Ｗ１、背景被写体の像が高さｙ_Ｗ２で投影されたとする。

このとき撮影された画像からドリーズーム画像を生成（仮想的に撮影）するに際して、撮像装置が後方にｔ_３だけドリーアウトした位置を仮想撮影位置とした場合を考える。ドリーズーム画像に対応する仮想画像座標面上において、主被写体の像の高さｙ_Ｔ１は、入力画像４０１に対応する画像座標面上における像の高さｙ_Ｗ１と一致している。このときの仮想撮影の撮影条件を、仮想焦点距離ｆ_Ｔ、撮像装置から主被写体までの距離をｓ_Ｔ１、背景被写体までの距離をｓ_Ｔ２とする。また仮想画像座標面上における背景被写体の像の高さをｙ_Ｔ２とする。

まず、背景被写体について撮影時と仮想撮影時各々の画像座標面あるいは仮想画像座標面への投影の関係において

が成立するため、上記２式からｙ_２を消去することで

が得られる。

また、主被写体についても、

が成立するため、上述の主被写体の像に係る入力画像４０１とドリーズーム画像における拘束条件を考慮してｙ_１を消去することで

が得られる。

従って、式３及び式４からｓ_Ｔ１を消去することで

を得ることができる。

ここで、背景被写体の変倍率Ｎがユーザ入力に決定されると、式５は

となる。ここで、Ｄは被写体距離比を指す。また式６は式４の関係を用いることで、

となり、仮想撮像装置の移動量ｔ_３も得ることができる。即ち、背景被写体の変倍率が指定されれば、式１の必要なパラメータである仮想焦点距離ｆ_Ｔ及び入力画像４０１の撮影位置から仮想撮影位置への移動量ｔ_３を算出することができる。つまり、変形パラメータ算出部１０５は、これらの情報に従って式１から変形パラメータを算出できる。図５（ａ）は、背景被写体の変倍率Ｎに応じた仮想撮影位置への移動量及び焦点距離の関係を示している。図５（ａ）において、横軸が背景被写体の変倍率Ｎを示しており、左側の縦軸が入力画像４０１の撮影位置から仮想撮影位置への移動量を示し、右側の縦軸が仮想焦点距離を示している。

従って、背景被写体が図４（Ｃ）のように複数存在する場合も、最奥の樹木４２４の像の変倍率が指定されれば、変形パラメータ算出部１０７はドリーズーム画像に対応する焦点距離及び仮想撮像装置の撮影位置を特定できる。そして画像変形部１０２は、該特定したパラメータと、背景領域のその他の被写体についての撮像装置中心の３次元座標とに基づいて、変形後背景画像４３１における位置が特定可能である。画像変形部１０２は、このように特定した変形後背景画像４３１における位置の情報に基づいて入力された背景画像を各々変形させることで、変形後背景画像４３１を生成することができる。

ここで、横軸を背景の奥行き方向の被写体距離、縦軸を背景の変倍率として式（１）をグラフ化すると、図６の６０１となり、一定以上距離が離れると背景の変倍率は値が収束する特性があると言える。そのため、所定の距離より遠くにある背景を同一の変倍率で変倍して処理することが可能である。なお、ここでの一定以上距離が離れている背景を同一の変倍率とする所定の距離を、上限距離Ｓ_ｍと定義して以下を説明する。

本実施形態の特徴である上限距離Ｓ_ｍの算出方法を説明する。背景の変倍率は式（１）に示したように、撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定する。図６の６１１に対して、Ｓ_ｗ２の一定距離ΔＳ_ｗ２に対する変倍率Ｎの変化量を算出し、変化量が所定の値よりも小さくなる距離を探して上限距離として用いる。変化量６１２は所定の値よりも大きいのに対し、変化量６１３は所定の値よりも小さいため、変化量６１３の距離を上限距離として判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。

《ドリーズーム画像生成処理》
上述のような原理に基づく本実施形態のＰＣ１００で行われるドリーズーム画像生成処理について、図３のフローチャートを用いて具体的な処理を説明する。本ドリーズーム画像生成処理は、例えばドリーズーム画像を生成する基準となる撮影画像（入力画像）が選択された際に開始されるものとして説明する。

Ｓ３０１で、画像入力部１０１は、選択された入力画像を、例えば不図示の記録媒体から取得する。画像入力部１０１は取得した入力画像を領域分割部１０２に供給する。

Ｓ３０２で、距離情報入力部１０３、カメラパラメータ入力部１０４は、入力画像に対応する、撮影時の距離情報及び設定されていた焦点距離の情報を取得する。図６に、撮像装置６２２から各被写体６２３〜６２７までの距離を示す。それぞれ撮像装置から、被写体６２３までの距離がＳ_ｆ、被写体６２４までの距離がＳ_Ｂ１、被写体６２５までの距離がＳ_Ｂ２、被写体６２６までの距離がＳ_Ｂ３、被写体６２７までの距離がＳ_Ｂ４とする。また、カメラパラメータ入力部１０４から、撮影時の焦点距離ｆ_ｗと仮想焦点距離ｆ_ｔを入力する。

また距離情報入力部１０３は、得られた距離情報を領域分割部１０２に供給し、また距離情報及び焦点距離の情報を変形パラメータ算出部１０５に供給する。

Ｓ３０３では、距離情報入力部１０３から得られた被写体距離情報を用いて、合焦被写体領域４１１と背景領域４２１に分割する。また、背景領域４２１を１つ以上の背景領域に分割する。画像の領域分割は、図７に示すような被写体距離情報のヒストグラムを用いて判定を行う。まず、ヒストグラムの極大値を検出し、各極大値の間にある極小値の検出を行う。次に、合焦距離付近にある領域を合焦被写体領域とするために、撮影時のフォーカス情報を用いて合焦領域までの距離を算出する。最後に、合焦距離が含まれるヒストグラムの山７０２の両端にある極小値を選択し、その範囲内の距離にある領域を合焦被写体領域と判定する。また、合焦被写体領域以外の範囲も同様に、各山の両端にある極小値を選択し、範囲内にある被写体距離情報を用いて背景を分割する。７０１では、合焦被写体と背景Ａ〜Ｄに分割することができる。

また、領域分割に使用する情報は被写体距離情報だけでなく、画像の特徴量を併用しても良い。

Ｓ３０４で、カメラパラメータ入力部１０４は、例えばユーザにより指定された、入力画像の背景領域に含まれる最奥の背景被写体の像のドリーズーム画像における変倍率を示す変倍率情報を取得する（変倍率指定ステップ）。あるいはユーザにより指定された、ドリーズーム画像における焦点距離（仮想焦点距離）の情報を取得する。カメラパラメータ入力部１０４は、取得した変倍率情報あるいは仮想焦点距離情報を変形パラメータ算出部１０５に伝送する。

Ｓ３０５では、上限距離Ｓ_ｍを算出する。背景の変倍率は式（１）に示したように、撮影時の焦点距離、仮想焦点距離、被写体距離に応じて変化するため、上限距離を一意に決定することができない。そのため、変倍率の変化量を用いて上限距離を決定する。図６の６１１に対して、Ｓ_ｗ２の一定距離ΔＳ_ｗ２に対する変倍率Ｎの変化量を算出し、変化量が所定の値よりも小さくなる距離を探して上限距離として用いる。変化量６１２は所定の値よりも大きいのに対し、変化量６１３は所定の値よりも小さいため、変化量６１３の距離を上限距離として判定する。ここでの所定の値は、変倍率の変化量の差が視覚的に目立つ値を予め設定している。

Ｓ３０６では、Ｓ３０５で求めた上限距離も含めて、距離情報入力部１０３とカメラパラメータ入力部１０４から取得した情報に基づき、仮想視点で撮影した画像を生成するために必要な変形パラメータを算出する。すなわち、各被写体を算出された変倍率に基づいて変形するが上限距離（所定の距離）よりも遠くにある各被写体の変倍率は同一とする。上限距離が被写体４１５と被写体４１６の間にあるとすると、被写体４１６と被写体４１７は上限距離よりも遠い距離にあると判定され、同一の変倍率として変更する。

Ｓ３０７で、画像変形部１０２は、変形パラメータと各背景被写体の撮像装置中心の３次元座標とに基づいて、各背景被写体の変形後の背景画像４３１における座標を特定する。そして画像変形部１０２は、特定した座標の情報に従って各背景画像を変形させ、変形させた各背景画像を背景被写体の位置関係に応じて合成することで変形後背景画像４３１を生成する。ここで、本来ドリーズーム撮影では行わないが、主被写体の変倍率を設定し、変更してもよい。画像変形部１０２は、生成した変形後背景画像４３１を画像合成部２０３に供給する。

Ｓ３０８で、画像合成部２０３は、主被写体画像４１１と変形後背景画像４３１を合成してドリーズーム画像を生成し、出力する。

Ｓ３０８では、主被写体画像４１１と変形後の背景画像４３１を合成することで仮想視点で撮影した画像４４１を生成する。なお、変形後の背景画像４３１と主被写体画像４１１を合成する際、境界部分の段差を目立ちにくくするために、合焦被写体と変形後の背景の加重加算を用いて境界処理を行ってもよい。

また、仮想焦点距離が長い場合は、被写界深度の浅い画像となるため、合成後の画像に対して合焦被写体と背景の距離比を用いて、背景領域に対してローパスフィルタ処理を行ない、背景領域をぼかすことを行なっても良い。

生成された合成画像４４１は、出力され、不図示の表示媒体に表示されたり記録媒体に記憶されたりする。

以上のように、本実施形態では、主被写体領域と背景領域とに分類した撮影画像を、主被写体領域と背景領域の撮影環境における位置関係に基づいて、仮想的な撮影条件での画像を生成する。その際に所定以上被写体距離がある背景はまとめて変形を行うことで、仮想撮影条件での撮影の再現性は保ちつつ、欠落領域（オクルージョン領域）の発生も抑制することができる。

また、本実施形態では、Ｓ３０５において説明したように、上限距離を決定する際に変倍率の変化量に応じて決定する例を示したが、距離情報の測距範囲を用いて上限距離を決定するようにしても良い。すなわち、距離情報の測距範囲の最大値を上限距離として設定することもできる。

また、本実施形態では、Ｓ３０６において説明したように、上限距離を決定する際に変倍率の変化量に応じて決定する例を示したが、撮影時の焦点距離から一意に上限距離を決定するようにしても良い。すなわち、焦点距離に応じて予め上限距離を用意することもできる。

〔第２の実施形態〕
本実施形態では、第１の実施形態に加え、所定の距離より近い距離で目立つ（被写体検出処理により検出される）被写体を検出し、当該被写体以外の被写体に対しては、距離範囲ごとに被写体をまとめて同一の変形パラメータで変形することを特徴とする。

本実施形態における画像処理装置のシステム構成は図１と同様である。本実施形態では、領域分割部１０２において、視覚的に目立つ被写体を検出し、当該被写体の存在する顕著領域を検出する被写体検出処理も行う。本実施形態では視覚的に顕著な被写体として人物を例にして説明する。領域分割部１０２は被写体が人物であるかを人物／顔検出処理で判定し、その結果を変形パラメータ算出部に送る。顕著領域とは、位置関係が崩れると目立ちやすい被写体領域のことを示す。たとえば、背景として人物が写っている場合、背景を拡大したときに主被写体よりも像面上での領域が大きくなると、主被写体よりも手前にいると感じてしまい、位置関係が崩れてしまう。そのため、人物の存在する領域は顕著領域であるといえる。

また、本実施形態における画像処理のフローチャートについて図９を用いて説明する。第１の実施形態と同様の処理を行う各ステップの説明は省略して、Ｓ９０４とＳ９０７について説明する。

Ｓ９０４では、第１の実施形態と同様に撮影画像４０１に対して、顕著領域があるかどうかを判定する。視覚的に目立つ被写体として人物を検出するために人物／顔検出を行い、検出した結果を顕著領域として用いる。背景画像４２１において主被写体領域を除いて顕著領域と判定された領域は被写体１００２（１０１４）と被写体１００３（０１４）である。

Ｓ９０７では、Ｓ９０６で求めた上限距離を用いて、変形パラメータを変更する。変更点としては、上限距離よりも遠くにある距離すべてを同一の変倍率に置き換える第１の実施形態に示した処理に加えて、上限距離よりも近い距離にある被写体についてもＳ９０４で求めた顕著領域情報を用いて変形パラメータの変更を行う。

上限距離よりも近い距離において、変倍率の変化量が所定の値よりも小さく、被写体が人物の場合は、位置関係が崩れると目立つため、距離に応じた変倍率とする。また、人物ではない場合は、上限距離よりも遠くにある距離と同一の変倍率に置き換える。被写体１００３（１０１６）は顕著領域と判定されたが、上限距離よりも遠くにあるため、被写体１０１７と同一の変倍率とする。また、被写体１０１５は顕著領域ではないため、被写体１０１３と被写体１０１５と同一の変倍率として図１０（Ｃ）の１０２１のように変倍率が算出される。

また、変倍率の変化量が所定の値よりも大きい場合は、被写体に関係なく距離に応じた変倍率を指定する。

ここでの所定の値は、Ｓ３０６で用いた値よりも大きい値を予め設定している。

また、本実施形態では、顕著領域として人物の例を示したが、動物や特徴のある建物などをあらかじめ記憶された特定パターンとの比較処理などによって顕著領域として検出しても良い。

以上のように、本実施形態では、主被写体領域と背景領域とに分類した撮影画像を、主被写体領域と背景領域の撮影環境における位置関係に基づいて、仮想的な撮影条件での画像を生成する。その際に所定以上被写体距離がある背景は一律に画像変形を行うことで、仮想撮影条件での撮影の再現性は保ちつつ、オクルージョン領域の発生も抑制することができる。さらに背景領域に存在する顕著な被写体についての変倍処理を抑制することで、違和感の少ない完成画像を得ることができる。

上述した各実施形態では、距離情報に基づき所定の距離より遠い被写体を判定し、変形処理を一律とした。しかしこれに限らず、同様の処理が行われるように、距離情報を、上限距離（所定の距離）より遠い距離を例えばクリップして同一の距離情報に変更するなどしてもよい。同様に第２の実施形態においては、顕著な被写体でない被写体としてグルーピングされた被写体（群）については代表の距離情報に各被写体の距離情報を置き換えて後の処理ブロックに出力するようにすればよい。これらの距離情報の変更は例えば図１の情報入力部１０５が距離情報を取得あるいは生成した後に同ブロックで行われればよい。

また、本実施形態では、図９のフローチャートで説明したように、画像を被写体距離に応じて分割した領域に対して、被写体距離を用いて算出した変倍率で変倍した例を示したが、透視投影変換を用いて画像を変形するようにしても良い。

透視投影変換では、下記式（８）を用いて撮影画像を実空間の世界座標系へ投影する。

Ｑは実空間での座標、Ｍは撮影時のカメラパラメータ、ｑは撮影画像上の座標を示しており、ｑは下記式（９）で表される。

式（８）のｄは距離情報を示しており、ｄの値はＳ１２０４において説明した、上限距離よりも遠くにある距離すべてを同一の距離に変更した被写体距離情報を使用する。そして、下記式（９）を用いて実空間に投影した座標を仮想視点の画像上へ投影する。

ｑ’は仮想視点における画像上に投影された点の座標、Ｍ’は仮想視点でのカメラパラメータ、Ｒとｔは仮想視点への移動量（Ｒは回転成分、ｔは並進成分）を示している。式（８）〜式（１０）を用いることで、撮影画像から仮想視点で撮影した画像を生成することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像入力部
１０２ 画像変形部
１０３ 距離情報入力部
１０４ カメラパラメータ入力部
１０５ 変形パラメータ算出部
１０６ 画像出力部

Claims (14)

1. 撮影により得られた入力画像を取得する取得手段と、
   前記取得手段により取得された入力画像を主被写体領域と背景領域とに分類する分類手段と、
   前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する焦点距離を含む仮想的な撮影条件を決定する決定手段と、
   入力画像の焦点距離を含む撮影条件と前記仮想的な撮影条件に基づいて前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定手段により決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成手段と、
   前記入力画像のうちの前記主被写体領域に分類された画像と前記生成手段により生成された前記背景画像とを合成して前記出力画像を生成する合成手段と、を有し、
   前記分類手段は、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、
   前記生成手段は、前記分類手段で分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする画像処理装置。
2. 前記決定手段は、前記出力画像に対応する撮影位置、焦点距離、及び所定の背景被写体の変倍率の少なくともいずれかの情報をユーザにより指定される指定手段を有し、
   前記決定手段は、前記指定手段により指定された情報と前記撮影環境における位置関係とに基づいて、前記出力画像に対応する撮影位置及び焦点距離を前記仮想的な撮影条件として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記出力画像に対応する撮影位置の前記入力画像に対応する撮影位置からの移動量と前記焦点距離とに基づく座標変換により、前記背景画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、撮影時の焦点距離と被写体距離、仮想焦点距離に基づいて、変倍率の変化が所定の値より小さい距離を算出し、当該距離より遠い距離を同じ距離とみなすことを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、
   前記背景領域を被写体距離に応じて分割し、分割された各領域に対して仮想的な撮影条件に従って、被写体距離に応じた倍率で変倍した後に合成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記背景領域の被写体距離の距離情報を取得する取得手段を有し、
   前記分類手段は、前記距離情報のうち、所定の距離より遠い距離の情報をクリップして同一の距離情報に変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、
   前記背景領域と前記背景領域の焦点距離を用いて、世界座標系における座標を算出した後、
   仮想焦点距離と前記入力画像に対応する撮影位置からの移動量に基づき前記背景領域を透視投影変換することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記入力画像から特定の被写体を検出する検出手段を有し、
   前記生成手段は、
   被写体距離が前記所定の距離より近い距離にある背景領域で、変倍率の変化が所定の値より小さい背景領域において、前記検出手段によって特定の被写体が検出された領域には被写体距離に応じた変形処理が施され、それ以外の領域は被写体距離が前記所定の距離より遠い被写体と同じ変形処理が施されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記合成手段は、前記主被写体領域に分類された画像を、前記出力画像における該画像の位置及び大きさが、前記入力画像における該画像の位置及び大きさと同一となるように合成し、
   前記決定手段は、前記出力画像における前記主被写体領域に分類された画像の位置及び大きさ条件に基づいて前記仮想的な撮影条件を決定する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記合成手段は、前記主被写体領域に分類された画像の変倍率を指定する変倍率指定手段を有し、
    前記決定手段は、前記変倍率指定手段により指定された前記主被写体領域に分類された画像の変倍率に基づいて前記仮想的な撮影条件を決定し、
    前記合成手段は、前記主被写体領域に分類された画像を前記変倍率指定手段により指定された大きさに変形し、前記背景画像と合成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記合成手段は、前記撮影環境における位置関係に基づいて前記背景画像に低域通過フィルタを適用して合成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記合成手段は、前記主被写体領域の境界の周辺領域において、前記主被写体領域に分類された画像と前記背景画像とを加重加算合成することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 撮影により得られた入力画像を取得する取得ステップと、
    前記取得ステップにて取得された入力画像を主被写体領域と背景領域とに分類する分類ステップと、
    前記入力画像を撮影した際の主被写体と背景被写体の撮影環境における位置関係に基づいて、生成する出力画像に対応する焦点距離を含む仮想的な撮影条件を決定する決定ステップと、
    前記入力画像のうちの前記背景領域に分類された画像を変形し、前記決定ステップにより決定された前記仮想的な撮影条件に対応する前記出力画像の背景画像を生成する生成ステップと、
    入力画像の焦点距離を含む撮影条件と前記仮想的な撮影条件に基づいて前記入力画像のうちの前記主被写体領域に分類された画像と前記生成ステップにて生成された前記背景画像とを合成して前記出力画像を生成する合成ステップと、を有し、
    前記分類ステップでは、前記背景画像を奥行き方向の被写体距離に応じて複数の領域に分類し、
    前記生成ステップでは、前記分類ステップにて分類された領域ごとに画像の変形処理を設定し、当該被写体距離が所定の距離より遠い被写体は同じ変形処理が施されることを特徴とする画像処理装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。