JP6336284B2 - 画像処理装置、その制御方法およびプログラム - Google Patents

Description

本発明は画像処理装置、その制御方法およびプログラムに関し、特に多視点画像を用いて所望の被写体に合焦した再構成画像を生成する技術に関するものである。

近年、撮影時に光の強度分布と入射方向の情報（光線空間情報（ライトフィールド情報とも呼ばれる））を取得可能な撮像装置（ライトフィールドカメラ（ＬＦＣ））が知られている。

非特許文献１では、マイクロレンズアレイを介して撮像素子の各画素に、撮像レンズの異なる分割瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録する方法が開示されている。

このように取得された光線空間情報（以下ＬＦデータと呼ぶ）に対して、「Light Field Photography」と呼ばれる手法を適用することで、任意の焦点距離に合焦した画像（再構成画像）を撮影後に生成することができる。

ＬＦデータを取得できない従来のデジタルカメラ等を扱うとき、撮影後の画像が所望の被写体に合焦していないものであった場合、その被写体に合焦した画像を取得するには再度撮影する必要がある。一方、ＬＦＣを用いて撮影した場合は、取得したＬＦデータを用いて撮影後に再構成画像の生成を行えば、撮影し直すことなく所望の被写体に合焦した画像が得られる。

さらに、所望の被写体が複数含まれ、各被写体間の奥行方向の距離が大きく異なるシーンを撮影する場合、従来型のカメラ等でいずれかの被写体に合焦させて撮影すると、他の被写体がぼけ気味となる。他方、ＬＦＣを用いて撮影した場合には、撮影後に各被写体に合焦した再構成画像を生成して合成すれば各被写体に合焦した画像を得ることができる。

Ren.Ng、外７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

ＬＦデータを用いることで、従来実現出来なかったような、撮影後に合焦距離（被写界深度の中心）や被写界深度を変更することが可能になった。しかし、ＬＦデータを用いて再構成画像を生成する際の合焦距離や被写界深度をユーザが容易に設定または変更できる機能は提案されていない。特に、複数の被写体が存在する場合には、個々の被写体に合焦させたり、被写体によって被写界深度を異ならせたりするという要求も考えられるため、ユーザの意図する被写界深度を容易に設定する方法が求められる。

本発明では、上述の従来技術の問題点に鑑みてなされたものであり、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能な画像処理装置、その制御方法およびプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、複数の視点の画像に基づいて任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置であって、画像を表示部に表示する表示制御手段と、複数の視点の画像に対応する画像が表示制御手段により表示部に表示された状態で、ユーザによるタッチ操作によって、被写体の選択を受け付ける入力手段と、複数の視点の画像に基づいて、入力手段を介してユーザにより選択された被写体の被写体距離を基準とする被写界深度を有する画像として再構成画像を生成する生成手段と、を有し、入力手段は、更に、複数の視点の画像に対応する画像が表示制御手段により表示部に表示された状態で再構成画像の被写界深度の変更を受け付け、生成手段は、入力手段が受けた被写界深度の変更に応じて被写界深度を所定の幅ごとに変更した再構成画像を生成することを特徴とする。

本発明によれば、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能になる。

本実施形態に係るＬＦＣの一例としての機能構成を示すブロック図 本実施形態に係るマイクロレンズアレイ１０５と撮像部１０６の関係を説明する図 本実施形態に係る射出瞳３０１の各領域を通過した光束と、該光束を光電変換する光電変換素子の関係を説明する図 本実施形態に係る射出瞳３０１の各領域と、各マイクロレンズアレイに対応付けられた光電変換素子との対応を示す図 本実施形態に係る再構成面の特定位置を通過する光束の、撮像面における通過位置との関係を示す図 実施形態１に係る画像再構成処理を説明するフローチャート 実施形態１に係る対象物体の検出および距離分布情報を説明する図 実施形態１に係る対象物体の被写界深度情報を説明する図 実施形態１に係る被写界深度情報の更新処理を説明するフローチャート 実施形態１に係る物体の距離関係に応じた被写界深度情報の更新処理を説明する図 実施形態２に係る再構成処理を説明するフローチャート 実施形態２に係る指定物体の被写界深度情報の更新処理を説明するフローチャート

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、画像処理装置の一例としての、ＬＦデータを記録可能なＬＦＣに本発明を適用した例を説明する。しかし、ＬＦデータの撮像や記録に関する機能を有さない電子機器にも本発明は適用可能である。これらの電子機器には、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれるが、これらは単なる例示である。

（実施形態１）
〈１ ＬＦＣの構成〉
図１は、本発明の実施形態に係るＬＦＣ１００の機能構成例を示すブロック図である。制御部１０１は、例えばＣＰＵであり、ＬＦＣ１００が有する各ブロックの動作を制御し、後述する撮影処理あるいは再構成画像の生成処理を含む、ＬＦＣ１００の動作を実現する。具体的には制御部１０１は、ＲＯＭ１０２に記憶されているプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、ＬＦＣ１００の制御プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリである。ＲＡＭ１０３は、ＲＯＭ１０２から読み出したプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を記憶する格納領域としても用いられる。

撮像部１０６は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０６は、制御部１０１の指示により不図示のタイミングジェネレータ（ＴＧ）から出力されるタイミング信号を受けて、撮像光学系１０４により撮像素子の光電変換素子面に結像された光学像を光電変換し、アナログ画像信号を出力する。なお、撮像光学系１０４は例えば対物レンズ、フォーカスレンズ、絞り等を含む。また、本実施形態のＬＦＣ１００は、撮像部１０６の各光電変換素子に設けられているマイクロレンズとは別に、撮像光学系１０４と撮像部１０６との間に設けられたマイクロレンズアレイ１０５を有する。

ここで、マイクロレンズアレイ１０５について、図２乃至図４を用いて説明する。

図２に示すように、本実施形態のマイクロレンズアレイ１０５は複数のマイクロレンズ２０１で構成される。図２では、撮像光学系１０４の光軸をｚ軸とし、ＬＦＣ１００の横位置における水平方向をｘ軸、鉛直方向をｙ軸としている。なお、図２の例では簡単のため、マイクロレンズアレイ１０５は５行５列に並んだマイクロレンズ２０１で構成されるものとして説明するが、マイクロレンズアレイ１０５の構成はこれに限られるものではない。

また図２では、撮像部１０６を構成する撮像素子の光電変換素子２０２が格子で示されている。各マイクロレンズ２０１には、所定数の光電変換素子２０２が対応づけられており、図２の例では１つのマイクロレンズ２０１に対して５×５＝２５画素の光電変換素子２０２が対応づけられている。１つのマイクロレンズ２０１に入射した光束は、入射方向に応じて分離され、対応づけられた複数の光電変換素子のうち、入射方向に対応する光電変換素子２０２に結像される。

図３は、１つのマイクロレンズ２０１に対応づけられた光電変換素子２０２ｐ１乃至ｐ５に入射する光束を図示している。図３において、上方向は鉛直上向き方向に対応している。図３では、ＬＦＣ１００が横位置にある状態で、光軸に直交する水平方向から見た、各光電変換素子２０２ｐ１〜ｐ５に入射する光束の光路を例示している。図示されるように、水平方向に並んだ光電変換素子２０２ｐ１乃至ｐ５には、１つのマイクロレンズ２０１を介して、撮像光学系１０４の射出瞳３０１を垂直方向に５分割した領域ａ１乃至ａ５を通過した光束がそれぞれ入射する。なお、各領域に付された数字は、通過した光束が入射する光電変換素子２０２との対応関係を示している。

なお、図３の例では水平方向から見た、各光電変換素子２０２に垂直方向に分離されて入射する光束の光路を示したが、光束の分離は垂直方向に限らず、水平方向においても同様に行われる。即ち、撮像光学系１０４の射出瞳３０１を撮像素子側から見て図４（ａ）のような領域に分割した場合、各領域を通過した光束は、図４（ｂ）に示されるような光電変換素子２０２のうち、同一の識別数字が付された光電変換素子に入射する。なお、ここでは、撮像光学系１０４とマイクロレンズアレイ１０５の各マイクロレンズのＦナンバーは略一致しているものとする。

図１に戻り、ＡＦＥ(Analog Front End)１０７及びＤＦＥ(Digital Front End)１０８は、撮像部１０６により生成された画像信号に対する補正処理等を行う。具体的にはＡＦＥ１０７は、撮像部１０６から出力されたアナログ画像信号に対して、基準レベルの調整（クランプ処理）やＡ／Ｄ変換処理を行い、ＬＦデータをＤＦＥ１０８に出力する。ＤＦＥ１０８は、入力されたＬＦデータに対して微少な基準レベルのずれ等を補正する。

画像処理部１０９は、ＤＦＥ１０８による補正処理が適用されたＬＦデータに対して、色変換処理等の各種画像処理を適用する。また本実施形態では画像処理部１０９は、ＬＦデータから任意の被写体距離に合焦する画像（再構成画像）を生成する処理も行う。再構成画像の生成は、例えば上述した非特許文献１に示されるような「Light Field Photography」の手法を用いればよい。

画像処理部１０９は、制御部１０１の指示に基づいて、ＬＦデータから生成された再構成画像の生成や被写界深度を変更した再構成画像を生成する処理を行う。再構成画像を生成する処理および被写界深度を変更する処理については後に詳細に説明する。

表示部１１０は、ＬＦＣ１００が有する表示装置であり、例えば小型ＬＣＤ等である。表示部１１０は、画像処理部１０９により生成された、任意の距離に合焦した画像を表示する。上述したように、本実施形態の撮像部１０６から出力されるアナログ画像信号をＡ／Ｄ変換して得られるＬＦデータはそのまま表示に用いることはできない。このため表示部１１０には、例えば各マイクロレンズに対応する複数の画素のデータを加算することによって画像処理部１０９が生成する画像データを表示する。なお、表示部１１０は外部表示装置であってもよい。

記録媒体１１１は、例えばＬＦＣ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のＬＦＣ１００に着脱可能に接続される記録装置である。記録媒体１１１には、ＬＦデータ、及びこれらのＬＦデータから生成された任意の焦点距離に合焦する再構成画像が記録される。

操作入力部１１２は、例えば電源ボタンやタッチパネル等を有する、ＬＦＣ１００のユーザインタフェースである。操作入力部１１２は、ユーザによる操作されると、該操作に対応する制御信号や命令を制御部１０１に出力する。

なお、本実施形態では、図４に示したような構成を有する撮像部１０６によってＬＦデータを取得しているが、例えば特開２０１１−２２７９６号公報のように、複数の視点の異なるカメラをまとめて撮像部１０６とみなす構成でもよい。また、図４の光学系と異なり、物体平面と撮像素子が共役の関係にあるように、マイクロレンズアレイ上で撮影光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子を設けるような構成でも良い。また、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する構成も利用できる。

〈２ 再構成画像の生成処理〉
特定の被写体に合焦した再構成画像の生成処理の概要について、図４および図５を用いて説明する。

まず、撮影範囲に含まれる特定の被写体の距離（被写体距離）は、以下の方法で取得可能である。画像処理部１０９は、ＬＦデータから異なる分割瞳領域を通過した光束から一対の画像（Ａ像およびＢ像と呼ぶ）を生成し、該画像間の位相差から、特定の被写体に対するデフォーカス量を検出する。現在の合焦距離と検出されたデフォーカス量とに基づき、制御部１０１は特定の被写体の距離を算出可能である。

図４（ｂ）の例では、各マイクロレンズに対応づけられた画素のうち、右端から第１列及び第２列の画素値を加算することにより、射出瞳３０１の左半分の分割瞳領域に対応するＡ像を生成することができる。また、第４列及び第５列の画素値を加算することにより、射出瞳３０１の右半分の分割瞳領域に対応するＢ像を生成することができる。即ち、これを式で表すと


のようになる。このように得られた一対の画像は、それぞれ対応する分割瞳領域の重心位置を光軸とする画像である。

つまり、一対の画像は光軸のずれによる像のずれを有しているため、２つの画像について相関演算を行うことで、被写体について像のずれ量（瞳分割位相差）を検出することができる。このように得られた像のずれ量から、ＬＦデータの撮影範囲に含まれる各被写体について合焦する焦点距離を解析することができ、例えば特定の被写体に合焦する再構成画像を生成することができる。

次に、特定の距離の被写体に合焦する再構成画像の生成について説明する。本実施形態のＬＦＣ１００では、上述したように、１つのマイクロレンズに割り当てられた複数の画素の各々は、撮像レンズの射出瞳の異なる分割瞳領域を通過した光束を受光する。これは、マイクロレンズアレイ１０５の全マイクロレンズについて同様である。また各マイクロレンズには異なる方向から撮像レンズを通過した光束が入射するため、撮像素子の全ての画素は、各々異なる方向から入射した光束を受光することになる。

このため以下では、撮影により得られたＬＦデータの各画素に入射した光束の光路を、射出瞳内の通過した瞳領域の座標（ｕ，ｖ）と、対応するマイクロレンズの位置座標（ｘ’，ｙ’）として各光束を規定して説明する。再構成画像の生成においては、再構成画像を生成する任意の合焦距離に対応する再構成面上の画素（ｘ，ｙ）について、該点を通過する光路を有する光束を積分することで画素値を得ることができる。

図５ではＬＦＣ１００の横位置における鉛直方向から見た水平面（ｘｚ平面）における光束の光路が示されている。以下ではｘｚ平面における、再構成面の各画素を通過する光束の光路について説明するが、ｙｚ平面についても同様である。

瞳領域の座標（ｕ，ｖ）、再構成面上の画素座標を（ｘ，ｙ）とすると、この瞳領域と再構成面上の画素を通過する光束が入射するマイクロレンズアレイ１０５上のマイクロレンズの位置座標（ｘ’，ｙ’）は、


で表される。なお、Ｆは撮像レンズからマイクロレンズアレイまでの距離、αＦは撮影レンズの射出瞳から再構成面までの距離（αはリフォーカス係数：再構成面までの距離を決定するための可変係数）である。

また該光束を受光する光電変換素子の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、再構成面上に形成される画像の座標（ｘ，ｙ）の画素出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズの瞳領域に関して積分したものであり、


で表される。なお、（ｕ，ｖ）を瞳領域の代表座標とすることで、該式は単純加算により計算できる。このような計算を再構成面上の各画素座標について行うことで、任意の被写体距離に合焦した再構成画像を生成することができる。
〈３ 被写界深度の変更処理〉
このような構成をもつ本実施形態のＬＦＣ１００において実行される被写界深度の変更処理について、図６のフローチャートを用いて具体的に説明する。また、各ステップにおいて、説明に必要となる図７乃至図１０を適宜用いて説明する。

フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されているプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本処理は、例えばＬＦＣ１００が閲覧モードに設定されて起動され、記録媒体１１１に記録されたＬＦデータに対して再構成画像の生成指示がなされた際に開始されるものとして説明する。また、撮影後の閲覧モードには限定されず、撮影時に表示部１１０に再構成画像を表示させ、取得したＬＦデータに再生時のパラメータを設定させる等の目的で被写界深度を変更する処理を行ってもよい。

Ｓ６０１において画像処理部１０９は、制御部１０１の指示により、再構成処理の可能なＬＦデータを記録媒体１１１から取得する。さらに画像処理部１０９は、後の物体検出処理に用いる画像を生成するため、所定の被写体距離に対応する再構成画像を生成する。本実施形態では、所定の被写体距離は無限遠に設定されているものして再構成画像を生成するものとするが、ユーザによる設定値を利用したり実験的に定められた設定値を用いて再構成画像を生成してもよい。

Ｓ６０２において画像処理部１０９は、ＬＦデータから生成した再構成画像に対して、特定の特徴を持った物体（対象物体）の画像上の領域を検出する。本実施形態では、ＬＦＣ１００は画像に含まれる人物の顔および胴体に対応する領域の検出機能を有するものとし、本ステップではＳ６０１で生成した再構成画像を用いて、人物の顔および胴体に対応する領域の検出を行うものとする。なお、検出する被写体は人物の顔領域に限らず、ＬＦＣ１００が検出機能を有する特定の被写体であってよい。図７（ａ）では、物体Ａ７０１、物体Ｂ７０２、物体Ｃ７０３がそれぞれ検出された例を示している。

Ｓ６０３において画像処理部１０９は、取得したＬＦデータについて、再構成画像内の分割領域ごとに被写体までの距離分布を算出する。図７（ａ）の７０４は１つの距離分布の分割領域の例を示す。該分割領域の大きさは、ＬＦデータから生成可能な再構成画像の最小分解能に応じて規定される。分割領域７０４の分割数はＬＦＣ１００の演算能力やフレームレート等の制限に応じて適宜決めても良い。

画像処理部１０９は、設定された分割領域７０４の各々について、エリア内に含まれる被写体までの代表距離の情報を算出する。具体的には画像処理部１０９は、異なる２つの分割瞳領域を通過した光束に対応するデフォーカス量検出用の２種類の再構成画像（検出用画像）を生成する。本ステップで生成される検出用画像は、上述したように射出瞳３０１の領域を左半分と右半分の分割瞳領域に分け、各分割瞳領域を通過した光束に対応するものであってよい。しかしながら、検出用画像は射出瞳３０１を通過したうち、光軸が異なる２種類の分割瞳領域を通過した光束に対応する画像であればよく、分割瞳領域の選択方法はこれに限られない。

画像処理部１０９は、得られた２つの検出用画像から各分割領域内の被写体に対するデフォーカス量を算出し、デフォーカス量に従って代表距離を算出する。代表距離は、例えば分割領域の中央に位置する被写体についての距離であってもよいし、分割領域内の被写体について得られた距離の平均値であってもよい。

Ｓ６０４において画像処理部１０９は、Ｓ６０３で得られた分割領域７０４ごとの代表距離とＳ６０２で検出された対象物体の画像上の位置関係とから、各対象物体の距離分布情報を生成する（図７（ｂ））。各対象物体に対する距離分布は、物体の形状や大きさに応じた拡がりを有するが、本実施形態では簡単化のため対象物体の距離を代表して表す距離（対象物体の代表距離）を与えるものとする。図７（ｂ）は対象物体である物体Ａ７０１、物体Ｂ７０２、物体Ｃ７０３の代表距離を示した図であり、それぞれの対象物体までの距離が異なっていることを示している。

画像処理部１０９は、対象物体の画像上の位置関係に対応する各分割領域７０４の代表距離を取得し、対象物体の代表距離を算出する。対象物体が人物である本実施形態では、人物の顔領域に対応する代表距離を対象物体の代表距離として算出（選択）するが、胴体領域を含む、同一人物に係る全ての分割領域の代表距離の平均値を対象物体の代表距離として算出してもよい。

Ｓ６０５において画像処理部１０９は、対象物体の被写界深度情報を生成する。図８は、横軸を被写体距離として、図７（ａ）で示した対象物体の被写体距離と被写界深度とを模式的に示す図である。物体Ａ７０１の被写界深度情報は被写体距離４０１と至近側被写界深度４０２と無限側被写界深度４０３である。物体Ｂ７０２の被写界深度情報は被写体距離４０４と至近側被写界深度４０５と無限側被写界深度４０６である。物体Ｃ７０３の被写界深度情報は被写体距離４０７と至近側被写界深度４０８と無限側被写界深度４０９である。

画像処理部１０９は、まずＳ６０４で生成した対象物体の代表距離を用いて対象物体の被写体距離を算出する。その上で、画像処理部１０９は、各対象物体の被写体距離における至近側被写界深度および無限側被写界深度を取得する。被写界深度は、一般にレンズの焦点距離、絞り値（Ｆナンバー）、及び撮像素子のサイズ等の撮像装置の物理的な値と、被写体距離とによって求めることができる。しかし、本実施形態では、ある被写体距離とＦナンバーに対して予め至近側および無限側被写界深度を算出し、被写界深度テーブルとして保持しておくものとする。画像処理部１０９は、対象物体の被写体距離おける被写界深度情報を得るために、所定の被写体距離とＦナンバーに対する至近側被写界深度および無限側被写界深度の値を、被写界深度テーブルから取得する。

Ｓ６０６において制御部１０１は、Ｓ６０１において画像処理部１０９により生成された、無限遠の被写体に合焦した再構成画像をユーザによる対象物体の指定操作のために表示部１１０に表示させる。

Ｓ６０７において制御部１０１は、操作入力部１１２を通じて、対象物体を指定する操作が行われたか判断する。操作入力部１１２を通じて対象物体の指定操作が行われたと判断する場合、制御部１０１は処理をＳ６０８に進め、対象物体の指定操作が行われていないと判断した場合はＳ６１２に処理を移動して操作入力部１１２からの入力を待つ。以降において、指定された対象物体を指定物体と称する。

例えば制御部１０１は、操作入力部１１２を通じて画面上の座標が指定され、かつ指定された座標がＳ６０２において画像処理部１０９が検出した対象物体の領域のいずれかに含まれる場合、指定された座標を含む領域の対象物体が指定されたものと判断する。

Ｓ６０８において画像処理部１０９は、Ｓ６０５において生成された各対象物体の被写体距離に基づいて、指定物体と他の対象物体との被写体距離の関係を特定する。例えばＳ６０７において、図７（ａ）における各対象物体の中で物体Ａ７０１が指定されたものとする。そうすると、Ｓ６０５において生成した各対象物体の被写体距離に基づいて、物体Ａ７０１は物体Ａ７０１、物体Ｂ７０２、物体Ｃ７０３の中で至近側に存在するという被写体距離の関係が特定される。

画像処理部１０９は、指定物体と全ての他の対象物体の被写体距離を比較した結果、指定物体が最も至近側に存在する場合には、指定物体と他の対象物体との被写体距離の関係を示す情報として、例えば至近側である旨の識別子を設定する。また、指定物体が最も無限側にある場合は、無限側である旨の識別子を設定し、いずれでもない場合（中間に存在する場合）には識別子を設定しない。

Ｓ６０９において画像処理部１０９は、Ｓ６０５において生成された各対象物体の被写界深度情報およびＳ６０８において設定された指定物体と他の対象物体との被写体距離の関係を示す情報とに基づいて、指定物体の被写界深度を変更する処理を行う。

図９のフローチャートおよび図１０を用いて、指定物体の被写界深度を変更する処理について説明する。Ｓ５０１において画像処理部１０９は、指定物体と他の対象物体との被写体距離の関係を示す情報を参照し、至近側である旨の識別子が設定されていればＳ５０２へ、指定物体が無限側である旨の識別子が設定されていればＳ５０３へそれぞれ処理を進める。また、画像処理部１０９は、指定物体と他の対象物体との被写体距離の関係を示す情報に識別子が設定されていない場合には処理をＳ５０４へ進める。

Ｓ５０２で画像処理部１０９は、指定物体の被写界深度情報の被写体距離を無限側に移動する処理を行う。一方、Ｓ５０３で画像処理部１０９は、指定物体の被写界深度情報の被写体距離を至近側に移動する処理を行う。即ち、指定物体の被写体距離と他の対象物体の被写体距離の差が減少する方向に指定物体の被写体距離を移動させる。画像処理部１０９は、Ｓ５０２およびＳ５０３の処理が完了すると、Ｓ５０４へ処理を進める。

なお、Ｓ５０２およびＳ５０３の処理は、被写体距離を移動しなくても所定量の被写界深度を拡大可能であれば必ずしも必要でない。すなわち、被写界深度は合焦距離を中心として至近側と無限側に同じ幅で生じるが、指定物体が至近側や無限側に存在する場合、被写体距離を変更しないと一方の方向への被写界深度の拡大が限界に達してしまう。そのため、本実施形態では、至近側および無限側に指定物体が存在する場合には、それぞれ至近端もしくは無限側から遠ざかるように被写体距離を所定量移動させている。

Ｓ５０４において画像処理部１０９は、指定物体の被写界深度の至近側被写界深度と無限側被写界深度の範囲を拡大する。画像処理部１０９は、指定物体の被写界深度情報から至近側被写界深度と無限側被写界深度を取得する。次に新たに設定された被写体距離を中心として、該被写体距離から取得した至近側被写界深度に相当する位置に被写体距離Ａを、被写体距離から取得した無限側被写界深度に相当する位置に被写体距離Ｂを設定する。Ｓ５０２またはＳ５０３において指定物体の被写体距離が変化している場合には、変更後の被写体距離が新たに設定された被写体距離となる。画像処理部１０９は、指定物体の至近側被写界深度について、例えば至近側である被写体距離Ａにおいて求められる至近側被写界深度と被写界深度情報から取得した至近側被写界深度とを合算して、指定物体の至近側被写界深度を拡大する。同様に、画像処理部１０９は、無限側被写界深度について、無限側である被写体距離Ｂに求められる無限側被写界深度と、被写界深度情報から取得した無限側被写界深度とを合算する。

なお、１回の被写界深度情報の変更処理によって更新される被写体距離の移動量および被写界深度の変更量を調整するために、固定値として予め組み込まれたものを更に合算してもよい。また、これらはユーザがメニュー画面等から設定可能な値であってもよい。移動量や変更量の設定は被写界深度の変更速度の設定と同義である。また、本実施形態では、指定物体の被写界深度の拡大において、至近側被写界深度および無限側被写界深度をそれぞれ変更する例を説明したが、至近側の指定物体であれば無限側被写界深度のみを行ってもよい。また、無限側の指定物体であれば至近側被写界深度のみを変更するような処理を行ってもよい。

Ｓ５０５において画像処理部１０９は、被写界深度情報を更新する。まず画像処理部１０９は、被写界深度情報の被写体距離を、中心となる被写体距離で更新する。また、画像処理部１０９は、指定物体の被写界深度情報における至近側被写界深度について、Ｓ５０４で合算して拡大された被写界深度を用いて被写界深度情報を更新する。

指定物体の存在する位置が至近側である場合、無限遠である場合、中間である場合のそれぞれにおいて、図９の処理でどのように被写界深度が更新（拡大）されるかを、図１０を用いてさらに説明する。

図１０（ａ）は、指定物体が至近側に存在する場合（例えば指定物体が図７におけるＡ７０１である場合）に行われる被写界深度の変更処理を模式的に示している。物体Ａ７０１は至近側に存在するため、物体Ａ７０１の被写界深度情報の被写体距離は、Ｓ５０２において図１０（ａ）の４０１から１００１ａに示すように所定量無限側に移動される。そしてＳ５０４において、物体Ａ７０１の被写界深度情報の至近側被写界深度は図１０（ａ）の４０２から１００２ａに、無限側被写界深度は図１０（ａ）の４０３から１００３ａにそれぞれ拡大される。被写体距離１００１ａから至近側被写界深度４０２に相当する被写体距離を被写体距離Ａとすると、被写界深度１００２ａは、至近側被写界深度４０２に、被写体距離Ａにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離１００１ａから被写界深度４０２に相当する無限側にある被写体距離を被写体距離Ｂとすると、無限側被写界深度４０３に被写体距離Ｂにおいて求められる無限側被写界深度を合算して無限側被写界深度１００３ａを得る。

図１０（ｂ）は、指定物体が至近側の対象物体と無限側の対象物体の中間に位置する場合（例えば指定物体が図７における物体Ｂ７０２である場合）に行われる被写界深度の変更処理を模式的に示している。物体Ｂ７０２は至近側の被写体と無限側の被写体の中間に位置するため被写界深度情報の被写体距離４０４は移動しない。そして、Ｓ５０４において、物体Ｂ７０２の被写界深度情報の至近側被写界深度は図１０（ｂ）の４０５から１００２ｂに、該被写界深度情報の無限側被写界深度は図１０（ｂ）の４０６から１００３ｂにそれぞれ変化して被写界深度の範囲が拡大する。被写体距離４０４から至近側被写界深度４０５に相当する被写体距離を被写体距離Ａとすると、被写界深度１００２ｂは、至近側被写界深度４０５に、被写体距離Ａにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離４０４から被写界深度４０６に相当する無限側にある被写体距離を被写体距離Ｂとすると、無限側被写界深度４０６に被写体距離Ｂにおいて求められる無限側被写界深度を合算して無限側被写界深度１００３ｂを得る。

図１０（ｃ）は、指定物体が無限側にある場合（例えば指定物体が図７における物体Ｃ７０３である場合）に行われる被写界深度の変更処理を模式的に示している。物体Ｃ７０３の被写体距離は無限側にあるため、物体Ｃ７０３の被写界深度情報の被写体距離は、Ｓ５０３において図１０（ｃ）の４０７から１００１ｃに示すように所定量至近側に移動される。そして、Ｓ５０４において、物体Ｃ７０３の被写界深度情報の至近側被写界深度は図１０（ｃ）の４０８から１００２ｃに、該被写界深度情報の無限側被写界深度は図１０（ｃ）の４０９から１００３ｃにそれぞれ変化して被写界深度の範囲が拡大する。被写界深度１００２ｃは、被写体距離１００１ｃから至近側被写界深度４０８に相当する被写体距離を被写体距離Ａとすると、至近側被写界深度４０８に、被写体距離Ａにおいて求められる至近側被写界深度を合算することで得られる。同様に、被写体距離１００１ｃから被写界深度４０９に相当する無限側にある被写体距離を被写体距離Ｂとすると、無限側被写界深度４０９に被写体距離Ｂにおいて求められる無限側被写界深度を合算して無限側被写界深度１００３ｃを得る。

このように指定物体と他の対象物体との被写体距離の関係に応じて合焦する被写体距離を移動させた上で被写界深度を更新することにより、ユーザは被写界深度を変化させる方向を意図的に指定することなく、容易に被写界深度を変更することができる。

次にＳ６１０において画像処理部１０９は、Ｓ６０９で変更した被写界深度情報に対応した再構成画像を生成する。画像処理部１０９は、例えば、図９のＳ５０４で算出された３つの被写体距離を焦点面とする再構成画像をそれぞれ生成し、中心の被写体距離に合焦する再構成画像に対して他の再構成画像の合焦部分を合成した合成再構成画像を生成する。これにより被写界深度が拡大した再構成画像を生成することができる。なお、合成処理は、３枚の再構成画像の例えば対応する画素同士の加算であってよい。この際、域毎のエッジ強度を算出し、領域毎にエッジ強度に応じた重みづけ加算を行ってもよい。画像処理部１０９は合成した合成再構成画像を出力する。

合成再構成画像についてより具体的には、まず画像処理部１０９は、Ｓ５０４で算出された中心となる被写体距離（合焦距離）と、至近側の被写体距離Ａおよび被写体距離Ｂをそれぞれの再構成画像の焦点面として設定して、それぞれの再構成画像を生成する。これにより、指定物体の被写体距離における再構成画像と被写体距離ＡおよびＢにおける再構成画像を得ることができる。そして、これらの再構成画像を合成した新たな再構成画像を生成することによって、被写界深度の拡大した再構成画像を得ることができる。なお、被写界深度の拡大方法は上記に限らず、中心となる被写体距離から至近側及び無限側のそれぞれに所定ステップ分変位した位置に被写体距離Ａ及び被写体距離Ｂを設定するようにしてもよい。また、被写体距離は３つに限らず、より多数の被写体距離を設定してもよい。

Ｓ６１１において表示部１１０は、制御部１０１の指示により、画像処理部１０９から出力された再構成画像を表示する。

Ｓ６１２において制御部１０１は、操作入力部１１２からの入力に基づいて、更なる処理の有無を判断する。制御部１０１は、例えばタッチパネルにおける接触等の操作（タッチ操作）により一定の画像領域において選択状態がされた場合には、対象物体の指定を判断するため、Ｓ６０７へ処理を進める。また、制御部１０１は、例えばタッチパネルにおける長押し操作のように一定の画像領域において選択状態が継続する場合には、被写界深度情報の変更を継続させるため、Ｓ６０９へ処理を戻す。被写界深度情報の変更の継続については、選択状態の継続が停止した場合には、継続の解除指示と判断してＳ６０９への移動を停止して被写界深度の変更を停止させる。さらに、制御部１０１は、ユーザ等の入力が無い場合は、入力待ちの状態となってＳ６１２へ処理を戻す。さらに、ユーザによって再構成画像の表示に対する終了操作があった場合には、制御部１０１は一連の処理を終了させる。

本実施形態によれば、ユーザの指定した被写体の被写体距離と該被写体以外の他の被写体の被写体距離の関係に基づいて被写界深度の変更方法を制御することにより、ユーザは再構成画像の合焦距離および被写界深度を容易に設定することができる。

なお、本実施形態では、被写体を継続的に選択した場合に被写界深度を継続的に変更する例を説明したが、被写体を選択すると自動的に所定の時間周期で被写界深度を変更するようにしてもよい。この場合には、例えばユーザがタッチパネルの所定の領域にタッチ操作をした場合に被写界深度の変更を停止する。さらに、時間周期はユーザがメニュー画面等から設定可能なものであってよい。本実施形態では、タッチパネルの操作を接触による操作として説明したが、タッチパネル等の表示装置に対する入力は、その検出方法によっては必ずしも接触しなくてもよい。また、図示していないが、本発明では指定物体の被写界深度の拡大以外に、被写界深度を縮小する方法も含む。例えば、ユーザは被写体を指定する前に予め、拡大または縮小の別を選択しておいても良いし、被写体を継続的に選択して被写界深度を変更する際に、特定のキーを同時に押下することで処理が縮小するようにしてもよい。ユーザが被写界深度の縮小を選択した場合には、画像処理部１０９は、Ｓ６０９において被写界深度が縮小するように被写体距離を決めればよい。

（実施形態２）
図１１のフローチャートを参照して、本発明の実施形態２における再構成画像の生成処理について説明する。本実施形態は、ユーザが指定物体となる被写体を指定することに加えて、被写界深度の更新方向あるいは更新方向と更新する幅を指示することによって、所望の被写界深度が反映された再構成画像を生成するものである。なお、図６に示した本発明の実施形態１におけるフローチャートと異なる部分について詳細に説明し、重複する部分については説明を省略する。

Ｓ６０７において制御部１０１は、図６で説明した処理と同様に対象物体の指定操作が行われたと判断した場合は処理をＳ１１０１に進める。
Ｓ１１０１において制御部１０１は、操作入力部１１２を通じて入力された情報に基づいて、指定物体に対する被写界深度の更新方向と更新する幅を取得する。制御部１０１は、入力が指定物体に対する、被写界深度の更新方向と更新する幅を指示する操作を得られた場合は処理をＳ１１０２へ進める。指定物体に対する指示操作を得られない場合はＳ１１０１に戻ってユーザからの指示操作を待つ。所定の時間内に指示操作を得られない場合、制御部１０１は処理をタイムアウトさせてＳ６１２に処理を移動して新たなユーザからの入力を待つ。

制御部１０１は、操作入力部１１２を通じて、例えば、タッチパネルにおけるフリック操作やスワイプ操作等のタッチ操作の位置の移動を伴う操作の検出を行う。制御部１０１は、検出した操作がスワイプ操作であると判断した時は更に移動軌跡を確認して軌跡の大きさを取得する。例えばスワイプ操作が上下方向の操作である場合は、それぞれを被写界深度の向きの至近側または無限側の方向に割り当てあて、移動軌跡の大きさを被写界深度の変更の幅に割り当てる。

Ｓ１１０２において画像処理部１０９は、Ｓ１１０１で取得した指定物体に対する、被写界深度の更新方向と更新する幅に基づいて指定物体の被写界深度を変更する。図１２を参照して、Ｓ１１０２の指定物体の被写界深度を更新する処理について説明する。なお、本発明の実施形態１における図９のフローチャートと異なる部分のみ説明を行う。

Ｓ１２０１において画像処理部１０９は、上述のＳ１１０１で取得した指定物体に対する操作指示に基づいて、被写界深度を更新する方向を判定する。画像処理部１０９は、操作指示における被写界深度の更新方向が無限側を示す場合は、実施形態１で述べたＳ５０２へ処理を進めて被写体距離を無限側に変更する。また、画像処理部１０９は、操作指示における被写界深度の更新方向が至近側である場合は、Ｓ５０３に進めて被写体距離を至近側に変更する。画像処理部１０９は、Ｓ５０２およびＳ５０３の処理を完了すると、処理をＳ１２０２へ進める。

Ｓ１２０２において画像処理部１０９は、指定物体の被写体距離と、Ｓ１１０１で取得した被写界深度を更新する幅に基づいて被写界深度を変更する。画像処理部１０９は、指定物体の被写界深度情報から至近側被写界深度と無限側被写界深度を取得する。次に新たに設定された被写体距離を中心として、該被写体距離から取得した至近側被写界深度に取得した更新する幅を合算した位置に被写体距離Ａを、被写体距離から取得した無限側被写界深度に取得した更新する幅を合算した位置に被写体距離Ｂを設定する。Ｓ５０２またはＳ５０３において指定物体の被写体距離が変化している場合には、変更後の被写体距離が新たに設定された被写体距離となる。画像処理部１０９は、設定した被写体距離を用いてＳ５０５と同様に被写界深度情報を更新する。このように、操作指示から得られた被写界深度の更新方向と更新する幅に基づく３つの被写体距離を得ることによって、Ｓ６１２においてそれぞれの被写体距離における３つの再構成画像が得られ、これらを合成することによる合成再構成画像が得られる。

本実施形態によれば、タッチパネル等により被写界深度の更新方向と更新する幅を取得して被写界深度を変更した再構成画像を生成することにより、ユーザの意図に応じた再構成画像の被写界深度を容易に設定することができる。

以上に説明したように、本発明によれば、多視点画像から生成する再構成画像の合焦距離および被写界深度を容易に設定することが可能な画像処理装置、その制御方法およびプログラムを提供することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 複数の視点の画像に基づいて任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置であって、
   画像を表示部に表示する表示制御手段と、
   前記複数の視点の画像に対応する画像が前記表示制御手段により前記表示部に表示された状態で、ユーザによるタッチ操作によって、被写体の選択を受け付ける入力手段と、
   前記複数の視点の画像に基づいて、前記入力手段を介して前記ユーザにより選択された被写体の被写体距離を基準とする被写界深度を有する画像として再構成画像を生成する生成手段と、を有し、
   前記入力手段は、更に、前記複数の視点の画像に対応する画像が前記表示制御手段により前記表示部に表示された状態で前記再構成画像の被写界深度の変更を受け付け、
   前記生成手段は、前記入力手段が受けた被写界深度の変更に応じて前記被写界深度を所定の幅ごとに変更した再構成画像を生成することを特徴とする画像処理装置。
2. 前記所定の幅は、ユーザの指示に応じて決定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記入力手段は、前記選択の解除指示を受けるまでの間、前記被写界深度の変更を受け付けることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成手段は、前記入力手段が前記被写界深度の変更を継続して受けている場合、前記入力手段が受けた被写界深度の変更に対応した再構成画像を順次生成し、
   前記表示制御手段は、前記生成手段で生成される再構成画像を順次前記表示部に表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記生成手段は、前記入力手段が前記選択の解除指示を受けると、前記選択により選択された被写体の被写体距離を基準とする前記被写界深度が変更された再構成画像の生成を終了することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記選択の解除指示は、前記再構成画像が表示される領域に対するタッチ操作により行われることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、予め定めた被写体距離に合焦した再構成画像から検出された所定の被写体のうち、前記選択された被写体が他の被写体よりも至近側または無限側に存在する場合には、前記選択された被写体の被写体距離を前記他の被写体の被写体距離との差が減少する方向に所定量を変化させ、前記変化させた後の被写体距離を中心として前記選択された被写体の被写界深度を前記再構成画像の被写界深度とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、前記選択された被写体の被写体距離をユーザの指示に応じて至近側または無限側に変更した前記被写界深度を有する画像として前記再構成画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記ユーザにより選択された被写体の被写体距離を合焦距離とした再構成画像と、該被写体距離からそれぞれ至近側および無限側の被写体距離を合焦距離とした再構成画像とを合成することにより、前記入力手段が受けた被写界深度の変更に対応した再構成画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数の視点の画像を出力する撮像手段と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、を有する
    ことを特徴とする撮像装置。
11. 前記撮像手段は、瞳分割された撮影光学系を通過した光束を光電変換することにより前記複数の視点の画像を出力することを特徴とする請求項１０に記載の撮像装置。
12. 複数の視点の画像に基づいて任意の被写体距離に合焦した再構成画像を生成可能な画像処理装置の制御方法であって、
    表示制御手段が、画像を表示部に表示する表示制御工程と、
    入力手段が、前記複数の視点の画像に対応する画像が前記表示制御手段により前記表示部に表示された状態で、ユーザによるタッチ操作によって、被写体の選択を受け付ける入力工程と、
    生成手段が、前記複数の視点の画像に基づいて、前記入力手段を介して前記ユーザにより選択された被写体の被写体距離を基準とする被写界深度を有する画像として再構成画像を生成する生成工程と、を有し、
    前記入力工程では、更に、前記複数の視点の画像に対応する画像が前記表示制御手段により前記表示部に表示された状態で前記再構成画像の被写界深度の変更を受け付け、
    前記生成工程では、前記入力手段が受けた被写界深度の変更に応じて前記被写界深度を所定の幅ごとに変更した再構成画像を生成することを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。