JP6305053B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、被写体のピント制御に関する情報を得るための画像処理装置、撮像装置、画像処理方法、プログラムに関するものである。

これまで、カメラのピント調整を誤って撮像した場合は、ピント調整をやり直して再撮像する必要があった。また、奥行きの異なる複数の被写体に対してそれぞれにピントが合った画像を得たい場合には、被写体毎にピントを合わせた撮像を複数回行う必要があった。

近年、光学系に新たな光学素子を追加することで多視点からの画像を取得し、後で画像処理によってピント位置を調節すること（リフォーカス）が可能なライトフィールドフォトグラフィという技術が発展している。

この技術を用いれば、撮像後にピント調整を行えるため、撮像時のピント調整の失敗を画像処理で補うことができるという利点がある。さらに、画像処理方法を変えることで画像中の任意の被写体にピントを合わせた複数の画像を一枚の撮像画像から得る事ができ、撮像回数を減らす事ができるという利点もある。

ライトフィールドフォトグラフィでは、複数視点の撮像データから、空間中の複数の位置について、それぞれの位置を通過する光線の方向と強度（ライトフィールド）を計算する。そして、得られたライトフィールドの情報を用いて、仮想の光学系を通過して仮想のセンサに結像した場合の画像を計算する。このような仮想の光学系やセンサを適宜設定する事で、前述したリフォーカスも可能となる。ライトフィールドを取得するための撮像装置としてはメインレンズの後ろにマイクロレンズアレイを置いたＰｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ（例えば、特許文献１）や、小型のカメラを並べたカメラアレイが知られている。いずれも被写体を異なる方向から撮像した複数視点の画像データを一回の撮像で得る事ができる。すなわち、ライトフィールドフォトグラフィとは、複数視点の画像データから仮想の光学条件下での仮想センサの取得する画像を計算することと言い換えることもできる。なお、以下では、この仮想のセンサが取得する画像を計算する処理を「リフォーカス処理」と呼ぶこととする。リフォーカス処理としては、取得した複数視点の画像データを仮想センサ上に射影変換し加算して平均化する方法が知られている（例えば、特許文献２）。

ピント位置を変更しながらリフォーカス処理された画像（以下、リフォーカス画像）を表示する方法としては、例えば、特許文献３に開示された方法がある。特許文献３の方法では、ピント位置を調整するユーザーインターフェィス（ＵＩ）を、リフォーカス画像が表示される画面上に用意し、該ＵＩを介して、ピント位置を変更している。更に、特許文献３には、リフォーカス画像が表示される画面において、ピント位置を合わせたい被写体を、該画面を通じてユーザが指示し、同被写体にピント位置が調整されたリフォーカス画像を表示する方法が開示されている。

特開２００９−１２４２１３号公報 ＷＯ２００８０５０９０４ ＵＳ特許２００８／０１３１０１９号公報

Ｒｅｎ Ｎｇ著、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４、ｐ７３５−７４４

特許文献１から３で提案される手法では、撮像時、或いは撮像した画像の編集時に、目的とする被写体がリフォーカス可能な範囲に含まれるか否かを確認することができず、ユーザは、自身の意図した撮像や画像編集を行うことが困難であった。

本発明に係る画像処理装置は、複数の異なる視点から撮像されて得た視差画像内の注目被写体を特定する特定手段と、前記視差画像を用いた画像合成処理により生成される画像における、前記特定された注目被写体の合焦状態をユーザに通知する通知手段と、を備えたことを特徴とする。

本発明に係る画像処理装置は、複数の異なる視点から撮像されて得た視差画像内の注目被写体を特定する特定手段と、前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を合わせることができるか否かを示す合焦可否情報をユーザに通知する通知手段と、を備えたことを特徴とする。

多眼方式の撮像装置の内部構成を示すブロック図である。 撮像部の構成例を示す図である。 撮像部の構成例を示す図である。 撮像部の構成例を示す図である。 撮像部の構成例を示す図である。 レンズアレイと撮像素子の関係を表した図である。 実施例１に係る像側ピント制御範囲と物体側ピント制御範囲の関係を示す図である。 実施例１に係る画像処理部の内部構成を示したブロック図である。 実施例１に係る画像処理部における処理の流れを示すフローチャートである。 図２で示す撮像部の構成における光学配置を示した図である。 物体側ピント制御範囲の詳細を説明する図である。 撮像装置と被写体との位置関係を示す図である。 実施例１に係る表示画像の一例を示す図である。 実施例２に係る画像処理部の内部構成を示したブロック図である。 実施例２に係る画像処理部における処理の流れを示すフローチャートである。 実施例２に係る表示画像の一例を示す図である。 実施例３に係る画像処理部の内部構成を示したブロック図である。 実施例３に係る画像処理部における処理の流れを示すフローチャートである。 評価値Ｅ_objと注目被写***置との関係を示す図である。 実施例３に係る表示画像の一例を示す図である。 評価値に従ってピントレベルが段階分けされる様子を説明する図である。 図３で示す撮像部の構成における、レンズアレイ周辺の拡大図である。 実施例４に係る像側ピント制御範囲と物体側ピント制御範囲の関係を示す図である。 図５で示す撮像部を正面（物体側）から見た図である。 図５で示す撮像部における結像光学系と撮像素子を側面から見た図である。 実施例５に係る像側ピント制御範囲と物体側ピント制御範囲の関係を示す図である。 実施例６に係る画像処理部の内部構成を示したブロック図である。 実施例６に係る画像処理部における処理の流れを示すフローチャートである。 実施例６に係る、物体側におけるピント制御範囲が変化する場面の説明図である。 実施例６に係る、物体側におけるピント制御範囲が変化する場面の説明図である。 注目被写体の合焦状態が変化した際におけるユーザへの通知態様のバリエーションを説明する図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

［実施例１］
図１は、本実施例に係る多眼方式の撮像装置の内部構成を示すブロック図である。

撮像部１００は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、画像データ（デジタルデータ）を取得する。この画像データは、ユーザからの撮像指示を受けて撮像データとして記録媒体に保存される。本実施例に係る撮像部１００で取得される画像データは、被写体空間を複数の異なる視点から撮像されて得られた視差のある画像データ（以下、「視差画像データ」と呼ぶ。）である。また、撮像部１００で取得された画像データは、撮像装置の背面に設けられた表示部１０６にリアルタイムに順次表示するいわゆるライブビュー機能にも利用される。以下では、ユーザからの撮像指示に応じて記録媒体に保存された画像を記録画像と呼び、ライブビュー表示においてリアルタイムに表示される画像をライブビュー画像と呼ぶこととする。

中央処理装置（ＣＰＵ）１０１は、以下に述べる各部を統括的に制御する。

ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。

ＲＯＭ１０３は、ＣＰＵ１０１で実行される制御プログラム等を格納している。

バス１０４は、各種データの転送経路であり、例えば、撮像部１００によって取得されたデジタルデータはこのバス１０４を介して所定の処理部に送られる。

ユーザの指示を受け取る操作部１０５には、ボタンやモードダイヤルなどが含まれる。

画像や文字の表示を行う表示部１０６には、例えば、液晶ディスプレイが用いられる。表示部１０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部１０５の入力として扱うことも可能である。本実施例では、シーン内の注目する被写体（以下、「注目被写体」と呼ぶ。）が、リフォーカス可能な範囲内に存在しているかどうかが判定されるが、この判定対象となる注目被写体は、このようなタッチスクリーンを介したユーザ入力によって指定される。

表示制御部１０７は、表示部１０６に表示される画像や文字の表示制御を行う。

撮像部制御部１０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ１０１からの指示に基づいた撮像系の制御を行う。

デジタル信号処理部１０９は、バス１０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコーダ部１１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。

外部メモリ制御部１１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。

画像処理部１１２は、撮像部１００で取得された画像データ或いは、デジタル信号処理部１０９から出力される画像データから、後述するリフォーカス処理などの画像処理を行う。画像処理部１１２の詳細については後述する。

露出状態予測部１１３は、撮像時における撮像部１００の露出状態の予測を行う。

なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

（撮像部）
まず、撮像部１００の構成に関して詳しく説明する。

上述のとおり撮像部１００は、視差画像データ、つまりライトフィールドデータを取得する。撮像部１００の構成例を、図２〜図５に示す。このうち図２〜図４は結像光学系の像側にレンズアレイを配置した構成であり、図５は複数の結像光学系を配列した構成（カメラアレイ）である。撮像部の構成としては、図２〜図５に示したような、複数視点の画像を同時に得られる多眼方式の構成が望ましい。単眼方式の撮像装置を用いて位置を変化させながら複数回撮像を行う方法では、異なる時間における被写体空間を撮像した視差画像データとなり、被写体空間に移動物体が存在する場合には、正しい視差情報を得ることができないからである。

図２〜図５で示す構成の撮像部１００で取得された視差画像データは、画素の抽出や並び換え、合成等の処理を行うことで、リフォーカスや被写界深度制御、視点の変更等を行うことができる。本明細書では、これらの処理を画像合成処理と呼び、画像合成処理によって生成された画像を合成画像と呼ぶ。合成画像は、ノイズリダクション等の処理や、被写界深度制御等の処理が施されていてもよい。また、被写体空間でリフォーカスが可能な範囲を「ピント制御範囲」と呼ぶこととする。

以下では、図２を例に撮像部１００の内部構成について詳しく説明する。

レンズアレイ２０３は、結像光学系２０２の被写体面２０１に対する像側共役面上に配置されている。さらに、レンズアレイ２０３は、結像光学系２０２の射出瞳と撮像素子２０４が、概ね共役関係となるように構成されている。被写体面２０１からの光線は、結像光学系２０２及びレンズアレイ２０３を介することで、該光線の被写体面２０１上における位置と角度に応じて、撮像素子２０４の異なる画素へ入射する。これにより視差画像データ（ライトフィールドデータ）が取得される。ここでレンズアレイ２０３は、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子２０４では、被写体面２０１上の同一の領域を複数の視点から捉えた画素群が並んだ画像が取得されることになる。

なお、図２〜図５における被写体面２０１上に、人物や建物などの物体が必ずしも存在している必要はない。これはリフォーカスによって、被写体面２０１より奥或いは手前に存在する人物や建物等に、撮像後にピント位置を合わせることができるためである。

＜リフォーカスの原理＞
ここからはリフォーカス処理に関して説明する。リフォーカスに関しては、非特許文献１で詳しく説明されているので、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２〜図５のいずれの構成でも共通である。ここでは図２の構成を例に説明する。図２では、結像光学系の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得されていることとなる。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶこととする。９つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した単視点画像に対応した瞳で決まり、９枚全ての単視点画像を合成すると結像光学系２０２で取得した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより結像光学系２０２で任意の被写体に合焦した画像を再現することができる。これが撮像後のピント制御、つまりリフォーカスの原理である。

ここで、本実施例における単視点画像の生成方法を説明しておく。図６は、図２のレンズアレイ２０３と撮像素子２０４の関係を描いた図である。破線の円６０１は、レンズアレイ２０３を構成する１つのレンズ（マイクロレンズ）を通過した光線が入射する画素の領域を表している。図６は複数のマイクロレンズが格子状に配置された場合に対応しているが、マイクロレンズの配置はこれに限定されない。例えば、六回対称性（ハニカム構造）を持った配置にしてもよいし、規則的な配置から各マイクロレンズを微小にずらしてもよい。図６の斜線領域６０２は、結像光学系２０２の同じ瞳領域を通過した光線が入射する画素を表している。よって、斜線領域６０２の画素を抽出することで、結像光学系２０２の瞳の下部から被写体空間を見た単視点画像が生成できる。同様に、破線の各円６０１に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成できる。

＜ピント制御範囲＞
次に、リフォーカスが可能な範囲であるピント制御範囲に関して説明する。

リフォーカスは単視点画像を重ね合わせて行うため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これはボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。

ここで、瞳を小さく分割するほど、各単視点画像における被写界深度が深くなるため、ピント制御範囲は広がる。つまり、ピント制御範囲は結像光学系２０２の分割された瞳に依存するわけである。ただし、単視点画像における被写界深度とピント制御範囲は必ずしも一致しない。これは単視点画像とそれらを合成した合成画像の解像度比によって、ピント制御範囲が変化するためである。例えば、合成画像の解像度が各視点の単視点画像の解像度より低い場合、合成画像における空間成分のサンプリングピッチは単視点画像に対して大きくなる。そのため、単視点画像よりも合成画像は被写界深度が深くなり、それに伴ってそのピント制御範囲も広がる。逆に、合成画像の解像度が単視点画像よりも高い場合、ピント制御範囲は単視点画像の被写界深度よりも狭くなる。

合成画像の解像度を単視点画像より高くする方法として、画素ずらし超解像の使用などが考えられる。前述した通り、リフォーカスは単視点画像を互いにずらして合成する。この時のずれ量が単視点画像の画素ピッチの非整数倍になっていれば、画素ずらし超解像を行うことができ、合成画像の解像度を上げることができる。

ここまでの議論から、合成画像における正確なピント制御範囲を取得するためには、単視点画像を合成する時の条件を加味する必要があることが分かる。

次に、合成画像のピント制御範囲がどのようにして導出されるのかについて説明する。合成画像の被写界深度に対応する焦点深度を考える。焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。この時、リフォーカスの係数α_±は以下の式（１）のように与えられる。

式（１）を用いて表される像側のリフォーカス可能な範囲α_＋ｓ_２〜α₋ｓ_２と共役な範囲（結像光学系２０２に対して共役な範囲）が、物体側のリフォーカス可能な範囲であるピント制御範囲となる。この式（１）の関係を図で表したものが図７であり、リフォーカス可能な範囲の中心位置は結像光学系２０２のピント位置となる。（この場合、レンズアレイ２０３の位置がリフォーカス可能な範囲の中心位置となる）。ここで、ｓ_２は、結像光学系２０２の像側主平面と被写体面２０１に対する結像光学系２０２の像側共役面との間隔である。図７において、像側ピント制御範囲とは、結像光学系２０２を介してピント制御範囲と共役な範囲を指す。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ２０３のピッチΔ_ＬＡに等しい。なお、式（１）の関係は、図２〜図５のいずれの構成でも成り立つものである。

そして、式（１）は、撮像素子２０４の画素ピッチΔが、結像光学系２０２の射出瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。

ここで、結像光学系２０２の射出瞳距離Ｐとは、結像光学系２０２の射出瞳面と被写体面２０１に対する結像光学系２０２の像側共役面との間隔である。また、Ｎは結像光学系２０２の瞳の１次元分割数、Ｆは結像光学系２０２のＦ値である。なお、Ｆ値は、結像光学系２０２の焦点距離ｆとレンズ有効径Ｄから、以下の式（３）によって導出することができる。

すなわち、リフォーカス可能な範囲（ピント制御範囲）は、結像光学系の瞳の１次分割数と結像光学系の焦点距離とレンズ有効径で規定される画角範囲に応じて決定される。更には、後述する合成画像データの解像度に応じて、リフォーカス可能な範囲が決定される。

＜画像処理部＞
次に、画像処理部の構成について詳しく説明する。

図８は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。

視差画像データ取得部８０１は、撮像部１００等から供給される視差画像データを取得する。

注目被写体特定部８０２は、操作部１０５を介したユーザ入力に基づいて、取得した視差画像内（被写体空間）における注目被写体を特定する。本実施例の場合、操作部１０５としてのタッチスクリーンを介してユーザが指定したシーン内の人物等が注目被写体として特定されることになる。特定された注目被写体の情報は、距離導出部８０４及び画像生成部８０８に送られる。

光学パラメータ取得部８０３は、距離導出部８０４とピント制御範囲導出部８０６で必要となる撮像部１００の光学パラメータを取得する。ここで、光学パラメータとは、具体的には、撮像部１００の構成や、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。

距離導出部８０４は、特定された注目被写体までの距離情報を導出する。注目被写体までの距離は、視差画像データ取得部８０１から供給される視差画像データ及び光学パラメータ取得部８０３から供給される光学パラメータを用いて導出される。距離導出の詳細については後述する。

画像合成パラメータ取得部８０５は、画像合成に必要となるパラメータ（合成後の解像度、視点、ピント位置、被写界深度など）を取得する。

ピント制御範囲導出部８０６は、光学パラメータ取得部８０３から供給される光学パラメータと、画像合成パラメータ取得部８０５から供給される画像合成パラメータとを用いて、ピント制御範囲を導出する。

ピント判定部８０７は、距離導出部８０４から供給される注目被写体までの距離と、ピント制御範囲導出部８０６から供給されるピント制御範囲とを比較し、注目被写体がピント制御範囲内に含まれるか否かを判定する。

画像生成部８０８は、ピント判定部８０７の判定結果を反映した表示画像（特定された注目被写体の合焦状態を示す表示画像）を生成する。この表示画像の生成は、撮像前のライブビュー画像を対象に行ってもよいし、撮像後の記録画像を対象に行ってもよい。また、表示画像は、視差画像に含まれる任意の単視点画像をベースにしたものでもよいし、複数の単視点画像を合成して得られた合成画像をベースにしたものであってもよい。生成された表示画像のデータは、表示部１０６に出力される。さらに、本実施例に係る画像生成部８０８は、視差画像データを用いて、画像合成パラメータに従った画像合成処理も行うものとするが、画像合成処理を行う処理部を画像生成部８０８とは別個に設けてもよい。

図９は、本実施例に係る画像処理部１１２における処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ９０１において、視差画像データ取得部８０１は、撮像部１００で取得された視差画像データを取得する。ここで取得される視差画像データは、上述のとおり、ライブビュー画像としての視差データであってもよいし、記録画像としての視差データであってもよい。

ステップ９０２において、ＣＰＵ１０１は、注目被写体特定部８０２において、ユーザ入力に従った注目被写体の特定がなされたかどうかを判定する。注目被写体の特定がなされた場合には、ステップ９０３に進む。一方、注目被写体の特定がなければ、ステップ９１０に進む。

ステップ９０３において、光学パラメータ取得部８０３及び画像合成パラメータ取得部８０５は、それぞれ光学パラメータ及び画像合成パラメータを取得する。

ステップ９０４において、距離導出部８０４は、特定された注目被写体までの距離を、視差画像に含まれる単視点画像相互の間でステレオマッチングを行う等の方法により導出する。例えば、ステレオマッチング法では、まず基準となる単視点画像（例えば、瞳の中央付近を通過する光線に対応する単視点画像）を複数のブロックに分割し、その他の単視点画像の中から、対象となるブロックに一番近いブロック位置を検出する。そして、２つのブロックの位置関係、対応する瞳の位置関係、各瞳の画角を用いて、三角測量によって、対象ブロックの距離が導出される。なお、基準となる単視点画像は、視点位置が中心以外の単視点画像を選択してもよい。また、距離情報を取得する方法としては、上述のステレオマッチング法の他、ＤＦＤ（Depth From Defocus）などの手法や、赤外線などを利用した測距部を用いて計測する方法もある。

ステップ９０５において、ピント制御範囲導出部８０６は、ステップ９０３で取得した光学パラメータと画像合成パラメータとを用いて、ステップ９０１で取得した視差画像について画像合成を行う場合におけるピント制御範囲を導出する。以下、詳しく説明する。

前述したようにピント制御範囲は、各単視点画像と合成画像との解像度比によって変化するが、ここでは説明を簡単にするため、解像度比が１の場合を考える。像側ピント制御範囲が上述の式（２）の範囲内に収まっていれば、ピント制御可能な領域を取得できていることとなる。よって、被写体面２０１に対する結像光学系２０２の像側共役面と像側ピント制御範囲ｄ_refocusとが、以下の式（４）を満たせばよい。

図１０は、図２で示す撮像部１００の構成における光学配置を示した図であり、σはレンズアレイ２０３の像側主平面と撮像素子２０４の間隔である。図１０において、中央のマイクロレンズの両端から伸びる２本の平行な破線は、当該マイクロレンズに対応する撮像素子２０４の領域を表し、撮像素子２０４内の斜線の画素は光線の入射しない不感帯を表す。本実施例では不感帯が発生しないようにレンズアレイ２０３が構成されており、この場合はΔ_ＬＡ＝ＮΔとなる。ただし、構成はこれに限らず、不感帯が存在していてもよい。図１０から、幾何学的にＮＦ＝σ／Δだと分かる。ここで、焦点深度を決める許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝Δ_ＬＡで特徴付けると、式（４）は以下の式（５）のように書き換えられる。

次に、単視点画像と合成画像との解像度比が１以外の一般的な場合について考える。合成画像と合成に使用する単視点画像の画角は等しいから、解像度比が１以外の場合、両者のΔｙが異なることとなる。許容錯乱円は一般にΔｙが小さいほど小さく、大きいほど大きくなる。よって、上記式（５）は、単視点画像と合成画像のΔｙの比をとって、以下の式（６）のように拡張できる。

ここで、Ｒ_monoは合成に使用する単視点画像の解像度、Ｒ_combは合成画像の解像度を表す。Ｒ_monoとＲ_combとの比の平方根をとることで、Δｙの比となる。単視点画像の解像度Ｒ_monoは、図１０から以下の式（７）で表されることが分かる。

ここで、Ｒ_totalは、撮像素子２０４の有効画素数である。式（６）及び式（７）から、像側ピント制御範囲が満たすべき以下の条件式（８）が求まる。

上記条件式（８）では±10.0の範囲としているが、これを±6.0の範囲とすることで、より鮮鋭な合成画像を得ることができる。さらに望ましくは、±3.0の範囲とすることで、更に鮮鋭な合成画像を得ることができる。

以下に、各値の具体例を示す。
・撮像素子２０４の有効画素数Ｒ_total：４６．７×１０^６（pix）・レンズアレイ２０３の像側主平面と撮像素子２０４の間隔σ：０．０３７４（mm）
・撮像素子２０４の画素ピッチΔ：０．００４３（mm）
・レンズアレイ２０３のピッチΔ_ＬＡ：０．０１２９（mm）
・結像光学系２０２の焦点距離ｆ：１４．０（mm）
・Ｆ値：２．９
・１次元瞳分割数Ｎ：３
・単視点画像１枚当たりの解像度R_mono：５．２×１０^６（pix）・条件式（８）の範囲、条件式（８）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（１）のとおり。

操作部１０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

上記の例において、例えば８．０×１０^６ｐｉｘの合成画像を生成するためには、単視点画像１枚当たりの解像度R_monoが５．２×１０^６pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。なお、上述の合成画像の各解像度Ｒ_combの値は一例であり、種類も３種類に限られない。上記条件式（８）を満たすようなR_combとｄ_refocusを適宜決定すればよい。

ピント制御範囲は、像側ピント制御範囲と結像光学系２０２の焦点距離やフォーカス位置などを用いれば、結像公式から算出できる。このようにして取得したピント制御範囲の情報は、視差画像データや合成画像データにタグ情報として添付し、ＲＯＭ１０３に保存してもよい。或いは、予め様々な条件に対応するピント制御範囲のテーブルを作成してＲＯＭ１０３に記憶しておき、ピント制御範囲を導出する上述の演算を行う代わりに、入力された条件に対応するデータを読み込むようにしてもよい。

なお、ピント制御範囲を取得する他の方法として、リフォーカスした合成画像を実際に生成して、ピント位置に存在する被写体のコントラスト等を評価する方法が考えられる。しかし、この手法では、ピント位置を動かしながら合成画像を生成し、逐次リフォーカスができているかどうかを判断しなければならないため、処理に時間がかかってしまう。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なピント制御範囲が取得できない。よって、ピント制御範囲の取得には、先に述べた手法を用いることが望ましい。

図９のフローチャートの説明に戻る。

ステップ９０６において、ピント判定部８０７は、特定された注目被写体が、ステップ９０５で導出されたピント制御範囲内にあるか否かを判定する。具体的には、距離導出部８０４から供給される注目被写体までの距離と、ピント制御範囲導出部８０６から供給されるピント制御範囲とを比較し、注目被写体がピント制御範囲内に含まれるか否かを、以下の式（９）を用いて判定する。

上記式（９）を満たす場合には、ピント制御範囲内に注目被写体が含まれると判定される。

ここで、Ｄ_objは、撮像装置から注目被写体までの物体側における距離である。Ｄ_nearは物体側ピント制御範囲の間隔Ｄ_refocus内にあり、撮像装置に最も近い、前方ピントの端部位置である。Ｄ_farは、物体側ピント制御範囲の間隔Ｄ_refocus内にあり、撮像装置に最も遠い、後方ピントの端部位置である。図１１は、物体側における被写体面Ｄ_focus、注目被写***置に対応する物体側の位置Ｄ_obj、前方ピントの端部位置Ｄ_near、後方ピントの端部位置Ｄ_farの位置関係を示している。Ｄ_refocusは、像側ピント制御範囲ｄ_refocusを物体側に置き換えて表現した、物体側ピント制御範囲である。

注目被写体がピント制御範囲内にあると判定されれば、ステップ９０７に進む。一方、注目被写体がピント制御範囲内にないと判定されれば、ステップ９０８に進む。

ステップ９０７において、画像生成部８０８は、注目被写体がピント制御範囲内にあることを示す表示画像を生成する。

ステップ９０８において、画像生成部８０８は、注目被写体がピント制御範囲外にあることを示す表示画像を生成する。

ここで、ステップ９０７及び９０８で生成される表示画像について説明する。図１２は、撮像装置と被写体との位置関係を示した図であり、３種類の被写体（被写体Ａ、被写体Ｂ、被写体Ｃ）が撮像装置から異なる位置に存在している。被写体Ａが最も撮像装置から近い位置にあり、被写体Ｃが最も撮像装置から遠い位置にある。図１２において、Ｄ_refocusは、ステップ９０５で導出した像側ピント制御範囲ｄ_refocusを物体側に置き換えて表現した、物体側ピント制御範囲を示している。以下、単に「ピント制御範囲」という場合にはこの物体側ピント制御範囲を指すものとする。図１２では、被写体Ａと被写体Ｂが、ピント制御範囲Ｄ_refocusの範囲内にあり、被写体Ｃはピント制御範囲Ｄ_refocusの範囲外にあることが分かる。このような状況下で生成される表示画像の一例を、図１３の（ａ）〜（ｅ）にそれぞれ示す。まず、図１３の（ａ）及び（ｂ）は、特定された注目被写体が、それぞれ被写体Ａ及び被写体Ｂである場合における表示画像の一例である。被写体Ａと被写体Ｂはピント制御範囲Ｄ_refocusの範囲内にあるため、リフォーカスが可能であることを示す「リフォーカス可」のメッセージが画像（ここでは単視点画像）にオーバーレイ表示されている。図１３の（ｃ）は、特定された注目被写体が、被写体Ｃである場合における表示画像の一例である。被写体Ｃはピント制御範囲Ｄ_refocusの範囲外にあるため、リフォーカスが不可能であることを示す「リフォーカス不可」のメッセージが画像にオーバーレイ表示されている。図１３の（ｄ）は、特定された注目被写体が複数である場合における表示画像の一例である。ユーザが同時に複数の注目被写体を指定した場合には、各注目被写体についてピント制御範囲Ｄ_refocusの範囲内にあるか否かが判定され、各注目被写体に対するリフォーカスの可否を示すメッセージが表示される。なお、図１３の（ａ）〜（ｄ）の表示画像中にある注目被写体上の矢印は、特定された注目被写体を確認しやすくするために表示したものであり、注目被写体が確認できる方法であれば矢印に限定されない。さらに、図１３の（ｅ）は、特定された注目被写体（被写体Ａ）のみにピントが合った状態（注目被写体以外の他の被写体（被写体Ｂ及びＣ）についてはぼかした状態）の合成画像をベースにした表示画像の一例である。この場合は、注目被写体のみにピントが合っているので、より直感的に特定された注目被写体の確認が可能となる。このように、注目被写体がピント制御範囲内にあるかどうかを示す表示画像が、視差画像に含まれる任意の単視点画像をベースに或いは複数の単視点画像の合成によって得られた合成画像をベースに生成される。この場合において、合成画像をベースに生成する場合は、画像生成部８０８は、ステップ９０３で取得された画像合成パラメータに従って所定の画像合成処理を行った上で、上述の表示画像を生成することになる。

図９のフローチャートの説明に戻る。

ステップ９０９において、画像生成部８０８は、ステップ９０７又はステップ９０８で生成した表示画像のデータを表示部１０６に出力する。

ステップ９１０において、画像生成部８０８は、取得した視差画像データのうち任意の単視点画像（例えば、結像光学系２０２の瞳中心に最近接した視点の単視点画像）のデータを、表示部１０６へ出力する。なお、単視点画像の代わりに複数の単視点画像を合成した合成画像を出力してもよい。

ステップ９１１において、ＣＰＵ１０１は、注目被写体特定部８０２で、新たな注目被写体の特定がなされたかどうかを判定する。新たな注目被写体の特定がなされた場合には、ステップ９０３に戻り、ステップ９０３〜ステップ９１１の一連の処理を繰り返す。一方、新たな注目被写体の特定がなければ、本処理を終える。

なお、本実施例では、撮像装置の表示部に、図１３の（ａ）〜（ｅ）に示したような表示画像を表示することで、ユーザが指定した注目被写体に対するピント制御の可否を通知している。しかし、通知方法はこれに限られるものではない。例えば、撮像装置に接続される表示装置（例えば撮像装置とは別個に用意される、視差画像を編集する際に用いるディスプレイ等）において、ユーザが指定した注目被写体に対するピント制御の可否を表示してもよい。また、音声、振動、光などの表示以外の方法による通知を併用或いは代用してもよい。

以上説明したように、本実施例によれば、撮像時や撮像した画像の編集時において、ユーザによって特定された注目被写体に対するピント制御の可否が通知される。これによりユーザは、撮像時及び／又は撮像した画像の編集時に、ピント位置の調整が可能な被写体を容易に把握することが可能となる。

［実施例２］
実施例１は、ユーザが指定した注目被写体についてピント制御の可否を判定し、その判定結果をユーザに通知する様態であった。次に、注目被写体を自動で特定し、該自動で特定された注目被写体についてピント制御の可否を判定する様態について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、以下では本実施例に特有な点を中心に説明することとする。

＜画像処理部の構成図＞
図１４は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。図８で説明した実施例１の画像処理部１１２と比較すると、注目被写体特定部８０２に代えて、注目被写体特定部８０２´が設けられている。

注目被写体特定部８０２´は、距離導出部８０４で導出されるシーンの距離情報と、視差画像データ取得部８０１から供給される視差画像データを用いて、同シーン内における注目被写体を特定する。

その他の処理部については実施例１の画像処理部１１２と基本的に同じであるが、例えば、本実施例の距離導出部８０４は、取得した視差画像データを用いて被写体空間の距離を導出する等、細かな点で相違する。これら微細な相違点については、以下に示す本実施例に係る画像処理の流れを示すフローチャートの説明において適宜触れるものとする。

図１５は、本実施例に係る画像処理部１１２における処理の流れを示すフローチャートである。

ステップ１５０１において、視差画像データ取得部８０１は、撮像部１００で取得された視差画像データを取得する。

ステップ１５０２において、光学パラメータ取得部８０３及び画像合成パラメータ取得部８０５は、それぞれ光学パラメータ及び画像合成パラメータを取得する。

ステップ１５０３において、距離導出部８０４は、視差画像データ取得部８０１から供給される視差画像データを用いて、被写体空間の距離（シーンに含まれる人物、建物等のすべての物体についての距離）を導出する。このように本実施例では、撮像されるシーン全体についての距離情報が導出される。距離を導出する方法は、実施例１と同様であるため説明を省略する。

ステップ１５０４において、注目被写体特定部８０２´は、被写体空間における注目被写体を特定する。特定方法としては、例えば、以下のような方法が挙げられる。
１）距離取得部８０４から供給されるシーン全体についての距離情報に基づき、略同一の距離を持つ画像領域をグループ化し、グループ化された画像領域を注目被写体として特定。
２）視差画像データに対して顔認識等の技術を適用し、人物、動物、植物などが存在する領域を識別して、識別された人物等を注目被写体として特定。
３）上記１）と２）の併用。
４）人物、動物、植物といった代表的な注目物体の画像データをテンプレートとして予め用意しておき、それらテンプレートとのパターンマッチングによって注目被写体を特定。
５）ニューラルネットワークのように事前学習を行い、その学習結果を用いて主要な物体を認識して、注目被写体を特定。

本実施例における注目被写体の特定は、上記１）〜５）に挙げたような公知の様々な手法を適用して実現することが可能である。

ステップ１５０５において、ＣＰＵ１０１は、注目被写体特定部１４０１で被写体空間における注目被写体の特定がなされたか否か（注目被写体の有無）を判定する。被写体空間に注目被写体があると判定された場合には、ステップ１５０６に進む。一方、被写体空間に注目被写体が無いと判定された場合には、ステップ１５１１に進む。

ステップ１５０６において、ピント制御範囲導出部８０６は、ステップ１５０１で取得した視差画像について画像合成を行う場合におけるピント制御範囲を導出する。ピント制御範囲の導出方法は、実施例１と同様である。

ステップ１５０７において、ピント判定部８０７は、ステップ１５０４で特定された注目被写体が、ステップ１５０６で導出されたピント制御範囲内にあるか否かを判定する。ピント制御範囲内にあるかどうかの判定方法は、実施例１と同様である。注目被写体がピント制御範囲内にあると判定されれば、ステップ１５０８に進む。一方、注目被写体がピント制御範囲内にないと判定すれれば、ステップ１５０９に進む。

ステップ１５０８において、画像生成部８０８は、注目被写体がピント制御範囲内にあることを示す表示画像を生成する。

ステップ１５０９において、画像生成部８０８は、注目被写体がピント制御範囲外にあることを示す表示画像を生成する。

ここで、ステップ１５０８及び１５０９で生成される表示画像の一例を図１６の（ａ）〜（ｃ）にそれぞれ示す。撮像装置と被写体との位置関係や各被写体と撮像装置との距離、ピント制御範囲については、実施例１の図１２と同様である。図１６の（ａ）〜（ｃ）は、被写体空間から注目被写体として被写体Ａ〜Ｃが特定された場合における表示画像の一例を示している。図１６の（ａ）では、被写体Ａ〜Ｃのそれぞれに対して、リフォーカスの可否を示すメッセージが画像（ここでは単視点画像）にオーバーレイ表示されている。図１６の（ｂ）では、ピント制御範囲内にあると判定された被写体ＡとＢについてのみ「リフォーカス可」のメッセージがオーバーレイ表示されている。一方、図１６の（ｃ）では、被写体Ａのみがピント制御範囲内にあると判定され、被写体Ａに対してのみ「リフォーカス可」のメッセージがオーバーレイ表示されている。また、表示画像としては、実施例１と同様、画像合成前の単視点画像をベースにしたものに限られず、合成画像をベースにしたものであってもよい。

図１５のフローチャートの説明に戻る。

ステップ１５１０において、画像生成部８０８は、ステップ１５０８又はステップ１５０９で生成した表示画像のデータを表示部１０６に出力する。

ステップ１５１１において、画像生成部８０８は、取得した視差画像データのうち任意の単視点画像のデータを、表示部１０６へ出力する。実施例１と同様、単視点画像の代わりに複数の単視点画像を合成した合成画像を出力してもよい。

以上説明したように、本実施例に係る発明によれば、被写体空間における注目被写体が自動的に特定される。そして、自動で特定された注目被写体に対するピント制御の可否が自動的に判定され、その結果がユーザに示される。これによりユーザは、画像内の被写体に対する合焦の可否を、より手軽に知ることが可能となる。

［実施例３］
実施例１及び実施例２では、特定された注目被写体がピント制御範囲内にあるか否かを判定して、その結果をユーザに通知する様態について説明した。次に、ピント制御の達成度合いを数値化し、その度合いをユーザに通知する様態について、実施例３として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。

＜画像処理部の構成図＞
図１７は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。図８で説明した実施例１の画像処理部１１２と比較すると、ピント判定部８０７に代えて、ピント判定部８０７´が設けられている。

ピント判定部８０７´は、距離導出部８０４から供給される注目被写体の距離情報と、ピント制御範囲導出部８０６から供給されるピント制御範囲とを比較し、注目被写体に対するピント制御がどの程度可能であるかを定量的に評価する。これにより、ピント制御範囲の内外にある全ての被写体について、ユーザは、ピント制御の可否のみならず、ピントレベル（合焦度合い）を客観的に把握することが可能となる。

その他の処理部については、実施例１の図８と同様であるため説明を省略する。

図１８は、本実施例に係る画像処理部１１２における処理の流れを示すフローチャートである。

ステップ１８０１〜ステップ１８０５までの処理は、実施例１の図９のフローチャートにおけるステップ９０１〜ステップ９０５と同様であるため、説明を省略する。

ステップ１８０６において、ピント判定部８０７´は、距離導出部８０４から供給される注目被写体までの距離情報と、ピント制御範囲導出部８０６から供給されるピント制御範囲を用いて、注目被写体の合焦度合いを定量的に評価する。具体的には、注目被写体が撮像装置から距離Ｄ_objの位置にある時のピント制御の評価値Ｅ_objを、以下の式（１０）〜式（１２）を用いて導出する。

この場合において、注目被写***置が後方ピント制御範囲内にある場合には式（１０）を用いて、注目被写***置が前方ピント制御範囲内にある場合には式（１１）を用いて、評価値Ｅ_objが導出される（前述の図１１を参照）。そして、注目被写***置が物体側ピント制御範囲Ｄ_refocusに含まれない場合には、式（１２）を用いて、評価値Ｅ_objが導出される。図１９は、上述の式（１０）〜式（１２）を用いて導出される評価値Ｅ_objと注目被写***置との関係を示している。評価値Ｅ_objは、注目被写***置が被写体面と重なる位置で１となり、注目被写***置が被写体面から離れるに従って１から徐々に減少し、注目被写***置がピント制御範囲から外れたところでは０となることが分かる。このように、ピント制御範囲内にある被写体に対して、その合焦度合いが連続的な評価値として定量的に導出される。

図１８のフローチャートの説明に戻る。

ステップ１８０７において、画像生成部８０８は、ステップ１８０６で導出された評価値Ｅ_objに基づき、ピント制御範囲内にある注目被写体の合焦度合いを定量的に示した表示画像を生成する。図２０の（ａ）〜（ｃ）は、本実施例において生成される表示画像の一例であって、前述の図１２における撮像装置と被写体との位置関係において、被写体Ａ〜Cがそれぞれ注目被写体としてユーザによって選択された場合の表示画像の一例を示している。図２０の（ａ）〜（ｃ）の各表示画像では、注目被写体に対するピントレベルが、評価値Ｅ_objに従って５段階で表したレベルバーによって画面左上に示されている。図２１は、被写体Ａ〜Ｃに対する評価値Ｅ_objに従って、どのようにしてピントレベルが５段階に分けられるのかを説明する図である。本実施例では、ピントレベルの値が大きいほど、ピント制御した際のピントの合う度合いが低いことを表している。Ｅ_obj＝０ではレベル５、０＜Ｅ_obj≦０．２５ではレベル４、０．２５＜Ｅ_obj≦０．５０ではレベル３、０．５０＜Ｅ_obj≦０．７５ではレベル２、０．７５＜Ｅ_obj≦１．０ではレベル１といったようにピントレベルが分けられている。図２１において、被写体Ａ対する評価値Ｅ_objは０．４であるのでピントレベルは３となり、図２０の（ａ）の表示画面ではレベルバーの目盛りは３になっている。同様に、被写体Ｂ対する評価値Ｅ_objは０．７であるのでピントレベルは２となり、図２０の（ｂ）の表示画面ではレベルバーの目盛りは２になっている。そして、ピント制御範囲外にある被写体Ｃに対する評価値Ｅ_objは０であるのでピントレベルは５となり、図２０の（ｃ）の表示画面ではレベルバーの目盛りは５になっている。本実施例では、５段階のピントレベルにて合焦度合いを示したが、合焦度合いを示す方法は、これに限定されない。例えば、ステップ１８０６で導出される評価値（０〜１．０）をそのまま表示しても構わない。また、合焦度合いを示す評価値の導出方法も上述の式（１０）〜式（１２）を用いる方法に限定されるわけではなく、合焦度合いを定量的に評価可能な値が導出できればよい。

図１８のフローチャートの説明に戻る。

ステップ１８０８において、画像生成部８０８は、ステップ１８０７で生成した表示画像のデータを表示部１０６に出力する。

ステップ１８０９において、視差画像データ取得部８０１は、取得した視差画像データのうち任意の単視点画像のデータを、表示部１０６へ出力する。

ステップ１８１０において、ＣＰＵ１０１は、注目被写体特定部８０２で、新たな注目被写体の特定があったかどうかを判定する。新たな注目被写体の特定があった場合には、ステップ１８０３に戻り、ステップ１８０３〜ステップ１８１０の一連の処理を繰り返す。一方、新たな注目被写体の特定がなければ、本処理を終える。

なお、本実施例では、撮像装置の表示部に、図２０の（ａ）〜（ｃ）に示したような表示画像を表示することで、ユーザが指定した注目被写体に対するピント制御の達成度合いを通知している。しかし、通知方法はこれに限られるものではない。例えば、撮像装置に接続される表示装置（例えば撮像装置とは別個に用意される、視差画像を編集する際に用いるディスプレイ等）において、ユーザが指定した注目被写体に対するピント制御の達成度合いを表示してもよい。また、音声、振動、光などの表示以外の方法による通知を併用或いは代用してもよい。その場合には、ピント制御の達成度合いを、音声、振動、光の出力の度合いに関連付けて通知してもよい。

なお、本実施例では、実施例１と同様、操作部１０５を介したユーザ入力に従って注目被写体が特定される様態を前提として説明したが、例えば実施例２のように自動的に注目被写体を特定する態様に適用してもよい。

以上説明したように、本実施例によれば、特定された注目被写体に対する合焦度合いが示されるので、ピント制御に関するより正確な情報をユーザは知ることができる。

［実施例４］
実施例１乃至３では、図２に示す構成の撮像部を有する撮像装置を前提として説明を行った。次に、図３及び図４に示す構成の撮像部を有する撮像装置を前提とする様態について、実施例４として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。

図３及び図４に示された構成では、撮像視点及び撮像範囲が異なる複数の小画像が並んだ視差画像データが、撮像素子２０４で取得される。図３の構成では、レンズアレイが、結像光学系と像側共役面の間（像側共役面の左側）に配置されているのに対し、図４の構成では、レンズアレイが、結像光学系と像側共役面の間ではなく外（像側共役面の右側）に配置されている点で異なっている。そのため、図４の構成の場合は、レンズアレイ２０３が結像光学系２０２の形成した像を実物体として見て撮像素子２０４へ再結像させることになる。しかし、どちらも結像光学系２０２の結んだ像をレンズアレイ２０３が物体として見て、その像を撮像素子２０４へ結像しているため、両者は本質的には同じである。以下では、図３の構成を例に説明するが、その内容は、図４の構成に関しても同様に成立するものである。

まず、本実施例での画像合成（リフォーカス）処理に関して説明する。

定性的には実施例１と同様で、結像光学系２０２の分割された瞳の画像を、合焦したい被写体距離に対応したずれ量で重ね合わせればよい。

図２２は、図３の構成において、レンズアレイ２０３と撮像素子２０４の部分を中心に拡大した図である。本実施例においてレンズアレイ２０３は、物体側の面が平面で、像側の面が凸形状のマイクロレンズによって構成されている。もちろん、レンズアレイ２０３の形状はこれに限らない。図２２において一点鎖線は、各マイクロレンズの画角を表している。撮像素子２０４で得られた画素値を、その画素に対応するマイクロレンズを介して仮想結像面へ投影して合成することで、仮想結像面にピントの合った合成画像を生成することができる。ここで仮想結像面とは、画像合成により合焦したい物体側の面と共役な面（結像光学系２０２を介して共役な面）のことを指す。例えば、図３において、被写体面２０１にピントの合った画像を生成するためには、像側共役面３０１に仮想結像面を設定すればよい。図２２においては、合成画像生成の際に投影した画素を、分かりやすくするために各マイクロレンズの画角単位でずらして、破線で表している。合成画像の生成は、上述した方法（撮像素子２０４で得られた画素値をその画素に対応するマイクロレンズを介して仮想結像面へ投影して合成する方法）と同様の画素の重なりになるならば、各画素を平行移動させて合成する方法でもよい。この時、画素に入射した光束が通過したレンズアレイ２０３の領域が同じである場合、それらの画素の平行移動量は同じになる。つまり、図３及び４における合成画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ２０３の領域に応じて決まる。

次に、本実施例におけるピント制御範囲に関して説明する。

本実施例におけるピント制御範囲も、実施例１と同様に式（１）で記述される。すなわち、前述の式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２と共役な範囲（結像光学系２０２に対して共役な範囲）が、物体側のリフォーカス範囲であるピント制御範囲となる。図２３は、実施例１に係る図７に対応する図である。図２３中のΔｙは、光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ_１／σ_２（σ_１：像側共役面３０１とレンズアレイ２０３の物体側主平面との間隔、σ_２：レンズアレイ２０３の像側主平面と撮像素子２０４との間隔）である。これは、結像光学系２０２が形成した像を、レンズアレイ２０３が虚物体として見ることで、撮像素子２０４へσ_２／σ_１倍で縮小結像するためである。そして、本実施例においても、Δ≪Ｐ（Ｐ：結像光学系２０２の射出瞳距離）から、式（１）は式（２）に近似できる。

本実施例に係る画像処理部１１２おける処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ９０５）。

図２３から明らかなように、幾何学的にＮＦ＝σ_１／Δ_ＬＡであり、また、Δｙ＝Δσ_１／σ_２であるから、以下の式（１３）が成り立つ。

この式（１３）等から、本実施例における像側ピント制御範囲ｄ_refocusが満たすべき条件式（１４）が求められる。

実施例1と同様、上記条件式（１４）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。

以下に、具体例を示す。
・撮像素子２０４の有効画素数Ｒ_total：１５０．０×１０^６（pix）・σ_１：０．３７１２（mm）
・σ_２：０．０７４０（mm）
・撮像素子２０４の画素ピッチΔ：０．００２４（ｍｍ）
・レンズアレイ２０３のピッチはΔ_LA：０．０２５６（ｍｍ）
・結像光学系２０２の広角端における焦点距離ｆ_Ｗ：７２．２（ｍｍ）
・結像光学系２０２の望遠端における焦点距離ｆ_Ｔ：１９４．０（ｍｍ）・Ｆ値（広角端から望遠端まで）：２．９
・１次元瞳分割数Ｎ：５
・単視点画像１枚当たりの解像度R_mono：６．０×１０^６pix
・条件式（１４）の範囲、条件式（１４）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（２）のようになる。

実施例１と同様、操作部１０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

上記の例において、例えば１０．０×１０^６pixの合成画像を生成するためには、単視点画像１枚当たりの解像度R_mono：６．０×１０^６pixであるため、画素ずらし超解像などによる高解像度化が必要となることが分かる。

［実施例５］
次に、図５に示す構成（カメラアレイ）の撮像部を有する撮像装置を前提とする様態について、実施例５として説明する。なお、以下では本実施例に特有な点を中心に説明することとする。

図２４は、本実施例に係る図５のカメラアレイの構成を有する撮像部１００を正面（物体側）から見た図であり、７つの各個眼カメラにおける結像光学系２０２ａ〜２０２ｇと撮像素子２０４ａ〜２０４ｇの配置が示されている。この撮像部１００の場合、結像光学系２０２ｂの光軸を回転軸として、六回対称性を有したカメラアレイとなっている。しかし、カメラアレイの構成はこれに限定されるものではなく、結像光学系の個数や配列は任意である。また、各撮像素子２０４ａ〜２０４ｇが各結像光学系２０２ａ〜２０２ｇに対応してそれぞれ配列されているが、各結像光学系２０２ａ〜２０２ｇによって形成される像を取得できるならば撮像素子は１つでもよい。

図２４に示す構成の撮像部１００において、各結像光学系２０２ａ〜２０２ｇで屈折された光線は、それぞれに対応した撮像素子２０４ａ乃至２０４ｇで受光される。撮像素子２０４ａ〜２０４ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の視差画像を用いて画像合成を行うことで、被写体空間のライトフィールドを得ることができる。

図２５は、結像光学系２０２ａと撮像素子２０４ａを側面から見た図（断面図）である。他の結像光学系２０２ｂ乃至２０２ｇ及び、撮像素子２０４ｂ乃至２０４ｇも同様であるが、各結像光学系の構成はそれぞれ異なっていてもよい。結像光学系２０２ａは、単焦点レンズであり、結像光学系２０２ａと撮像素子２０４ａとの間隔を変化させることで、リフォーカスを行う。

本実施例における画像合成処理も、実施例１と同様、ピントを合わせたい被写体距離に対応したずれ量で各視点の画像を重ね合わせればよい。また、ピント制御範囲に関しても、前述の式（１）で記述されるとおりである。図２６は、実施例1の図７に対応する図であり、本実施例の場合、Δｙ＝Δ、Δｕ＝Ｐ_mono／Ｆ_monoとなる。ここで、Ｆ_monoは、各結像光学系２０２ａ乃至２０２ｇにおけるＦ値、Ｐ_monoは、各結像光学系に対応する射出瞳距離を表している。そして、本実施例においては、Δ≪Ｐ_monoから、式（１）は以下の式（１５）に近似できる。

本実施例に係る画像処理部１１２における処理の流れは、実施例１に係る図９のフローチャートと同じであるが、撮像部１００の構成の違いから、以下のようにしてピント制御範囲が導出される（ステップ９０３及びステップ９０５）。

本実施例の場合、撮像部１００を構成する各結像光学系２０２ａ乃至２０２ｇは、絞り値が可変の開口絞りをそれぞれ有している。そのため、ステップ９０３では、撮像時の各結像光学系の絞り値が、光学パラメータとして取得される。

そして、ステップ９０５では、実施例１と同様の考え方に基づき、ステップ９０３で得られた撮像時の各結像光学系２０２ａ乃至２０２ｇのＦ値を、Ｆ_monoに代入し、ピント制御範囲を導出する。ここで、Ｆ_monoのＦ値を持つ結像光学系で結像される画像の解像度をＲ_monoとした時、ｄ_refocusが満たすべき条件式（１６）が求められる。

実施例1と同様、上記条件式（１６）において±10.0となっている範囲を、±6.0或いは±3.0とすることで、より鮮鋭な合成画像を得ることができる。

以下に、具体例を示す。
・各撮像素子２０４ａ乃至２０４ｇの有効画素数Ｒ_mono：１９．３×１０^６（pix）・画素ピッチΔ：０．００１２（mm）
・各結像光学系２０２ａ乃至２０２ｇの焦点距離ｆ：５０．０（mm）
・Ｆ値（Ｆ_mono）：１．８
・条件式（１６）の範囲、条件式（１６）の各範囲に対応する合成画像の解像度Ｒ_comb、合成画像の各解像度に対応するｄ_refocusは、例えば以下の表（３）のようになる。

そして、実施例１と同様、操作部１０５を介したユーザ入力によって、合成画像の解像度Ｒ_combが例えば上記３種類の中から選択される。

なお、撮像時のF値が異なるＦ値だった場合は、条件式（１６）を満たすようにｄ_refocusが決定される。

［実施例６］
実施例１〜５は、光学パラメータが固定される状態、或いは撮像装置と注目被写体との距離が固定される状態において、ユーザが指定した注目被写体についてのピント制御の可否を判定し、その判定結果をユーザに通知する様態であった。次に、動画撮影のように一定期間連続して撮像が行なわれる場面において、その撮像期間中に光学パラメータが変化、或いは撮像装置と注目被写体との位置関係が変化した場合の様態について、実施例６として説明する。なお、実施例１等と共通する部分については説明を簡略化ないしは省略し、以下では本実施例に特有な点を中心に説明することとする。

＜画像処理部の構成図＞
図２７は、本実施例に係る画像処理部１１２の内部構成を示したブロック図である。実施例１に係る画像処理部１１２（前述の図８を参照）と比較すると、画像生成部８０８に代えて、判定結果出力制御部２７０１が設けられている。そして、判定結果出力制御部２７０１の出力先として、通知部２７０２及び撮像部制御部１０８が示されている。

判定結果出力制御部２７０１は、ピント判定部８０７の判定結果を反映した情報（特定された注目被写体の合焦状態を表す情報、以下「合焦状態情報」）を、通知部２７０２及び撮像部制御部１０８に出力する。

判定結果出力制御部２７０１から合焦状態情報を受け取った通知部２７０２は、前述したような様々な手法（音声・振動・光などのいずれか又はこれらの組合せ）によってその内容をユーザに通知する。もちろん、これまでの実施例で説明した、注目被写体の合焦状態を示す表示画像の表示と組み合わせて通知を行なうことも可能である。この場合は、画像生成部８０８が、実施例１等の場合と同様に設けられることになる。

また、撮像部制御部１０８は、受け取った注目被写体の合焦状態の情報（或いは当該情報を契機になされたユーザからの指示）に基づいて、撮像処理（視差画像データの取得）を継続し或いは終了する。

その他の処理部については実施例１の画像処理部１１２と基本的に同じであるが、例えば、本実施例における視差画像データ取得部８０１と光学パラメータ取得部８０３は、撮像期間中は連続的に動作する等、細かな点で相違する。これら微細な相違点については、以下に示す本実施例に係る画像処理の流れを示すフローチャートの説明において適宜触れるものとする。

図２８は、本実施例に係る画像処理部１１２における処理の流れを示すフローチャートである。

ステップ２８０１において、画像合成パラメータ取得部８０５は、画像合成パラメータを取得する。

ステップ２８０２において、視差画像データ取得部８０１は、撮像部１００で取得された視差画像データを取得する。

ステップ２８０３において、ＣＰＵ１０１は、注目被写体特定部８０２において、ユーザ入力に従った注目被写体の特定がなされたかどうかを判定する。注目被写体の特定がなされた場合には、ステップ２８０４に進む。一方、注目被写体の特定がなければ、ステップ２８０２に戻る。

ステップ２８０４において、光学パラメータ取得部８０３は、光学パラメータを取得する。

ステップ２８０５において、距離導出部８０４は、視差画像データ取得部８０１から供給される視差画像データを用いて、被写体空間の距離（シーンに含まれる人物、建物等のすべての物体についての距離）を導出する。このように本実施例では、撮像されるシーン全体についての距離情報が導出される。距離を導出する方法は、実施例１と同様であるため説明を省略する。

ステップ２８０６において、ピント制御範囲導出部８０６は、ステップ２８０２、或いは後述するステップ２８１０で新たに取得する視差画像について画像合成を行う場合におけるピント制御範囲を導出する。ピント制御範囲の導出方法は、実施例１と同様である。

ステップ２８０７において、ピント判定部８０７は、ステップ２８０３で特定された注目被写体の合焦状態を導出する。例えば、ステップ２８０６で導出されたピント制御範囲内にあるか否かを判定する。ピント制御範囲内にあるかどうかの判定方法は、実施例１と同様である。導出された合焦状態の情報は、判定結果出力制御部２７０１によって、通知部２７０２及び／又は撮像部制御部１０８に出力される。

ステップ２８０８において、通知部２７０２は、受け取った合焦状態情報の内容を前述したような様々な方法によってユーザに通知する。

ステップ２８０９において、ＣＰＵ１０１は、判定結果出力制御部２７０１から出力される合焦状態情報に基づいて、視差画像データの取得（撮像）を終了するか否かを判定し、撮像部制御部１０８に撮像の継続又は終了を指示する。例えば、注目被写体がピント制御範囲内にある場合には撮像を継続する旨の指示を行い、注目被写体がピント制御範囲外にある場合には撮像（或いは撮像データの記録）を終了する旨の指示を行うことが考えられる。この他、撮像を継続するかどうかをユーザが選択可能なように構成し、入力されたユーザ指示に従って撮像を継続するかどうかを決定するようにしてもよい。撮像を継続すると判定された場合（或いはユーザが撮像の継続を指示した場合）には、ステップ２８１０に進む、一方、撮像を終了すると判定された場合（或いはユーザが撮像の終了を指示した場合）には、ステップ２８１１に進む。

ステップ２８１０において、撮像部制御部１０８は撮像（或いは撮像データの記録）を継続し、視差画像データ取得部８０１によって、新たな視差画像データが取得される（視差画像データの更新）。そして、新たに取得された視差画像データについて、ステップ２８０４以下の処理が繰り返される。

ステップ２８１１において、撮像部制御部１０８は、撮像（或いは撮像データの記録）を終了する制御を行う。

以上が、本実施例に係る画像処理部１１２における処理の流れである。これにより、動画などの撮像シーンにおいて、光学パラメータや撮像装置と注目被写体との位置関係が撮像期間中に変化し、それに伴い注目被写体の合焦状態が変化した場合においても、その事実をユーザはリアルタイムに把握することができる。

なお、ステップ２８１０で視差画像データを新たに取得した際に、ステップ２８０３で特定された注目被写体が、取得された視差画像の中に含まれているかどうかを判定する処理を行い、含まれていなければその旨をユーザに通知するといった処理を行なってもよい。

以下で、撮像期間中に状況が変化した場合の具体例を、図を参照して説明する。

図２９及び図３０は、物体側におけるピント制御範囲が変化する場面を説明する図である。図１２と同様、３種類の被写体（被写体Ａ、被写体Ｂ、被写体Ｃ）が撮像装置から異なる位置に存在しており、被写体Ａが最も撮像装置から近い位置にあり、被写体Ｃが最も撮像装置から遠い位置にある。図２９及び図３０において、Ｄ_refocusは、ステップ２８０６で導出した像側ピント制御範囲ｄ_refocusを物体側に置き換えて表現した、物体側ピント制御範囲を示している。また、Ｄ_focusは、物体側における撮像装置のフォーカス位置を示している。

図２９の（ａ）では、被写体Ａと被写体Ｂが共にピント制御範囲Ｄ_refocusの範囲内にあり、被写体Ａの位置にフォーカス位置Ｄ_focusがある。このような状況において、注目被写体として被写体Ｂが特定されたとする。この場合、被写体Ｂはピント制御範囲Ｄ_refocusの範囲内にあるため、前述のステップ２８０８では、リフォーカスが可能であることが通知部２７０２によって通知される。そして、撮像が継続される場合は新たな視差画像データが取得され（ステップ２８１０）、当該取得された視差画像データに対するステップ２８０４以降の処理が続行される。

図２９の（ｂ）は、撮像装置の光学パラメータの一つであるフォーカス位置Ｄ_focusが被写体Ａの撮像装置側への移動に合わせて変化し、それに伴ってピント制御範囲Ｄ_refocusも変化した様子を示している。すなわち、撮像装置に近づいた被写体Ａに合わせてフォーカス位置Ｄ_focusが変化し、この変化に伴いピント制御範囲Ｄ_refocusが狭まったことで、ピント制御範囲Ｄ_refocusの範囲内であった注目被写体Ｂの合焦状態が、範囲外へと推移している。

図３０の（ａ）は、撮像装置の光学パラメータの一つである焦点距離の変更に合わせて、ピント制御範囲Ｄ_refocusが変化した様子を示している。すなわち、焦点距離の変更に伴ってピント制御範囲Ｄ_refocusが狭まったことで、ピント制御範囲Ｄ_refocusの範囲内であった注目被写体Ｂの合焦状態が、範囲外へと推移している。

図３０の（ｂ）は、撮像装置（撮像者）が、注目被写体である被写体Ｂを含むすべての被写体から遠ざかったことで、ピント制御範囲Ｄ_refocusが変化した様子を示している。すなわち、撮像装置と被写体との位置関係の変化に伴ってフォーカス位置Ｄ_focusが手前に移動し、これに伴ってピント制御範囲Ｄ_refocusも手前に移動したことで、ピント制御範囲Ｄ_refocus範囲内であった注目被写体Ｂが、範囲外へと推移している。この時、撮像装置の光学パラメータに変化はなく、撮像装置と被写体との位置関係だけが変化している。

最後に、上記のように注目被写体の合焦状態が変化したときのユーザへの通知態様について説明する。図３１は、注目被写体の合焦状態が変化した際におけるユーザへの通知態様のバリエーションを説明する図である。

まず、図３１の（ａ）は、被写体Ｂが注目被写体として特定された時点（前述の図２９（ａ）を参照）に生成され、表示部１０６に表示される表示画面の一例である。この場合、被写体Ｂはピント制御範囲Ｄ_refocusの範囲内にあるため、リフォーカスが可能である旨が音声等によって通知される。この図では、実施例１で説明したような、「リフォーカス可」のメッセージをオーバーレイ表示（前述の図１３（ａ）を参照）することはせず、単視点画像をそのまま表示画面としている。

図３１の（ｂ）〜（ｅ）は、前述した図２９の（ｂ）〜（ｃ）のように注目被写体Ｂがピント制御範囲外となった場合における、ユーザへの通知態様の一例をそれぞれ示している。

図３１の（ｂ）は、リフォーカスが不可能であることを示す「リフォーカス不可」のメッセージを画面上にオーバーレイ表示することによって、注目被写体の合焦状態の変化をユーザに通知する態様である。

図３１の（ｃ）は、注目被写体の合焦状態の変化を、音声によって通知する態様である。なお、音声の内容はビープ音などでもよい。

図３１の（ｄ）は、注目被写体の合焦状態の変化を、振動によって通知する態様である。

図３１の（ｅ）は、注目被写体の合焦状態の変化を、光（フラッシュ）によって通知する態様の一例である。

上述したような手法によるユーザへの通知は、撮影中の全期間に渡って行なってもよいし、注目被写体の合焦状態が変化した時にのみ行なうようにしてもよい。更には、注目被写体の合焦状態が変化した以降の全撮影期間に渡って、これらの通知を行なうようにしてもよい。

なお、ここまでに述べた実施例では、一つの被写体を注目被写体として特定する場合を例に説明をしたが、特定可能な注目被写体は複数であってもよい。例えば、図２９の（ａ）において、被写体ＡとＢの両方を注目被写体として特定可能としてもよい。その場合は、被写体ＡとＢの両方についての合焦状態やその変化を通知するように構成すればよい。また、合焦状態の変化を通知する際には、特定された複数の注目被写体のうち変化が生じた注目被写体についてのみ通知を行えばよい。

以上説明したように、本実施例によれば、連続した撮像期間中、特定された注目被写体に対するピント制御の可否をユーザは常に知ることが可能となる。

［その他の実施形態］
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (27)

1. 複数の異なる視点から撮像されて得た視差画像内の注目被写体を特定する特定手段と、
   前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を合わせることができるか否かを示す合焦可否情報をユーザに通知する通知手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を合わせることができるか否かを示す合焦可否情報を含む表示画像を生成する生成手段を更に備え、
   前記表示画像は、前記注目被写体の像を含む第一の画像を含む画像であり、また、前記視差画像から生成される、前記第一の画像とは合焦状態が異なる第二の画像における、前記注目被写体の合焦可否情報を示す画像であり、
   前記通知手段は、前記表示画像を表示することで前記合焦可否情報をユーザに通知する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示画像は、前記第一の画像に、前記第二の画像における注目被写体の合焦可否情報を示す表示を重畳した画像であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第二の画像は、前記視差画像を用いた前記画像合成処理により生成されることを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記画像合成処理によりピント位置の調整が可能な、被写体距離の範囲を示すピント制御範囲を導出するピント範囲導出手段をさらに備え、
   前記通知手段は、導出された前記ピント制御範囲に基づいて前記合焦可否情報を通知する
   ことを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記ピント範囲導出手段は、前記視差画像の画角に応じて前記ピント制御範囲を導出することを特徴とする請求項５に記載の画像処理装置。
7. 前記ピント範囲導出手段は、前記画像合成処理により生成される画像における解像度に応じて前記ピント制御範囲を導出することを特徴する請求項５又は６に記載の画像処理装置。
8. 導出された前記ピント制御範囲に基づき、前記注目被写体の合焦状態を判定する判定手段をさらに備え、
   前記生成手段は、前記判定手段の判定結果に基づいて、前記表示画像を生成する
   ことを特徴とする請求項５乃至７のいずれか一項に記載の画像処理装置 。
9. 前記判定手段は、前記画像合成処理によって前記注目被写体に合焦した画像を生成することが可能かどうかを判定し、
   前記表示画像は、前記画像合成処理によって前記注目被写体に合焦した画像を生成することが可能かどうかを示す画像である
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記判定手段は、前記画像合成処理によって前記注目被写体に合焦可能な度合いを判定し、
    前記表示画像は、前記画像合成処理によって前記注目被写体に合焦可能な度合いを示す画像である
    ことを特徴とする請求項８又は９に記載の画像処理装置。
11. 前記表示画像は、前記合焦可能な度合いを示すレベルバーを前記第一の画像に重畳した画像であることを特徴とする請求項１０に記載の画像処理装置。
12. 前記注目被写体までの距離を導出する距離導出手段をさらに備え、
    前記判定手段は、前記距離導出手段で導出された前記注目被写体までの距離及び前記ピント範囲導出手段で導出されたピント制御範囲に基づいて、前記注目被写体の合焦状態を判定する
    ことを特徴とする請求項８乃至１１のいずれか１項に記載の画像処理装置。
13. 前記視差画像は、前記視点それぞれから撮像される単視点画像から構成され、前記距離導出手段は、前記複数の単視点画像の間でステレオマッチングを行うことにより前記注目被写体までの距離を導出することを特徴とする請求項１２に記載の画像処理装置。
14. 前記視差画像は、前記視点それぞれから撮像される単視点画像から構成され、
    前記第一の画像は、前記複数の単視点画像のうちの１の単視点画像である
    ことを特徴とする請求項２乃至１３のいずれか１項に記載の画像処理装置。
15. 前記視差画像は、前記視点それぞれから撮像される単視点画像から構成され、
    前記第一の画像は、前記複数の単視点画像を合成して得られた合成画像である
    ことを特徴とする請求項２乃至１３のいずれか１項に記載の画像処理装置。
16. 前記特定手段は、ユーザからの指示に基づいて、前記注目被写体を特定することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 前記特定手段は、前記視差画像を用いて被写体空間の距離を導出して、前記導出された当該被写体空間の距離に基づいて、前記注目被写体を特定することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 前記通知手段は、前記視差画像を用いた画像合成処理により生成される画像における、前記特定された注目被写体の合焦状態を、音を用いてユーザに通知することを特徴とする請求項１乃至１７のいずれか一項に記載の画像処理装置。
19. 前記通知手段は、前記視差画像を用いた画像合成処理により生成される画像における、前記特定された注目被写体の合焦状態を、振動を用いてユーザに通知することを特徴とする請求項１乃至１８のいずれか一項に記載の画像処理装置。
20. 前記通知手段は、前記視差画像を用いた画像合成処理により生成される画像における、前記特定された注目被写体の合焦状態を、光を用いてユーザに通知することを特徴とする請求項１乃至１８のいずれか一項に記載の画像処理装置。
21. 前記通知手段は、前記視差画像を用いた画像合成処理により生成される画像における、前記特定された注目被写体の合焦状態の変化を、ユーザに通知することを特徴とする請求項１乃至２０のいずれか一項に記載の画像処理装置。
22. 請求項１乃至２１のいずれか１項に記載の画像処理装置を備えたことを特徴とする撮像装置。
23. 請求項２乃至１５のいずれか１項に記載の画像処理装置を備えた撮像装置であって、
    前記撮像装置は、ライブビュー機能を有し、
    前記表示画像は、前記ライブビュー機能において表示される画像である
    ことを特徴とする撮像装置。
24. 複数の異なる視点から撮像されて得た視差画像内の注目被写体を特定する特定手段と、
    前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を併せることができるか否かを示す合焦可否情報に基づいて、連続してなされる前記撮像の継続の可否を制御する制御手段と、
    を備えたことを特徴とする画像処理装置。
25. 複数の異なる視点から撮像されて得られた視差画像内の注目被写体を特定するステップと、
    前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を併せることができるか否かを示す合焦可否情報をユーザに通知するステップと、
    を含むことを特徴とする画像処理方法 。
26. 複数の異なる視点から撮像されて得た視差画像内の注目被写体を特定するステップと、
    前記視差画像を用いた画像合成処理により生成される画像において、前記画像合成処理により前記特定された注目被写体にピント位置を併せることができるか否かを示す合焦可否情報に基づいて、連続してなされる前記撮像の継続の可否を制御するステップと、
    を含むことを特徴とする画像処理方法。
27. コンピュータを、請求項１乃至２１、２４のうちいずれか１項に記載の画像処理装置として機能させるためのプログラム。