JP2019016975A - 画像処理装置および画像処理方法、撮像装置、プログラム - Google Patents

Abstract

【課題】撮影条件に応じて、画質品位を維持しつつ複数の視点画像の画像処理を行うこと。【解決手段】撮像装置の撮像素子１０７は、結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した構成を有する。ＣＰＵ１２１は撮像素子１０７から異なる瞳部分領域にそれぞれ対応する複数の視点画像を取得して画像処理部１２５により出力画像を生成する制御を行う。ＣＰＵ１２１および画像処理部１２５は、入力画像の撮影条件と、像ずれ量をデフォーカス量へ変換する変換係数を用いて像ずれ量の検出範囲を設定し、複数の視点画像から検出範囲の像ずれ量分布（Ｓ３）を生成し、像ずれ差分量分布（Ｓ４）を生成する。像ずれ量分布に応じた画像処理（Ｓ５からＳ８）が行われ、出力画像としてリフォーカス画像が生成される。【選択図】 図９

Description

本発明は、複数の視点画像の画像処理に関する。

撮像装置に採用される撮像面位相差方式では、撮像素子に形成された焦点検出画素により位相差方式の焦点検出が行われる。特許文献１に開示された撮像装置は、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いる。複数の分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる領域からの光を受光するように構成され、瞳分割を行う。各光電変換部によって受光された信号から視点信号が生成される。複数の視点信号間の視差から像ずれ量を算出してデフォーカス量に換算することで、位相差方式の焦点検出が行われる。特許文献２では、複数の分割された光電変換部によって受光された複数の視点信号を加算することで、撮像信号を生成することが開示されている。

撮影画像に関する複数の視点信号は、光強度の空間分布および角度分布の情報であるライトフィールド（Ｌｉｇｈｔ Ｆｉｅｌｄ）データと等価である。非特許文献１では、ライトフィールドデータを用いて撮像面とは異なる仮想結像面における画像を合成し、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書 特開２００１−８３４０７号公報 特開２０１１−２２７９６号公報

ＳＩＧＧＲＡＰＨ‘００ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ａｎｎｕａｌ ｃｏｎｆｅｒｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ ｔｅｃｈｎｉｑｕｅｓ，ｐ２９７−３０６（２０００）

ところで、撮像光学系の絞り値や、撮像装置から被写体までの距離等の撮影条件により複数の視点画像間の差が異なる。このため、複数の視点画像間の差に応じたリフォーカス処理での先鋭化や平滑化等の画像処理を行う場合、被写体に対して適切に処理範囲を設定できないと、画質品位の低下をもたらす可能性がある。
本発明の目的は、撮影条件に応じて、画質品位を維持しつつ複数の視点画像の画像処理を行うことである。

本発明の一実施形態の装置は、視点の異なる複数の視点画像を取得する取得手段と、撮影条件から前記複数の視点画像の像ずれ量の検出範囲を設定し、前記複数の視点画像から前記検出範囲の像ずれ量に対応する分布情報を生成する第１の生成手段と、前記分布情報を用いて画像処理を行い、出力画像を生成する第２の生成手段と、を備える。

本発明によれば、撮影条件に応じて、画質品位を維持しつつ複数の視点画像の画像処理を行うことができる。

第１実施例に係る撮像装置の概略構成図である。 第１実施例における画素配列の概略図である。 第１実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。 第１実施例における画素と瞳分割の概略説明図である。 第１実施例における画素内部の光強度分布例を示す図である。 第１実施例における瞳強度分布例を示す図である。 第１実施例における撮像素子と瞳分割の概略説明図である。 第１実施例における視点画像のデフォーカス量と像ずれ量の概略関係図である。 第１実施例におけるリフォーカス処理のフローチャートである。 第１視点画像と第２視点画像の瞳ずれの概略説明図である。 第１視点画像と第２視点画像の瞳ずれによるシェーディングの説明図である。 第１実施例の撮像画像を例示する図である。 第１実施例における撮像画像の撮像コントラスト分布例を示す図である。 第１実施例における第１視点画像のコントラスト分布例を示す図である。 第１実施例における第２視点画像のコントラスト分布例を示す図である。 第１実施例における視点画像間の視差と遠近競合の概略関係図である。 第１実施例における視点画像間のコントラスト差分量分布例を示す図である。 第１実施例のコントラスト分布例を示す図である。 第１実施例の像ずれ量分布例を示す図である。 第１実施例における像ずれ差分量分布例を示す図である。 第１実施例における先鋭化処理例を示す図である。 第１実施例におけるシフト合成処理によるリフォーカスの概略説明図である。 第１実施例におけるリフォーカス可能範囲の概略説明図である。 従来例と第１実施例のリフォーカス画像を例示する図である。 第１実施例における像ずれ量分布生成処理のフローチャートである。 第２実施例における像ずれ量分布生成処理のフローチャートである。 第３実施例における画素配列の概略図である。 第３実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。デジタルカメラ等の撮像装置に適用した場合の実施例を説明するが、本発明に係る画像処理方法を実行する画像処理装置や情報処理装置、電子機器等に幅広く適用可能である。

［第１実施例］
本発明の第１実施例に係る画像処理装置の適用例として、撮像装置の全体構成を以下に説明する。図１は本実施例に係る撮像素子を有する撮像装置の構成例を示すブロック図である。被写体側を前側として各部の位置関係を説明する。

第１レンズ群１０１は撮像光学系（結像光学系）の前端部に配置され、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍動作を行い、ズーム機能を実現する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路を備え、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、レンズ鏡筒のカム筒を回動させることで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ（オートフォーカス）補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

カメラ本体部の制御部を構成するＣＰＵ（中央演算処理装置）１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリー・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、撮像装置内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。ＡＦ制御では撮像光学系の焦点状態検出および焦点調節の制御が行われる。ＣＰＵ１２１は本発明に係るデータの生成手段の機能を有する。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光源駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得された画像のガンマ変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は各種の操作スイッチを備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。所定の画像データが表示部１３１の画面に表示され、またはフラッシュメモリ１３３に記録される。所定の画像データとは、例えば撮像素子１０７により撮像されてから画像処理回路１２５により処理された複数の視点画像データ、または複数の視点画像データを撮像素子１０７内または画像処理回路１２５内で合成した合成画像データである。

図２は、撮像素子の画素と副画素の配列を説明する概略図である。図２の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２は、撮像素子として２次元ＣＭＯＳセンサの撮像画素配列を４列×４行の範囲で示し、副画素配列を８列×４行の範囲で示している。

図２に示す２列×２行の画素群２００は、以下の画素２００Ｒ，２００Ｇ，２００Ｂから構成される。
・左上に位置する第１色Ｒ（赤）の分光感度を有する画素２００Ｒ。
・右上と左下に位置する第２色Ｇ（緑）の分光感度を有する画素２００Ｇ。
・右下に位置する第３色Ｂ（青）の分光感度を有する画素２００Ｂ。
図２のｘ方向の分割数をＮｘとし、ｙ方向の分割数をＮｙとすると、全分割数Ｎ_ＬＦはＮｘ×Ｎｙである。図２の例ではＮｘ＝２およびＮｙ＝１であり、第１副画素２０１と第２副画素２０２により１つの画素部が構成される。４列×４行の画素（８列×４行の副画素）を面上に多数配置することで、撮像素子１０７から、撮像画像（合成画像）および分割数２の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の列方向周期Ｐ_Ｓを２μｍとし、副画素数Ｎ_Ｓを横１１１５０列×縦３７２５行＝約４１５０万画素とする。なお、分割数Ｎ_ＬＦの場合には第１副画素から第Ｎ_ＬＦ副画素から画素データを取得可能である。

図３を参照して画素部の構造を説明する。図３（Ａ）は、図２に示す撮像素子１０７における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図である。図３（Ａ）の紙面に垂直な方向の軸をｚ軸とし、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向の軸をｙ軸とし、上方をｙ軸の正方向と定義する。ｚ軸およびｙ軸に直交する左右方向の軸をｘ軸とし、右方をｘ軸の正方向と定義する。図３（Ｂ）は、図３（Ａ）にてａ−ａ線に沿って切断し、−ｙ側から見た場合の断面図である。

画素２００Ｇには、その受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、第１光電変換部３０１と第２光電変換部３０２が形成されており、それぞれ第１副画素２０１と第２副画素２０２に対応する。分割数Ｎ_ＬＦの場合には、第１光電変換部から第Ｎ_ＬＦ光電変換部がそれぞれ、第１副画素から第Ｎ_ＬＦ副画素に対応する。

各光電変換部３０１，３０２は、独立したｐｎ接合フォトダイオードを有し、ｐ型ウェル層３００と２つに分割されたｎ型層３０１とｎ型層３０２から構成される。必要に応じて、イントリンシック層を挟み、ｐｉｎ構造フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、第１光電変換部３０１および第２光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、カラーフィルタ３０６の分光透過率を画素ごとに、また光電変換部ごとに変更してもよいし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、第１光電変換部３０１と第２光電変換部３０２がそれぞれ受光する。各光電変換部では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、電子が蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型ウェル層を通じて撮像素子の外部へ排出される。第１光電変換部３０１と第２光電変換部３０２に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、撮像素子１０７における画素構造と瞳分割との対応関係を示す概略的な説明図である。図４の下側には、図３（Ａ）に示した画素構造をａ−ａ線で切断し、＋ｙ方向から見た場合の断面図を示す。図４の上側には、結像光学系の射出瞳面を、−Ｚ方向から見た図を示す。Ｚ軸方向は光軸方向であり、射出瞳面上でｘ方向に平行な方向をＸ方向とし、ｙ方向に平行な方向をＹ方向と定義する。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸との関係を、図３に示す状態とは反転させて示している。撮像素子１０７は、結像光学系の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子１０７が配置された面を撮像面とする。

第１瞳部分領域５０１と第２瞳部分領域５０２はそれぞれ、第１光電変換部３０１と第２光電変換部３０２の受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。つまり第１瞳部分領域５０１と第２瞳部分領域５０２は第１副画素２０１と第２副画素２０２でそれぞれ受光可能な瞳領域である。第１瞳部分領域５０１は瞳面上で＋Ｘ側に重心が偏倚しており、第２瞳部分領域５０２は瞳面上で−Ｘ側に偏倚している。

瞳領域５００は、第１光電変換部３０１と第２光電変換部３０２を全て合わせた受光面と、マイクロレンズによって、概ね、光学的に共役な関係になっている。つまり瞳領域５００は、第１副画素２０１と第２副画素２０２を全て合わせた画素２００Ｇ全体での受光可能な瞳領域である。分割数Ｎ_ＬＦの場合には、瞳領域がＮｘ×Ｎｙに分割され、第１瞳部分領域から第Ｎ_ＬＦ瞳部分領域により構成される。

図５は、各画素に形成されたマイクロレンズに光が入射した場合の光強度分布を例示する断面図である。図５（Ａ）はマイクロレンズの光軸に平行な断面での光強度分布を示す。図５（Ｂ）はマイクロレンズの焦点位置において、マイクロレンズの光軸に垂直な断面での光強度分布を示す。入射光は、マイクロレンズにより焦点位置に集光される。しかし、光の波動性による回折の影響のため、集光スポットの直径は回折限界Δより小さくすることはできず、有限の大きさとなる。光電変換部の受光面サイズは約１〜２μｍ程度であるのに対してマイクロレンズの集光スポットは約１μｍ程度である。そのため、光電変換部の受光面とマイクロレンズを介して共役の関係にある、図４の第１瞳部分領域５０１と第２瞳部分領域５０２は、回折暈けのため、明瞭に瞳分割されない。よって、光の入射角に依存した受光率分布（瞳強度分布）が得られる。

図６は、光の入射角に依存した受光率分布（瞳強度分布）の例を示す。横軸は瞳座標を表し、縦軸は受光率を表す。図６に実線で示すグラフ線Ｌ１は、図４の第１瞳部分領域５０１のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ１で示す受光率は、左端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって右端へと至る。また、図６に破線で示すグラフ線Ｌ２は、第２瞳部分領域５０２のＸ軸に沿った瞳強度分布を表す。グラフ線Ｌ２で示す受光率は、グラフ線Ｌ１とは反対に、右端から急峻に上昇してピークに到達した後で徐々に低下してから変化率が緩やかになって左端へと至る。図示のように、緩やかに瞳分割されることがわかる。

図７は、本実施例の撮像素子と瞳分割との対応関係を示す概略図である。撮像面６００を線分で示しており、第１光電変換部３０１と第２光電変換部３０２がそれぞれ、第１副画素２０１と第２副画素２０２に対応する。撮像素子の各画素において、第１光電変換部３０１と第２光電変換部３０２はそれぞれ、結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２を通過した光束を受光する。各光電変換部で受光された信号から、光強度の空間分布および角度分布を示すライトフィールドデータ（入力画像）が取得される。分割数Ｎ_ＬＦの場合にはＮｘ×Ｎｙ分割された第１副画素から第Ｎ_ＬＦ副画素の各信号からライトフィールドデータ（以下、ＬＦデータと記す）を取得可能である。

ＬＦデータにおいて、画素ごとに分割された第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択する処理が行われる。結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２のうち、特定の瞳部分領域に対応した視点画像を生成することができる。例えば、画素ごとに第１副画素２０１（または第２副画素２０２）の信号を選択することで、第１瞳部分領域５０１（または第２瞳部分領域５０２）に対応した画素数Ｎの解像度を有する第１視点画像（または第２視点画像）を生成できる。第１視点画像と第２視点画像は視点の異なる画像である。分割数Ｎ_ＬＦの場合には第１視点画像から第Ｎ_ＬＦ視点画像を生成可能である。

またＬＦデータにおいて、画素ごとに分割された第１副画素２０１と第２副画素２０２の信号を全て合成することで、画素数Ｎの解像度を有する撮像画像を生成することができる。分割数Ｎ_ＬＦの場合には、第１副画素から第Ｎ_ＬＦ副画素の信号の合成によって撮像画像が生成される。

以上のように本実施例の撮像素子は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部が設けられた画素が複数配列された構造を有し、ＬＦデータ（入力画像）を取得することができる。

次に、撮像素子により取得されるＬＦデータ（入力画像）から生成される第１視点画像と第２視点画像のデフォーカス量と、像ずれ量との関係について説明する。
図８は、第１視点画像と第２視点画像のデフォーカス量と、第１視点画像と第２視点画像との間の像ずれ量について概略的に示す関係図である。撮像面６００には撮像素子（不図示）が配置され、図４、図７の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面６００までの距離を表す。被写体像の結像位置が撮像面６００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図８に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示し、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を示す。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面６００上で暈け像となる。暈け像は、撮像素子に配列された各画素部を構成する第１副画素２０１（または第２副画素２０２）により受光され、第１視点画像（または第２視点画像）が生成される。よって、第１視点画像（または第２視点画像）は、撮像面６００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（暈け像）の画像データとしてメモリに記憶される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１視点画像と第２視点画像との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１視点画像と第２視点画像との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。したがって、本実施例では、第１視点画像と第２視点画像、または、第１視点画像と第２視点画像を加算した撮像画像のデフォーカス量が増減するのに伴い、第１視点画像と第２視点画像との間の像ずれ量の大きさが増加する。

本実施例では、複数の視点画像（第１乃至第Ｎ_ＬＦ視点画像）のデフォーカス量と像ずれ量の関係性を用いて、撮像画像に対して、撮影後にフォーカス位置を再修正するリフォーカス処理を行う。具体的には、第１視点画像から第Ｎ_ＬＦ視点画像を用いたシフト合成処理によるリフォーカスと、シャープ／アンシャープ制御とを組み合わせた処理が実行される。シャープ／アンシャープ制御は、像ずれ差分量分布に応じた先鋭化と平滑化によって先鋭度の高い領域と暈け度合いの高い領域を適応的に画像処理する制御である。ただし、リフォーカス処理とシャープ／アンシャープ制御のうち、いずれか一方のみを画像に行ってもよい。いずれか一方を行う場合には、図９にて必要でない処理のステップを省略すればよい。

図９を参照して、リフォーカス処理およびシャープ／アンシャープ制御の流れの概略図を用いて説明する。撮像素子により取得されたＬＦデータ（入力画像）から、撮影後に、フォーカス位置や暈け感が修正された処理画像（出力画像）を生成する画像処理が行われる。なお、図９の処理は、ＣＰＵ１２１と画像処理回路１２５によって実行される。

図９のＳ１では、撮像素子により取得されたＬＦデータから、結像光学系の異なる瞳部分領域ごとに、複数の視点画像（第１視点画像から第Ｎ_ＬＦ視点画像）が生成される。視点の異なる複数の画像は多視点画像とも呼ばれる。また、結像光学系の異なる瞳部分領域を合成した瞳領域に対応する撮像画像（合成画像）が生成される。

具体的にはＳ１において、まず撮像素子１０７により取得されたＬＦデータを取得する処理が実行される。または、予め撮像素子１０７により撮像されて記録媒体に保存されているＬＦデータを読み出して入力画像データとして用いてもよい。次に、結像光学系の異なる瞳部分領域ごとに、第１視点画像から第Ｎ_ＬＦ視点画像のデータが生成される。ＬＦデータ（入力画像）を「ＬＦ」と表記する。また、ＬＦの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦Ｎｘ）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦Ｎｙ）番目の副画素信号を、ｋ＝Ｎｘ（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦Ｎ_ＬＦ）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像をＩｋ（ｊ，ｉ）と表記すると、これは式（１）により生成される。

本実施例は、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２での分割の例である。図２に例示した画素配列に対応したＬＦデータから、画素ごとに、ｘ方向にて２分割された第１副画素２０１と第２副画素２０２の中から特定の副画素の信号を選択する処理が行われる。結像光学系の第１瞳部分領域５０１と第２瞳部分領域５０２の中の特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像と第２視点画像が生成される。

ここで、第１視点画像と第２視点画像の瞳ずれによるシェーディングについて説明する。図１１は、撮像素子の周辺像高における、第１光電変換部３０１が受光する第１瞳部分領域５０１、第２光電変換部３０２が受光する第２瞳部分領域５０２、および結像光学系の射出瞳４００の関係を示す。尚、図４と同じ部分について同じ符号を用いて示している。第１光電変換部３０１と第２光電変換部３０２がそれぞれ、第１副画素２０１と第２副画素２０２に対応する。結像光学系の射出瞳距離をＤｌと表記し、撮像素子の設定瞳距離をＤｓと表記する。

図１１（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合を示す。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、概ね、均等に瞳分割される。これに対して図１１（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。図１１（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合を示す。この場合、撮像素子の周辺像高で結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が、不均一に瞳分割されてしまう。周辺像高で瞳分割が不均一になることに伴い、第１視点画像と第２視点画像の強度が不均一になる。第１視点画像と第２視点画像のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが、ＲＧＢの色ごとに発生する。

各視点画像のシェーディングを改善するために、第１視点画像から第Ｎ_ＬＦ視点画像には、シェーディング補正処理（光学補正処理）がＲＧＢごとに行われる。また、必要に応じて、キズ補正処理や、飽和処理、デモザイキング処理等が行われる。

図９のＳ１において次に、撮像画像（合成画像）が生成される。撮像画像は結像光学系の異なる瞳部分領域を合成した瞳領域に対応する画像である。列方向にてｉ番目、行方向にてｊ番目の撮像画像をＩ（ｊ，ｉ）と表記すると、これは式（２）により生成される。

本実施例は、Ｎｘ＝２、Ｎｙ＝１で、Ｎ_ＬＦ＝２の分割の例である。図２に例示した画素配列に対応した入力画像（ＬＦデータ）から、画素ごとに、第１副画素２０１と第２副画素２０２の信号を全て合成し、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像を生成する処理が実行される。必要に応じて、シェーディング補正処理、キズ補正処理、飽和処理、デモザイキング処理等が行われる。図１２は、本実施例のデモザイキング処理が施された撮像画像を例示する。中央に主被写体である人形が配置され、左側に細かい市松模様の平板が手前から奥に渡って傾斜して配置されている。

以上のように、結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の光電変換部が設けられた画素を複数配列した撮像素子により取得される入力画像から、異なる瞳部分領域ごとに、複数の視点画像が生成される。さらには、異なる瞳部分領域を合成した瞳領域に対応する撮像画像が生成される。複数の視点画像およびそれらの合成画像を取得できる構成であれば、各種の撮像系を有する装置に本発明を適用可能である。特許文献３に開示されるように、視点の異なる複数のカメラを用いる構成では、複数のカメラをまとめて撮像素子１０７とみなすことができる。また、物体平面と撮像素子が共役の関係となるように、マイクロレンズアレイ上で撮像光学系からの光束を結像させ、その結像面に撮像素子を設ける構成でもよい。さらには、マイクロレンズアレイ上で撮像光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあり、この光束を結像させるので再結像と呼んでいる）、その結像面に撮像素子を設ける構成がある。また、適当なパターンを施したマスク（ゲイン変調素子）を撮像光学系の光路中に挿入する構成を利用できる。これらの構成の適用については後述する実施例でも同じである。

図９のＳ２では、撮像画像（合成画像）と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域ごとに抽出し、コントラスト分布を生成する処理が行われる。本実施例のコントラスト分布については、視点画像間の差に応じた調整が行われる。具体的にはＳ２において、まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ，ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙ（ｊ，ｉ）が、下記式（３Ａ）により生成される。ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、位置（ｊ，ｉ）ごとに、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）が、下記式（３Ｂ）により生成される。

Ｓ２において、次に、空間周波数の高周波成分を抽出する２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）が下記式（４Ａ）より生成される。２次元バンドパスフィルタ｛Ｆ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）｜−ｎ_ＢＰＦ≦ｊ_ＢＰＦ≦ｎ_ＢＰＦ、−ｍ_ＢＰＦ≦ｉ_ＢＰＦ≦ｍ_ＢＰＦ｝が使用される。第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）が下記式（４Ｂ）より生成される。

本実施例は、Ｎｘ＝２、Ｎｙ＝１でＮ_ＬＦ＝２の分割の例である。ｘ方向（瞳分割方向）の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ方向（瞳分割方向と直交する方向）の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタＦ_ＢＰＦ（ｊ_ＢＰＦ，ｉ_ＢＰＦ）が構成される。つまり、Ｆ_ＢＰＦ（ｊ_ＢＰＦ，ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）である。瞳分割方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）には、ｘ方向の空間周波数の高周波成分を抽出するため、例えば係数が、０．５×［１，２，０，−２，−１］＋１．５×［１，０，−２，０，１］等の１次元バンドパスフィルタが用いられる。ここで、１次微分型フィルタ［１、２，０，−２，−１］と２次微分型フィルタ［１，０，−２，０，１］を組み合わせた混合型フィルタとしている。一般的に、微分型フィルタ処理を行うと、フィルタ処理後の信号において、正符号から負符号に変化する部分にゼロ点が存在する。このため、絶対値演算と組み合わせることにより、空間周波数の高周波成分が含まれる領域に節が生じてしまう場合がある。節が発生する位置は、微分型フィルタの微分の次数により異なる。そこで、本実施例では、１次微分型フィルタと２次微分型フィルタ（一般には、異なる次数の微分型フィルタ）を組み合わせた混合型フィルタを用いることで、節の発生を抑制している。必要に応じて、［１，２，０，−２，−１］等の１次微分型フィルタ、［１，０，−２，０，１］等の２次微分型フィルタ、高次微分型フィルタや、より一般的な１次元バンドパスフィルタを用いてもよい。

瞳分割方向と直交する方向であるｙ方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）には、ｙ方向の高周波ノイズを抑制するため、例えば、［１，１，１，１，１］や［１，４，６，４，１］等の高周波カット（ローパス）フィルタを用いることができる。必要に応じて、ｘ方向とｙ方向のいずれの方向に対しても、空間周波数の高周波成分を抽出するバンドパスフィルタ処理を行ってもよい。本実施例では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

Ｓ２において、次に規格化撮像高周波信号ｄＺ（ｊ，ｉ）が下記式（５Ａ）により生成される。式（５Ａ）中、Ｙ_０＞０であり、撮像高周波信号ｄＹ（ｊ，ｉ）が撮像輝度信号Ｙ（ｊ，ｉ）により規格化される。また規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）が下記式（５Ｂ）により生成される。第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）が第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化される。分母のＹ_０＞０との最大値判定は、ゼロでの除算を防止するための処理である。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制してもよい。

Ｓ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γを用いて、撮像コントラスト分布Ｃ（ｊ，ｉ）が、下記式（６Ａ）により生成される。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）が、下記式（６Ｂ）により生成される。

式（６Ａ）の１行目で、撮像輝度信号Ｙ（ｊ，ｉ）が低輝度閾値Ｙｍｉｎより小さい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値は０に設定される。式（６Ａ）の３行目で、規格化撮像高周波信号ｄＺ（ｊ，ｉ）がコントラスト最大閾値Ｃｍａｘより大きい場合、撮像コントラスト分布Ｃ（ｊ，ｉ）の値は１に設定される。それ以外の場合、式（６Ａ）の２行目で、撮像コントラスト分布Ｃ（ｊ，ｉ）は、規格化撮像高周波信号ｄＺ（ｊ，ｉ）をコントラスト最大閾値Ｃｍａｘで規格化してγ乗した値に設定される。

以上のように、撮像コントラスト分布Ｃ（ｊ，ｉ）は、［０，１］（０以上１以下）の範囲内の値をとる。Ｃ（ｊ，ｉ）の値が、０に近いとコントラストが低く、１に近いとコントラストが高いことを示す。撮像コントラスト分布Ｃ（ｊ，ｉ）の０から１までのトーンカーブを調整するために、ｄＺ（ｊ，ｉ）／Ｃｍａｘがγ乗されている。低コントラスト側での変化を緩やかにし、高コントラスト側での変化を急峻にするために、指数γの値は１．５以上２．５以下が望ましい。必要に応じて、定義域［０，１］から値域［０，１］への関数Ｆ：［０，１］→［０，１］を用いて、合成関数Ｆ（Ｃ（ｊ，ｉ））により撮像コントラスト分布を算出してもよい。
第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）についても上記と同様である。

図１３は本実施例の撮像コントラスト分布Ｃ（ｊ，ｉ）の分布例を示す。図１４は第１視点コントラスト分布Ｃ_１（ｊ，ｉ）の分布例を示し、図１５は第２視点コントラスト分布Ｃ_２（ｊ，ｉ）の分布例を示す。図１３から図１５に示す分布例では、右側の［０，１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ方向の空間周波数の高周波成分が多く、コントラストの高い領域を示し、０近傍の黒い部分はｘ方向の空間周波数の高周波成分が少なく、コントラストの低い領域を示している。

本実施例における複数の視点画像（第１視点画像と第２視点画像）間の視差と、遠近競合やオクルージョンとの関係を、図１６を用いて説明する。図１６において、撮像面６００に本実施例の撮像素子（不図示）が配置され、図４、図７、図８と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

図１６（Ａ）は、被写体ｑ１の合焦像ｐ１に、手前の被写体ｑ２の暈け像Γ１＋Γ２が重なって撮影され、撮影画像において遠近競合が生じている例を示す。この例において、結像光学系の第１瞳部分領域５０１を通過する光束と、瞳部分領域５０２を通過する光束に、それぞれ分けた状態を、図１６（Ｂ）、図１６（Ｃ）に示す。

図１６（Ｂ）では、被写体ｑ１からの光束は、第１瞳部分領域５０１を通過して、合焦状態で像ｐ１に結像する。手前の被写体ｑ２からの光束は、第１瞳部分領域５０１を通過して、デフォーカス状態で暈け像Γ１に広がり、撮像素子の各画素の副画素２０１で受光される。副画素２０１の受光信号から第１視点画像が生成される。第１視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２の暈け像Γ１が重ならずに、異なる位置で撮影される。第１視点画像においては、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じていない。

一方、図１６（Ｃ）では、被写体ｑ１からの光束は、第２瞳部分領域５０２を通過して、合焦状態で像ｐ１に結像する。手前の被写体ｑ２からの光束は、第２瞳部分領域５０２を通過して、デフォーカス状態で暈け像Γ２に広がり、撮像素子の各画素の副画素２０２で受光される。副画素２０２の受光信号から第２視点画像が生成される。第２視点画像では、被写体ｑ１の像ｐ１と手前の被写体ｑ２の暈け像Γ２が重なって撮影される。第２視点画像においては、複数の被写体（被写体ｑ１と被写体ｑ２）の間で、遠近競合やオクルージョンが生じている。

図１６の例は、撮影画像において遠近競合やオクルージョンが生じている領域近傍では、撮影画像を構成する第１視点画像と第２視点画像とで遠近競合やオクルージョンが生じている状態が異なる。よって第１視点画像と第２視点画像との差が大きくなる可能性が高いことを示している。したがって、複数の視点画像間の差が大きい領域を検出することにより、遠近競合やオクルージョンが発生している可能性が高い領域を推定できる。

図１７は、本実施例の第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）との差分量分布Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）を例示する。図１７に示す分布例では、右側の［−１，１］の範囲のグレースケール表示にて、第１視点画像のコントラストと第２視点画像のコントラストとの差（第１視点コントラスト分布と第２視点コントラスト分布の差分量）の大小の指標を表している。０近傍の黒い部分は、第１視点画像と第２視点画像のコントラスト差が小さい領域を示す。一方、±１近傍の白い部分は、第１視点画像と第２視点画像のコントラスト差が大きい領域を示す。

図１７において、第１視点画像と第２視点画像のコントラスト差が大きい白い領域として、中央下部では、被写体（人形）の胴体と、市松模様の平板とで、遠近競合やオクルージョンを生じている領域が検出されている。また、遠近競合やオクルージョンが生じている領域以外に、デフォーカス状態の被写体エッジ部のように、高いコントラストが保たれたまま像ずれ量が大きい領域等が検出されている。この領域は第１視点画像と第２視点画像とで、空間周波数の高周波帯域成分が大きく変化している領域である。これらの検出領域では、第１視点画像と第２視点画像とで、空間周波数成分が大きく異なる被写体像が、それぞれ撮影されている。そのため、第１視点画像と第２視点画像とを合成した撮像画像にて、上記検出領域は、空間周波数成分が大きく異なる複数の被写体像が混成している、混成領域である。

空間周波数成分が異なる複数の被写体像の混成領域に対して、先鋭化や平滑化等の画像処理を強く行うと、画質品位が低下する可能性がある。そこで、本実施例では、第１視点コントラスト分布と第２視点コントラスト分布との差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜を用いて、空間周波数成分が異なる複数の被写体像の混成領域を検出する。検出された混成領域での先鋭化や平滑化等の画像処理を抑制して行うことにより、画質品位を良好に維持しつつ、先鋭化や平滑化の画像処理を行うことができる。

本実施例では、Ｓ２において、空間周波数成分が異なる複数被写体像の混成領域を検出する。そのために、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が生成される。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が乗算される。これにより、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０，１］の範囲の分布である。つまり視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づき、視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）にコントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を乗算した分布であるので、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制した分布である。

図１８は本実施例のコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の分布例を示す。図１８に示す分布例では、右側の［０，１］の範囲のグレースケール表示にてコントラストの高低の指標を表している。１近傍の白い部分はｘ方向の空間周波数の高周波成分が多く、コントラストの高い領域を示し、０近傍の黒い部分はｘ方向の空間周波数の高周波成分が少なく、コントラストの低い領域を示している。図１３に示した撮像コントラスト分布Ｃ（ｊ，ｉ）に対して、差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜が大きい領域ではコントラスト値が抑制されている。

本実施例では、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）として、第１視点コントラスト分布と第２視点コントラスト分布の差分量分布の絶対値｜Ｃ_１（ｊ，ｉ）−Ｃ_２（ｊ，ｉ）｜に対して単調減少する線形関数を用いた。必要に応じて、より一般的な関数を用いてもよい。

以上のように本実施例では、撮像画像と複数の視点画像から、視点画像ごとのコントラスト間の差に応じて、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）を生成する処理が実行される。本実施例のコントラスト分布値は、視点画像ごとのコントラスト間の差が大きい領域よりも、コントラスト間の差が小さい領域の方が大きい。また、本実施例のコントラスト分布値は、所定の空間周波数帯域における撮像画像の空間周波数成分が少ない領域よりも、空間周波数成分が多い領域の方が大きい。また、本実施例のコントラスト分布値は、撮像画像の輝度が低い領域よりも、輝度が高い領域の方が大きい。

２回目以降の処理で、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成を省略し、処理時間を短縮することができる。そのために、生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）のデータを、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体等に記録する処理が行われる。

図９のＳ３では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値以上である各位置（ｊ，ｉ）において、第１視点画像と第２視点画像から、第１視点画像と第２視点画像との相関（信号の一致度）に基づき、像ずれ量分布が生成される。なお、本実施例に限らず、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値に関係なく各視点画像に基づき像ずれ量分布を生成してもよい。また、生成される分布情報として視差マップを表わす像ずれ量分布を例示するが、本発明を適用する上では当該分布情報に限らない。焦点ずれ量の分布を表わすデフォーカス量分布や、撮像装置と被写体との距離を表わす被写体距離分布でもよい。

Ｓ３では、まず、ベイヤー配列のＲＧＢ信号である第１視点画像Ｉ_１から、式（３Ｂ）により生成された第１視点輝度信号Ｙ_１に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われ、第１焦点検出信号ｄＹＡが生成される。また、第２視点画像Ｉ_２から、式（３Ｂ）により生成された第２視点輝度信号Ｙ_２に対して、瞳分割方向（列方向）に、１次元バンドパスフィルタ処理が行われ、第２焦点検出信号ｄＹＢが生成される。１次元バンドパスフィルタとしては、例えば、１次微分型フィルタ［１，５，８，８，８，８，５，１，−１，−５，−８，−８，−８，−８，−５，−１］等を用いることができる。必要に応じて、１次元バンドパスフィルタの通過帯域を調整してもよい。

Ｓ３では、次に、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）以上である各位置（ｊ，ｉ）において、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢを、相対的に瞳分割方向（列方向）にシフトさせて、信号の一致度を表す相関量を算出する処理が行われ、相関量に基づいて像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。一方、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満である各位置（ｊ，ｉ）は、像ずれ量の算出から除外される。像ずれ量の検出を、高コントラストで、かつ、遠近競合やオクルージョンが生じていない領域に限定することにより、像ずれ量の検出精度を高くし、処理を高速化できる。

着目位置（ｊ，ｉ）を中心として、行方向ｊ_２（−ｎ_２≦ｊ_２≦ｎ_２）番目で、列方向ｉ_２（−ｍ_２≦ｉ_２≦ｍ_２）番目の第１焦点検出信号をｄＹＡ（ｊ＋ｊ_２、ｉ＋ｉ_２）とし、第２焦点検出信号をｄＹＢ（ｊ＋ｊ_２、ｉ＋ｉ_２）とする。シフト量をｓ（−ｎ_ｓ≦ｓ≦ｎ_ｓ）とする。各位置（ｊ，ｉ）での相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ、ｓ）は、式（８Ａ）により算出され、相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ、ｓ）は、式（８Ｂ）により算出される。

相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）は、相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）に対して、第１焦点検出信号ｄＹＡと第２焦点検出信号ｄＹＢのシフト量を半位相−１ずらした相関量である。相関量ＣＯＲ_ＥＶＥＮ（ｊ，ｉ，ｓ）と相関量ＣＯＲ_ＯＤＤ（ｊ，ｉ，ｓ）から、それぞれ、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して平均値を算出する演算が行われ、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成される。

コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であるために像ずれ量の算出から除外された領域については、Ｍ_ＤＩＳ（ｊ，ｉ）＝０とする。必要に応じて、０以外の値を設定してもよい。

次に像ずれ量とＦ値の関係を説明するにあたり、まず、像ずれ量をデフォーカス量に変換するための変換係数について説明する。基線長は、所定瞳距離の瞳面上での第１瞳部分領域５０１と第２瞳部分領域５０２との重心間隔である。図１０には基線長ＢＬ０、ＢＬ１、ＢＬ２、撮像素子の周辺像高における第１焦点検出画素２０１の第１瞳部分領域５０１、第２焦点検出画素２０２の第２瞳部分領域５０２、および撮像光学系の射出瞳４００の関係を示す。

図１０（Ａ）は、撮像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合を示す。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮像光学系の射出瞳４００が、概ね、均等に瞳分割される。射出瞳４００内部における、それぞれ第１瞳部分領域５０１の重心と第２瞳部分領域５０２の重心との間隔である基線長をＢＬ０で示す。この時、像ずれ量から検出デフォーカス量への換算に必要な変換係数Ｋは、Ｋ＝Ｄｓ／ＢＬ０により求められる。

これに対して、図１０（Ｂ）は撮像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子の周辺像高では、撮像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。したがって、基線長は片側に偏ったＢＬ１となり、それに伴い、変換係数（Ｋ１と記す）はＫ１＝Ｄｓ／ＢＬ１に変化する。図１０（Ｃ）は撮像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合を示す。この場合、撮像素子の周辺像高では、撮像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、撮像光学系の射出瞳４００が不均一に瞳分割されてしまう。したがって、基線長は、図１０（Ｂ）と反対側に偏ったＢＬ２となり、それに伴い、変換係数（Ｋ２と記す）はＫ２＝Ｄｓ／ＢＬ２に変化する。
このように、像ずれ量から検出デフォーカス量への変換係数は撮像光学系の絞り値と射出瞳距離、撮像素子の瞳強度分布（光学特性）、および像高に応じて変化することがわかる。

次に、前述のシフト量範囲である検出範囲を撮影条件に応じて変更する処理を説明する。検出するデフォーカス量の最小値と最大値をそれぞれｄｅｆｍｉｎ,ｄｅｆｍａｘと表記する。像ずれ量からデフォーカス量への変換係数をＫと表記すると、像ずれ量分布の検出範囲の最小値ＤＩＳｍｉｎと最大値ＤＩＳｍａｘはそれぞれ下記式から求まる。
ＤＩＳｍｉｎ＝ｄｅｆｍｉｎ／Ｋ
ＤＩＳｍａｘ＝ｄｅｆｍａｘ／Ｋ

検出する距離範囲の最大値と最小値をそれぞれＤＳＴｍｉｎ,ＤＳＴｍａｘと表記し、変換係数をＫと表記し、横倍率ｍと表記する。像ずれ量分布の検出範囲の最小値をＤＩＳｍｉｎ２と表記し、最大値をＤＩＳｍａｘ２と表記する。これらは下記式から求まる。「＾」はべき乗を表わす。
ＤＩＳｍｉｎ２＝（ＤＳＴｍｉｎ／ｍ＾２）／Ｋ
ＤＩＳｍａｘ２＝（ＤＳＴｍａｘ／ｍ＾２）／Ｋ
上式により像ずれ量分布の検出範囲が決定される。例えば人物の顔や体の大きさに応じて検出範囲を変更可能であり、撮影条件から判る被写体距離に応じて検出範囲を変更可能である。被写体に応じて適切に像ずれ量分布を算出できるので、被写体に対して適切な画像処理を行うことができる。

次に像ずれ量と被写体距離について説明する。像ずれ量ｓを変換係数Ｋによりデフォーカス量（ｓ×Ｋ）に変換した場合、デフォーカス量と被写体距離Ｌとの関係は下記式のようになる。
Ｌ＝ｓ×Ｋ×ｍ²
上式中のｍは横倍率であり、ｍ²は縦倍率である。つまり、同一像ずれ量を実距離に換算する場合には、被写体距離Ｌは縦倍率ｍ²と変換係数Ｋに比例する。前述の画像処理を行う際に、像ずれ量を計算する範囲が同じである場合には横倍率ｍに応じて実距離が異なるため、画像処理を行う範囲が異なる。

以上から、像ずれ量分布を生成する際の像ずれ量の検出範囲をＦ値、結像光学系の射出瞳距離、像高、被写体距離、横倍率に応じて変更することで、被写体に応じた適切な範囲で前述の画像処理を行うことができる。撮影条件に応じて像ずれ量分布の検出範囲を変更する処理については、Ｓ３の像ずれ量分布の生成のサブフローチャートを参照して後述する。

図１９は本実施例の像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の分布例を示す。右側に所定範囲のグレースケール表示を示す。図１９の分布例では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２以上で像ずれ量が算出されている領域について、グレースケール表示にて、第１視点画像と第２視点画像との像ずれ量を１ピクセル（１画素）単位で表している。マイナス（−）符号の黒側の部分は、前ピン状態の領域を示し、０付近が合焦近傍の領域を示し、プラス（＋）符号の白側の部分は、後ピン状態の領域を示している。また、図１９の分布例では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外され、Ｍ_ＤＩＳ（ｊ，ｉ）＝０と設定された領域に関しては、黒色で表示している。

以上のように本実施例では、複数の視点画像から、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）が生成されるが、２回目以降の処理では像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）の生成を省略し、処理時間を短縮することができる。そのために、生成された像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）のデータは、記録される画像データと関連付けてフラッシュメモリ１３３等の記録媒体等に記録する処理が行われる。

必要に応じて、像ずれ量分布をデフォーカス量分布に変換することもできる。像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）に対し、位置（ｊ，ｉ）と撮像レンズ（結像光学系）の絞り値、射出瞳距離等に応じた変換係数を乗算すればよい。

図９のＳ４では、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定の像ずれ量から、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）を生成する処理が行われる。まず、本実施例のリフォーカス処理により修正を行う対象となる像ずれ量が、所定像ずれ量（ｐと記す）として設定される。例えば、図１９の像ずれ量分布Ｍ_ＤＩＳの例では、目近傍の領域での像ずれ量は約２．５である。リフォーカス処理により、被写体（人形）の目近傍の領域での像ずれ量を、概ね０に微修正する場合には、所定像ずれ量ｐは２．５に設定される。

Ｓ４において、次に、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）が式（９）により算出される。式（９）中、σ_ｐ＞０であり、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）、所定像ずれ量ｐ、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）から像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）が算出される。
像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐとの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜に対して単調減少する線形関数と、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）とを、乗算した分布である。像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）は、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＜σ_ｐで正、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＝σ_ｐで０、｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜＞σ_ｐで負となる。なお、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値（例えば、０．２）未満であるために像ずれ量の算出から除外された領域については、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）とする。必要に応じて、他の値を設定してもよい。

図２０は本実施例の像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の分布例を示す。コントラスト分布Ｍ_ＣＯＮの値が所定値０．２以上で、像ずれ量が算出されている領域については、右側の［−１，１］の範囲のグレースケール表示にて、像ずれ差分量を示している。プラス（＋）符号の白側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐとの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が小さく、かつ、コントラストが高い領域を示している。マイナス（−）符号の黒側の部分は、像ずれ量分布Ｍ_ＤＩＳ（ｊ，ｉ）と所定像ずれ量ｐとの差分の絶対値｜Ｍ_ＤＩＳ（ｊ，ｉ）−ｐ｜が大きく、かつ、コントラストが高い領域を示している。また図２０の分布例では、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値が所定値０．２未満で、像ずれ量の算出から除外され、Ｍ_ＤＩＦＦ（ｊ，ｉ）＝（１−｜ｐ｜／σ_ｐ）×Ｍ_ＣＯＮ（ｊ，ｉ）と設定された領域に関しては、黒色で表示している。

図９のＳ５では、複数の視点画像に対して第１の先鋭化および第１の平滑化の処理が行われる。第１視点画像と第２視点画像に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、第１の先鋭化および第１の平滑化の処理を行うことで、第１修正視点画像と第２修正視点画像が生成される。

本実施例では、複数の視点画像に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域にて、視点画像間の差を拡大して視差を先鋭化する（クロストーク補正および先鋭化）処理が行われる。この処理を、以下では第１の先鋭化処理という。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、視点画像間の差を縮小して視差を平滑化する（クロストーク補正および平滑化）処理が行われる。この処理を、以下では第１の平滑化処理という。第１の先鋭化処理および第１の平滑化処理を行うことで、複数の修正視点画像が生成される。

図９のＳ５において、まず、第１視点画像と第２視点画像に対して、第１の先鋭化処理または第１の平滑化処理の強さを指定する第１の強度パラメータｋ_ｃｔが設定される。ｋ_ｃｔ≧０とする。次に、第１の強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）が式（１０）により設定される。第１の強度パラメータ分布Ｋ_ｃｔ（ｊ，ｉ）は、ｋ_ｃｔを比例係数として、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に比例する。

Ｓ５において、次に、第１視点画像Ｉ_１（ｊ，ｉ）と第２視点画像Ｉ_２（ｊ，ｉ）に対して、式（１１Ａ）、および、式（１１Ｂ）の処理を行い、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）が生成される。

式（１１Ａ）は、第１の強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域で行われる第１の先鋭化処理を表わす。式（１１Ｂ）は、第１の強度パラメータ分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域で行われる第１の平滑化処理を表わす。

図２１は、第１視点画像と第２視点画像に対する第１の先鋭化処理例をグラフで示す図である。横軸は画素位置を表し、縦軸は画素値（信号レベル）を表す。図２１では、第１の先鋭化処理前の第１視点画像（修正前Ａ）と第２視点画像（修正前Ｂ）の例を、破線のグラフで示す。また、式（１１Ａ）による第１の先鋭化処理後の第１修正視点画像（修正後Ａ）と第２修正視点画像（修正後Ｂ）の例を、実線のグラフで示す。第１の先鋭化処理により、処理前に視点画像間の差が大きい部分は、より拡大されるが、処理前に視点画像間の差が小さい部分はあまり変化しない。このように、視点画像間の視差が先鋭化されることがわかる。一方、式（１１Ｂ）による第１の平滑化処理では、第１視点画像と第２視点画像との差が縮小され、視点画像間の視差が平滑化される。

以上のように本実施例では、複数の視点画像に対して、コントラスト分布および像ずれ量に対応する分布情報に応じた先鋭化および平滑化の画像処理を行う。コントラスト分布および像ずれ量分布に対応する分布情報に応じた画像処理は、必要に応じて、先鋭化の処理、平滑化の処理、または両処理を組み合わせた処理のいずれでもよい。

式（７Ａ）、式（７Ｂ）、式（９）、式（１０）、式（１１Ａ）、式（１１Ｂ）により、視点画像ごとのコントラスト間の差が大きい領域よりもコントラスト間の差が小さい領域の方が、各視点画像への先鋭化や平滑化等の画像処理が強く行われる。また、コントラスト分布が、小さい領域より、大きい領域の方が、各視点画像への先鋭化や平滑化等の画像処理が強く行われる。

式（９）、式（１０）、式（１１Ａ）、式（１１Ｂ）により、像ずれ量分布の所定シフト量（基準）からの差が小さい領域には先鋭化の処理が行われ、差が大きい領域には平滑化の処理が行われる。式（９）、式（１０）、式（１１Ａ）により、像ずれ量分布の所定シフト量からの差が大きい領域に比べて、差が小さい領域の方が、先鋭化の処理が強く行われる。また式（９）、式（１０）、式（１１Ｂ）により、像ずれ量分布の所定シフト量からの差が小さい領域に比べて、差が大きい領域の方が、平滑化の処理が強く行われる。

式（１１Ａ）および式（１１Ｂ）により、複数の視点画像の画素ごとに、複数の視点画像間の差を拡大して視差を先鋭化する処理、または、複数の視点画像間の差を縮小して視差を平滑化する処理が行われ、複数の修正視点画像が生成される。式（１１Ａ）の第１の先鋭化処理、および式（１１Ｂ）の第１の平滑化処理は、各画素に含まれる第１光電変換部の出力信号である第１視点画像Ｉ_１（ｊ，ｉ）と、第２光電変換部の出力信号である第２視点画像Ｉ_２（ｊ，ｉ）間の演算処理である。

図９のＳ６では、所定領域において被写界深度を微修正するために、修正視点画像ごとの重み係数が設定される。Ｓ６において、まず、被写界深度の再修正を行う対象となる所定領域Ｒ＝［ｊ１，ｊ２］×［ｉ１，ｉ２］、および、所定領域の境界幅σが設定される。式（１２）により、所定領域Ｒと所定領域の境界幅σに応じたテーブル関数Ｔ（ｊ，ｉ）が算出される。

テーブル関数Ｔ（ｊ，ｉ）の値は、所定領域Ｒの内側で１であり、所定領域Ｒの外側で０となり、所定領域Ｒの境界幅σで、概ね、１から０へ連続的に変化する。必要に応じて、所定領域は、円形や、その他の任意の形状としてもよい。また、必要に応じて、複数の所定領域および境界幅を設定してもよい。

Ｓ６において、次に各修正視点画像の重み係数分布が算出される。実係数ｗ（−１≦ｗ≦１）として、第１修正視点画像ＭＩ_１（ｊ，ｉ）の第１重み係数分布Ｗ_１（ｊ，ｉ）は式（１３Ａ）により算出され、第２修正視点画像ＭＩ_２（ｊ，ｉ）の第２重み係数分布Ｗ_２（ｊ，ｉ）は式（１３Ｂ）により算出される。

所定領域において、第１修正視点画像ＭＩ_１（ｊ，ｉ）の加算比率を上げて、被写界深度を修正する場合には、−１≦ｗ＜０の範囲で設定が行われる。第２修正視点画像ＭＩ_２（ｊ，ｉ）の加算比率を上げて、被写界深度を修正する場合には、０＜ｗ≦１の範囲で設定が行われる。ｗ＝０に設定して、Ｗ_１≡Ｗ_２≡１とし、被写界深度を修正しない場合もある。

図９のＳ７では、修正視点画像ごとに重み係数を乗算して、瞳分割方向（ｘ方向）に沿って相対的にシフトして加算する処理（シフト合成処理）が行われる。この処理では、複数の視点画像による合成画像である中間画像が生成される。

図２２は、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）に対する、瞳分割方向（ｘ方向）のシフト合成処理によるリフォーカスについて概要を示す説明図である。図２２では、紙面の上下方向に設定されるｘ軸として、下方をｘ軸の正方向と定義し、紙面に垂直な方向に設定されるｙ軸として、手前側をｙ軸の正方向と定義する。紙面の左右方向に設定されるｚ軸として、左方をｚ軸の正方向と定義する。図２２の撮像面６００は、図７、図８、図１６に示した撮像面６００に対応している。

図２２では、第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を模式的に表している。第１修正視点画像ＭＩ_１（ｊ，ｉ）の信号は、図７の第１瞳部分領域５０１に対応した主光線角度θ_１で位置（ｊ，ｉ）の第１光電変換部３０１に入射した光束の受光信号である。第２修正視点画像ＭＩ_２（ｊ，ｉ）の信号は、図７の第２瞳部分領域５０２に対応した主光線角度θ_２で位置（ｊ，ｉ）の第２光電変換部３０２に入射した光束の受光信号である。

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）は、光強度分布情報だけでなく、入射角度情報も有している。したがって、下記の第１および第２の処理によって仮想結像面６１０でのリフォーカス画像を生成することができる。
・第１の処理（平行移動処理）
第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させ、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させる処理。
・第２の処理（加算処理）
第１の処理によってそれぞれ平行移動させた第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を加算する処理。

第１修正視点画像ＭＩ_１（ｊ，ｉ）を主光線角度θ_１に沿って仮想結像面６１０まで平行移動させることは、列方向への−１画素分のシフトに対応する。また、第２修正視点画像ＭＩ_２（ｊ，ｉ）を主光線角度θ_２に沿って仮想結像面６１０まで平行移動させることは、列方向への＋１画素分のシフトに対応する。したがって第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）を相対的に＋２画素分シフトさせ、ＭＩ_１（ｊ，ｉ）とＭＩ_２（ｊ，ｉ＋２）を対応させて加算することで、仮想結像面６１０でのリフォーカス信号を生成できる。

図９のＳ７において、仮想結像面でのリフォーカス画像であるシフト合成画像が生成される。所定像ずれ量ｐに最も近い偶数をｐｅと表記する。ｐｅについては、ＲＯＵＮＤを四捨五入の関数として、ｐｅ＝２×ＲＯＵＮＤ（ｐ／２）により算出される。第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）に対して、式（１４）により、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）が生成される。

式（１４）では、シフト加算と同時に、式（１３Ａ）の第１重み係数分布Ｗ_１（ｊ，ｉ）を第１修正視点画像ＭＩ_１（ｊ，ｉ）に乗算し、式（１３Ｂ）の第２重み係数分布Ｗ_２（ｊ，ｉ）を第２修正視点画像ＭＩ_２（ｊ，ｉ）に乗算する演算を示す。これにより、所定領域での被写界深度を修正することができる。被写界深度を修正しない場合には、Ｗ_１≡Ｗ_２≡１と設定すればよい。複数の視差画像ごとに重み係数を乗算してシフト合成処理を行うことで、複数の視点画像による合成画像である中間画像が生成される。

第１修正視点画像ＭＩ_１（ｊ，ｉ）と第２修正視点画像ＭＩ_２（ｊ，ｉ）のシフト合成処理は、偶数シフトや加算処理に限定されない。必要に応じて、実数シフトや、より一般的な合成処理を用いてもよい。また、必要に応じて、後述する図９のＳ８の処理を省略することもできる。式（１４）により複数の修正視点画像をシフト加算して生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）を出力画像としてもよい。

本実施例では、式（１４）により生成されるシフト合成画像Ｉ_Ｓ（ｊ，ｉ）の画素数を、撮像画像の画素数Ｎと同数に保つための処理を予め行う。この処理は、第２修正視点画像ＭＩ_２（ｊ，ｉ）の瞳分割方向（ｘ方向）の終端部分に対して、データ長を拡大する終端処理を行う。ｐｅ＞０の場合、最小列番号をｉ_ｍｉｎとして、終端の列番号ｉ_ｅ（ｉ_ｍｉｎ≦ｉ_ｅ≦ｉ_ｍｉｎ＋ｐｅ−１）に対して、式（１５Ａ）により終端処理が行われる。ｐｅ＜０の場合、最大列番号をｉ_ｍａｘとして、終端の列番号ｉ_ｅ（ｉ_ｍａｘ＋ｐｅ＋１≦ｉ_ｅ≦ｉ_ｍａｘ）に対して、式（１５Ｂ）により終端処理が行われる。本実施例では、複数の修正視点画像の画像サイズを拡張する処理を行う。

図２３の概略図を参照して、本実施例でのシフト合成処理によるリフォーカス可能範囲について説明する。撮像面６００には撮像素子（不図示）が配置される。図４、図７、図８の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

許容錯乱円径をδと表記し、結像光学系の絞り値をＦと表記する。絞り値Ｆでの焦点深度は、±Ｆ×δである。これに対して、Ｎｘ×Ｎｙ＝２×１に分割されて狭くなった瞳部分領域５０１（または５０２）の瞳分割方向（ｘ方向）の実効絞り値Ｆ_０１（またはＦ_０２）は、Ｆ_０１＝Ｎｘ×Ｆ（またはＦ_０２＝Ｎｘ×Ｆ）となって暗くなる。第１修正視点画像（または第２修正視点画像）ごとの実効的な焦点深度は、±Ｎｘ×Ｆ×δで、Ｎｘ倍深くなり、合焦範囲がＮｘ倍に広がる。実効的な焦点深度「±Ｎｘ×Ｆ×δ」の範囲内では、第１修正視点画像（または第２修正視点画像）ごとに合焦した被写体像が取得されている。よって、図２２に示した主光線角度θ_１（またはθ_２）に沿って第１修正視点画像（または第２修正視点画像）を平行移動させて加算する処理により、撮影後に、合焦位置のリフォーカスを行うことができる。

撮影後に合焦位置をリフォーカス可能な撮像面６００からのデフォーカス量ｄは限定される。デフォーカス量ｄのリフォーカス可能範囲は、概ね、式（１６）の範囲である。許容錯乱円径δは、δ＝２・ΔＸ（画素周期ΔＸのナイキスト周波数１／（２・ΔＸ）の逆数）等で規定される。

しかしながら、図６の瞳強度分布例に示したように、画素部ごとに形成される直径数μｍのマイクロレンズと複数に分割された光電変換部による瞳分割では、光の波動性による回折暈けのために、緩やかな瞳分割となる。そのため、第１視点画像と第２視点画像の瞳分割方向（ｘ方向）の焦点深度が十分に深くならず、第１視点画像と第２視点画像を用いてリフォーカス画像を生成しても、リフォーカス効果が十分に得られない場合がある。

そこで本実施例では、シフト合成処理によるリフォーカスにて、複数の視点画像に対し、第１の強度パラメータ分布（像ずれ差分量分布）が０以上（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の画素ごとに、第１の先鋭化処理を行う。式（１１Ａ）により、第１視点画像と第２視点画像との差を拡大して視差を先鋭化する処理が実行され、第１修正視点画像と第２修正視点画像が生成される。これにより、複数の修正視点画像の瞳分割方向（ｘ方向）の実効的な絞り値Ｆを大きくし、焦点深度を深く修正することができ、リフォーカス効果を向上させることができる。

図２４を参照して、シフト合成処理によるリフォーカスにおける、第１の先鋭化処理の効果を説明する。図２４（Ａ）は、従来例における第１の先鋭化処理前の第１視点画像と第２視点画像とのシフト合成処理によるリフォーカス画像例を示す。これは、瞳分割が緩やかで、第１視点画像と第２視点画像（複数の視点画像）の瞳分割方向（ｘ方向）の焦点深度が十分に深くない例である。被写体（人形）の右目よりも、後ろに焦点が合った後ピン状態の撮像画像に対し、シフト合成処理によるリフォーカスが行われている。しかし、被写体（人形）の右目や、まつ毛、髪の毛等が小暈け状態のままで、十分なリフォーカス効果が得られていない。これに対し、図２４（Ｂ）は、本実施例における第１の先鋭化処理後の第１修正視点画像と第２修正視点画像とのシフト合成処理によるリフォーカス画像例を示す。これは、第１の先鋭化処理により、第１修正視点画像と第２修正視点画像の瞳分割方向（ｘ方向）の実効的な絞り値Ｆが大きく、焦点深度が深く修正された例である。シフト合成処理によるリフォーカスが行われ、撮影後に、被写体（人形）の右目や、まつ毛、髪の毛等に合わせてフォーカス位置が再修正され、リフォーカス効果が向上していることがわかる。

また、本実施例では、Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２であり、瞳分割数が少なく、視点画像数が少ない。このような場合、シフト合成処理によるリフォーカスにおいて、暈け量（像ずれ量）を増加させる領域で、人工的な２線暈けが生じて被写体の境界が２重となり、画像品位が低下する可能性がある。

そこで本実施例では、シフト合成処理によるリフォーカスにおいて、第１視点画像と第２視点画像に対し、第１の平滑化処理を行い、第１修正視点画像と第２修正視点画像を生成する。第１の強度パラメータ分布（像ずれ差分量分布）が０未満（Ｋ_ｃｔ（ｊ，ｉ）＝ｋ_ｃｔ×Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の画素ごとに、式（１１Ｂ）による第１の平滑化処理が実行される。第１視点画像と第２視点画像との差を縮小して視差を平滑化する処理（クロストーク補正、平滑化）によって第１修正視点画像と第２修正視点画像が生成される。これにより、暈け量（像ずれ量）を増加させる領域で、人工的な２線暈けの発生を抑制し、画質品位を良好に維持して、シフト合成処理によるリフォーカスを行うことができる。

図９のＳ８では、複数の修正視点画像から生成されたシフト合成画像（中間画像）に対して、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じた先鋭化処理および平滑化処理が行われる。以下では、シフト合成画像に対する先鋭化処理、平滑化処理をそれぞれ、第２の先鋭化処理、第２の平滑化処理という。これらの処理によって、撮影後に、先鋭度の高い領域と暈け度合いの高い領域を適応的に制御するシャープ／アンシャープ制御された出力画像を生成することができる。本実施例では、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、第２の先鋭化処理が行われる。一方、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、第２の平滑化処理が行われる。

図９のＳ８において、まず、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、第２の先鋭化処理または第２の平滑化処理の強さを指定する第２の強度パラメータｋ_ＵＳＭを設定する処理が行われる。ｋ_ＵＳＭ≧０とする。次にアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）の算出処理が行われる。２次元ローパスフィルタ｛Ｆ_ＬＰＦ（ｊ_ＬＰＦ，ｉ_ＬＰＦ）｜−ｎ_ＬＰＦ≦ｊ_ＬＰＦ≦ｎ_ＬＰＦ、−ｍ_ＬＰＦ≦ｉ_ＬＰＦ≦ｍ_ＬＰＦ｝を、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に作用させ、式（１７）により、Ｉ_ＵＳＭ（ｊ，ｉ）が算出される。２次元ローパスフィルタＦ_ＬＰＦ（ｊ_ＬＰＦ，ｉ_ＬＰＦ）には、例えば、^ｔ［１，０，２，０，１］×［１，０，２，０，１］等の２次元フィルタを用いることができる。必要に応じて、２次元ガウシアン分布等を用いてもよい。

Ｓ８において、最後に、出力画像であるリフォーカス画像Ｉ_ＲＦ（ｊ，ｉ）が生成される。シフト合成画像Ｉ_Ｓ（ｊ，ｉ）に対して、式（１８）により、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）に応じて、アンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を作用させて、第２の先鋭化処理、または第２の平滑化処理が行われる。第２の先鋭化処理と第２の平滑化処理とでは、Ｉ_ＵＳＭ（ｊ，ｉ）にかかる係数の符号が異なる。

第２の先鋭化処理の場合、式（１８）にて、像ずれ差分量分布が０以上（Ｍ_ＤＩＦＦ（ｊ，ｉ）≧０）の領域では、正係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を用いる。この場合には、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて先鋭化する処理が行われる。一方、第２の平滑化処理の場合、式（１８）にて、像ずれ差分量分布が０未満（Ｍ_ＤＩＦＦ（ｊ，ｉ）＜０）の領域では、負係数ｋ_ＵＳＭ×Ｍ_ＤＩＦＦ（ｊ，ｉ）が乗算されたアンシャープマスクＩ_ＵＳＭ（ｊ，ｉ）を用いる。この場合には、シフト合成画像Ｉ_Ｓ（ｊ，ｉ）を、像ずれ差分量分布Ｍ_ＤＩＦＦ（ｊ，ｉ）の大きさに応じて平滑化する処理が行われる。

シフト合成処理によるリフォーカスでは、ＬＦデータを用いて光学的な原理に基づいたリフォーカスを行うことができる。シフト合成処理によるリフォーカスは、像ずれ差分量分布を検出できない領域に対しても、処理を行うことができる利点がある。しかしながら、本実施例（Ｎｘ＝２、Ｎｙ＝１、Ｎ_ＬＦ＝２）の瞳分割では、瞳分割方向が１方向のみである。瞳分割方向が１方向のみである場合、瞳分割方向のｘ方向（またはｙ方向）にはリフォーカス効果が得られるが、瞳分割方向と直交するｙ方向（またはｘ方向）には、リフォーカス効果が十分に得られない可能性がある。一方、像ずれ差分量分布に応じた先鋭化と平滑化によるリフォーカスでは、瞳分割方向に関係なくリフォーカス効果を得ることができる。本実施例では、シフト合成処理によるリフォーカスと、像ずれ差分量分布に応じた先鋭化と平滑化によるリフォーカスとを組み合わせたリフォーカス処理を行う。これにより、瞳分割方向と直交する方向に対しても、リフォーカス効果を得ることができる。

以上のように本実施例では、複数の修正視点画像から生成される合成画像Ｉ_Ｓ（ｊ，ｉ）に、コントラスト分布および像ずれ量分布に応じた画像処理、つまり先鋭化処理および平滑化処理を行って出力画像を生成する。

必要に応じて、シフト合成処理によるリフォーカスである図９のＳ５、Ｓ６、Ｓ７の処理を省略することも可能である。この場合、撮像画像Ｉ（ｊ，ｉ）に対し、コントラスト分布および像ずれ量分布に応じた先鋭化および平滑化の画像処理が行われて出力画像が生成される。コントラスト分布および像ずれ量分布に応じた画像処理については、必要に応じて、先鋭化処理もしくは平滑化処理、またはこれらを組み合わせた処理を行ってもよい。

本実施例では、式（７Ａ）、式（７Ｂ）、式（９）、式（１７）、および式（１８）により、複数の修正視点画像の合成画像（または撮像画像）への先鋭化や平滑化等の画像処理が行われる。その際、視点画像ごとのコントラスト間の差が大きい領域に比べて、コントラスト間の差が小さい領域の方が、合成画像（または撮像画像）への先鋭化や平滑化等の画像処理が強く行われる。また、コントラスト分布が、小さい領域に比べて、大きい領域の方が、複数の修正視点画像の合成画像（または撮像画像）への先鋭化や平滑化等の画像処理が強く行われる。

本実施例では、式（９）、式（１７）、および式（１８）により、像ずれ量分布の所定シフト量（基準）からの差が小さい領域にて先鋭化処理が行われ、差が大きい領域にて平滑化処理が行われる。本実施例では、式（９）、式（１７）、および式（１８）により、像ずれ量分布の所定シフト量からの差が大きい領域に比べて、差が小さい領域の方が、先鋭化処理が強く行われる。また本実施例では、式（９）、式（１７）、および式（１８）により、像ずれ量分布の所定シフト量からの差が小さい領域に比べて、差が大きい領域の方が、平滑化処理が強く行われる。

次に図２５を参照して、図９のＳ３（像ずれ量分布の生成）に関する処理を説明する。図２５は、図９のメインフローチャートに示すＳ３の処理例を示すサブフローチャートである。以下の処理はＣＰＵ１２１が実行するプログラムにしたがって実現される。
Ｓ１０１では入力画像の撮影条件を取得する処理が行われる。入力画像には画像の他にヘッダ情報が付随する。ヘッダ情報の中から撮影Ｆ値、撮影レンズ、ＡＦ枠位置の情報が取得されて、Ｓ１０２へ進む。Ｓ１０２では像ずれ量分布として検出するデフォーカス量を設定する処理が行われる。デフォーカス量の設定については、絞り値Ｆと許容錯乱円径δ(例えば画素ピッチの２．２倍)から焦点深度±Ｆδの倍数で指定される。像ずれ量分布は焦点深度内だけでなく、焦点深度外についても検出されて後段の画像処理に適用されるので、焦点深度以上（例えば、±５Ｆδ〜±１０Ｆδ）の範囲で検出される。検出するデフォーカス量の範囲設定後にＳ１０３へ進む。

Ｓ１０３では、撮影条件に応じたデフォーカス変換係数の選択処理が行われる。デフォーカス変換係数は予めテーブルデータとして撮像装置内の記憶部に保持されるか、または入力画像ファイルのヘッダ情報として保持される。画像処理回路または撮像装置とは異なる画像処理装置にデフォーカス変換係数のデータを記憶してもよい。本実施形態では、デフォーカス変換係数のデータはＦ値、像高、射出瞳距離ごとに値が保持されるものとする。しかし本発明はこれに限らず、焦点距離及び被写体距離、Ｆ値、像高（あるいはＡＦ枠位置）、射出瞳距離（レンズとセンサ情報）のうち少なくとも１つに基づいて値が保持されていればよい。撮影条件の読込によって、Ｆ値とレンズ情報、焦点距離、被写体距離、ＡＦ枠位置、Ｆ値、像高、射出瞳距離の情報が取得され、デフォーカス変換係数が選択されると、Ｓ１０４へ進む。なお、デフォーカス変換係数のデータをＦ値、像高、射出瞳距離ごとに保持することは例示であり、Ｆ値、像高、射出瞳距離以外の項目で変換係数値を保持してもよい。または、Ｆ値、像高、射出瞳距離のうちいずれか１つの項目ごとに変換係数値を保持してもよい。

具体的な撮影条件に応じた検出範囲（シフト量）の変更について説明する。
撮影条件をＦ値とした場合を考える。Ｆ値が小さい場合には、前述の基線長が大きいことによりデフォーカス変換係数が小さくなる。よってデフォーカス範囲や被写体距離範囲を適切に設定するためには検出範囲(シフト量)を大きくする必要がある。以上からＦ値が小さいほど検出範囲（シフト量）を大きくする処理が行われる。具体的にはＦ値が小さくなるに従って、段階的に検出範囲（シフト量）が大きく設定される。

また、撮影条件をＡＦ枠の位置（撮像面上の座標）あるいは像高とした場合を考える。ＡＦ枠位置が像高の高い周辺像高である場合には、前述の説明のように瞳ずれが生じ、基線長が小さくなることでデフォーカス変換係数が大きくなる。よってデフォーカス範囲や被写体距離範囲を適切に設定するためには検出範囲(シフト量)を小さくする必要がある。以上からＡＦ枠位置の像高が高くなるに従って段階的に検出範囲（シフト量）を小さくしてもよいことになる。

次に撮影条件がレンズの光学特性に対応するレンズＩＤ（識別情報）である場合を考える。撮像光学系である交換レンズを着脱可能なシステムである場合、レンズの光学特性が変わると適切な検出範囲も変化するので、レンズの光学特性に応じて変更する必要がある。具体的には交換レンズとの通信に基づいて装着されているレンズのＩＤを取得すると射出瞳距離がわかり、該射出瞳距離と撮像素子１０７の設定瞳距離との差がわかる。この差が大きいほど瞳ずれが大きいため、検出範囲は小さくてもよいことになる。従って、本実施形態では、レンズＩＤに対応する射出瞳距離と、撮像素子１０７の設定瞳距離との差に基づいて検出範囲が変更される。

撮影条件が焦点距離および被写体距離である場合を考える。前述のデフォーカス量と被写体距離、横倍率の関係により、被写体距離Ｌはデフォーカス量×縦倍率（横倍率の２乗)に比例する。このため、検出範囲（シフト量）を一定とした場合には被写体が近距離である場合には検出可能な実距離範囲が狭く、被写体が遠距離である場合には検出可能な実距離範囲が広い。以上から焦点距離、被写体距離から求まる横倍率が小さいほど検出範囲（シフト量）を大きくする必要がある。

以上のように、本実施形態では、様々な撮影条件に基づき検出範囲（シフト量）を適宜設定することが可能である。これらの撮影条件は組み合わせて考慮してもよく、本発明では、少なくとも１つの撮影条件が満たされていればよい。

Ｓ１０４でＣＰＵ１２１は、検出する像ずれ量分布の範囲を算出した後、Ｓ１０５へ進む。Ｓ１０５では、Ｓ１０４で決定された検出範囲（シフト量）で、像ずれ量分布の演算が行われる。像ずれ量分布の生成処理が完了すると、図９のメインフローチャートの処理に戻る。

次に本実施例の効果について説明する。
遠近競合やオクルージョンを生じている領域等、空間周波数成分が大きく異なる複数の被写体像が混成している領域（混成領域）に、先鋭化や平滑化等の画像処理を強く行うと、画質品位が低下する可能性がある。

本実施例では、以下の処理を実行する。
（１）混成領域の検出処理。
第１視点コントラスト分布Ｃ_１（ｊ，ｉ）と第２視点コントラスト分布Ｃ_２（ｊ，ｉ）から、式（７Ａ）により、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を生成し、混成領域が検出される。コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０，１］の範囲の分布であり、視点画像間のコントラスト差が大きく、空間周波数成分が異なる被写体像の混成が多い領域では０の値に近づく。また視点画像間のコントラスト差が小さく、空間周波数成分が異なる被写体像の混成が少ない領域では１の値に近づく。

（２）コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の生成処理。
これは、生成されたコントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）を、式（７Ｂ）により、複数の視点画像から得られる合成画像のコントラスト分布である撮像コントラスト分布Ｃ（ｊ，ｉ）に乗算する処理である。混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。

（３）先鋭化や平滑化の画像処理。
生成されたコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）に基づき、複数の視点画像や、これらの合成画像に対して、空間周波数成分が異なる被写体像の混成が多い領域では、先鋭化や平滑化の画像処理が処理強度を相対的に弱めて実行される。また空間周波数成分が異なる被写体像の混成が少ない領域では、先鋭化や平滑化の画像処理が処理強度を相対的に強めて実行される。
したがって、本実施例では、（１）から（３）の処理により、画質品位を良好に維持しつつ、先鋭化や平滑化の画像処理を行うことができる。

また、低輝度領域に先鋭化や平滑化等の画像処理を強く行うと、画質品位が低下する可能性がある。本実施例では、式（６Ａ）の１行目、および、式（７Ｂ）に示すように、輝度値が低輝度閾値Ｙｍｉｎより小さい場合、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）の値がゼロに設定される。よって、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像画像の輝度が高い領域の方が、輝度が低い領域よりもコントラストが高い。低輝度領域での画質品位を良好に維持するためには、コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）に基づき、複数の視点画像や、これらの合成画像に対して、以下の処理が実行される。
・輝度値が低輝度閾値Ｙｍｉｎより小さい領域では、先鋭化や平滑化等の画像処理が処理強度を相対的に弱めて実行される。
・輝度値が低輝度閾値Ｙｍｉｎ以上である領域では、先鋭化や平滑化等の画像処理が処理強度を相対的に強めて実行される。

本実施例の画像処理方法では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の光電変換部を備える撮像素子により取得される入力画像から、異なる瞳部分領域ごとに複数の視点画像が生成される。撮像画像と複数の視点画像からコントラスト分布が生成され、複数の視点画像から像ずれ量分布が生成される。像ずれ量分布の生成処理では、入力画像の撮影条件と、異なる瞳部分領域の重心間隔である基線長に関する係数を用いて像ずれ量の検出範囲が設定され、複数の視点画像から検出範囲の像ずれ量分布が生成される。撮像画像、複数の視点画像、または合成画像に対して、像ずれ量分布に応じた画像処理が実行されて出力画像が生成される。本実施例によれば、画質品位を良好に維持しつつ、画像処理を行うことができる。

［第２実施例］
次に、本発明の第２実施例を説明する。なお、第１実施例の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略の仕方については後述の実施例でも同じである。

本実施例では、像ずれ量分布の生成の際に被写体距離、被写体のサイズに応じて像ずれ量分布の検出範囲を変更する。撮像装置により取得されたＬＦデータ（入力画像）から、撮像画像に対して、撮影後に像ずれ量分布を生成する際に被写体距離、被写体のサイズに応じて像ずれ量分布の検出範囲を変更する処理について図２６を用いて説明する。

本実施例では、図９のメインフローチャートにおいての像ずれ量分布の生成処理Ｓ３０のみ異なる。図２６のサブフローチャートを参照して、像ずれ量分布の生成処理について説明する。Ｓ２０１で入力画像の撮影条件を取得する処理が行われる。入力画像には画像情報に関連するヘッダ情報が付随する。ヘッダ情報中でＡＦ枠の物体距離から被写体距離、ＡＦ枠のサイズから被写体サイズ（例えば顔枠の縦横の画素数）が取得され、焦点距離等の情報が取得されてＳ２０２へ進む。

Ｓ２０２では像ずれ量分布として検出する距離範囲が設定される。距離範囲については、Ｓ２０１で取得された被写体距離を中心として、被写体サイズから検出距離範囲が設定される。例えば、被写体サイズとして顔枠の縦横の画素数が取得された場合には被写体距離と焦点距離から横倍率ｍが算出され、顔の縦横の大きさが算出される。その大きさに被写体距離を加算した値が像ずれ量分布の距離範囲の最大値として設定される。

Ｓ２０３では検出するデフォーカス範囲の計算が行われる。Ｓ２０４では撮影条件に応じたデフォーカス変換係数が選択される。デフォーカス変換係数については図２５のＳ１０３で説明済みである。Ｓ２０５では検出する像ずれ量分布の範囲が算出される。検出する距離範囲の最大値と最小値により、像ずれ量分布の検出範囲の最大値と最小値が算出され、像ずれ量分布の検出範囲が決定される。Ｓ２０６では、Ｓ２０５で決定された検出範囲（シフト量）で像ずれ量分布の演算が行われる。像ずれ量分布の生成処理が完了すると、図９のメインフローチャートの処理に戻る。

本実施例では、撮影後に、像ずれ量分布の生成の際に被写体距離、被写体のサイズに応じて像ずれ量分布の検出範囲を変更し、画質品位を良好に維持しつつ、先鋭化や平滑化等の画像処理を行うことができる。

［第３実施例］
次に、本発明の第３実施例を説明する。
図２７は本実施例における撮像素子の画素配列の概略図である。図２７の左右方向をｘ方向（水平方向）とし、上下方向をｙ方向（垂直方向）とし、ｘ方向およびｙ方向に直交する方向（紙面に垂直な方向）をｚ方向（光軸方向）と定義する。図２７は、本実施例の２次元ＣＭＯＳセンサの撮像画素配列を４列×４行の範囲で示し、副画素配列を８列×８行の範囲で示している。

図２との相違点は、各画素がｘ方向に２分割され、ｙ方向に２分割されていることである。つまり、分割数Ｎ_ＬＦ＝４であり、各画素が第１副画素２０１から第４副画素２０４により構成されている。

図２７に示す例では、４列×４行の画素（８列×８行の副画素）を面上に多数配置することで、撮像画像および分割数４の視点画像を生成するための入力画像を取得可能である。本実施例の撮像素子では、画素の周期Ｐを４μｍ（マイクロメートル）とし、画素数Ｎを横５５７５列×縦３７２５行＝約２０７５万画素とする。また、副画素の周期Ｐ_Ｓを２μｍとし、副画素数Ｎ_Ｓを横１１１５０列×縦７４５０行＝約８３００万画素とする。

図２８（Ａ）は、図２７に示す撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た場合の平面図である。図２８（Ａ）の紙面に垂直な方向の軸をｚ軸とし、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図２８（Ｂ）は、図２８（Ａ）にてａ−ａ線に沿って切断し、−ｙ側から見た場合の断面図である。

図２８に示すように、画素２００Ｇは、各画素の受光面側（＋ｚ方向）に入射光を集光するためのマイクロレンズ３０５が形成されている。さらに、Ｎｘ＝２、Ｎｙ＝２で分割数４の第１光電変換部３０１から第４光電変換部３０４が形成されている。第１光電変換部３０１から第４光電変換部３０４がそれぞれ、第１副画素２０１から第４副画素２０４に対応する。

本実施例では図９のＳ１において、撮像素子により取得されたＬＦデータ（入力画像）から、結像光学系の異なる４つの瞳部分領域ごとに視点画像が生成される。結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像が生成される。まず、撮像素子により取得されたＬＦデータ（入力画像）が入力されるか、または撮影済みで記録媒体に保存されているＬＦデータが読み出されて入力される。

Ｓ１において、次に、結像光学系の異なる瞳部分領域ごとに、第１副画素２０１から第４副画素２０４が生成される。ＬＦデータの各画素信号内での列方向ｉ_Ｓ（１≦ｉ_Ｓ≦２）番目、行方向ｊ_Ｓ（１≦ｊ_Ｓ≦２）番目の副画素信号を、ｋ＝２・（ｊ_Ｓ−１）＋ｉ_Ｓ（１≦ｋ≦４）として、第ｋ副画素信号とする。結像光学系の第ｋ瞳部分領域に対応した、列方向ｉ番目、行方向ｊ番目の第ｋ視点画像Ｉｋ（ｊ，ｉ）が、式（１）により生成される。

本実施例では、図２７に例示した画素配列に対応したＬＦデータから、画素ごとに、４分割された第１副画素２０１から第４副画素２０４の中から特定の副画素の信号が選択される。よって、結像光学系の第１瞳部分領域から第４瞳部分領域のうちで特定の瞳部分領域に対応した、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である第１視点画像から第４視点画像が生成される。

図９のＳ１において、次に、結像光学系の異なる瞳部分領域を合成した瞳領域に応じた撮像画像が生成される。列方向にｉ番目、行方向にｊ番目の撮像画像Ｉ（ｊ，ｉ）が、式（２）により生成される。図２７に示した画素配列に対応した入力画像から、画素ごとに、４分割された第１副画素２０１から第４副画素２０４の信号を全て合成することで、画素数Ｎの解像度を有するベイヤー配列のＲＧＢ信号である撮像画像が生成される。

図９のＳ２では、本実施例の撮像画像と複数の視点画像から、それぞれ、空間周波数の高周波帯域成分を領域ごとに抽出する処理が行われ、コントラスト分布が生成される。コントラスト分布については、視点画像間の差に応じた調整が行われる。まず、ベイヤー配列のＲＧＢ信号である撮像画像Ｉ（ｊ，ｉ）から、位置（ｊ，ｉ）ごとに、各色ＲＧＢの色重心を一致させて、撮像輝度信号Ｙが式（３Ａ）により生成される。同様に、ベイヤー配列のＲＧＢ信号である第ｋ視点画像Ｉｋ（ｋ＝１〜４）から、第ｋ視点輝度信号Ｙｋが、式（３Ｂ）により生成される。

Ｓ２において、次に、２次元バンドパスフィルタを用いて、撮像輝度信号Ｙ（ｊ，ｉ）から、撮像高周波信号ｄＹ（ｊ，ｉ）が式（４Ａ）により生成される。同様に、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）（ｋ＝１〜４）から、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）が式（４Ｂ）より生成される。

本実施例では、Ｎｘ＝２、Ｎｙ＝２、Ｎ_ＬＦ＝４である。ｘ方向およびｙ方向はいずれも瞳分割方向である。ｘ方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）と、ｙ方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）との直積により、２次元バンドパスフィルタはＦ_ＢＰＦ（ｊ_ＢＰＦ、ｉ_ＢＰＦ）＝Ｆｙ（ｊ_ＢＰＦ）×Ｆｘ（ｉ_ＢＰＦ）として構成される。瞳分割方向の１つであるｘ方向の１次元フィルタＦｘ（ｉ_ＢＰＦ）は、ｘ方向の空間周波数の高周波成分を抽出する。例えば係数値が、０．５×［１，２，０，−２，−１］＋１．５×［１，０，−２，０，１］等の１次元バンドパスフィルタを用いることができる。同様に、瞳分割方向の１つであるｙ方向の１次元フィルタＦｙ（ｊ_ＢＰＦ）は、ｙ方向の空間周波数の高周波成分を抽出する。例えば係数値が、０．５×［１，２，０，−２，−１］＋１．５×［１，０，−２，０，１］等の１次元バンドパスフィルタを用いることができる。本実施例では、２つの１次元フィルタの直積で構成される２次元バンドパスフィルタを例示したが、これに限定されず、一般的な２次元バンドパスフィルタを用いることができる。

Ｓ２において、次に規格化撮像高周波信号ｄＺ（ｊ，ｉ）が生成される。式（５Ａ）において、Ｙ_０＞０として、撮像高周波信号ｄＹ（ｊ，ｉ）を、撮像輝度信号Ｙ（ｊ，ｉ）により規格化する処理が行われる。同様に、第ｋ視点高周波信号ｄＹｋ（ｊ，ｉ）（ｋ＝１〜Ｎ_ＬＦ）を、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）により規格化した、規格化第ｋ視点高周波信号ｄＺｋ（ｊ，ｉ）が式（５Ｂ）により生成される。必要に応じて、式（５Ａ）、式（５Ｂ）での規格化前に、撮像輝度信号Ｙ（ｊ，ｉ）、第ｋ視点輝度信号Ｙｋ（ｊ，ｉ）に対して、高周波カット（ローパス）フィルタ処理を行い、高周波ノイズを抑制してもよい。

Ｓ２において、次に、低輝度閾値Ｙｍｉｎ、コントラスト最大閾値Ｃｍａｘ、指数γから、撮像コントラスト分布Ｃ（ｊ，ｉ）が式（６Ａ）により生成される。同様に、第ｋ視点コントラスト分布Ｃｋ（ｊ，ｉ）（ｋ＝１〜４）が式（６Ｂ）により生成される。

Ｓ２において、次にコントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が生成される。空間周波数成分が異なる複数の被写体像の混成領域を検出するために、第１視点コントラスト分布Ｃ_１（ｊ，ｉ）から第４視点コントラスト分布Ｃ_４（ｊ，ｉ）を用いて、下記式（１９）によりＣ_ＤＩＦＦ（ｊ，ｉ）が生成される。次に、式（７Ｂ）により、撮像コントラスト分布Ｃ（ｊ，ｉ）に対し、コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）が乗算される。これにより、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制したコントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）が生成される。

コントラスト差分量分布Ｃ_ＤＩＦＦ（ｊ，ｉ）は、［０，１］の範囲の分布である。コントラスト分布Ｍ_ＣＯＮ（ｊ，ｉ）は、撮像コントラスト分布Ｃ（ｊ，ｉ）に対し、空間周波数成分が異なる複数の被写体像の混成領域での値を０近傍に抑制した分布である。
図９のＳ３，Ｓ３０以降の処理は、第１実施例および第２実施例の場合と同様である。

本実施例では、各画素が４分割の光電変換部を備え、画質品位を良好に維持しつつ、先鋭化や平滑化等の処理を行うことができる。
撮像素子の各画素における光電変換部については、分割数をさらに多くした実施形態に適用可能である。例えば、Ｎｘ＝３、Ｎｙ＝３としたＮ_ＬＦ＝９の分割や、Ｎｘ＝４、Ｎｙ＝４としたＮ_ＬＦ＝１６の分割等が可能である。Ｎｘ＝Ｎｙに限らず、前記した処理は任意の分割数Ｎ_ＬＦ＝Ｎｘ×Ｎｙの場合に適用可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０７ 撮像素子
１２１ ＣＰＵ
１２５ 画像処理部

Claims (19)

1. 視点の異なる複数の視点画像を取得する取得手段と、
   撮影条件から前記複数の視点画像の像ずれ量の検出範囲を設定し、前記複数の視点画像から前記検出範囲の像ずれ量に対応する分布情報を生成する第１の生成手段と、
   生成された前記分布情報を用いて画像処理を行い、出力画像を生成する第２の生成手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記取得手段は、結像光学系の異なる瞳部分領域を通過する光束をそれぞれ受光する複数の光電変換部を備える撮像素子から、前記複数の視点画像を取得し、
   前記第１の生成手段は、前記異なる瞳部分領域の重心間隔である基線長に関する係数を用いて前記分布情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影条件は前記結像光学系の絞り値、像高、識別情報であるレンズＩＤのうちの１つ以上である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の生成手段は、前記絞り値が小さいほど前記検出範囲を大きくする
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の生成手段は、前記像高が高くなるにしたがって前記検出範囲を小さくする
   ことを特徴とする請求項３に記載の画像処理装置。
6. 前記第１の生成手段は、前記レンズＩＤに対応する射出瞳距離と前記撮像素子の設定瞳距離との差によって前記検出範囲を変更する
   ことを特徴とする請求項３に記載の画像処理装置。
7. 前記第１の生成手段は、焦点距離および被写体距離により前記検出範囲としてデフォーカス量の範囲を設定する
   ことを特徴とする請求項３に記載の画像処理装置。
8. 前記撮影条件は被写体の距離またはサイズである
   ことを特徴とする請求項２に記載の画像処理装置。
9. 前記第１の生成手段は、前記被写体の距離およびサイズから検出距離範囲を設定する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記第１の生成手段は、前記撮影条件に対応する、像ずれ量からデフォーカス量への変換係数を選択して前記複数の視点画像の像ずれ量の検出範囲を設定する
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記第１の生成手段は前記変換係数を記憶部から取得するか、または画像ファイルのヘッダ情報から取得する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１の生成手段は、結像光学系の絞り値、像高、または射出瞳距離に対応する前記変換係数を取得する
    ことを特徴とする請求項１０または請求項１１に記載の画像処理装置。
13. 前記第２の生成手段は、前記複数の視点画像に対して先鋭化または平滑化の処理により修正した視点画像を生成してシフト合成を行うことにより、リフォーカス画像を生成する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記第２の生成手段は、前記複数の視点画像に対して第１の先鋭化または平滑化の処理により修正した視点画像を生成し、修正された視点画像から生成した合成画像に対して第２の先鋭化または平滑化の処理を行って前記出力画像を生成する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置と、
    結像光学系および撮像素子を備える撮像装置。
16. 前記撮像素子は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を備え、前記複数の光電変換部により前記複数の視点画像が取得される
    ことを特徴とする請求項１５に記載の撮像装置。
17. 前記複数の視点画像に基づくデフォーカス量を算出して焦点調節の制御を行う制御手段を備える
    ことを特徴とする請求項１５または請求項１６に記載の撮像装置。
18. 視点の異なる複数の視点画像を画像処理して出力画像を生成する画像処理装置にて実行される画像処理方法であって、
    前記複数の視点画像を取得する工程と、
    撮影条件から前記複数の視点画像の像ずれ量の検出範囲を設定し、前記複数の視点画像から前記検出範囲の像ずれ量に対応する分布情報を生成する第１の生成工程と、
    生成された前記分布情報を用いて画像処理を行い、前記出力画像を生成する第２の生成工程と、を有する
    ことを特徴とする画像処理方法。
19. 請求項１８に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。