JP6254843B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関する。

撮影レンズ（結像光学系）の射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。

特許文献１では、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部（副画素）が形成されている２次元撮像素子を用いた撮像装置が開示されている。個々の光電変換部は、撮影レンズの射出瞳のうち、互いに異なる部分領域の出射光を受光するように構成され、瞳分割を行っている。同じ部分領域を受光する光電変換部の信号を複数の画素から取得することにより、部分領域に応じた複数の視差画像を生成することができる。

得られる複数の視差画像は、光強度の空間分布および角度分布情報であるライトフィールド（ＬＦ）データと等価である。非特許文献１では、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。

米国特許第４４１０８０４号明細書

Ren.Ng、他、"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02、2005.4.20

レンズ交換式カメラなどで、撮影レンズの射出瞳距離と撮像素子の設定瞳距離が異なる場合に、周辺像高（像高が大きな領域）において各視差画像間で実効絞り値が異なり、視差画像間のボケ量が異なるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、結像光学系の射出瞳のうち、異なる部分領域の出射光を受光する複数の副画素の出力信号を用いて得られる複数の視差画像間のボケ量の差異を低減することを目的とする。

上述の目的は、複数の画素が配列された撮像素子であって、画素の各々には、それぞれが結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた撮像素子から得られる入力画像を取得する取得手段と、同じ瞳部分領域を通過する光束を受光する副画素の信号に基づいて視差画像を生成することにより、入力画像から複数の視差画像を生成する生成手段と、複数の視差画像から、デフォーカス量の分布を求めるデフォーカス量算出手段と、デフォーカス量の分布、複数の副画素の各々に対する結像光学系の射出瞳の実効絞り値、および像高から、複数の視差画像の各々についてボケ量の分布を求めるボケ量算出手段と、複数の視差画像の各々について、他の視差画像とのボケ量の差を抑制する補正処理を適用する補正手段と、を有することを特徴とする画像処理装置によって達成される。

本発明により、結像光学系の射出瞳のうち、異なる部分領域の出射光を受光する複数の副画素の出力信号を用いて得られる複数の視差画像間のボケ量の差異を低減することができる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルスチルカメラの機能構成例を示す図 本発明の実施形態における撮像素子の画素配列の概略を示す図 本発明の実施形態における撮像素子が有する画素の構成例を示す図 本発明の実施形態における画素と瞳分割の概略を説明するための図 本発明の実施形態における撮像素子と瞳分割の概略ならびに視差画像間の像ずれ量とデフォーカス量の概略を説明するための図 瞳ずれの概略を説明するための図 実効絞り値の差による複数の視差画像間のボケ量の差異の例を示す図 本発明の実施形態におけるボケ補正処理を説明するためのフローチャート

●（第１の実施形態）
以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。
［全体構成］
図１は、本発明の実施形態に係る画像処理装置の一例としてのデジタルスチルカメラ１００（以下、単にカメラ１００という）の機能構成例を示す図である。なお、本発明は撮像装置はもちろん、カメラを備えた任意の電子機器（コンピュータ、タブレット端末、ゲーム機、携帯電話機、ロボットなど）にも適用可能である。また、撮像機能は必須ではないため、カメラを備えない任意の電子機器（汎用コンピュータや組み込み機器など）にも適用可能である。

第１レンズ群１０１は撮影光学系（結像光学系）の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ１０２の背面（撮像素子側）に配置された第２レンズ群１０３は、シャッタ１０２と一体となって光軸に沿って前後に可能であり、第１レンズ群１０１とともにズーム機能を実現する。

第３レンズ群１０５はフォーカスレンズであり、光軸に沿って前後に移動可能である。光学ローパスフィルタ１０６は、撮像素子１０７の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子１０７は２次元ＣＭＯＳイメージセンサとその周辺回路で構成され、結像光学系の結像面に配置される。

ズームアクチュエータ１１１は、ズーム駆動回路１２９の制御に従い、不図示のカム筒を回動して第１レンズ群１０１と第３レンズ群１０５の少なくとも一方を光軸に沿って駆動して、ズーム（変倍）機能を実現する。シャッタアクチュエータ１１２は、シャッタ駆動回路１２８の制御に従い、シャッタ１０２開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
フォーカスアクチュエータ１１４は、フォーカス駆動回路１２６の制御に従い、第３レンズ群１０５を光軸に沿って駆動する。

フラッシュ１１５は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するＬＥＤを備えた照明装置であってもよい。ＡＦ補助光出力部１１６は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。

ＣＰＵ１２１は、カメラ１００全体の動作を制御し、図示しない演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶されたプログラムを実行して、カメラ１００が有する各種回路を制御し、ＡＦ、ＡＥ、画像処理、記録等、カメラ１００の機能を実現する。

フラッシュ制御回路１２２は、撮像動作に同期してフラッシュ１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作時にＡＦ補助光出力部１１６を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の動作を制御するとともに、撮像素子１０７から読み出した画像信号をＡ／Ｄ変換してＣＰＵ１２１に出力する。画像処理回路１２５は、画像信号に対してγ変換、色補間、ＪＰＥＧ符号化などの画像処理を適用する。

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動することにより第３レンズ群１０５を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路１２８は、シャッタアクチュエータ１１２を駆動してシャッタ１０２の開口径及び開閉タイミングを制御する。ズーム駆動回路１２９は、例えば操作スイッチ１３２に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ１１１を駆動する。

表示器１３１はＬＣＤ等であり、カメラ１００の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ１３２は、電源スイッチ、レリーズ（撮像トリガ）スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体１３３は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。

［撮像素子］
図２は、撮像素子１０７における撮像画素と焦点検出画素の配置例を模式的に示す図であり、撮像画素が横４画素×縦４画素配列された領域を代表的に示している。本実施形態においては、各撮像画素の光電変換領域が縦横方向にそれぞれ２分割されており、各光電変換領域を副画素と呼ぶ。従って、図２においては、副画素が横８画素×縦８画素配列された領域とも言うことができる。

本実施形態では、画素周期ΔＸが１０μｍ、有効画素数Ｎ_ＬＦが横３６００列×縦２４０００行＝約８６０万画素（副画素周期Δｘが５μｍ、有効副画素数Ｎが横７２００列×縦４８００行＝約３４６０万画素）の撮像素子として説明を行う。

本実施形態において、図２の左上の２×２の画素群２００は、撮像素子１０７に設けられた原色ベイヤー配列のカラーフィルタの繰り返し単位に対応している。従って、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。また、図２の右上の画素に代表的に示すように、各画素は、横２×縦２に等分割された光電変換部である副画素２０１〜２０４を有している。

図２に示した１つの画素（ここでは２００Ｇとする）を、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。

図３に示すように、本実施形態の画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮ分割（２分割）、ｙ方向にＮ分割（２分割）された光電変換部３０１〜３０４が形成される。光電変換部３０１〜３０４が、それぞれ、副画素２０１〜２０４に対応する。

光電変換部３０１〜３０４は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしてもよい。

各画素には、マイクロレンズ３０５と光電変換部３０１〜３０４との間に、カラーフィルタ３０６が形成される。また、必要に応じて、副画素ごとにカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略してもよい。

図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光されたのち、光電変換部３０１〜３０４で受光される。

光電変換部では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層に蓄積され、ホールは定電圧源（不図示）に接続されたｐ型層３００を通じて撮像素子１０７の外部へ排出される。

光電変換部３０１〜３０４のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。

図３に示した本実施形態の画素構造によってどのように瞳分割が行われるかを、図４および図５（ａ）を用いて説明する。図４は、図３（ｂ）に示した画素２００Ｇのａ−ａ断面と、結像光学系の射出瞳との関係を示している。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。また、図５（ａ）は、被写体から光電変換部３０３，３０４への光路を模式的に示している。

撮像素子１０７は、撮影レンズ（結像光学系）の結像面近傍に配置され、被写体からの光束は、結像光学系の射出瞳４００を通過して、それぞれの画素に入射する。撮像素子が配置された面を撮像面８００（図５（ａ））とする。瞳部分領域５０１〜５０４は、Ｎ_θ×Ｎ_θ分割（本実施形態ではＮ_θ＝２）された光電変換部３０１〜３０４（副画素２０１〜２０４）の受光面と、マイクロレンズによって、概ね、共役関係を有する。従って、瞳部分領域５０１〜５０４はそれぞれ、光電変換部３０１〜３０４（副画素２０１〜２０４）が受光可能な瞳部分領域を表している。

結像光学系の射出瞳４００は、異なる瞳部分領域にＮ_ｐ（＝Ｎ_θ×Ｎ_θ）分割され、Ｎ_ｐを瞳分割数とよぶ。結像光学系の絞り値をＦとすると、瞳部分領域の実効絞り値は、概ねＮ_θＦとなる。また、図４で、瞳領域５００は、光電変換部３０１〜３０４（副画素２０１〜２０４）を合わせた、画素２００Ｇ全体で受光可能な瞳領域である。

図５（ａ）を用いて、本実施形態における視差画像の生成原理について説明する。各画素の光電変換部３０１〜３０４（副画素２０１〜２０４）は、それぞれ、瞳部分領域５０１〜５０４の異なる瞳部分領域を通過する光束を受光する。図５（ａ）には、光電変換部３０３が瞳部分領域５０３を出射する光束を、光電変換部３０４が瞳部分領域５０４を出射する光束を受光する光路を示している。

このように、光電変換部３０１〜３０４はそれぞれ異なる瞳部分領域を出射した光束を受光する。異なる瞳部分領域を出射する光束を受光するということは、視点が異なることに相当するので、特定の光電変換部（副画素）の信号を各画素から取得すれば、受光する光束が出射する瞳部分領域に対応した視差画像を得ることができる。例えば、各画素から副画素２０３（光電変換部３０３）の信号を取得すれば、結像光学系の瞳部分領域５０３に対応した有効画素数の解像度を有する視差画像を得ることができる。他の副画素でも同様である。よって、本実施形態では、結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた画素を複数配列した撮像素子により、異なる瞳部分領域ごとの（すなわち瞳分割数Ｎ_ｐに等しい数の）視差画像が得られる。
また、画素ごとに副画素２０１〜２０４の信号を加算することで、有効画素数の解像度の撮像画像を生成することができる。

以下、本発明における視差画像の像ずれ量とデフォーカス量の関係について説明する。
図５（ｂ）に、視差画像間の像ずれ量とデフォーカス量の概略関係図を示す。撮像面８００に撮像素子１０７が配置され、図５（ａ）と同様に、結像光学系の射出瞳が、瞳部分領域５０１〜５０４にＮ_ｐ分割（４分割）される。

デフォーカス量ｄは、被写体の結像位置から撮像面までの距離の絶対値｜ｄ｜と、被写体の結像位置と撮像面との位置関係を表す符号とによって定義される。被写体の結像位置が撮像面より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面より被写体の反対側にある後ピン状態を正符号（ｄ＞０）で表す。被写体の結像位置が撮像面にある合焦状態はｄ＝０である。図５（ｂ）においては、位置８０１の被写体は合焦状態（ｄ＝０）であり、位置８０２の被写体は前ピン状態（ｄ＜０）の例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。

前ピン状態（ｄ＜０）では、位置８０２の被写体からの光束のうち、瞳部分領域５０３（５０４）を通過した光束は、一度、集光した後、光束の重心位置Ｇ３（Ｇ４）を中心として幅Γ３（Γ４）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する副画素２０３（２０４）により受光され、瞳部分領域５０３（５０４）に対応した視差画像が生成される。よって、副画素２０３（２０４）の信号から生成される視差画像には、重心位置Ｇ３（Ｇ４）に、位置８０２にいる被写体が幅Γ３（Γ４）にボケた被写体像として記録される。被写体像のボケ幅Γ３（Γ４）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、視差画像間の被写体像の像ずれ量ｐ（＝Ｇ３−Ｇ４）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）は、視差画像間の被写体像の像ずれ方向が前ピン状態と反対となることを除き、前ピン状態と同様である。合焦状態（ｄ＝０）では、視差画像間の被写体像の重心位置が一致（ｐ＝０）し、像ずれは生じない。

したがって、本実施形態で得られる複数の視差画像間の像ずれ量は、視差画像のデフォーカス量の大きさが増加するのに伴って増加する。本実施形態では、視差画像のデフォーカス量の大きさが増加するのに伴って視差画像間の像ずれ量が増加するという関係性から、視差画像間の像ずれ量を相関演算により算出することで、撮像面位相差方式の焦点検出を行う。像高ごとに撮像面位相差方式の焦点検出を行うことにより、デフォーカスマップを算出する。

結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓとの大小関係に応じて撮像素子の周辺像高（像高の大きな位置）で生じる瞳ずれについて説明する。図６は、撮像素子の周辺部に位置する画素の副画素２０１〜２０４がそれぞれ受光する瞳部分領域５０１ａ（５０１ｂ、５０１ｃ）〜５０４ａ（５０４ｂ、５０４ｃ）と、結像光学系の射出瞳４００との位置関係を示す。

図６（ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが、概ね一致する場合（Ｄ１≒Ｄｓ）を示している。この場合、像高の小さい中央部の画素と像高の大きい周辺部の画素のいずれにおいても、結像光学系の射出瞳４００が、概ね均等に、瞳部分領域５０１ａ〜５０４ａに瞳分割される。

これに対して、図６（ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合（Ｄ１＜Ｄｓ）を示している。この場合、周辺部の画素では、結像光学系の射出瞳４００が、不均一に、瞳部分領域５０１ｂ〜５０４ｂに瞳分割される。図６（ｂ）の例では、瞳部分領域５０１ｂと５０４ｂの実効絞り値に対して、瞳部分領域５０３ｂの実効絞り値はより小さい（明るい）値となり、瞳部分領域５０２ｂの実効絞り値はより大きい（暗い）値となる。光軸中心を挟んで対象の位置における画素では、逆に、瞳部分領域５０１ｂと瞳部分領域５０４ｂの実効絞り値に対して、瞳部分領域５０２ｂの実効絞り値はより小さい（明るい）値となり、瞳部分領域５０３ｂの実効絞り値はより大きい（暗い）値となる。

図６（ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い（Ｄ１＞Ｄｓ）場合を示している。この場合も、周辺部の画素では、結像光学系の射出瞳４００が、不均一に、瞳部分領域５０１ｃ〜５０４ｃに瞳分割される。図６（ｃ）の例では、図６（ｂ）の例とは逆に、瞳部分領域５０１ｃと５０４ｃの実効絞り値に対して、瞳部分領域５０２ｃの実効絞り値はより小さい（明るい）値となり、瞳部分領域５０３ｃの実効絞り値はより大きい（暗い）値となる。光軸中心を挟んで反対側の位置における画素では、逆に、瞳部分領域５０１ｃと５０４ｃの実効絞り値に対して、瞳部分領域５０３ｃの実効絞り値はより小さい（明るい）値となり、瞳部分領域５０２ｃの実効絞り値はより大きい（暗い）値となる。

このように、結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓとが異なる場合、周辺部の画素における実効絞り値が視差画像間で異なるため、周辺部におけるボケ量が視差画像間で相違するという現象が生じる。

図７は、瞳部分領域５０１〜５０４に対応した異なる視点の複数の視差画像６０１〜６０４の例を示す図である。
図７において、各視差画像の左上の周辺部における、デフォーカス状態（｜ｄ｜＞０）の領域７０１、７０２、７０３、７０４は、領域７０３のボケ量が最も多く、領域７０１と７０４は中間のボケ量で、領域７０２のボケ量が最も少ないことがわかる。逆に、各視差画像の右側の周辺部におけるデフォーカス状態（｜ｄ｜＞０）の領域７０５〜７０８は、領域７０６のボケ量が最も多く、領域７０５と７０８は中間のボケ量で、領域７０７のボケ量が最も少ないことがわかる。

本実施形態では、各視差画像の像高ごとの実効絞り値と、視差画像間の像ずれ量から算出されたデフォーカスマップとに応じて視差画像ごとにボケ量を調整し、視差画像の同一領域におけるボケ量の差を補正する。

［ボケ量補正処理］
以下、本実施形態におけるボケ量の補正処理について、図８（ａ）に示すフローチャートを用いて説明する。なお、本実施形態においてボケ量の補正処理はＣＰＵ１２１がソフトウェアを実行することによって実現されるものとするが、その一部または全部の処理をＡＳＩＣなどの回路によって実現してもよい。

Ｓ１００でＣＰＵ１２１は、撮像素子駆動回路１２４を通じて、撮像素子１０７の各副画素２０１〜２０４から信号を読み出し、画像処理回路１２５で少なくとも色補間（デモザイキング）を適用した入力画像を取得する。なお、同等の画像を記録媒体１３３や他の機器から取得してもよい。なお、撮像素子１０７から画像を取得する場合、一般的なデジタルカメラで行われているような自動露出設定によって予め露出条件が設定されているものとする。
なお、以下の説明では説明及び理解を容易にするため、各画素がＲＧＢ（またはＹＵＶ）の各成分の情報を有するものとする。しかし、入力画像はデモザイキング前のＲＡＷ画像であってもよく、この場合は同色画素ごとに以下の処理を適用した後、モザイク画像に戻し、デモザイキング処理を行えばよい。

撮像素子１０７のｘ方向の画素数をＮ_ｘ、ｙ方向の画素数をＮ_ｙ、ｘ方向の位置をｉ（＝１〜Ｎ_ｘ）、ｙ方向の位置をｊ（＝１〜Ｎ_ｙ）とする。位置の始点は例えば左上隅の画素であってよい。従って、撮像素子１０７の有効画素数Ｎ_ＬＦ＝Ｎ_ｘ×Ｎ_ｙである。また、撮像素子１０７の位置（ｉ，ｊ）の画素をＰ（ｉ，ｊ）とし、整数ａ＝１〜Ｎ_θとして、画素Ｐ（ｉ，ｊ）のａ番目の副画素をＰ_ａ（ｉ，ｊ）とする。さらに、副画素Ｐ_ａ（ｉ，ｊ）で受光される信号をＬ_ａ（ｉ，ｊ）とする。

従って、入力画像は、信号Ｌ_ａ（ｉ，ｊ）の全ての集合Ｌ＝｛Ｌ_ａ（ｉ，ｊ）｜ｉ＝１〜Ｎ_ｘ，ｊ＝１〜Ｎ_ｙ，ａ＝１〜Ｎ_θ｝と表される。

Ｓ２００でＣＰＵ１２１は、各画素の同じ副画素の信号をまとめることにより、結像光学系の瞳部分領域５０１から５０４に対応した４つの視差画像を生成する。上述したように、これらの視差画像は、視差画像のデフォーカス量の大きさが増加するのに伴い、複数の視差画像間の像ずれ量の大きさが増加する。

ａ番目の副画素の信号に限定した集合Ｌ_ａ＝｛Ｌ_ａ（ｉ，ｊ）｜ｉ＝１〜Ｎ_ｘ，ｊ＝１〜Ｎ_ｙ｝がそれぞれの視差画像である。複数の視差画像｛Ｌ_ａ｜ａ＝１〜Ｎ_θ｝が生成される。

本実施形態では瞳分割数Ｎ_θ＝４であるから、副画素２０１〜２０４をそれぞれ１〜４番目の副画素とする。つまり、ａ＝１は副画素２０１、ａ＝２は副画素２０２、ａ＝３は副画素２０３、ａ＝４は副画素２０４に相当する。従って、瞳部分領域５０１に対応する視差画像はＬ_１、瞳部分領域５０２に対応する視差画像はＬ_２、瞳部分領域５０３に対応する視差画像はＬ_３、瞳部分領域５０４に対応する視差画像はＬ_４である。

Ｓ３００でＣＰＵ１２１は、視差画像のデフォーカス量の大きさが増加するのに伴い、視差画像間の像ずれ量の大きさが増加する関係性から、デフォーカスマップを算出する。デフォーカス量算出手段としてのＣＰＵ１２１は、２つの視差画像間の像ずれ量を相関演算により計算し、像ずれ量に、レンズのフォーカスステート、ズームステート、絞り値、センサー像高座標などに応じた変換係数をかけてデフォーカス量を計算する。デフォーカスマップは、例えば視差画像の座標ごとに求めたデフォーカス量の集合であり、デフォーカス量の分布を表す。座標ごとのデフォーカス量の算出方法に特に制限は無いが、例えば以下の方法で求めることができる。

視差画像Ｌ_１と視差画像Ｌ_３を加算した視差画像Ｌ_１３、視差画像Ｌ_２と視差画像Ｌ_４を加算した視差画像Ｌ_２４とする。対象となる座標を中心とした所定数の画素からなる水平画素ラインを所定数、視差画像Ｌ_１３と視差画像Ｌ_２４の２つの視差画像から取り出し、両者の相関演算により水平方向のデフォーカス量を算出する。また、視差画像Ｌ_１と視差画像Ｌ_２を加算した視差画像Ｌ_１２、視差画像Ｌ_３と視差画像Ｌ_４を加算した視差画像Ｌ_３４とする。同様に、対象となる座標を中心とした所定数の画素からなる垂直画素ラインを所定数、視差画像Ｌ_１２と視差画像Ｌ_３４の２つの視差画像から取り出し、両者の相関演算により垂直方向のデフォーカス量を算出する。水平方向と垂直方向の平均デフォーカス量を、対象となる座標のデフォーカス量とする。なお、水平画素ラインや垂直画素ラインを用いる方法以外にも、対象となる座標を中心とした画素ブロックを用いてデフォーカス量を求めるなど、他の方法を用いてもよい。なお、デフォーカス量の算出は、２つの視差画像の他の組み合わせについて算出してもよい。

Ｓ４００でＣＰＵ１２１は、視差画像ごとにボケ量を調整する補正処理を行う。補正処理の詳細について、図８（ｂ）のフローチャートを用いて説明する。
まず、ＣＰＵ１２１は、視差画像ごとに像高と実効絞り値との関係を示す情報を生成する。ＣＰＵ１２１は、視差画像Ｌ_ａごとに、ａ副画素の瞳強度分布（受光率の入射角度依存性）と結像光学系の射出瞳の情報から、像高と、ａ副画素が受光する瞳部分領域の実効絞り値との関係を計算する。

レンズ瞳距離はレンズユニットから取得可能であり、センサ瞳距離はカメラに記憶されている。従って、ＣＰＵ１２１はレンズ瞳距離とセンサ瞳距離の大小関係を知ることができ、それによって像高の大きな周辺部で射出瞳の中心と画素の中心とがどの方向にずれるかが分かる。また、ＣＰＵ１２１は、現在のＦ値とレンズ瞳距離とから、現在の射出瞳４００の大きさを算出することができる。射出瞳の大きさがわかれば、像高に応じた瞳のずれ量を求めることができる。

副画素の実効絞り値は、図６に点線で示す各副画素の受光部と、射出瞳４００との重なりが大きけいほど小さく、重なりが小さいほど大きな値になる。また、副画素の受光効率には入射角度依存性があり、瞳強度分布と呼ぶ。一般には画素の中心を最大効率として、周辺部に向かって効率が低下する分布である。従って、ＣＰＵ１２１は、各副画素についての瞳強度分布と、現在の射出瞳との重なりに応じた実効Ｆ値を求める。像高が小さい位置の画素と大きい位置の画素では光の入射角が異なるため、瞳強度分布は像高に応じて異なる。従って、予め各座標に対応した瞳強度分布を求めておくか、像高０における瞳強度分布から、センサ瞳距離を用いて像高が０より大きい座標における瞳強度分布を推定することができる。
このようにして、ＣＰＵ１２１は、画素の座標ごとの実効絞り値を求め、視差画像ごとに、像高と実効絞り値の関係もしくは実効絞り値の分布を表す実効絞り値マップを作成する（Ｓ４０１）。

次にボケ量算出手段としてのＣＰＵ１２１は、視差画像ごとに求めた実効絞り値マップとデフォーカスマップとから、視差画像ごとに、座標ごとのボケ量の分布を表すボケ量マップを算出する（Ｓ４０２）。ボケ量はデフォーカス量／実効絞り値で求めることができる。

次に平均ボケ量算出手段としてのＣＰＵ１２１は、４つの視差画像について作成したボケ量マップから、座標ごとの平均ボケ量の分布を表す平均ボケ量マップを生成する（Ｓ４０３）。さらにボケ量差分算出手段としてのＣＰＵ１２１は、ボケ量マップと平均ボケ量マップとから、座標ごとのボケ量の差分の分布を表すボケ量差分マップを各視差画像について生成する（Ｓ４０４）。なおＣＰＵ１２１は、ボケ量差分マップを生成する際、平均より小さいボケ量については差分に負の符号を、平均より大きいボケ量については差分に正の符号を付与する。

そしてＣＰＵ１２１は、視差画像ごとに平均ボケ量との差分に応じたボケ補正処理を適用する（Ｓ４０５）。本実施形態でＣＰＵ１２１は、ボケ量差分マップの値が負であれば（平均ボケ量よりボケ量が少なければ）、ボケ量を増加させる処理を適用する。例えば、平均ボケ量マップの値となるようにボケ量を増加させることができる。一方、ボケ量差分マップの値が正かつ所定量より大きければ（ボケ量が平均ボケ量より所定量を超えて大きければ）、ＣＰＵ１２１はボケ量を削減する処理、例えばエッジ強調処理を行う。例えば、平均ボケ量マップの値となるようにエッジ強調処理を行うことができる。ボケ量差分マップの値が正かつ所定量以下であれば、特にボケ量の補正は行わない。
なお、ボケ補正処理は、各座標（画素）について実施してもよいし、差分量が同様の値を有する領域に対してまとめて実施してもよい。

このようにしてボケ補正処理を実施した視差画像は、その１つを表示器１３１に表示することができる。また、表示器１３１が立体表示器であれば、２つの視差画像を表示器１３１で表示して立体表示を提供することができる。

このように、本実施形態では、複数の視差画像からデフォーカスマップを算出するとともに、像高に応じた副画素の実効絞り値とデフォーカスマップとから各視差画像内の位置に応じたボケ量を求める。そして、視差画像間のボケ量の差を削減するように各視差画像に対してボケ量を補正する処理を適用するので、レンズ瞳距離とセンサ瞳距離が異なる場合などに特に周辺部で生じる瞳ずれによる副画素間の実効絞り値のばらつきの影響を抑制することができる。

なお、必要に応じて、ダーク補正、シェーディング補正などを、画像処理回路１２５を用いて入力画像、視差画像のいずれかもしくは両方に対して実施するようにしてもよい。

また、本実施形態は、結像光学系の射出瞳が異なる瞳部分領域に２×２分割される場合で説明を行ったが、他の瞳分割数の場合でも同様である。ｘ方向の瞳分割数とｙ方向の瞳分割数は異なっていても良い。また、瞳分割方向は、ｘ方向やｙ方向と異なっていても良い。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置の機能構成は第１の実施形態と同一であってよく、また視差画像に対するボケ量の補正処理も、Ｓ４００で視差画像ごとにボケ量マップを算出するまでは、図８を用いて第１の実施形態で説明したものと同様である。

第１の実施形態では、平均ボケ量より小さいボケ量についてはボケ量を増加させ、平均ボケ量より所定量以上大きなボケ量についてはボケ量を低減する補正処理を行うものであった。

一方、本実施形態は、４つの視差画像について作成したボケ量マップから、座標ごとの４視差画像中の最大ボケ量の分布を表す最大ボケ量マップを生成する。さらに、ボケ量マップから最大ボケ量マップを引くことにより、座標ごとの最大ボケ量からのボケ量の差分の分布を表すボケ量差分マップを各視差画像について生成する。本実施形態のボケ量差分マップは、ボケ量マップから最大ボケ量マップを引くため、非正（０か負）の値である。
その後、視差画像ごとに最大ボケ量との差分に応じたボケ補正処理を適用する。本実施形態でＣＰＵ１２１は、ボケ量差分マップの値が負であれば（平均ボケ量よりボケ量が少なければ）、ボケ量を増加させる処理を適用する。例えば、最大ボケ量マップの値となるようにボケ量を増加させることができる。

ボケ量が少ない部分に対してボケ量を増加させる補正を行うことで、処理を軽減しつつ各視差画像間のボケ量の差異を低減することができる。

●（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像処理装置の機能構成は第１の実施形態と同一であってよい。また視差画像に対するボケ量の補正処理も、Ｓ４００で点像データを生成し、ボケ補正にボケ量差分マップに加えて点像データを利用すること以外は図８を用いて第１の実施形態で説明したものと同様である。

本実施形態では、実効絞り値マップ、ボケ量マップ、平均ボケ量マップ、ボケ量差分マップに加えて、視差画像ごと、かつ像高ごとに、点像データを算出する。Ｆ値、レンズ瞳距離、および瞳強度分布から点像を特定することができる。点像データはボケの拡がり方を表すので、点像データを用いることにより、精度の良いボケ量の補正を実現することができる。

Ｓ４００でＣＰＵ１２１は、実効絞り値マップに加え、視差画像ごとに点像データを算出する。点像データは、視差画像ごとに、視差画像を形成する副画素の瞳強度分布（受光率の入射角度依存性）、Ｆ値、レンズ瞳距離とから、座標ごとの点像データを算出する。またＣＰＵ１２１は、第１の実施形態と同様にして、ボケ量マップ、平均ボケ量マップ、ボケ量差分マップを生成する。

そしてＣＰＵ１２１は、視差画像の座標ごとに、ボケ量差分マップの値が負であれば、ボケ量差分マップの値と点像データとに基づくコンボリューション処理（ボケを増加させる処理）を行う。一方、ボケ量差分マップの値が正でかつ所定値よりも大きい場合は、ボケ量差分マップの値と点像データとに基づくデコンボリューション処理（ボケを減少させる処理）を行う。

本実施形態によれば、処理の負荷は増すが、精度の良いボケ量の補正を行うことができ、視差画像間のボケ量の差をより精度良く抑制することが可能になる。なお、ここでは第１の実施形態と同様にボケ量が平均より小さい場合と平均より所定量以上大きい場合に補正する場合を説明したが、第２の実施形態と同様の補正を行うこともできる。

（その他の実施形態）
なお、上述の実施形態においては、視差画像の座標ごとに値を求めることで各種マップを生成していたが、複数の画素からなる画素ブロックごとに値を求めて各種マップを生成してもよい。

また、上述の実施形態においては、平均ボケ量との差を小さくするようにボケ量を補正する方法について説明したが、視差画像間のボケ量の差が抑制されれば、平均ボケ量以外の値を基準としてボケ量を補正してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数の画素が配列された撮像素子であって、前記画素の各々には、それぞれが結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた撮像素子から得られる入力画像を取得する取得手段と、
   同じ瞳部分領域を通過する光束を受光する副画素の信号に基づいて視差画像を生成することにより、前記入力画像から複数の視差画像を生成する生成手段と、
   前記複数の視差画像から、デフォーカス量の分布を求めるデフォーカス量算出手段と、
   前記デフォーカス量の分布、前記複数の副画素の各々に対する前記結像光学系の射出瞳の実効絞り値、および像高から、前記複数の視差画像の各々についてボケ量の分布を求めるボケ量算出手段と、
   前記複数の視差画像の各々について、他の視差画像とのボケ量の差を抑制する補正処理を適用する補正手段と、
   を有することを特徴とする画像処理装置。
2. さらに、前記ボケ量の分布から、前記複数の視差画像の平均ボケ量の分布を求める平均ボケ量算出手段を有し、
   前記補正手段が、前記平均ボケ量との差を小さくするように前記視差画像のボケ量を補正することにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項１記載の画像処理装置。
3. 前記補正手段は、
   前記平均ボケ量よりボケ量が小さい領域に対しては平均ボケ量との差分に応じたボケ量を増加させ、
   前記平均ボケ量よりボケ量が所定量を超えて大きい領域に対してはボケ量を減少させ、
   前記平均ボケ量よりボケ量が所定量以下だけ大きい領域に対してはボケ量の補正を行わない
   ことにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項２記載の画像処理装置。
4. 前記ボケ量の分布から、前記複数の視差画像の間での最大ボケ量との差分の分布を求めるボケ量差分算出手段を有し、
   前記補正手段が、前記差分の分布における差分に応じて前記視差画像のボケ量を補正することにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項１記載の画像処理装置。
5. 前記ボケ量算出手段は、前記副画素の瞳強度分布と、前記結像光学系の射出瞳との重なりの大きさに応じた前記実効絞り値を求めることにより、前記実効絞り値と像高との関係を求めることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記補正手段は、前記他の視差画像よりボケ量が小さい領域に対してはボケ量を増加させ、前記他の視差画像よりボケ量が大きい領域に対してはボケ量を減少させることにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項１，２および５のいずれか１項に記載の画像処理装置。
7. 前記補正手段は、前記他の視差画像よりボケ量が小さい領域に対してはボケ量を増加させ、前記他の視差画像よりボケ量が所定量以上大きい領域に対してはボケ量を減少させることにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項１，２および５のいずれか１項に記載の画像処理装置。
8. さらに、前記複数の視差画像の各々について、点像データを生成する手段を有し、
   前記補正手段は、ボケ量を増加させる場合には前記点像データを用いたコンボリューション処理を適用し、ボケ量を減少させる場合には前記点像データを用いたデコンボリューション処理を適用することにより、他の視差画像とのボケ量の差を抑制することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記撮像素子と、
   請求項１から８のいずれか１項に記載の画像処理装置と、
   前記結像光学系の情報を取得する手段と、
   を有することを特徴とする撮像装置。
10. 画像処理装置の制御手段が実行するための制御方法であって、
    複数の画素が配列された撮像素子であって、前記画素の各々には、それぞれが結像光学系の異なる瞳部分領域を通過する光束を受光する複数の副画素が設けられた撮像素子から得られる入力画像を取得する工程と、
    同じ瞳部分領域を通過する光束を受光する副画素の信号に基づいて視差画像を生成することにより、前記入力画像から複数の視差画像を生成する工程と、
    前記複数の視差画像から、デフォーカス量の分布を求める工程と、
    前記デフォーカス量の分布、前記複数の副画素の各々に対する前記結像光学系の射出瞳の実効絞り値、および像高から、前記複数の視差画像の各々についてボケ量の分布を求める工程と、
    前記複数の視差画像の各々について、他の視差画像とのボケ量の差を抑制する補正処理を適用する工程と、
    を有することを特徴とする画像処理装置の制御方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。