JP6312487B2 - 画像処理装置及びその制御方法、並びに、プログラム - Google Patents

Description

本発明は、いわゆる瞳分割画像を処理する画像処理装置及びその制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムに関するものである。

従来から、瞳分割画像を用いた撮像素子のダイナミックレンジの拡大手法が提案されている。例えば、下記の特許文献１には、異なる瞳分割画像ごとに蓄積時間或いは読み出しゲインを変えて露出の異なる複数の画像を取得し、それらの画像を合成することでダイナミックレンジを拡大する技術が開示されている。

また、従来から、瞳分割画像ごとに瞳強度分布が異なることが知られており、例えば、下記の特許文献２等にその内容が開示されている。

特開２００２−１９９２８４号公報 特開２０１３−１２５０９５号公報 特開２００９−２５８８６８号公報

しかしながら、上述した特許文献１に開示されたダイナミックレンジ拡大加算モードでは、瞳のケラレによるシェーディングの影響でダイナミックレンジ拡大効果が低減してしまう。

本発明は、このような問題点に鑑みてなされたものであり、異なる瞳領域から得られる複数の画像を用いてダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止する仕組みを提供することを目的とする。

本発明の画像処理装置は、撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子と、前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からＨＤＲ合成処理に用いる画像を選択する選択手段とを有する。
また、本発明は、上述した画像処理装置の制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、異なる瞳領域から得られる複数の画像を用いてダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。

本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）の概略構成の一例を示すブロック図である。 本発明の第１の実施形態を示し、図１に示す画像処理部の内部構成の一例を示す図である。 図６に示すアンダー露出画像に乗算するシェーディング補正係数（アンダー露出画像用シェーディング補正係数）の一例を示す図である。 図６に示す適正露出画像に乗算するシェーディング補正係数（適正露出画像用シェーディング補正係数）の一例を示す図である。 本発明の実施形態を示し、図２及び図７に示す画像合成部の動作を説明するための図である。 本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）において、２つの異なる露出の画像を取得する処理の一例を説明するための図である。 本発明の第２の実施形態を示し、図１に示す画像処理部の内部構成の一例を示す図である。 本発明の第２の実施形態に係るデジタルカメラ（画像処理装置）において、２つの異なる露出の画像を取得する処理の一例を説明するための図である。 撮像装置の瞳面における瞳強度分布と撮像素子の像面における入射角感度特性を説明するための図である。 図９に示す２つの副画素のシェーディング特性を説明するための図である。 従来例を示し、図９に示す２つの副画素で取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する処理の一例を説明するための図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に説明する本発明の実施形態では、本発明に係る画像処理装置としてデジタルカメラを適用した例について説明を行うが、本発明においてはこのデジタルカメラに限定されるものではない。
まず、特許文献１にかかる従来技術を図９を用いて説明する。

図９は、撮像装置の瞳面における瞳強度分布と撮像素子の像面における入射角感度特性を説明するための図である。
Ｊ１０７は、撮像装置の瞳面である。Ｊ１０８は、マイクロレンズアレイである。Ｊ１０９は、複数の画素からなる画素アレイである。例えば、マイクロレンズアレイＪ１０８及び画素アレイＪ１０９は、撮像素子を構成する。Ｊ１１１は、１つの画素（主画素）である。この１つの画素（主画素）Ｊ１１１は、上記の特許文献２と同様に、複数の光電変換部（具体的には、Ｊ１１０ａに示す副画素とＪ１１０ｂに示す副画素）を有して構成されている。

瞳強度分布は、上記の特許文献２に示されているように、瞳のケラレにより、副画素Ｊ１１０ａの瞳強度分布は、Ｊ１０１ａのようになり、副画素Ｊ１１０ｂの瞳強度分布は、Ｊ１０１ｂのようになる。

また、瞳強度分布Ｊ１０１ａ及びＪ１０１ｂに対応する像面中央での入射角感度特性は、それぞれ、Ｊ１０３ａ及びＪ１０３ｂのようになる。この場合、副画素Ｊ１１０ａの入射角感度特性は、Ｊ１０３ａのようになり、副画素Ｊ１１０ｂの入射角感度特性は、Ｊ１０３ｂのようになる。また、Ｊ１１２は、絞りなどで制限される入射光の角度範囲である。このように、像面中央では、副画素Ｊ１１０ａと副画素Ｊ１１０ｂに入射する光量は等しい。

また、瞳強度分布Ｊ１０１ａ及びＪ１０１ｂに対応する像面端での入射角感度特性は、それぞれ、Ｊ１０５ａ及びＪ１０５ｂのようになる。この場合、副画素Ｊ１１０ａの入射角感度特性は、Ｊ１０５ａのようになり、副画素Ｊ１１０ｂの入射角感度特性は、Ｊ１０５ｂのようになる。像面端では、像面中央と結像位置が異なるので、像面端の入射角感度特性は、像面中央に対して偏心したプロファイルとなる。このため、像面端では、図９に示す場合、副画素Ｊ１１０ａに入射する光量よりも副画素Ｊ１１０ｂに入射する光量のほうが多くなる。

以上のことから、像面上の画素位置（Ｘ）と画素値との関係を表すシェーディング特性は、図１０のようになる。図１０は、図９に示す２つの副画素Ｊ１１０ａ及びＪ１１０ｂのシェーディング特性を説明するための図である。
Ｊ２０１ａは、図９に示す副画素Ｊ１１０ａのシェーディング特性を示す。また、Ｊ２０１ｂは、図９に示す副画素Ｊ１１０ｂのシェーディング特性を示す。図９の像面中央はＸ＝０に対応し、像面端はＸ＝５００に対応する。

図１１は、従来例を示し、図９に示す２つの副画素Ｊ１１０ａ及びＪ１１０ｂで取得された異なる瞳分割画像ごとに、露出の異なる複数の画像を取得する処理の一例を説明するための図である。
Ｊ３０３は、図９に示す副画素Ｊ１１０ｂを適正露出にして撮像した瞳分割画像（適正露出画像）である。また、Ｊ３０２は、図９に示す副画素Ｊ１１０ａを１段（１ＥＶ）アンダー露出にして撮像した瞳分割画像（アンダー露出画像）である。

上記の特許文献１に記載のダイナミックレンジ拡大加算モードは、例えば、図１１に示すアンダー露出画像Ｊ３０２と適正露出画像Ｊ３０３を固体撮像素子のフローティングディフュージョン（ＦＤ）領域で加算合成した後に、固体撮像素子から合成画像を読み出すという動作になる。また、上述した例では、分割光電変換部の露出段差は１段差ということになる。
しかしながら、上述した特許文献１に開示されたダイナミックレンジ拡大加算モードでは、瞳のケラレによるシェーディングの影響でダイナミックレンジ拡大効果が低減してしまう。つまり、図１１に示すアンダー露出画像Ｊ３０２と適正露出画像Ｊ３０３は、撮像素子の撮像領域のうちの領域２においては１段以上の露出段差を確保することができるが、撮像素子の撮像領域のうちの領域１においては１段未満の露出段差しか確保できない。このように露出段差が確保できない場合に画像合成を行うと、画像合成後の画像の画質が低下するという問題が生じる。

ここで、上述した特許文献１に開示された従来技術でも、通常加算モードを用いれば、瞳のケラレによるシェーディングの影響が図９に示す副画素Ｊ１１０ａと副画素Ｊ１１０ｂとで相殺されるため、無視することができる。つまり、通常加算モードで、アンダー露出画像用のアンダー露出による蓄積と、適正露出画像用の適正露出による蓄積との、２回の蓄積に分けて露出すれば、読み出した後でダイナミックレンジ拡大加算することでダイナミックレンジを拡大することができる。この２回蓄積の場合には、アンダー露出画像と適正露出画像で撮影者の手振れの影響を受けるため、上記の特許文献３に開示されている従来技術のような画像の位置合わせが必要になる。つまり、例えば、アンダー露出画像と適正露出画像の間でブロックマッチングによる動きベクトル検出を行い、位置合わせパラメータを算出するようなことが必要になる。

しかしながら、上述した特許文献１の通常加算モードでは、非加算モードに対して瞳の開口が広がるため、被写界深度が浅くなり、画像中の合焦領域が狭くなる。このため、広がった非合焦面領域でのブロックマッチング性能が低下し、正しく動きベクトルが検出できなくなり、結果として画像の位置合わせ性能が低下する。これにより、得られる画像の画質が低下するという問題が生じる。そこで、本実施形態では、撮像部における撮像領域の位置に応じて複数の瞳分割画像から画像合成処理に用いる画像を選択するようにしたため、ダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）の概略構成の一例を示すブロック図である。

１００は、本実施形態に係るデジタルカメラ（画像処理装置）である。

１０１は、例えばＣＰＵからなる制御部である。制御部１０１は、例えば後述のＲＯＭ１０２から、デジタルカメラ１００が備える各ブロック構成の動作プログラムを読み出して、これを後述のＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００が備える各ブロック構成の動作を制御する。

１０２は、例えば書き換え可能な不揮発性メモリからなるＲＯＭである。ＲＯＭ１０２は、デジタルカメラ１００が備える各ブロック構成の動作プログラムに加えて、各ブロック構成の動作に必要なパラメータ等の情報を記憶する。

１０３は、例えば書き換え可能な揮発性メモリからなるＲＡＭである。ＲＡＭ１０３は、デジタルカメラ１００が備える各ブロック構成の動作において出力されたデータ等の一時的な記憶領域として用いられる。

１０４は、被写体Ｈからの光学像を撮像部１０５に結像するための、レンズ等を含む撮像光学系である。

１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子からなり、撮像光学系１０４の瞳を通過する被写体Ｈからの光束を複数に分割して複数の瞳分割画像（撮像光学系１０４の異なる瞳領域を通過した光束から得られる複数の瞳分割画像）を撮像する撮像部である。この撮像部１０５は、図９に示すマイクロレンズアレイＪ１０８及び画素アレイＪ１０９を有して構成されている。そして、画素アレイＪ１０９のうちの１つの画素（主画素）Ｊ１１１は、例えばマイクロレンズで瞳分割されて複数の光電変換部（具体的には、図９に示す２つの副画素Ｊ１１０ａ及びＪ１１０ｂ）が構成されている。本実施形態では、各主画素はＲ、Ｇ、Ｂいずれかのカラーフィルタで覆われている（１つの主画素に対応する副画素の色は同一）が、本発明の適用できる撮像素子の構成はこの限りではない。また、撮像部１０５は、撮像用と焦点検出用の両方に利用可能な撮像素子からなるものである。また、撮像部１０５は、撮像光学系１０４により結像された被写体Ｈの光学像を光電変換し、得られたアナログ画像信号を後述のＡ／Ｄ変換部１０６に出力する。

１０６は、撮像部１０５から入力されたアナログ画像信号にＡ／Ｄ変換処理を施してデジタル画像信号に変えるＡ／Ｄ変換部である。そして、Ａ／Ｄ変換部１０６は、得られたデジタル画像信号に基づくデジタル画像データをＲＡＭ１０３に出力して記憶させる。

１０７は、画像処理部である。画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス処理、ノイズ除去処理、色抑圧処理、マトリクス変換処理、ガンマ変換処理などを施す。また、画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データを上記のように処理する過程で、ＨＤＲ合成処理によりダイナミックレンジが拡大された画像データを生成する。また、画像処理部１０７は、ＨＤＲ合成処理を施した画像や合成を行っていない画像を静止画記録用（ＪＰＥＧなど）、或いは動画記録用（ＭＰＥＧ、Ｈ．２６４，Ｈ．２６５など）の符号化方式に従って符号化、圧縮処理を行い、出力する。

１０８は、例えばデジタルカメラ１００に着脱可能に構成されたメモリカード等の記録媒体である。記録媒体１０８には、ＲＡＭ１０３に記憶されている、画像処理部１０７で処理された画像データやＡ／Ｄ変換部１０６のＡ／Ｄ変換により得られた画像データなどが、記録画像データとして記録される。

１０９は、バスである。このバス１０９は、デジタルカメラ１００が備える各ブロック構成（１０１〜１０３、１０５〜１０８）を通信可能に接続する。

次いで、図２〜図６を用いて、第１の実施形態に係るデジタルカメラ１００の動作や、第１の実施形態に係る画像処理部１０７の内部構成等について説明する。

図６は、本発明の第１の実施形態に係るデジタルカメラ（画像処理装置）において、２つの異なる露出の画像を取得する処理の一例を説明するための図である。図６において、横軸は撮像部１０５の撮像領域における画素位置（Ｘ）であり、縦軸は画素値である。

図６において、Ｊ２０１ａは、図９に示す副画素Ｊ１１０ａ（第１の画素）から得られた瞳分割画像（Ａ像：第１の瞳分割画像）である。Ｊ２０１ｂは、図９に示す副画素Ｊ１１０ｂ（第２の画素）から得られた瞳分割画像（Ｂ像：第２の瞳分割画像）である。また、本実施形態では、撮像部１０５における撮像領域は、図６に示すように、少なくとも、領域１（第１の領域）と領域２（第２の領域）とを含む複数の領域に区分されているものとする。図６において、瞳分割画像Ｊ２０１ａは、領域１では瞳分割画像Ｊ２０１ｂよりも撮像光学系１０４の瞳のケラレ量が小さくなっている（画素値が大きくなっている）。また、瞳分割画像Ｊ２０１ｂは、領域２では瞳分割画像Ｊ２０１ａよりも撮像光学系１０４の瞳のケラレ量が小さくなっている（画素値が大きくなっている）。

ダイナミックレンジ拡大モードでは、フローティングディフュージョン（ＦＤ）領域に先に読み出される第１変換部の信号が短秒露出信号となり、ＦＤ領域に後で読み出される第２変換部の信号が長秒露出信号となる。つまり、本実施形態において、例えば、図９に示す副画素Ｊ１１０ａの信号をＦＤ領域に先に読み出して副画素Ｊ１１０ｂの信号をＦＤ領域に後で読み出せば、Ａ像がアンダー露出画像でＢ像が適正露出画像となる。逆に、図９に示す副画素Ｊ１１０ｂの信号をＦＤ領域に先に読み出して副画素Ｊ１１０ａの信号をＦＤ領域に後で読み出せば、Ｂ像がアンダー露出画像でＡ像が適正露出画像となる。ここで、アンダー露出画像は、適正露出画像を得た適正露出量（第１の露出量）よりも露出量が少ないアンダー露出量（第２の露出量）で得られた画像である。

本実施形態においては、図６に示す撮像部１０５の撮像領域のうちの領域１では図９に示す副画素Ｊ１１０ｂの信号をＦＤ領域に先に読み出し、図６に示す撮像部１０５の撮像領域のうちの領域２では図９に示す副画素Ｊ１１０ａの信号をＦＤ領域に先に読み出す。具体的に、例えば制御部１０１は、撮像部１０５を制御して、図６に示す領域１では、後述の画像合成処理に用いる画像であって適正露出画像６０３としてＡ像を選択し、後述の画像合成処理に用いる画像であってアンダー露出画像６０２としてＡ像ではない他の瞳分割画像であるＢ像を選択する。また、例えば制御部１０１は、撮像部１０５を制御して、図６に示す領域２では、後述の画像合成処理に用いる画像であって適正露出画像６０３としてＢ像を選択し、後述の画像合成処理に用いる画像であってアンダー露出画像６０２としてＢ像ではない他の瞳分割画像であるＡ像を選択する。本実施形態においては、画像合成処理に用いる画像を選択する制御部１０１は、選択手段を構成する。なお、本実施形態においては、制御部１０１が画像合成処理に用いる画像を選択するものとするが、例えば撮像部１０５自身で画像合成処理に用いる画像を選択する形態も本発明に含まれる。このように画像選択を行うことで、撮像光学系１０４の瞳のケラレによるシェーディングの影響がある場合でも、図１１に示す従来例よりも大きな露出段差を確保することができる。

また、特許文献１に記載のダイナミックレンジ拡大モードでは、光電変換部の蓄積時間の異なる２つの画像をフローティングディフュージョン（ＦＤ）領域で加算合成した後に、固体撮像素子から合成画像が読み出されるとされているが、焦点検出モードと同様に２つの光電変換部を独立に出力するようにすれば、２つの画像を非加算で読み出すことも可能である。

本実施形態においては、上記の方法で蓄積時間の異なる２つの画像を非加算で読み出し、Ａ／Ｄ変換部１０６によるＡ／Ｄ変換後に、例えば画像処理部１０７にてシェーディングの逆特性となるシェーディング補正係数を乗算することでシェーディング補正を行う。
図３は、図６に示すアンダー露出画像６０２に乗算するシェーディング補正係数（アンダー露出画像用シェーディング補正係数）の一例を示す図である。また、図４は、図６に示す適正露出画像６０３に乗算するシェーディング補正係数（適正露出画像用シェーディング補正係数）の一例を示す図である。図３及び図４のいずれも、横軸は撮像部１０５の撮像領域における画素位置（Ｘ）であり、縦軸はシェーディング補正係数である。

図６の６０４は、シェーディング補正後のアンダー露出画像（補正後アンダー露出画像）であり、図６の６０５は、シェーディング補正後の適正露出画像（補正後適正露出画像）である。この場合、シェーディング補正後の露出段差は画面内均一で１．５段分あり、本実施形態においては、これらの補正後アンダー露出画像６０４及び補正後適正露出画像６０５を画像合成して合成画像であるダイナミックレンジ拡大画像の生成を行う。このようにすることで、画像合成後のダイナミックレンジ拡大画像からシェーディングによる明暗ムラを除去することができる。さらに、本実施形態における図６では、従来例における図１１の場合と比べて、アンダー露出画像と適正露出画像のシェーディングによる画面内露出段差が少ないので、シェーディング補正係数を小さくすることができ、係数乗算によるノイズ劣化を小さくすることができる。

図２は、本発明の第１の実施形態を示し、図１に示す画像処理部１０７の内部構成の一例を示す図である。ここで、図２に示す画像処理部１０７を「画像処理部１０７−１」として示す。

２０１は、アンダー露出画像入力（図６のアンダー露出画像６０２の入力）を示す。２０２は、アンダー露出画像用シェーディング補正係数入力（図３のアンダー露出画像用シェーディング補正係数の入力）である。
２１０は、アンダー露出画像用シェーディング補正部である。アンダー露出画像用シェーディング補正部２１０は、図６のアンダー露出画像６０２に対して、図３のアンダー露出画像用シェーディング補正係数３０１ａ，３０１ｂを乗算することで、シェーディング補正をする。このシェーディング補正により、図６の補正後アンダー露出画像６０４が生成される。また、図３のアンダー露出画像用シェーディング補正係数３０１ａ，３０１ｂは、例えば、図１に示すＲＯＭ１０２から読み出されてＲＡＭ１０３に展開されたものが、アンダー露出画像用シェーディング補正係数入力２０２として入力される。

２０３は、適正露出画像入力（図６の適正露出画像６０３の入力）を示す。２０４は、適正露出画像用シェーディング補正係数入力（図４の適正露出画像用シェーディング補正係数の入力）である。
２２０は、適正露出画像用シェーディング補正部である。適正露出画像用シェーディング補正部２２０は、図６の適正露出画像６０３に対して、図４の適正露出画像用シェーディング補正係数４０１ａ，４０１ｂを乗算することで、シェーディング補正をする。このシェーディング補正により、図６の補正後適正露出画像６０５が生成される。また、図４の適正露出画像用シェーディング補正係数４０１ａ，４０１ｂは、例えば、図１に示すＲＯＭ１０２から読み出されてＲＡＭ１０３に展開されたものが、適正露出画像用シェーディング補正係数入力２０４として入力される。

ここで、アンダー露出画像用シェーディング補正部２１０及び適正露出画像用シェーディング補正部２２０は、画像合成処理に用いる画像に対して、撮像光学系１０４の瞳のケラレによる明暗ムラを補正する明暗ムラ補正手段を構成する。

２１１は、補正後アンダー露出画像入力（図６の補正後アンダー露出画像６０４の入力）である。２２１は、補正後適正露出画像入力（図６の補正後適正露出画像６０５の入力）である。
２３０は、画像合成部である。画像合成部２３０は、図６の補正後アンダー露出画像６０４と補正後適正露出画像６０５を画像合成して、合成画像としてダイナミックレンジ拡大画像を生成する。２３１は、ダイナミックレンジ拡大画像出力である。

図５は、本発明の実施形態を示し、図２に示す画像合成部２３０の動作を説明するための図である。図５において、横軸は被写体Ｈの明るさであり、縦軸は画素値である。ここで、本実施形態においては、被写体Ｈの明るさは、例えば補正後アンダー露出画像の画素値を参照すればよい。

本実施形態において、５０１は、補正後アンダー露出画像である。本実施形態において、５０３は、補正後適正露出画像である。ＴＨ２は、画素の飽和レベルである。明るい被写体Ｈを適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は、適正露出の飽和レベルに対応する被写体Ｈの明るさを示す所定の閾値である。本実施形態において、５０２は、補正後アンダー露出画像５０１を１．５段ゲインアップしたゲインアップ後アンダー露出画像である。本実施形態では、補正後アンダー露出画像５０１は、補正後適正露出画像５０３より１．５段アンダーなので、１．５段ゲインアップすることで補正後適正露出画像５０３と明るさを合わせることができる。

本実施形態において、画像合成部２３０は、図５に示す例では、被写体Ｈの明るさが所定の閾値ＴＨ１よりも暗い（ＴＨ１未満の値の）画素位置の場合には、露出量の多い方の入力画像である補正後適正露出画像５０３を選択して出力する。また、画像合成部２３０は、図５に示す例では、被写体Ｈの明るさが所定の閾値ＴＨ１よりも明るい（ＴＨ１よりも大きい値の）画素位置の場合には、露出量の少ない方の入力画像であるゲインアップ後アンダー露出画像５０２を選択して出力する。これにより、ダイナミックレンジ拡大画像を出力することができる。

本実施形態によれば、撮像用と焦点検出用の両方に利用可能な撮像素子において、瞳分割画像を用いてダイナミックレンジ拡大処理を行う際に、瞳のケラレによるシェーディングの影響がある場合でも、広いダイナミックレンジ拡大効果を得ることができる。より詳細に、本実施形態によれば、撮像部１０５における撮像領域の位置に応じて複数の瞳分割画像から画像合成処理に用いる画像を選択するようにしたため（図６）、ダイナミックレンジ拡大処理を行う際に、画像の画質の低下を防止することができる。なお、本実施形態におけるダイナミックレンジ拡大のためのＨＤＲ合成処理は、各露出画像を明るさを合わせるなどして同じ階調数（ｂｉｔ数）で合成を行うことで見かけ上のダイナミックレンジを拡大したＨＤＲ合成画像を生成することを含む。また、明るさの段差を維持したまま合成することで階調数が増加したＨＤＲ合成画像を生成するものも含む。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第２の実施形態に係るデジタルカメラ（画像処理装置）は、図１に示す第１の実施形態に係るデジタルカメラの概略構成と同様の構成を採る。

本実施形態においては、図１に示す撮像部１０５は、特許文献１に記載の非加算モードで、アンダー露出画像用のアンダー露出による蓄積と適正露出画像用の適正露出による蓄積との２回の蓄積に分けて露出される。そして、本実施形態においては、図１に示す撮像部１０５は、アンダー露出Ａ像、アンダー露出Ｂ像、適正露出Ａ像及び適正露出Ｂ像の４画像をそれぞれ別々に読み出す。その後、本実施形態においては、図１の画像処理部１０７は、これらの４画像を用いてダイナミックレンジ拡大加算を行うものとする。

次いで、図７〜図８を用いて、第２の実施形態に係るデジタルカメラ１００の動作や、第２の実施形態に係る画像処理部１０７の内部構成等について説明する。

図８は、本発明の第２の実施形態に係るデジタルカメラ（画像処理装置）において、２つの異なる露出の画像を取得する処理の一例を説明するための図である。図８では、適正露出とアンダー露出の露出段差を１段としている。また、図８において、横軸は撮像部１０５の撮像領域における画素位置（Ｘ）であり、縦軸は画素値である。また、本実施形態では、撮像部１０５における撮像領域は、図８に示すように、少なくとも、領域１（第１の領域）と領域２（第２の領域）とを含む複数の領域に区分されているものとする。

図８において、Ｊ２０１ａは、図９に示す副画素Ｊ１１０ａから適正露出量において得られた適正露出瞳分割画像（適正露出Ａ像）である。Ｊ２０１ｂは、図９に示す副画素Ｊ１１０ｂから適正露出量において得られた適正露出瞳分割画像（適正露出Ｂ像）である。８０１ａｂは、図９に示す副画素Ｊ１１０ａの適正露出瞳分割画像（適正露出Ａ像）Ｊ２０１ａと図９に示す副画素Ｊ１１０ｂの適正露出瞳分割画像（適正露出Ｂ像）Ｊ２０１ｂとを加算した適正露出加算画像（適正露出（Ａ＋Ｂ）像）である。

また、図８において、８０２ａは、図９に示す副画素Ｊ１１０ａからアンダー露出量において得られたアンダー露出瞳分割画像（アンダー露出Ａ像）である。８０２ｂは、図９に示す副画素Ｊ１１０ｂからアンダー露出量において得られたアンダー露出瞳分割画像（アンダー露出Ｂ像）である。８０２ａｂは、図９に示す副画素Ｊ１１０ａのアンダー露出瞳分割画像（アンダー露出Ａ像）８０２ａと図９に示す副画素Ｊ１１０ｂのアンダー露出瞳分割画像（アンダー露出Ｂ像）８０２ｂとを加算したアンダー露出加算画像（アンダー露出（Ａ＋Ｂ）像）である。

図７は、本発明の第２の実施形態を示し、図１に示す画像処理部１０７の内部構成の一例を示す図である。ここで、図７に示す画像処理部１０７を「画像処理部１０７−２」として示す。

７０１ａは、アンダー露出Ａ像入力（図８のアンダー露出Ａ像８０２ａの入力）を示す。７０１ｂは、アンダー露出Ｂ像入力（図８のアンダー露出Ｂ像８０２ｂの入力）を示す。７０２ａは、適正露出Ａ像入力（図８の適正露出Ａ像Ｊ２０１ａの入力）を示す。７０２ｂは、適正露出Ｂ像入力（図８の適正露出Ｂ像Ｊ２０１ｂの入力）を示す。

７１０は、画像加算部である。画像加算部７１０は、図８のアンダー露出Ａ像８０２ａと図８のアンダー露出Ｂ像８０２ｂとを加算して、アンダー露出加算画像である図８のアンダー露出（Ａ＋Ｂ）像）８０２ａｂを生成する。また、画像加算部７１０は、図８の適正露出Ａ像Ｊ２０１ａと図８の適正露出Ｂ像Ｊ２０１ｂとを加算して、適正露出加算画像である図８の適正露出（Ａ＋Ｂ）像）８０１ａｂを生成する。ここで、適正露出（Ａ＋Ｂ）像）８０１ａｂは第１の加算画像を構成し、アンダー露出（Ａ＋Ｂ）像）８０２ａｂは第２の加算画像を構成する。

７２０は、動きベクトル算出用画像生成部である。動きベクトル算出用画像生成部７２０は、図８の領域１においては、後述の動きベクトル算出処理に用いる画像としてアンダー露出Ｂ像８０２ｂと適正露出Ｂ像Ｊ２０１ｂを選択する。また、動きベクトル算出用画像生成部７２０は、図８の領域２においては、後述の動きベクトル算出処理に用いる画像としてアンダー露出Ａ像８０２ａと適正露出Ａ像Ｊ２０１ａを選択する。本実施形態においては、動きベクトル算出処理に用いる画像を選択する動きベクトル算出用画像生成部７２０は、選択手段を構成する。なお、本実施形態においては、動きベクトル算出用画像生成部７２０による機能を画像処理部１０７−２において行うようにしているが、例えば、制御部１０１の機能として行うようにしてもよい。また、動きベクトル算出用画像生成部７２０は、選択したアンダー露出Ａ像８０２ａもしくはアンダー露出Ｂ像８０２ｂについては、適正露出と明るさが合うようにゲインアップしてから出力する。本実施形態では、適正露出とアンダー露出の露出段差が１段であるので、１段分ゲインアップして出力される。

７３０は、動きベクトル算出部である。動きベクトル算出部７３０は、例えば特許文献３に記載されている従来技術と同様の構成であり、ターゲットフレーム基準で参照フレームをブロック探索して動きベクトルを検出する。具体的に、本実施形態においては、動きベクトル算出部７３０は、撮像部１０５の複数の領域（領域１及び領域２）ごとに、複数の露出量（適正露出量及びアンダー露出量）において撮像部１０５で撮像された複数の瞳分割画像間で動きベクトルを算出する。
７２１は、ターゲットフレーム入力である。このターゲットフレーム入力７２１は、ゲインアップされたアンダー露出Ａ像８０２ａもしくはゲインアップされたアンダー露出Ｂ像８０２ｂのいずれかが入力される。７２２は、参照フレーム入力である。この参照フレーム入力７２２は、適正露出Ａ像Ｊ２０１ａもしくは適正露出Ｂ像Ｊ２０１ｂのいずれかが入力される。

７４０は、動き補償画像生成部である。動き補償画像生成部７４０は、例えば特許文献３に記載されている従来技術と同様の構成である。具体的に、動き補償画像生成部７４０は、動きベクトル算出部７３０で算出された動きベクトルを用いて参照フレーム（具体的には適正露出（Ａ＋Ｂ）像８０１ａｂ）を動き補償して動き補償画像を生成する。
７３１は、動きベクトル入力（動きベクトル算出部７３０で算出された動きベクトルの入力）である。７１２は、参照フレーム入力であり、適正露出（Ａ＋Ｂ）像８０１ａｂが入力される。

７５０は、画像合成部である。画像合成部７５０は、図８のアンダー露出（Ａ＋Ｂ）像８０２ａｂと、動き補償された適正露出（Ａ＋Ｂ）像８０１ａｂとを画像合成して、合成画像としてダイナミックレンジ拡大画像を生成する。
７１１は、アンダー露出（Ａ＋Ｂ）像入力（図８のアンダー露出（Ａ＋Ｂ）像８０２ａｂの入力）である。７４１は、動き補償後適正露出（Ａ＋Ｂ）像入力（動き補償された適正露出（Ａ＋Ｂ）像８０１ａｂの入力）である。７５１は、ダイナミックレンジ拡大画像出力である。

ここで、図５を用いて、図７に示す画像合成部７５０の動作を説明する。
図５は、本発明の実施形態を示し、図７に示す画像合成部７５０の動作を説明するための図である。図５において、横軸は被写体Ｈの明るさであり、縦軸は画素値である。ここで、本実施形態においては、被写体Ｈの明るさは、例えばアンダー露出（Ａ＋Ｂ）像の画素値を参照すればよい。

本実施形態において、５０１は、アンダー露出（Ａ＋Ｂ）像である。本実施形態において、５０３は、動き補償後適正露出（Ａ＋Ｂ）像である。ＴＨ２は、画素の飽和レベルである。明るい被写体Ｈを適正露出で撮像した場合、画素値は飽和レベルＴＨ２でクリップされる。ＴＨ１は、適正露出の飽和レベルに対応する被写体Ｈの明るさを示す所定の閾値である。本実施形態において、５０２は、アンダー露出（Ａ＋Ｂ）像５０１を１段ゲインアップしたゲインアップ後アンダー露出（Ａ＋Ｂ）像である。本実施形態では、アンダー露出（Ａ＋Ｂ）像５０１は、動き補償後適正露出（Ａ＋Ｂ）像５０３より１段アンダーなので、１段ゲインアップすることで動き補償後適正露出（Ａ＋Ｂ）像５０３と明るさを合わせることができる。

本実施形態において、画像合成部７５０は、図５に示す例では、被写体Ｈの明るさが所定の閾値ＴＨ１よりも暗い（ＴＨ１未満の値の）画素位置の場合には、露出量の多い方の入力画像である動き補償後適正露出（Ａ＋Ｂ）像５０３を選択して出力する。また、画像合成部７５０は、図５に示す例では、被写体Ｈの明るさが所定の閾値ＴＨ１よりも明るい（ＴＨ１よりも大きい値の）画素位置の場合には、露出量の少ない方の入力画像であるゲインアップ後アンダー露出（Ａ＋Ｂ）像５０２を選択して出力する。これにより、ダイナミックレンジ拡大画像を出力することができる。

本実施形態においては、ダイナミックレンジ拡大のための画像合成を、瞳分割画像を加算した加算画像で行うので、瞳のケラレによるシェーディングの影響を受けることが無い。一方、動きベクトルの算出は瞳分割画像で行うので、瞳分割画像を加算した加算画像で行う場合と比べて被写界深度が深い画像でブロックマッチングが行え、動きベクトル算出性能を向上させることができる。さらに、２つある瞳分割画像のうち、瞳によるケラレがより大きい画像を選択するので、被写界深度をより深くすることができる。

即ち、本実施形態によれば、撮像用と焦点検出用の両方に利用可能な撮像素子において、アンダー露出画像用のアンダー露出による蓄積と適正露出画像用の適正露出による蓄積の２回の蓄積に分けて露出する場合でも、高精度に画像位置合わせをすることができる。これにより、画像の画質の低下を防止することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ デジタルカメラ（画像処理装置）、１０１ 制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ 撮像光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、１０８ 記録媒体、１０９ バス、Ｈ 被写体

Claims (11)

1. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子と、
   前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からＨＤＲ合成処理に用いる画像を選択する選択手段と
   を有することを特徴とする画像処理装置。
2. 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第１の画素から得られた第１の瞳分割画像と、前記撮像素子における第２の画素から得られた第２の瞳分割画像とを含み、
   前記撮像素子における撮像領域は、少なくとも、第１の領域と第２の領域とを含む複数の領域に区分されており、
   前記選択手段は、
   前記第１の領域については、前記ＨＤＲ合成処理に用いる画像であって第１の露出量に係る画像として前記第１の瞳分割画像を選択するとともに、前記ＨＤＲ合成処理に用いる画像であって前記第１の露出量よりも露出量が少ない第２の露出量に係る画像として前記第１の瞳分割画像ではない他の瞳分割画像を選択し、
   前記第２の領域については、前記ＨＤＲ合成処理に用いる画像であって前記第１の露出量に係る画像として前記第２の瞳分割画像を選択するとともに、前記ＨＤＲ合成処理に用いる画像であって前記第２に露出量に係る画像として前記第２の瞳分割画像ではない他の瞳分割画像を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段により選択された前記ＨＤＲ合成処理に用いる画像に対して、前記瞳のケラレによる明暗ムラを補正する明暗ムラ補正手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記複数の領域ごとに、前記選択手段により選択された複数の瞳分割画像を合成して合成画像を生成する画像合成手段を更に有することを特徴とする請求項２に記載の画像処理装置。
5. 前記撮像素子は、前記複数の瞳分割画像を複数の露出量において撮像するものであり、
   前記撮像素子における撮像領域の複数の領域ごとに、前記複数の露出量において前記撮像素子で撮像された複数の瞳分割画像間で動きベクトルを算出する動きベクトル算出手段を更に有することを特徴とする請求項１に記載の画像処理装置。
6. 前記複数の瞳分割画像は、少なくとも、前記撮像素子における第１の画素から得られた第１の瞳分割画像と、前記撮像素子における第２の画素から得られた第２の瞳分割画像とを含み、
   前記撮像素子における撮像領域は、少なくとも、第１の領域と第２の領域とを含む複数の領域に区分されており、
   前記撮像素子は、少なくとも、第１の露出量と当該第１の露出量よりも露出量が少ない第２の露出量を含む複数の露出量において前記撮像を行い、
   前記動きベクトル算出手段は、前記第１の領域については、前記第１の露出量および前記第２の露出量において前記撮像された、前記第１の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出し、前記第２の領域については、前記第１の露出量および前記第２の露出量において前記撮像された、前記第２の瞳分割画像ではない他の瞳分割画像間で前記動きベクトルを算出することを特徴とする請求項５に記載の画像処理装置。
7. 少なくとも、前記第１の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第１の加算画像を生成するとともに、前記第２の露出量において前記撮像素子で撮像された複数の瞳分割画像を加算して第２の加算画像を生成する画像加算手段と、
   少なくとも、前記動きベクトルを用いて前記第１の加算画像を動き補償して動き補償画像を生成する動き補償手段と、
   少なくとも、前記第２の加算画像と前記動き補償画像とを合成して合成画像を生成する画像合成手段と
   を更に有することを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の瞳分割画像は、前記第１の領域では前記第２の瞳分割画像よりも前記瞳のケラレ量が小さく、前記第２の瞳分割画像は、前記第２の領域では前記第１の瞳分割画像よりも前記瞳のケラレ量が小さいことを特徴とする請求項２、４、６、７の何れか１項に記載の画像処理装置。
9. 前記画像合成手段は、被写体の明るさが所定の閾値よりも暗い場合については、露出量の多い方の入力画像を選択して出力し、被写体の明るさが所定の閾値よりも明るい場合については、露出量の少ない方の入力画像を選択して出力することを特徴とする請求項４又は７に記載の画像処理装置。
10. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法であって、
    前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からＨＤＲ合成処理に用いる画像を選択する選択工程を有することを特徴とする画像処理装置の制御方法。
11. 撮像光学系の異なる瞳領域を通過した光束から得られる複数の瞳分割画像を撮像する撮像素子を備える画像処理装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像素子における撮像領域の位置に応じて、前記複数の瞳分割画像からＨＤＲ合成処理に用いる画像を選択する選択工程をコンピュータに実行させるためのプログラム。

Images