JP2018004689A - 画像処理装置および方法、および撮像装置 - Google Patents

Abstract

【課題】 撮像画像の読み出し信号量を増やさずに瞳分割方向を切り替える場合において、多数のパラメータを使用せずに画像処理を可能にすること。【解決手段】 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える画素部と、制御信号に応じて、前記画素部から、焦点検出に用いられる焦点検出信号、および、前記マイクロレンズごとに前記複数の光電変換部の信号を加算した画像信号を、加算読み出しまたは間引き読み出しにより読み出す読み出し制御手段と、からなる撮像素子から出力される焦点検出信号および画像信号を処理する画像処理装置であって、前記撮像素子から読み出された画像信号を、前記制御信号に基づいて、予め決められたサイズの画像の画像信号に変換する変換手段とを有する。【選択図】 図６

Description

本発明は、画像処理装置および方法、および撮像装置に関し、特に、１つのマイクロレンズに対して複数の光電変換部を有する撮像素子から得られた信号を処理する技術に関する。

従来より、１つのマイクロレンズに対して複数の光電変換部を有する単位画素セルにより構成された撮像素子を用いて、瞳分割画像および撮像画像を取得し、得られた瞳分割画像の位相差を求めて焦点検出を行う技術が知られている。

特許文献１では、単位画素セル内の複数の光電変換部がフローティングディフュージョン部（ＦＤ）を共有することにより、撮像素子内で所定方向の瞳分割画像および撮像画像の生成を可能とする技術が開示されている。このような構成を用いることで伝送路の節約を行いつつ、撮像画像および瞳分割画像を効率的に転送することが可能である。

また、特許文献１に記載の技術を応用し、単位画素セル間においても同様にＦＤを共有するように構成すれば、更に広い範囲での信号加算を行うことが可能となる。このようにすることで、高フレームレート動画撮影時や、１つのマイクロレンズに対する光電変換部が増えた場合の信号転送量削減を図ることができる。

特開２０１４−１５７３３８号公報

しかしながら、ＦＤを共有する構成を用いて、画素内および画素間の信号加算を撮像素子内部で行い、撮像画像および所定方向の瞳分割画像を転送する場合、画像サイズが瞳分割画像の分割方向に応じて変化してしまう。そのため、出力パネル等、一定の画像サイズ入力を要求する構成要素に対しては、出力された画像信号が適さなくなってしまうという課題が生じる。

また、シェーディング等、撮像素子の特性劣化に起因する撮像画像の劣化を補正する場合には、分割方向に応じて異なる補正パラメータを準備しなければならないという課題も生じる。

本発明は上記問題点を鑑みてなされたものであり、撮像画像の読み出し信号量を増やさずに瞳分割方向を切り替える場合において、多数のパラメータを使用せずに、画像処理を可能にすることを目的とする。

上記目的を達成するために、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える画素部と、制御信号に応じて、前記画素部から、焦点検出に用いられる焦点検出信号、および、前記マイクロレンズごとに前記複数の光電変換部の信号を加算した画像信号を、加算読み出しまたは間引き読み出しにより読み出す読み出し制御手段と、からなる撮像素子から出力される焦点検出信号および画像信号を処理する本発明の画像処理装置は、前記撮像素子から読み出された画像信号を、前記制御信号に基づいて、予め決められたサイズの画像の画像信号に変換する変換手段とを有する。

本発明によれば、撮像画像の読み出し信号量を増やさずに瞳分割方向を切り替える場合において、多数のパラメータを使用せずに画像処理を可能にすることができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子の画素部の上面図。 第１の実施形態における画素部の構成例を示す回路図。 第１の実施形態における撮像素子内の信号加算および出力の概念図。 第１の実施形態における加算信号分離部内部の回路図。 第１の実施形態における画像調整部の内部構成を示すブロック図。 第１の実施形態における画像調整部による中間信号を示した図。 瞳分割画像と焦点状態の関連性を説明する図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置の構成を示すブロック図である。図１において、撮像光学系１０１は、フォーカス位置を調整するためのフォーカスレンズ、ズームレンズ、絞り等により構成される。光学系駆動部１０２は、位相差焦点検出部１０８から出力されるデフォーカス量およびシステム制御部１０９から出力される撮像光学系駆動情報に応じて、撮像光学系１０１の駆動制御を行う。

撮像素子１０３は、撮像素子駆動部１０４による駆動制御命令に基づいて、撮像光学系１０１を介して入射した光束を光電変換し、焦点検出に用いる瞳分割画像（焦点検出信号）と、表示や記録に用いる撮像画像を読み出す。撮像素子駆動部１０４はシステム制御部１０９から出力される瞳分割方向情報に基づいて、撮像素子１０３の信号読み出し等の駆動制御命令を出力する。

加算信号分離部１０５は撮像素子１０３から出力される撮像画像から瞳分割画像を減算することで、他方の瞳分割画像の信号を生成し、撮像画像および一対の瞳分割画像の信号を後段のキズ補正部１１０および位相差焦点検出部１０８にそれぞれ出力する。

キズ補正部１１０は、システム制御部１０９から出力される瞳分割方向情報に基づいて補正パラメータを選択的に読み出し、加算信号分離部１０５から出力された撮像画像および一対の瞳分割画像の信号中に含まれるキズデータを補正する。即ち、瞳分割方向に応じて異なる補正パラメータを用いてキズ補正を行う。

画像調整部１０６は、システム制御部１０９から出力される瞳分割方向情報に基づき、キズ補正部１１０から出力される撮像画像を所定の画像サイズに調整して出力する。

シェーディング補正部１０７は、予め決められた所定のパラメータを撮像画像の信号と掛け合わせ、撮像画像の周辺光量落ちを補正する。ここで、シェーディング補正部１０７は、瞳分割方向によらず、共通の補正パラメータを用いてシェーディング補正を行う。

位相差焦点検出部１０８は、システム制御部１０９から出力される瞳分割方向情報に基づき、加算信号分離部１０５から出力される一対の瞳分割画像の信号の位相差演算を行い、デフォーカス量を算出する。

システム制御部１０９は、撮像装置全体の制御を行い、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて瞳分割方向を決定し、撮像素子駆動部１０４、画像調整部１０６、位相差焦点検出部１０８に瞳分割方向情報を出力する。

次に撮像素子１０３の詳細について説明する。図２は、第１の実施形態における撮像素子１０３の画素部を模式的に示した上面図である。図２において、単位画素セル２００には、各マイクロレンズ２０１に対し、フォトダイオードに代表される光電変換部ＰＤｎＡ〜Ｄが構成されている（図２ではｎ＝１〜４）。なお、撮像素子１０３上に存在する他の単位画素セルについても、単位画素セル２００と同様の位置に光電変換部ＰＤｎＡ〜Ｄが存在する。

ここで単位画素セル２００内の信号加算により得られる信号について説明する。まず、光電変換部ＰＤｎＡとＰＤｎＢとから得られる信号を加算することで、射出瞳を垂直方向に分割した場合の上側領域の瞳分割画像（上信号）が得られる。また、光電変換部ＰＤｎＣとＰＤｎＤから得られる信号を加算することで、射出瞳を垂直方向に分割した場合の下側領域の瞳分割画像（下信号）が得られる。

また、光電変換部ＰＤｎＡとＰＤｎＣから得られる信号を加算することで、射出瞳を水平方向に分割した場合の左側領域の瞳分割画像（左信号）が得られる。そして、光電変換部ＰＤｎＢとＰＤｎＤから得られる信号を加算することで、射出瞳を水平方向に分割した場合の右側領域の瞳分割画像（右信号）が得られる。

そして、光電変換部ＰＤｎＡ〜Ｄから得られる値をすべて加算することによって、撮像画像を得ることができる。

このように単位画素セル２００内の光電変換部の加算の組合せを変更することで、上下左右の瞳分割画像、および撮像画像を得ることができる。

図３は、本発明の第１の実施形態における撮像素子１０３の構成例を示す図である。図３は、図２に示す光電変換部ＰＤｎＡ〜Ｄのうち、ｎ＝１および２に対応する光電変換部（フォトダイオード）ＰＤ１Ａ〜Ｄと、ＰＤ２Ａ〜Ｄを示している。以下、どの光電変換部かを特定する必要がある場合を除いて、単に「ＰＤ」を付す。また、各光電変換部ＰＤは、読み出しトランジスタＲｄｎＡ〜Ｄによって、フローティングディフュージョン部ＦＤに電荷が転送される。

電源ＶＤＤは、撮像素子１０３用の電源であって、リセットトランジスタＲｅｓを介してフローティングディフュージョン部ＦＤの電荷をクリアする。行読み出しトランジスタＳｅｌは、電荷を読み出す行を選択するスイッチであり、選択された行の電荷に対応した画素値がソースフォロワを介して出力される。

次に、単位画素セル２００において、信号加算により瞳分割画像および撮像画像を得る場合の制御方法について説明する。

例えば、上信号を得る場合は、リセットトランジスタＲｅｓによって画素値をリセットした上で、読み出しトランジスタＲｄｎＡおよびＲｄｎＢを制御し、フローティングディフュージョン部ＦＤに光電変換部ＰＤｎＡおよびＰＤｎＢの電荷を転送する。次に、行読み出しトランジスタＳｅｌを制御し、画素値を不図示のＡ／Ｄ変換部に出力することで、上信号を得ることができる。

また、他方向の瞳分割画像を得る場合は、同様の手順で読み出しトランジスタの組合せを適宜変更し、所望の方向の瞳分割画像を構成する光電変換部ＰＤの電荷をフローティングディフュージョン部ＦＤに転送すればよい。

また、撮像画像を得る場合は、同様の手順で読み出しトランジスタＲｄｎＡ〜Ｄをすべて制御し、フローティングディフュージョン部ＦＤに光電変換部ＰＤｎＡ〜Ｄの電荷を転送すればよい。

このように単位画素セル２００内の読み出しトランジスタＲｄｎＡ〜Ｄの組合せを制御することによって、単位画素セル２００内で自由に信号加算を行うことが可能となりる。これにより、所定方向の瞳分割画像および撮像画像を撮像素子１０３内で生成することができる。

なお、本第１の実施形態における撮像素子１０３は、隣接する単位画素セル２００とフローティングディフュージョン部ＦＤを共有する構成を用いている。これにより、上述した単位画素セル２００内の信号加算に加えて、単位画素セル２００間の信号加算も実施可能な構成になっている。

次に、光電変換部ＰＤ１Ａ〜Ｄからなる単位画素セル２００および光電変換部ＰＤ２Ａ〜Ｄからなる単位画素セル２００において、信号加算により瞳分割画像および撮像画像を得る場合の制御方法について、具体的に説明する。

例えば、上気した２つの単位画素セル２００間で上信号の信号加算を行う場合、まず、リセットトランジスタＲｅｓによって画素値をリセットする。その後、読み出しトランジスタＲｄ１Ａ、Ｒｄ１Ｂ、および、読み出しトランジスタＲｄ２Ａ、Ｒｄ２Ｂを制御し、フローティングディフュージョン部ＦＤ上に光電変換部ＰＤ１Ａ、ＰＤ１Ｂ、ＰＤ２Ａ、ＰＤ２Ｂの電荷を転送する。次に、行読み出しトランジスタＳｅｌを制御し、画素値を不図示のＡ／Ｄ変換部に出力すればよい。

なお、他方向の瞳分割画像や撮像画像を得る場合は、同様の手順で読み出しトランジスタＲｄｎＡ〜Ｄの組合せを適宜変更すればよい。このようにフローティングディフュージョン部ＦＤを共通化した各単位画素セルにおいて、各読み出しトランジスタＲｄｎＡ〜Ｄをそれぞれ制御することによって、単位画素セル２００間の信号加算を行うことが可能となる。

なお、ここでは図３を参照して水平方向に隣接する２つの単位画素セル２００がＦＤを共有する構成を用いて説明を行った。しかしながら、第１の実施形態の撮像素子１０３には、垂直方向に隣接する単位画素セル２００についても同様にフローティングディフュージョン部ＦＤを共有しているため、垂直方向の単位画素セル２００間の信号加算も行うことが可能である。なお、ここで説明した各種制御は、撮像素子駆動部１０４により実現される。

撮像素子駆動部１０４はシステム制御部１０９から、瞳分割方向を指示する１ビットの瞳分割方向情報を受け取る。瞳分割方向情報が０の時、撮像素子駆動部１０４は、水平方向に瞳分割した領域の一方の瞳分割画像と撮像画像を、垂直方向に隣接する単位画素セル２００間の信号加算を行ったうえで出力するように撮像素子１０３の駆動を制御する。また、瞳分割方向情報が１の時、撮像素子駆動部１０４は、垂直方向に瞳分割した領域の一方の瞳分割画像および撮像画像を、水平方向に隣接する単位画素セル２００間の信号加算を行ったうえで出力するように撮像素子１０３の駆動を制御する。

このように瞳分割方向に直交する方向の単位画素セル２００間で信号を加算するように制御することで、瞳分割画像の分解能を保ちつつも撮像素子１０３からの転送時間を削減することが可能となる。

図４は、第１の実施形態における撮像素子１０３内の信号加算および出力の概念図である。ここでは、撮像素子１０３のうち、水平６画素、垂直４画素分を例にとって説明する。なお、撮像画像は全画素読み出しに対して１／２の量に抑えられるように、単位画素セル２００間の信号加算を行うものとする。

図４（ａ）は、瞳分割方向情報が０の場合に、瞳分割画像を得るために水平方向に瞳分割した領域の一方として、左信号（光電変換部ＰＤｎＡ＋ＰＤｎＣの信号）の信号加算例を示す図である。水平方向の瞳分割を行う場合は、単位画素セル２００内の信号加算の組合せが左信号となるように、読み出しトランジスタＲｄｎＡ，ＲｄｎＣを制御する。また、垂直方向に隣接する単位画素セル２００についても同様に読み出しトランジスタＲｄｎＡ，ＲｄｎＣを制御する。このように制御を行うことによって、垂直方向に隣接した２つの単位画素セル２００の左信号の電荷がフローティングディフュージョン部ＦＤに転送され、信号加算が成された左信号を取得することができる。

図４（ｂ）は、瞳分割方向情報が０の場合に、左信号を出力した例を示す図である。出力信号としては、垂直方向の単位画素セル２００間で信号加算が行われるため、最終的に、瞳分割画像の水平６画素、垂直２画素を構成する左信号が出力される。

一方、図４（ｃ）は、瞳分割方向情報が０の場合における、撮像画像（光電変換部ＰＤｎＡ＋ＰＤｎＢ＋ＰＤｎＣ＋ＰＤｎＤの信号）の信号加算例を示す図である。ここでは、図４（а）に示すように左信号の読み出しを行った後、フローティングディフュージョン部ＦＤにリセットを掛けずに、残りの右信号（光電変換部ＰＤｎＢ＋ＰＤｎＤの信号）の読み出しトランジスタＲｄｎＢ，ＲｄｎＤを制御することにより生成される。即ち、フローティングディフュージョン部ＦＤには、左信号の電荷が残った状態で、右信号の電荷が転送されることにより、撮像画像が生成される。

図４（ｄ）は、瞳分割方向情報が０の場合に、撮像画像を出力した例を示す図である。出力信号としては、左信号と同様に垂直方向に単位画素セル２００間の信号加算が行われるため、最終的に、撮像画像の水平６画素、垂直２画素を構成する信号が出力される。

このように、一方の瞳分割画像を読み出したのちに、撮像画像を読み出すように制御を行うことにより、信号の読み出し時間を削減することができる。

図４（ｅ）は、瞳分割方向情報が１の場合に、瞳分割画像を得るために垂直方向に瞳分割した領域の一方として、上信号（光電変換部ＰＤｎＡ＋ＰＤｎＢの信号）の信号加算例を示す図である。垂直方向の瞳分割を行う場合は、単位画素セル２００内の信号加算の組合せが上信号となるように読み出しトランジスタＲｄｎＡ，ＲｄｎＢの制御を行う。また、水平方向に隣接する単位画素セル２００についても同様に読み出しトランジスタＲｄｎＡ，ＲｄｎＢを制御する。このように制御を行うことによって、水平方向に隣接した２つの単位画素セル２００の上信号の電荷がフローティングディフュージョン部ＦＤに転送され、信号加算が成された上信号を取得することができる。

図４（ｆ）は、瞳分割方向情報が１の場合に、上信号を出力した例を示す図である。出力信号としては、水平方向の単位画素セル２００間で信号加算が行われるため、最終的に、瞳分割画像の水平３画素、垂直４画素を構成する上信号が出力される。

一方、図４（ｇ）は、瞳分割方向情報が１の場合における、撮像画像（光電変換部ＰＤｎＡ＋ＰＤｎＢ＋ＰＤｎＣ＋ＰＤｎＤの信号）の信号加算例を示す図である。ここでは、図４（ｅ）に示すように上信号の読み出しを行った後、フローティングディフュージョン部ＦＤにリセットを掛けずに、残りの下信号（光電変換部ＰＤｎＣ＋ＰＤｎＤの信号）の読み出しトランジスタＲｄｎＣ，ＲｄｎＤを制御することにより生成される。即ち、フローティングディフュージョン部ＦＤには、上信号の電荷が残った状態で、下信号の電荷が転送されることにより、撮像画像が生成される。

図４（ｄ）は、瞳分割方向情報が１の場合に、撮像画像を出力した例を示す図である。出力信号としては、上信号と同様に水平方向に単位画素セル２００間の信号加算が行われるため、最終的に、撮像画像の水平３画素、垂直４画素を構成する信号が出力される。

読み出された一方の瞳分割画像と撮像画像は後段の加算信号分離部１０５に転送され、加算信号分離部１０５内部の演算処理によって他の一方の瞳分割画像が算出される。

次に、加算信号分離部１０５の詳細な動作について説明する。図５は第１の実施形態における加算信号分離部１０５内部の回路図である。加算信号分離部１０５は、入力される撮像画像から第１の瞳分割画像を減算することによって第２の瞳分割画像を生成し、撮像画像、第１の瞳分割画像、第２の瞳分割画像をそれぞれ出力する。

なお、入力される撮像画像および第１の瞳分割画像は、不図示の遅延調整部を介して同期された状態で加算信号分離部１０５に入力される。第１の瞳分割画像としては、瞳分割方向に応じて上信号（Ａ＋Ｂ信号）または左信号（Ａ＋Ｃ信号）のいずれか一方が選択的に入力される。

図５（а）は、瞳分割方向情報が０である場合に、撮像素子１０３から読み出される信号に対して加算信号分離部１０５で行われる信号処理の流れを説明する図である。撮像素子１０３からは撮像画像（光電変換部ＰＤｎＡ＋ＰＤｎＢ＋ＰＤｎＣ＋ＰＤｎＤの信号）と左信号（光電変換部ＰＤｎＡ＋ＰＤｎＣの信号）が入力される場合、撮像画像から左信号が減算され、右信号（光電変換部ＰＤｎＢ＋ＰＤｎＤの信号）が得られる。そして、加算信号分離部１０５からは、撮像画像、左信号、右信号がそれぞれ後段へと出力される。

図５（ｂ）は瞳分割方向情報が１である場合に、撮像素子１０３から読み出される信号に対して加算信号分離部１０５で行われる信号処理の流れを説明する図である。この場合、撮像素子１０３からは撮像画像（光電変換部ＰＤｎＡ＋ＰＤｎＢ＋ＰＤｎＣ＋ＰＤｎＤの信号）と上信号（光電変換部ＰＤｎＡ＋ＰＤｎＢの信号）が入力される。そのため、撮像画像から上信号が減算され、下信号（光電変換部ＰＤｎＣ＋ＰＤｎＤ信号）が得られる。そして、加算信号分離部１０５からは、撮像画像、上信号、下信号がそれぞれ後段へと出力される。

このようにして、撮像画像から一方の瞳分割画像を減算することによって他方の瞳分割画像を求めることが可能である。

次に、画像調整部１０６の詳細な動作について説明する。図６は第１の実施形態の画像調整部１０６の内部構成を示すブロック図である。画像調整部１０６は、水平調整部６０１、垂直調整部６０２、正規化部６０３から構成されている。

水平調整部６０１は、瞳分割方向情報に基づいて、撮像画像である入力信号６０４の水平方向のサイズ調整を行う。具体的には、瞳分割方向情報が０の時、即ち、水平方向に瞳分割されている場合、水平調整部６０１は、撮像画像を水平方向２画素単位で加算し出力するように制御する。一方、瞳分割方向情報が１の時、即ち、垂直方向に瞳分割されている場合、水平調整部６０１は、撮像画像をスルーで出力するように制御する。水平調整部６０１の出力信号を中間信号６０５とする。

また、垂直調整部６０２は、瞳分割方向情報に基づいて、撮像画像（中間信号６０５）の垂直方向のサイズ調整を行う。具体的には、瞳分割方向情報が０の時、即ち、水平方向に瞳分割されている場合、垂直調整部６０２は撮像画像をスルーで出力するように制御する。一方、瞳分割方向情報が１の時、即ち、垂直方向に瞳分割されている場合、垂直調整部６０２は、撮像画像を垂直方向２画素単位で加算し出力するように制御する。垂直調整部６０２の出力信号を中間信号６０６とする。

水平調整部６０１および垂直調整部６０２によりサイズ調整がなされた中間信号６０６は、正規化部６０３により所定の信号レベルに正規化されて出力される。正規化部６０３は瞳分割方向情報に依らず、入力信号を２ビット右にシフトし、信号のレベルを１／４にして出力する。

図７を参照して、上記動作について更に説明する。図７の上段は、瞳分割方向情報が０の時、即ち水平方向に瞳分割されている場合の例を示している。なお、入力する撮像画像は、先に図４（ｃ）を用いて説明したようにして、撮像素子１０３から得られたものとする。この場合、図４（ｄ）に示したように、入力信号６０４としては、水平６画素、垂直４画素の領域から、撮像画像の水平６画素、垂直２画素を構成する信号が入力される。入力された撮像画像は水平調整部６０１により水平方向の２画素加算が施されるので、中間信号６０５として、撮像画像の水平３画素、垂直２画素を構成する信号が出力される。この中間信号６０５は垂直調整部６０２に入力され、そのまま出力される。従って、中間信号６０６として、撮像画像の水平３画素、垂直２画素を構成する信号が出力される。

一方、図７の下段は、瞳分割方向情報が１の時、即ち垂直方向に瞳分割されている場合の例を示している。入力する撮像画像を生成する撮像素子は、先に図４（ｇ）を用いて説明したようにして、撮像素子１０３から得られたものとする。この場合、図４（ｈ）に示したように、入力信号６０４としては、水平６画素、垂直４画素の領域から、撮像画像の水平３画素、垂直４画素を構成する信号が入力される。入力された撮像画像は水平調整部６０１をそのまま通過し、中間信号６０５として、撮像画像の水平３画素、垂直４画素を構成する信号が出力される。この中間信号６０５は垂直調整部６０２に入力され、垂直方向の２画素加算が施される。従って、中間信号６０６として、撮像画像の水平３画素、垂直２画素を構成する信号が出力される。

従って、中間信号６０６としては、いずれの瞳分割方向であっても、水平３画素、垂直２画素のサイズの撮像画像が出力される。

このように瞳分割方向に応じて画像調整の制御を切り替えることで、一定の縮小率で縮小された撮像画像を出力することが可能となり、画像調整部１０６以降の処理で、撮像画像のサイズ毎に多数のパラメータを用意する必要がなくなる。

なお、ここでは画像調整部１０６には水平調整部６０１および垂直調整部６０２を構成して説明を行ったが、本発明はこれに限られるものではない。撮像素子１０３の読み出し方法によらず、出力の撮像画像が一定のサイズになるように調整および制御可能な構成であれば、内部の構成や動作は適宜変更してもよい。

図８は、瞳分割画像と焦点状態の関連性を説明する図である。図８（а）において、８００は撮像光学系１０１の射出瞳を図示したものである。ここでは、瞳分割方向が水平方向である場合について説明する。撮像光学系１０１に入射した光束は、射出瞳８００の第１の領域８０１および第２の領域８０２を介し、それぞれ撮像素子１０３に構成される画素の光電変換部ＰＤｎＡおよび光電変換部ＰＤｎＣと、光電変換部ＰＤｎＢおよび光電変換部ＰＤｎＤへと導かれる。

光電変換部ＰＤｎＡおよび光電変換部ＰＤｎＣによって取得された信号（左信号）群により形成される像と、光電変換部ＰＤｎＢおよび光電変換部ＰＤｎＤによって取得された信号（右信号）群により形成される像は、左右に瞳分割された一対の瞳分割画像として扱うことができる。

図８（а）は、合焦状態における、左信号群と右信号群による瞳分割画像の状態を図示している。合焦状態においては、左信号群と右信号群の瞳分割画像の形状はほぼ一致する。

図８（ｂ）は、前ピン状態における、左信号群と右信号群による瞳分割画像の状態を図示している。前ピン状態においては、左信号群と右信号群の瞳分割画像は、相対的にずれた状態となっている。

図８（ｃ）は、後ピン状態における、左信号群と右信号群による瞳分割画像の状態を図示している。後ピン状態においては、左信号群と右信号群の瞳分割画像は、相対的にずれた状態となっており、この時のずれの方向は図８（ｂ）に示す前ピン状態の場合とは逆方向になる。

次に、位相差焦点検出部１０８の詳細について説明する。位相差焦点検出部１０８は、加算信号分離部１０５から、左信号および右信号からなる一対の瞳分割画像、または上信号および下信号からなる一対の瞳分割画像のいずれかを受け取り、相関演算処理を行う。相関演算処理としては、例えば、ＳＡＤ（Sum of Abusolute Difference）法を用いることができる。ＳＡＤ法は一対の瞳分割画像の画素毎の差の絶対値を算出し、その和を求めることにより一対の瞳分割画像の相関評価値を得るものである。

このようにして算出される相関評価値を、一対の瞳分割画像の相対位置を変えながら、並列に（あるいは繰り返し）実行することにより、各相対位置における相関評価値を取得する。そして、最も相関の高くなる位置までの相対的な像のずれ量を検出し、検出した最も相関の高くなる位置までの相対的な像のずれ量に所定の係数を掛けることによって、デフォーカス量を算出する。算出されたデフォーカス量は、光学系駆動部１０２に出力される。

なお、ここでは説明の為にＳＡＤ法を用いる例について説明したが、ＳＳＤ（Sum of Squared Difference）やＮＣＣ（Normalized Cross-Correlation)といった公知の相関演算を用いても良い。

上記の通り第１の実施形態によれば、撮像素子により読み出される撮像画像のサイズを調整する画像調整部を撮像素子の後段に構成する。これにより、撮像画像の読み出し信号量を増やさずに、瞳分割方向を切り替える場合において、多数のパラメータを使用せずに、撮像素子の特性劣化に起因する撮像画像の劣化を補正する画像処理を行うことが可能となる。

なお、第１の実施形態では、単位画素セル間の信号加算により読み出し信号量を削減する例を用いたが、画素間の信号加算ではなく、間引き処理により信号量を削減する場合においても同様の効果を得ることができる。

また、第１の実施形態ではキズ補正部１１０を構成する例について説明したが、本発明はキズ補正部１１０に限られるものではなく、撮像素子自体に起因するキズやノイズを補正するものであれば、本発明の効果を得ることができる。

また、第１の実施形態ではシェーディング補正部１０７を構成する例について説明したが、本発明はシェーディング補正部１０７に限られるものではない。像高などに依存して特性の変わるような補正方法で補正するものであれば、本発明の効果を得ることができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。上述した第１の実施形態では、瞳分割方向に応じて撮像素子１０３の読み出し、および画像調整部の制御を切り替える例について説明を行った。これに対し、第２の実施形態では、位相差焦点検出部１０８における相関演算方法に基づいて、読み出し方法および画像調整部を制御する例について説明する。なお、撮像装置の構成は、図１乃至図７を参照して第１の実施形態で説明したものと同様であるので、ここでは説明を省略する。

第１の実施形態では、位相差焦点検出部１０８により、瞳分割画像の相対位置を変えながら演算を行うことで位相差を検出することが可能であると説明した。この時、撮像素子１０３で取得可能な信号を用いて、最も分解能の高い状態で全ての相対位置における相関評価値を得られれば理想的であるが、全ての相対位置における評価値を得るためには演算量が増加し、回路規模や演算処理時間の増大といった課題が発生する。

この課題を解決するために、粗と密の演算を切り替えて段階的に位相差焦点検出演算を行う方法が考えられる。粗い位相差焦点検出演算は、加算読み出しの加算数を多くして（間引き読み出しの場合は間引き率を上げて）瞳分割画像を低解像度化することで信号数を減らし、低周波帯域での相関を求めるようにする。一方、密な位相差測距演算は、加算読み出しの加算数（間引き読み出しの場合は間引き率）を変えないことで、瞳分割画像の分解能を落とさずに、相対位置の組合せ（探索範囲）を制限することで、高周波帯域の相関を求めるようにする。そして、粗い位相差焦点検出演算でおおまかな焦点調節を行い、続いて密な位相差焦点検出演算で更に高精度な焦点調節を行うように段階的に演算方法を制御すれば、位相差焦点検出部１０８における演算負荷を上げることなく、高精度な焦点検出が実現可能となる。

また、撮像素子１０３からの読み出しの観点で考えると、位相差焦点検出の演算方法に応じて、異なる様態で撮像素子１０３内で信号加算を行ってから読み出しを行う方が好適である。しかしながら、上述した第１の実施形態と同様に、撮像素子１０３から読み出される画像信号のサイズが変わってしまうという課題が発生する。

そこで、第２の実施形態における撮像装置では、第１の実施形態で用いられていた瞳分割方向情報の代わりに、粗い位相差焦点検出演算か、密な位相差焦点検出演算のどちらを使用するかを定義した１ビットの演算方法情報を出力する。撮像素子１０３の駆動および画像調整部１０６の制御を決定する制御信号が瞳分割方向情報から演算方法情報に変わっただけであるので、各演算方法に応じて読み出された画像信号を一定のサイズに調整するように画像調整部１０６を制御すればよい。

＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像光学系、１０２：光学系駆動部、１０３：撮像素子、１０４：撮像素子駆動部、１０５：加算信号分離部、１０６：画像調整部、１０７：シェーディング補正部、１０８：位相差焦点検出部、１０９：システム制御部、１１０：キズ補正部、２００：単位画素セル、２０１：マイクロレンズ、ＰＤｎＡ〜Ｄ：光電変換部、ＲｄｎＡ〜Ｄ：読み出しトランジスタ、ＦＤ：フローティングディフュージョン部

Claims (22)

1. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える画素部と、制御信号に応じて、前記画素部から、焦点検出に用いられる焦点検出信号、および、前記マイクロレンズごとに前記複数の光電変換部の信号を加算した画像信号を、加算読み出しまたは間引き読み出しにより読み出す読み出し制御手段と、からなる撮像素子から出力される焦点検出信号および画像信号を処理する画像処理装置であって、
   前記撮像素子から読み出された画像信号を、前記制御信号に基づいて、予め決められたサイズの画像の画像信号に変換する変換手段と
   を有することを特徴とする画像処理装置。
2. 前記撮像素子の特性に起因する撮像画像の劣化を補正する、第１の補正手段と第２の補正手段の少なくともいずれか一方を備え、
   前記第１の補正手段は、前記変換手段によりサイズを変換する前の画像に補正を行い、前記第２の補正手段は、前記変換手段によりサイズを変換された後の画像に補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の補正手段は、異なる前記制御信号ごとにそれぞれ異なる補正パラメータを用いて補正を行い、
   前記第２の補正手段は、前記制御信号によらず共通の補正パラメータを用いて補正を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記焦点検出信号に基づいて、焦点状態を検出する焦点検出手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御信号は、前記複数の光電変換部を分割する方向を示すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御信号が第１の方向の分割を示す場合に、前記読み出し制御手段は、前記第１の方向と直交する第２の方向に隣接する複数のマイクロレンズにそれぞれ対応する前記複数の光電変換部を前記第１の方向に２つに分割し、該分割した少なくとも一方の光電変換部の信号を加算して、前記焦点検出信号として読み出すことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御信号が第１の方向の分割を示す場合に、前記読み出し制御手段は、前記第１の方向と直交する第２の方向に隣接する複数のマイクロレンズにそれぞれ対応する前記複数の光電変換部の信号を加算して、前記画像信号として読み出し、
   前記画像信号から、前記一方の前記焦点検出信号を減算することで、他方の焦点検出信号を求める演算手段を更に有することを特徴とする請求項６に記載の画像処理装置。
8. 前記変換手段は、前記第１の方向に画像のサイズを調整する第１の調整手段と、前記第２の方向に画像のサイズを調整する第２の調整手段とを有し、
   前記制御信号が第１の方向の分割を示す場合に、前記第１の調整手段により調整を行い、前記制御信号が第２の方向の分割を示す場合に、前記第２の調整手段により調整を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記焦点検出手段は、複数の相関演算方法を用いて焦点状態を検出することが可能であって、
   前記制御信号は、前記複数の相関演算方法の１つを示すことを特徴とする請求項４に記載の画像処理装置。
10. 前記読み出し制御手段は、前記相関演算方法に応じて、前記加算読み出しの加算数、または前記間引き読み出しの間引き率を変更することを特徴とする請求項９に記載の画像処理装置。
11. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える画素部と、制御信号に応じて、前記撮像素子から、焦点検出に用いられる焦点検出信号と、前記マイクロレンズごとに前記複数の光電変換部の信号を加算した画像信号とを、加算または間引き読み出しにより読み出す読み出し制御手段と、からなる撮像素子と
    請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
12. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える画素部と、制御信号に応じて、前記画素部から、焦点検出に用いられる焦点検出信号、および、前記マイクロレンズごとに前記複数の光電変換部の信号を加算した画像信号を、加算読み出しまたは間引き読み出しにより読み出す読み出し制御手段と、からなる撮像素子から出力される焦点検出信号および画像信号を処理する画像処理方法であって、
    変換手段が、前記撮像素子から読み出された画像信号を、前記制御信号に基づいて、予め決められたサイズの画像の画像信号に変換する変換工程と
    を有することを特徴とする画像処理方法。
13. 補正手段が、前記変換手段によりサイズを変換された後の画像に、前記撮像素子の特性に起因する撮像画像の劣化を補正する補正工程を更に有することを特徴とする請求項１２に記載の画像処理方法。
14. 前記補正手段では、前記制御信号によらず共通の補正パラメータを用いて補正を行うことを特徴とする請求項１３に記載の画像処理方法。
15. 焦点検出手段が、前記焦点検出信号に基づいて、焦点状態を検出する焦点検出工程を更に有することを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理方法。
16. 前記制御信号は、前記複数の光電変換部を分割する方向を示すことを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理方法。
17. 前記制御信号が第１の方向の分割を示す場合に、前記読み出し制御手段は、前記第１の方向と直交する第２の方向に隣接する複数のマイクロレンズにそれぞれ対応する前記複数の光電変換部を前記第１の方向に２つに分割し、該分割した少なくとも一方の光電変換部の信号を加算して、前記焦点検出信号として読み出すと共に、前記第１の方向と直交する第２の方向に隣接する複数のマイクロレンズにそれぞれ対応する前記複数の光電変換部の信号を加算して、前記画像信号として読み出し、
    演算手段が、前記画像信号から、前記一方の前記焦点検出信号を減算することで、他方の焦点検出信号を求める演算工程を更に有することを特徴とする請求項１６に記載の画像処理方法。
18. 前記変換工程は、
    前記制御信号が第１の方向の分割を示す場合に、前記第１の方向に画像のサイズを調整する第１の調整工程と、
    前記制御信号が第２の方向の分割を示す場合に、前記第２の方向に画像のサイズを調整する第２の調整工程と
    を含むことを特徴とする請求項１７に記載の画像処理方法。
19. 前記焦点検出工程では、複数の相関演算方法を用いて焦点状態を検出することが可能であって、
    前記制御信号は、前記複数の相関演算方法の１つを示すことを特徴とする請求項１５に記載の画像処理方法。
20. 前記読み出し制御手段は、前記相関演算方法に応じて、前記加算読み出しの加算数、または前記間引き読み出しの間引き率を変更することを特徴とする請求項１９に記載の画像処理装置。
21. コンピュータに、請求項１２乃至２０のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
22. 請求項２１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images