JP2019219594A - 処理装置、撮像装置、交換レンズ、処理方法およびプログラム - Google Patents

Abstract

【課題】マイクロレンズのムラやフィルタの透過率ムラ等の影響を抑制可能であるとともに、撮影光学系の光学中心位置を高精度に算出可能な処理装置、撮像装置、交換レンズ、処理方法およびプログラムを提供すること。【解決手段】処理装置は、１つのマイクロレンズに対応する複数の光電変換部を備える画素が複数配列された撮像素子に被写体像を形成する撮影光学系の光学中心位置を算出する算出部と、マイクロレンズごとに対応する複数の光電変換部から出力される信号に基づいて位相差検出方式の焦点検出を行う検出部と、を有し、算出部は、マイクロレンズごとに対応する複数の光電変換部から出力される信号と撮像素子の像高との関係に基づいて、撮影光学系の光学中心位置を算出する。【選択図】図１

Description

本発明は、処理装置、撮像装置、交換レンズ、処理方法およびプログラムに関する。

従来、撮像素子の一部、または全画素を位相差検出用素子として利用して焦点状態を検出する撮像装置が提案されている。特許文献１では、撮像素子の一部に設けられた位相差検出画素の画素出力と位相差検出画素の近傍の撮像画素の画素出力との関係を用いて、撮影レンズの光軸位置を算出する光軸位置算出部を有する撮像装置が開示されている。特許文献１の撮像装置は、撮影レンズの製造ばらつき等に起因する光軸ずれが生じていたとしても、適切に歪補正処理、色収差補正処理およびシェーディング補正処理を行うことができる。

特開２０１５−１８２５６号公報

しかしながら、特許文献１の撮像装置では、完全に同一の像高の位相差検出画素および撮像画素の画素出力の関係を用いて、撮影レンズの光軸位置を算出していない。

また、特許文献１の撮像装置では、撮像素子前面に配置されたマイクロレンズ群のうち異なるマイクロレンズ、および撮像素子前面に配置されたフィルタ群のうち異なるフィルタを通過する光束の出力結果を比較する。したがって、マイクロレンズのムラやフィルタの透過率ムラの影響を受けるため、撮影レンズの光軸位置を十分な精度で算出することができない。

本発明は、マイクロレンズのムラやフィルタの透過率ムラ等の影響を抑制可能であるとともに、撮影光学系の光学中心位置を高精度に算出可能な処理装置、撮像装置、交換レンズ、処理方法およびプログラムを提供することを目的とする。

本発明の一側面としての処理装置は、１つのマイクロレンズに対応する複数の光電変換部を備える画素が複数配列された撮像素子に被写体像を形成する撮影光学系の光学中心位置を算出する算出部と、マイクロレンズごとに対応する複数の光電変換部から出力される信号に基づいて位相差検出方式の焦点検出を行う検出部と、を有し、算出部は、マイクロレンズごとに対応する複数の光電変換部から出力される信号と撮像素子の像高との関係に基づいて、撮影光学系の光学中心位置を算出することを特徴とする。

本発明によれば、マイクロレンズのムラやフィルタの透過率ムラ等の影響を抑制可能であるとともに、撮影光学系の光学中心位置を高精度に算出可能な処理装置、撮像装置、交換レンズ、処理方法およびプログラムを提供することができる。

カメラシステムの一例であるデジタルカメラの構成図である（実施例１から５）。 撮像素子の構成例を示す図である（実施例１から４）。 撮影光学系の射出瞳面と像面中央近傍に配置された画素の光電変換部との共役関係を説明する図である（実施例１から４）。 実施例１の位相差検出画素の画素出力と像高との関係を示す図である。 実施例１の位相差検出画素の画素出力比と像高との関係を示す図である。 撮影光学系の光学中心位置の算出方法および撮影画像の補正方法を示すフローチャートである。 実施例２の位相差検出画素の画素出力比と撮像素子の像高との関係を示す図である。 実施例３の非相関方向の光学中心位置を取得するために使用する画素の位置を示す図である。 実施例３の位相差検出画素の画素出力比と非相関方向の像高との関係を示す図である。 実施例４の光学中心位置を算出するために使用する画素の位置を示す図である。 実施例４の位相差検出画素の画素出力比と像高との関係を示す図である。 実施例５の撮像素子に含まれる画素の配列の一部を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本実施例のカメラシステムの一例であるデジタルカメラの構成図である。デジタルカメラは、交換レンズ１と、交換レンズ１が着脱可能な撮像装置２とを有する。

交換レンズ１は、撮影光学系１０１、撮影光学系１０１を駆動するレンズ駆動回路１０２、レンズ駆動回路１０２を介して撮影光学系１０１を制御するレンズＭＰＵ１０３およびレンズメモリ１０４を有する。撮影光学系１０１は、ズームレンズ、フォーカスレンズおよび絞り等からなり、後述する撮像素子に被写体像を形成する。レンズＭＰＵ１０３は、オートフォーカス時、撮像装置２からの要求を受けると、撮影光学系１０１の一部または全部を駆動し、焦点調節を行うためにレンズ駆動回路１０２に命令を出す。レンズメモリ１０４は、撮影光学系１０１の諸パラメータや収差情報等を記憶している。

撮像装置２は、撮像素子２０１、撮像素子駆動回路２０２、画像処理回路２０３、カメラＭＰＵ２０４、表示器２０５、操作スイッチ群２０６、カメラ情報メモリ２０７、撮像面焦点検出部２０８、画像中心算出部２０９、および画像保存メモリ２１０を有する。

本実施例の撮像素子２０１は瞳分割機能を有するため、撮像装置２は画像データを用いた撮像面位相差ＡＦを実行可能である。撮像素子駆動回路２０２は、撮像素子２０１の動作を制御するとともに、撮像素子２０１から取得した画像信号をＡ／Ｄ変換して画像処理回路２０３およびカメラＭＰＵ２０４に送信する。画像処理回路２０３は、撮像素子駆動回路２０２から取得した画像信号に対して、γ変換、ホワイトバランス調整処理、色補間処理および圧縮符号化処理など、デジタルカメラで一般的に行われる画像処理を行う。画像処理回路２０３は、撮像素子駆動回路２０２から取得した画像信号から、撮像面位相差ＡＦ用信号（焦点検出信号）と、表示および記録用の画像データとを生成する。

カメラＭＰＵ２０４は、撮像装置２に係る全ての演算および制御を行う。また、カメラＭＰＵ２０４は、接点３を介してレンズＭＰＵ１０３に接続され、レンズＭＰＵ１０３とコマンドやデータの通信を行う。カメラＭＰＵ２０４は、レンズＭＰＵ１０３に対して、撮影光学系１０１に含まれる光学系の位置の取得要求、撮影光学系１０１に含まれる光学系の所定の駆動量での駆動要求、および交換レンズ１に固有の光学情報の取得要求等を行う。

表示器２０５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などから構成され、撮像装置２の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像および焦点検出時の合焦状態表示画像等を表示する。操作スイッチ群２０６は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチおよび撮影モード選択スイッチ等の操作部材から構成される。カメラ情報メモリ２０７は、撮像装置２の動作を制御するプログラムや撮像装置２の諸パラメータ等を記憶している。

撮像面焦点検出部２０８は、画像処理回路２０３から取得した撮像面位相差ＡＦ用信号を用いて、位相差検出方式の焦点検出である撮像面位相差ＡＦを行う。撮像面位相差ＡＦ用信号とは、撮影光学系１０１の一対の瞳領域を通過した光束で形成される一対の像データである。撮像面焦点検出部２０８は、画像処理回路２０３から取得した一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、撮像面焦点検出部２０８は、専用のＡＦセンサを用いず、撮像素子２０１の出力に基づいて撮像面位相差ＡＦを行う。

画像中心算出部２０９は、撮影光学系１０１の光学中心位置を算出する。光学中心位置とは、撮影光学系１０１の光軸、撮影光学系１０１の光量中心位置、または撮影光学系１０１の光量が最大となる位置のいずれかである。なお、光学中心位置は、交換レンズ１により取得されてもよいし、交換レンズ１や撮像装置２とは異なる処理装置により取得されてもよい。

画像保存メモリ２１０は、撮像装置２に着脱可能なフラッシュメモリであり、撮影画像を記録する。

以下、図２を参照して、撮像面焦点検出部２０８の動作について説明する。図２は、撮像素子２０１の構成例を示す図である。図２（ａ）は、撮像素子２０１に複数配列されている画素２１１の配列の一部を示しており、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、撮影光学系１０１側から観察した状態を示している。

撮像素子２０１には、ベイヤー配列のカラーフィルタが設けられている。本実施例では、一例として、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタがＸ方向に交互に配置され、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタがＸ方向に交互に配置されている。

画素２１１において、マイクロレンズ２１１ｉの内側には、光電変換部２１１ａ，２１１ｂが配置されている。光電変換部２１１ａ，２１１ｂはそれぞれ、撮影光学系１０１の異なる瞳部分領域を通過する光束を受光し、電気信号に変換する。本実施例では、一方の光電変換部から出力される信号と、２つの光電変換部のそれぞれから出力される信号の合成信号が読み出される。読み出された信号の差分をとることで、他方の光電変換部から出力される信号を取得可能である。各光電変換部から出力される信号は、位相差式焦点検出に用いられるほか、視差情報を有する複数画像から構成される立体（３Ｄ）画像を生成するために用いることもできる。また、２つの光電変換部のそれぞれから出力される信号の合成信号は、通常の撮影画像として用いられる。なお、本実施例では、撮像素子２０１のすべての画素の光電変換部がＸ方向に２分割されているが、本発明はこれに限定されない。例えば、光電変換部は、Ｙ方向に複数分割されていてもよいし、Ｘ方向およびＹ方向にそれぞれ複数分割されていてもよい。

ここで、撮像面位相差ＡＦ用信号について説明する。本実施例では、マイクロレンズ２１１ｉおよび光電変換部２１１ａ，２１１ｂで撮影光学系１０１から射出された光束を瞳分割する。同一の画素行に配置された所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力をつなぎ合わせて編成したものを、第１の焦点検出信号（ＡＦ用Ａ像）とする。同様に、光電変換部２１１ｂの出力をつなぎ合わせて編成したものを第２の焦点検出信号（ＡＦ用Ｂ像）とする。光電変換部２１１ａ，２１１ｂの出力は、カラーフィルタの単位配列に含まれる赤、青、緑の複数色のいずれかの色成分の出力であるため、これらの出力を合成することで生成される疑似的な輝度（Ｙ）信号が用いられる。ただし、赤、青、緑の色ごとに、ＡＦ用Ａ像およびＡＦ用Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＡＦ用Ｂ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量（デフォーカス量）を検出することができる。

図２（ｂ）は、撮像素子２０１の読み出し回路の構成を示している。読み出し回路は、水平走査回路１５１および垂直走査回路１５３を有する。各画素の境界部には、水平走査ライン１５２ａ，１５２ｂおよび垂直走査ライン１５４ａ，１５４ｂが配線されている。これらの走査ラインを介して、各光電変換部からの信号が外部に読み出される。

なお、撮像素子２０１は、上述した画素内の読み出し方法に加え、２つの読み出しモードを有する。１つ目のモードは、全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合、全画素の信号が読み出される。２つ目のモードは、間引き読み出しモードと称するもので、動画記録またはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素数よりも少ないため、全画素からＸ方向およびＹ方向ともに所定比率で画素が間引かれた後の複数の画素の信号が読み出される。また、高速に読み出す必要がある場合も、間引き読み出しモードが用いられる。Ｘ方向に間引く際には、信号の加算を行ってＳ／Ｎの改善を図り、Ｙ方向に間引く際には、間引かれる行の信号出力を無視する。撮像面位相差ＡＦも、間引き読み出しモードで読み出された信号に基づいて行われる。

図３は、撮影光学系１０１の射出瞳面と、像高ゼロ、すなわち、像面中央近傍に配置された画素２１１の光電変換部との共役関係を説明する図である。光電変換部２１１ａ，２１１ｂと撮影光学系１０１の射出瞳面は、マイクロレンズ２１１ｉによって共役関係となるように設計される。この状態における射出瞳距離Ｚｅｐを標準値として、マイクロレンズ２１１ｉの形状や、像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図３（ａ）に示されるように、画素２１１は、最下層から順に、光電変換部２１１ａ，２１１ｂ、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈおよびマイクロレンズ２１１ｉを有する。光電変換部２１１ａ，２１１ｂは、マイクロレンズ２１１ｉによって撮影光学系１０１の射出瞳面に投影される。換言すれば、撮影光学系１０１の射出瞳が、マイクロレンズ２１１ｉを介して、光電変換部２１１ａ，２１１ｂの表面に投影される。図３（ｂ）は、撮影光学系１０１の射出瞳面上における、光電変換部２１１ａ，２１１ｂの投影像ＥＰ１ａ，ＥＰ１ｂを示している。

また、本実施例では、上述したように、撮像素子２０１は、光電変換部２１１ａ，２１１ｂのいずれかから出力された信号および両方から出力された信号の合成信号を出力可能である。合成信号は、撮影光学系１０１のほぼ全瞳領域である投影像ＥＰ１ａ，ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。この際、撮影光学系１０１が理想的な状態である場合、射出瞳面中央では投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は光軸に対して対称となり、光電変換部２１１ａ，２１１ｂが受光する光量は等しくなる。

撮像面位相差ＡＦを行う場合、カメラＭＰＵ２０４は、まず、撮像素子２０１から上述した２種類の信号を読み出すために、撮像素子駆動回路２０２を制御する。カメラＭＰＵ２０４は、次に、画像処理回路２０３に対して焦点検出領域の情報を与え、焦点検出領域内に含まれる画素２１１の出力から、ＡＦ用Ａ像およびＡＦ用Ｂ像を生成して撮像面焦点検出部２０８に出力するように命令する。画像処理回路２０３は、この命令に従ってＡＦ用Ａ像およびＡＦ用Ｂ像を生成して撮像面焦点検出部２０８に出力する。

なお、本実施例では、一例として水平方向に射出瞳を２分割する構成について説明したが、撮像素子２０１中の少なくとも一部の画素について、垂直方向に射出瞳を２分割する構成としてもよい。また、水平方向および垂直方向の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平方向だけでなく垂直方向の被写体のコントラストに対応した撮像面位相差ＡＦを実行することが可能となる。

次に、画像中心算出部２０９の処理について説明する。図４は、位相差検出画素の画素出力（ＡＦ用Ａ像の信号値３０１またはＡＦ用Ｂ像の信号値３０２）と撮像素子２０１の像高との関係を示す図である。横軸は撮像素子２０１の像高、縦軸は位相差検出画素の画素出力を表している。なお、本実施例において、像高とは、撮像素子２０１の基準位置（撮像素子２０１の中心）からの距離である。

図４（ａ）は、撮影光学系１０１が理想的な状態で、撮影光学系１０１の光軸が撮像素子２０１の基準位置と一致している場合の関係を示している。図４（ａ）の状態では、ＡＦ用Ａ像およびＡＦ用Ｂ像の信号値は、撮像素子２０１の基準位置で一致し、撮像素子２０１の基準位置に対して線対称に変化をする。

一方、撮影光学系１０１の光軸にずれが生じている場合、図４（ｂ）に示されるように、ＡＦ用Ａ像３０３とＡＦ用Ｂ像３０４は撮像素子２０１の基準位置に対して線対称とならず、理想状態から変化する。撮影光学系１０１の光学中心位置は、ＡＦ用Ａ像とＡＦ用Ｂ像が同じ値となる像高となる。したがって、ＡＦ用Ａ像およびＡＦ用Ｂ像の信号値の比を求めて、その値が１となる画素の像高が撮影光学系１０１の光学中心位置となる。

撮像素子２０１の位相差検出画素の焦点検出の相関方向（瞳分割方向）に直交する方向の増高が基準位置となる１列の位相差検出の相関方向の画素並びのＡＦ用Ａ像の信号値ＬａとＡＦ用Ｂ像の信号値Ｌｂとの比率（画素出力比）Ｌは、以下の式（１）で表される。

また、撮像素子２０１の相関方向の像高をｈとするとき、比率Ｌは以下の式（２）で表される。

係数Ａ、Ｂ、Ｃ、Ｄは、ＡＦ用Ａ像とＡＦ用Ｂ像の信号値の比と像高から、最小二乗法等により取得される。

図５は、位相差検出画素の画素出力比Ｌと撮像素子２０１の相関方向の像高との関係を示している。点群３０５は、位相差検出画素の画素出力比Ｌを示している。近似式３０６は、画素出力比Ｌと撮像素子２０１の相関方向の像高との関係を３次関数でフィッティングした際の近似式である。本実施例では、この関数が１となるときの像高ｈを取得し、その位置を撮影光学系１０１の光学中心位置としてレンズメモリ１０４やカメラ情報メモリ等の記憶部に記憶する。なお、本実施例では、撮像素子２０１の相関方向の像高と画素出力比Ｌとの関係を３次関数で表しているが、１次関数や２次関数、または３次以外の高次関数で表してもよい。また、本実施例では、画素出力比ＬをＡＦ用Ａ像の信号値とＡＦ用Ｂ像の信号値との比としているが、本発明はこれに限定されない。ＡＦ用Ａ像およびＡＦ用Ｂ像の合成信号の値とＡＦ用Ａ像の信号値との比、またはＡＦ用Ａ像およびＡＦ用Ｂ像の合成信号の値とＡＦ用Ｂ像の信号値との比を用いてもよい。

以下、図６を参照して、撮影光学系１０１の光学中心位置の算出方法および撮影画像の補正方法について説明する。図６は、撮影光学系１０１の光学中心位置の算出方法および撮影画像の補正方法を示すフローチャートである。

操作スイッチ群２０６のシャッターボタンが押され、撮影画像の記録が開始されることで、本フローは開始する。

ステップＳ４０１では、ＡＦ用Ａ像とＡＦ用Ｂ像が取得される。

ステップＳ４０２では、撮影画像が生成される。撮影画像の各画素の出力信号は、各画素のＡＦ用Ａ像とＡＦ用Ｂ像の合成信号で生成される。

ステップＳ４０３では、画像中心算出部２０９は、ステップＳ４０１で取得されたＡＦ用Ａ像とＡＦ用Ｂ像に基づいて、前述の方法を用いて撮影光学系１０１の光学中心位置を算出する。

ステップＳ４０４では、撮影光学系１０１の設計上の収差情報に基づいて作られた画像補正値が取得される。画像補正値は、レンズメモリ１０４またはカメラ情報メモリ２０７に記憶されている。画像補正値は、具体的には、撮影光学系１０１の周辺光量情報や倍率色収差情報である。

ステップＳ４０５では、ステップＳ４０４で取得された画像補正値は、ステップＳ４０４で取得された光学中心位置に基づいて補正される。

ステップＳ４０６では、ステップＳ４０３で生成された撮影画像は、ステップＳ４０５で補正された画像補正値に基づいて補正される。

ステップＳ４０７では、ステップＳ４０６で補正された撮影画像は、画像保存メモリ２１０に保存される。

なお、本実施例では図６のフォローチャートの処理は撮像装置２内で実行されるが、ステップＳ４０１〜Ｓ４０４までの処理を事前に実行することで、レンズメモリ１０４またはカメラ情報メモリ２０７に撮影光学系１０１の光学中心位置を記憶しておいてもよい。この場合、撮影時には記憶された光学中心位置に基づいて画像補正値を補正した後、撮影画像を補正してもよい。また、画像保存メモリ２１０にＡＦ用Ａ像とＡＦ用Ｂ像の信号値を記憶しておき、コンピュータ等で光学中心位置を算出し、算出した光学中心位置に基づいて画像補正値を補正した後、撮影画像を補正してもよい。

本実施例では、ＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比と像高との関係式およびＡＦ用Ｂ像の信号値に対するＡＦ用Ａ像の信号値の比と像高との関係式の交点を求めることで光学中心位置を取得するカメラシステムについて説明する。本実施例のカメラシステムの構成は、実施例１と同様であるため、詳細な説明は省略する。

図７は、位相差検出画素の画素出力比（ＡＦ用Ａ像の信号値とＡＦ用Ｂ像の信号値との比）と撮像素子２０１の像高との関係を示す図である。画素出力比３０７は、撮像素子２０１の位相差検出画素の相関方向に直交する方向の増高が基準位置となる１列の画素群から間引きを行った後の画素のＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比である。画素出力比３０８は、上述した１列の画素群から間引きを行った後の画素のＡＦ用Ｂ像の信号値に対するＡＦ用Ａ像の信号値の比である。近似式３０９は、像高とＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比との関係の１次近似式である。近似式３１０は、像高とＡＦ用Ｂ像の信号値に対するＡＦ用Ａ像の信号値の比との関係の１次近似式である。

像高ｈとＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比ＬＡ２との関係の１次近似式および像高ｈとＡＦ用Ｂ像に対するＡＦ用Ａ像の画像出力比ＬＢ２と像高の関係の１次近似式はそれぞれ、以下の式（３）、（４）で表される。

係数Ａ１ｈ、Ａ２ｈ、Ｂ１、Ｂ２は、最小２乗法等により取得される。各近似式の交点が光学中心位置となる。したがって、光学中心位置ｈｃ２は、以下の式（５）を用いて算出される。

本実施例では、位相差検出画素が分割されている位相差検出の相関方向とは直交する方向の光学中心位置を算出するカメラシステムについて説明する。本実施例のカメラシステムの構成は、実施例１と同様であるため、詳細な説明は省略する。

非相関方向と直交する方向については基準像高の場合、理想状態ではＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比は常に１となる。そのため、基準像高上でＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比と像高から光学中心位置を算出することができない。したがって、非相関方向の光学中心位置は、基準像高からずれた位置でのＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比と非相関方向の像高のプロットから取得される。

図８は、撮像素子２０１を撮影光学系１０１側から見た図であり、非相関方向の光学中心位置を取得するために使用する画素の位置を示している。位相差検出画素は図中のｘ方向に分割され、位相差検出の相関方向はｘ方向となる。

本実施例では、ライン３１１上の画素のＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比とｙ方向（非相関方向）の像高との関係から非相関方向の光学中心位置を取得する。

図９は、図８のライン３１１上の画素から一部が間引かれた後の画素のＡＦ用Ａ像の信号値とＡＦ用Ｂ像の信号値との比（画素出力比）と非相関方向の像高との関係を示す図である。画素出力比３１２は、画素２１１上の画素から一部が間引かれた後の画素のＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比である。近似式３１３は、ライン３１１上の画素から一部が間引かれた後の画素のＡＦ用Ａ像の信号値に対するＡＦ用Ｂ像の信号値の比と像高との関係を２次の関数として近似した近似式である。

画素出力比Ｌは、ＡＦ用Ａ像の信号値ＬａおよびＡＦ用Ｂ像の信号値Ｌｂを用いて以下の式（６）で表される。

また、画素出力比Ｌは、像高ｈを用いて以下の式（７）で表される。

係数Ｅ、Ｂ、Ｆ、Ｇは画素出力比と像高から、最小二乗法等により取得される。光学中心位置は、画素出力比Ｌが最大となる位置となる。したがって、非相関方向の光学中心位置をｈｙとしたとき、光学中心位置ｈｙは以下の式（８）で表される。

本実施例では、位相差検出画素の画素出力比と像高との関係を２次関数で表しているが、１次関数または３次以上の高次関数で表してもよい。また、本実施例では、位相差検出画素の画素出力比をＡＦ用Ａ像の信号値とＡＦ用Ｂ像の信号値の比としているが、本発明はこれに限定されない。ＡＦ用Ａ像の信号値とＡＦ用Ａ像とＡＦ用Ｂ像の合成信号の値との比としてもよいし、ＡＦ用Ｂ像の信号値とＡＦ用Ａ像とＡＦ用Ｂ像の合成信号の値との比としてもよい。

本実施例では、位相差検出画素が分割されている位相差検出の相関方向とは直交する方向の光学中心位置を算出するカメラシステムについて説明する。本実施例のカメラシステムの構成は、実施例１と同様であるため、詳細な説明は省略する。

本実施例では、位相差検出画素の相関方向のＡＦ用Ａ像の信号値とＡＦ用Ｂ像の信号値との比のプロットを位相差検出画素の非相関方向に異なる位置で求め、それぞれのプロット結果を相関演算することで光学中心位置を算出する。

図１０は、光学中心位置を算出するために使用する画素の位置を示す図である。本実施例では、ライン３１４を基準として相関演算が実行される。撮像素子２０１の中心を基準とすると、撮像素子２０１には、ｘ方向に２ｍ画素、ｙ方向に２ｎ画素が配置されている。画素の位置を(ｘ、ｙ)の座標で表すと、ｘは−ｍからｍ、ｙは−ｎからｎである。

ライン３１４のｙ方向の位置が−ｈである場合、座標（ｘ、−ｈ）でｘが−ｍからｍまでの画素出力比のプロットとなる。また、ライン３１５はｙ方向の位置がｈであるラインであり、撮像素子２０１の中心に対してライン３１４と線対称である。

図１１は、位相差検出画素の画素出力比と像高との関係を示す図である。プロット３２２は、ライン３１４での画素出力比をプロットしたものである。撮影光学系１０１が理想状態である場合、ライン３１５での画素出力比をプロットしたものはプロット３２３となり、ライン３１４と同じとなる。しかしながら、撮影光学系１０１の光学中心位置が非相関方向にずれている場合、ライン３１５での画素出力比をプロットしたものはプロット３２４となり、ライン３１４と同じとならない。

画素（ｘ，ｙ）の画素出力比をＬ（ｘ、ｙ）とするとき、ライン３１４の画素の画素出力比とｙ方向の位置がｙ１であるラインの画素の画素出力比との相関演算Ｓは以下の式（９）で表される。

光学中心位置に対して線対称の関係になる場合、相関演算Ｓはｙ方向のすべてのラインに対して最小値となる。したがって、ｙ方向のすべてのラインに対してライン３１４と相関演算を行い、相関演算Ｓが最小となるｙ方向の位置を求めることで非相関方向の光学中心位置を算出することができる。本実施例では、ライン３１６に対する相関演算Ｓが最小となる。ライン３１４のｙ方向の位置を−ｈ、ライン３１６のｙ方向の位置をｙ２とした場合、非相関方向の光学中心位置ｙｃは以下の式（１０）で算出される。

本実施例では、一部の画素に位相差検出画素が配置された撮像素子２０１を用いて、位相差検出画素が分割されている位相差検出の相関方向とは直交する方向の光学中心位置を算出するカメラシステムについて説明する。本実施例のカメラシステムの構成は、実施例１と同様であるため、詳細な説明は省略する。

図１２は、本実施例の撮像素子２０１に含まれる画素の配列を示す図である。撮像素子２０１に含まれる画素のうち一部は、焦点検出画素ＳＡ，ＳＢである。焦点検出画素ＳＡの左側半分には遮光マスクがかけられている。また、焦点検出画素ＳＢの右側半分には遮光マスクがかけられている。なお、本実施例では、焦点検出画素は、Ｒ画素またはＢ画素に配置されているが、Ｇ画素に配置されてもよい。また、本実施例では、撮像素子２０１の画素に遮光マスクを設けたが、撮像素子２０１の前に配置されるマイクロレンズに遮光マスク等を設けてもよい。

本実施例では、位相差検出画素の画素ＳＡの信号値と近傍の画素ＳＢの信号値との比のプロットを位相差検出画素の非相関方向に異なる位置で求め、それぞれのプロット結果を相関演算する。これにより、位相差検出の非相関方向の光学中心位置を算出する。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 撮影光学系
２０１ 撮像素子
２０８ 撮像面焦点検出部（検出部）
２０９ 画像中心算出部（算出部）
２１１ａ 光電変換部
２１１ｂ 光電変換部
２１１ｉ マイクロレンズ

Claims (19)

1. １つのマイクロレンズに対応する複数の光電変換部を備える画素が複数配列された撮像素子に被写体像を形成する撮影光学系の光学中心位置を算出する算出部と、
   マイクロレンズごとに対応する複数の光電変換部から出力される信号に基づいて位相差検出方式の焦点検出を行う検出部と、を有し、
   前記算出部は、マイクロレンズごとに対応する複数の光電変換部から出力される信号と前記撮像素子の像高との関係に基づいて、前記撮影光学系の光学中心位置を算出することを特徴とする処理装置。
2. 前記算出部は、前記位相差検出方式の焦点検出の相関方向に並べられたマイクロレンズごとに対応する複数の光電変換部から出力される信号と、前記撮像素子の前記相関方向の像高との関係に基づいて、前記撮影光学系の前記相関方向の光学中心位置を算出することを特徴とする請求項１に記載の処理装置。
3. 前記算出部は、前記撮像素子と前記撮影光学系の設計上の光軸が交わる位置を通らない位置で前記位相差検出方式の焦点検出の相関方向に直交する方向に並べられたマイクロレンズごとの複数の光電変換部から出力される信号と、前記撮像素子の前記相関方向と直交する方向の像高との関係に基づいて、前記撮影光学系の前記相関方向に直交する方向の光学中心位置を算出することを特徴とする請求項１または２に記載の処理装置。
4. 前記算出部は、マイクロレンズごとに対応する複数の光電変換部のうち第１光電変換部および第２光電変換部から出力される信号値の比と、前記撮像素子の像高との関係に基づいて、前記撮影光学系の光学中心位置を算出することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
5. 前記算出部は、マイクロレンズごとに対応する複数の光電変換部のうち第１光電変換部および第２光電変換部から出力される信号の合成信号の値と前記第１光電変換部または前記第２光電変換部のいずれかから出力される信号値の比と、前記撮像素子の像高との関係に基づいて前記撮影光学系の光学中心位置を算出することを特徴とする請求項１から３のいずれか１項に記載の処理装置。
6. 画素の一部に位相差検出方式の焦点検出を行う焦点検出画素が設けられた撮像素子に被写体像を形成する撮影光学系の光学中心位置を算出する算出部と、
   前記焦点検出画素から出力される信号に基づいて位相差検出方式の焦点検出を行う検出部と、を有し、
   前記算出部は、前記位相差検出方式の焦点検出の相関方向に並べられた焦点検出画素から出力される信号、前記焦点検出画素の近傍に配置された撮像画素から出力される信号、および前記撮像素子の前記相関方向の像高の関係に基づいて、前記撮影光学系の前記相関方向に直交する方向の光学中心位置を算出することを特徴とする処理装置。
7. 前記算出部は、第１の焦点検出画素および第２の焦点検出画素の光量の比と、前記撮像素子の像高との関係に基づいて、前記撮影光学系の光学中心位置を算出することを特徴とする請求項６に記載の処理装置。
8. 前記光学中心位置は、前記撮影光学系の光軸であることを特徴とする請求項１から７のいずれか１項に記載の処理装置。
9. 前記光学中心位置は、前記撮影光学系の光量中心位置であることを特徴とする請求項１から７のいずれか１項に記載の処理装置。
10. 前記光学中心位置は、前記撮影光学系の光量が最大となる位置であることを特徴とする請求項１から７のいずれか１項に記載の処理装置。
11. 前記算出部は、前記光学中心位置に基づいて、前記撮像素子から取得した撮影画像を補正することを特徴とする請求項１から１０のいずれか１項に記載の処理装置。
12. 前記算出部は、前記光学中心位置および前記撮影光学系の情報に基づいて前記撮像素子から取得した撮影画像を補正することを特徴とする請求項１から１１のいずれか１項に記載の処理装置。
13. 前記撮影光学系の情報は、周辺光量情報であることを特徴とする請求項１２に記載の処理装置。
14. 前記撮影光学系の情報は、倍率色収差情報であることを特徴とする請求項１２に記載の処理装置。
15. 前記光学中心位置を記憶する記憶部を更に有することを特徴とする請求項１から１４のいずれか１項に記載の処理装置。
16. 撮影光学系を介して形成された被写体像を光電変換する撮像素子と、
    請求項１から１５のいずれか１項に記載の処理装置と、を有することを特徴とする撮像装置。
17. 撮像素子に被写体像を形成する撮影光学系と、
    請求項１から１５のいずれか１項に記載の処理装置と、を有することを特徴とする交換レンズ。
18. １つのマイクロレンズに対応する複数の光電変換部を備える画素が複数配列された撮像素子に被写体像を形成する撮影光学系の光学中心位置を算出する算出ステップと、
    マイクロレンズごとに対応する複数の光電変換部から出力される信号に基づいて位相差検出方式の焦点検出を行う検出ステップと、を有し、
    前記算出ステップでは、マイクロレンズごとに対応する複数の光電変換部から出力される信号と前記撮像素子の像高との関係に基づいて、前記撮影光学系の光学中心位置が算出されることを特徴とする処理方法。
19. 請求項１８に記載の処理方法をコンピュータに実行させるためのプログラム。