JP2018200480A - Imaging device and imaging system - Google Patents
Imaging device and imaging system Download PDFInfo
- Publication number
- JP2018200480A JP2018200480A JP2018140372A JP2018140372A JP2018200480A JP 2018200480 A JP2018200480 A JP 2018200480A JP 2018140372 A JP2018140372 A JP 2018140372A JP 2018140372 A JP2018140372 A JP 2018140372A JP 2018200480 A JP2018200480 A JP 2018200480A
- Authority
- JP
- Japan
- Prior art keywords
- light
- intensity distribution
- sensor
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、撮像装置及び撮像システムに関する。 The present invention relates to an imaging apparatus and an imaging system.
光束の分布を示す情報と結像光学系の口径情報とに基づいて、焦点検出補正を行う焦点検出装置および光学システムが提案されている。 A focus detection device and an optical system that perform focus detection correction based on information indicating the distribution of light beams and aperture information of the imaging optical system have been proposed.
特許文献１では、光束の分布を示す情報と結像光学系の口径情報とに基づいて、一対の像のズレ量を結像光学系のデフォーカス量に変換するための変換係数を算出することが開示されている。
また、予め算出された点像強度分布に基づいて、焦点検出補正、画像処理を行う撮像装置及び撮像システムが提案されている。
In
In addition, an imaging apparatus and an imaging system that perform focus detection correction and image processing based on a pre-calculated point image intensity distribution have been proposed.
特許文献２では、撮影光学系の収差に起因した、射出瞳を通過する一対の光束による一対の像の形状の相違に応じて定まる所定のオフセット量を取得することが開示されている。 Patent Document 2 discloses that a predetermined offset amount determined according to a difference in the shape of a pair of images caused by a pair of light beams passing through an exit pupil due to an aberration of a photographing optical system is disclosed.
特許文献３では、撮影状態に応じて、入力画像に対して画像回復処理を行うか否かを判定し、画像回復処理を行うと判定された場合に限り、画像回復フィルタを取得し、入力画像に対する画像回復処理を行うことが開示されている。 In Patent Document 3, it is determined whether or not an image restoration process is performed on an input image according to a shooting state, and an image restoration filter is acquired only when it is determined that an image restoration process is performed. It is disclosed that an image restoration process is performed on the image.
しかしながら、撮影レンズや撮像装置本体には、製造ばらつき等が存在する。かかる製造ばらつき等を加味した高精度な点像強度分布を生成することは、容易ではない。 However, there are manufacturing variations and the like in the photographing lens and the imaging apparatus main body. It is not easy to generate a highly accurate point image intensity distribution in consideration of such manufacturing variations.
本発明の目的は、撮影レンズや撮像装置本体の製造ばらつき等を加味した高精度な点像強度分布を生成し得る撮像装置及び撮像システムを提供することにある。 An object of the present invention is to provide an imaging apparatus and an imaging system capable of generating a highly accurate point image intensity distribution that takes into account manufacturing variations of the imaging lens and the imaging apparatus main body.
本発明の一観点によれば、光軸上の複数の位置の各々における点像強度分布に基づいて算出された検出された合焦位置を補正するための補正値を、レンズの収差のデータ及びセンサ受光強度特性に基づいて算出し、前記点像強度分布は、点光源からの光が撮像素子の受光面に達した際の光強度分布を示し、前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光される情報処理装置が提供される。 According to one aspect of the present invention, the correction value for correcting the detected in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis, the lens aberration data, and The point light intensity distribution is calculated based on the sensor light reception intensity characteristic, and the point image intensity distribution indicates a light intensity distribution when the light from the point light source reaches the light receiving surface of the image pickup element. The sensor light reception intensity characteristic is calculated on the image pickup element. The light receiving intensity of the light beam passing through each area of the entrance pupil of the image sensor arranged on the light receiving surface of the image sensor, and the light beam passing through each area of the entrance pupil of the image sensor is divided by the image sensor An information processing apparatus that receives light by each pixel is provided.
本発明の別の観点によれば、光軸上の複数の位置の各々における点像強度分布に基づいて算出された、検出された合焦位置を補正するための補正値を記憶装置から読み出し、
前記点像強度分布は、点光源からの光が撮像素子の受光面に達した際の光強度分布を示し、かつレンズの収差のデータ及びセンサ受光強度特性に基づいて予め算出されており、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光される情報処理方法が提供される。
According to another aspect of the present invention, a correction value for correcting the detected in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis is read from the storage device,
The point image intensity distribution indicates a light intensity distribution when the light from the point light source reaches the light receiving surface of the image sensor, and is calculated in advance based on lens aberration data and sensor light reception intensity characteristics,
The sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging element of a light beam passing through each area of the entrance pupil of the imaging element arranged on the imaging element, and each area of the entrance pupil of the imaging element An information processing method is provided in which light beams passing through the light are received by the divided pixels of the image sensor.
本発明によれば、撮影レンズや撮像装置本体の製造ばらつき等を加味した高精度な点像強度分布を生成し得る撮像装置及び撮像システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device and imaging system which can produce | generate the highly accurate point image intensity distribution which considered the manufacture variation etc. of a photographic lens and an imaging device main body can be provided.
以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
［第１実施形態］
本発明の第１実施形態による撮像装置について図面を用いて説明する。
[First Embodiment]
An imaging apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
［撮像装置の構成］
まず、本実施形態による撮像装置の構成について説明する。図１は、本実施形態による撮像装置の構成の概略を示すブロック図である。
なお、ここでは、撮像装置が、レンズ交換式のデジタル一眼レフカメラである場合を例に説明するが、これに限定されるものではない。
[Configuration of imaging device]
First, the configuration of the imaging apparatus according to the present embodiment will be described. FIG. 1 is a block diagram illustrating an outline of the configuration of the imaging apparatus according to the present embodiment.
Here, a case where the imaging apparatus is a lens interchangeable digital single-lens reflex camera will be described as an example, but the present invention is not limited to this.
本実施形態による撮像装置（カメラ）１０は、レンズユニット１００と撮像装置本体（カメラ本体、ボディ）１２０とを有している。レンズユニット１００は、図１の中央部において点線で示したマウントＭを介して、撮像装置本体（カメラ本体）１２０に接続される。
An imaging apparatus (camera) 10 according to the present embodiment includes a
レンズユニット１００は、撮影レンズ１０５とレンズ駆動／制御系１１９とを含んでいる。
The
撮影レンズ１０５は、被写体の光学像、即ち、被写体像を形成するためのものである。撮影レンズ１０５は、第１のレンズ群１０１、絞り兼用シャッタ１０２、第２のレンズ群１０３、及び、フォーカスレンズ群（以下、「フォーカスレンズ」という）１０４を含んでいる。第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、及び、フォーカスレンズ１０４は、被写体の像を撮像素子１２２上に結像するための結像光学系（撮影光学系、撮像光学系）１３３を構成している。
The photographing
レンズ駆動／制御系１１９は、レンズユニット１００に関する駆動／制御を行うためのものである。レンズ駆動／制御系１１９は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、及び、レンズＭＰＵ１１７を含んでいる。更に、レンズ駆動／制御系１１９は、レンズメモリ１１８を含んでいる。
The lens drive /
第１のレンズ群１０１は、レンズユニット１００の先端部に配されており、光軸方向ＯＡに進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することによって、撮影時の光量調節を行う。また、絞り兼用シャッタ１０２は、静止画の撮影時には、露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ１０２及び第２のレンズ群１０３は、光軸方向ＯＡに一体的に進退動作する。第２のレンズ群１０３の進退動作と第１のレンズ群１０１の進退動作との連動によって、ズーム機能が実現される。また、フォーカスレンズ１０４を光軸方向ＯＡに進退させることにより、焦点調節が行われる。
The
ズーム駆動回路１１４は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動し、第１のレンズ群１０１や第２のレンズ群１０３を光軸方向ＯＡに進退動作させることで、ズーム操作を行う。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御することにより、撮影時の光量を調節する。また、絞りシャッタ駆動回路１１５は、静止画の撮影時には、露光秒時の制御をも行う。フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動し、フォーカスレンズ１０４を光軸方向ＯＡに進退動作させることによって、焦点調節を行う。また、フォーカスアクチュエータ１１３は、フォーカスレンズ１０４の現在の位置を検出するレンズ位置検出部としての機能をも有している。
The
レンズＭＰＵ（MicroProcessor Unit）１１７は、レンズユニット１００に関する様々な演算処理を行い、レンズユニット１００全体の制御を司る。レンズＭＰＵ１１７は、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、及び、レンズメモリ１１８の制御を行う。また、レンズＭＰＵ１１７は、現在のレンズ位置を検出し、後述するカメラＭＰＵ１２５からの要求に基づいて、レンズ位置情報をカメラＭＰＵ１２５に通知する。レンズ位置情報は、フォーカスレンズ１０４の光軸上の位置、結像光学系１３３の射出瞳の光軸上の位置や直径、射出瞳の光束を制限するレンズ枠（図示せず）の光軸上の位置や直径等の情報を含む。レンズメモリ１１８には、自動焦点調節（オートフォーカス）に必要な光学情報や、後述するレンズライトフィールドデータ等が記憶される。
A lens MPU (MicroProcessor Unit) 117 performs various arithmetic processes related to the
一方、撮像装置本体１２０は、光学的ＬＰＦ（ローパスフィルタ）１２１と、撮像素子１２２と、撮像装置制御／駆動系（カメラ制御／駆動系）１３１とを含んでいる。
On the other hand, the imaging apparatus
撮像装置制御／駆動系１３１は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、及び、ＴＶＡＦ焦点検出部１３０を含んでいる。
The imaging device control / drive system 131 includes an imaging
光学的ＬＰＦ１２１は、撮影画像の偽色やモアレを軽減する。
The
撮像素子１２２は、例えばＣＭＯＳイメージセンサである。撮像素子１２２は、後述するように、位相差方式の焦点検出（撮像面位相差ＡＦ）を行うための信号を出力することができる。撮像素子１２２によって取得される画像データのうちの、撮像面位相差ＡＦのために用い得る画像データは、画像処理回路１２４によって焦点検出用画像データ（焦点検出信号）に変換され、カメラＭＰＵ１２５に入力される。一方、撮像素子１２２によって取得される画像データのうちの、表示、記録、コントラスト方式の焦点検出等のために用い得る画像データは、目的に応じて所定の処理が画像処理回路１２４によって行われ、カメラＭＰＵ１２５に入力される。
The
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するものである。撮像素子駆動回路１２３は、撮像素子１２２によって取得される画像信号をＡ／Ｄ変換し、カメラＭＰＵ１２５及び画像処理回路１２４に出力する。画像処理回路１２４は、撮像素子１２２によって取得される画像データに対して、γ変換、カラー補間、ＪＰＥＧ圧縮等を行う。
The image
カメラＭＰＵ（撮像装置ＭＰＵ）１２５は、撮像装置本体１２０に関する様々な演算処理を行い、撮像装置本体１２０全体の制御を司る。カメラＭＰＵ１２５は、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、及び、ＴＶＡＦ焦点検出部１３０の制御を行う。また、カメラＭＰＵ１２５は、マウントＭの信号線を介してレンズＭＰＵ１１７と接続されている。カメラＭＰＵ１２５は、レンズ位置情報の取得を要求するレンズ位置情報取得要求や、所定の駆動量でレンズを駆動することを要求するレンズ駆動要求を、レンズＭＰＵ１１７に対して出力する。また、カメラＭＰＵ１２５は、レンズユニット１００に固有の光学情報も取得する。
A camera MPU (imaging device MPU) 125 performs various arithmetic processes related to the
カメラＭＰＵ１２５には、撮像装置の動作を制御するプログラムが格納されたＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、センサ受光強度特性や様々なパラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。
The
カメラＭＰＵ１２５は、後述するレンズライトフィールドデータと、後述するセンサ受光強度特性とに基づいて、後述する点像強度分布を生成するための演算を行う。
The
なお、上述したように、本実施形態では、レンズライトフィールドデータは、例えばレンズメモリ１１８に記憶され、センサ受光強度特性は、例えばＥＥＰＲＯＭ１２５ｃに記憶される。レンズメモリ１１８は、レンズユニット１００側（結像光学系側）の記憶部として機能し、ＥＥＰＲＯＭ１２５は、撮像装置本体１２０側の記憶部として機能する。
As described above, in the present embodiment, the lens light field data is stored in, for example, the
表示器１２６は、ＬＣＤ等によって構成されている。表示器１２６は、撮像装置の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等により構成されている。メモリ１２８は、例えば、フラッシュメモリ等の着脱可能なメモリである。メモリ１２８は、撮影済みの画像を記録する。
The
撮像面位相差焦点検出部１２９は、画像処理回路１２４による画像処理によって得られる焦点検出用画像データ（焦点検出信号）に基づいて、位相差方式の焦点検出（撮像面位相差ＡＦ）を行う。即ち、撮像面位相差焦点検出部１２９は、撮影光学系１３３の一対の瞳領域を通過する光束によって分割画素２０１、２０２（図２参照）に形成される一対の像のずれ量に基づいて、撮像面位相差ＡＦを行う。なお、撮像面位相差ＡＦについては、後に詳細に説明する。
The imaging surface phase difference focus detection unit 129 performs phase difference type focus detection (imaging surface phase difference AF) based on focus detection image data (focus detection signal) obtained by image processing by the
ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４による画像処理によって得られる画像情報のコントラスト成分によって、ＴＶＡＦ評価値を算出し、コントラスト方式の焦点検出処理（ＴＶＡＦ）を行う。コントラスト方式の焦点検出処理では、フォーカスレンズ１０４を移動させながら、複数のフォーカスレンズ位置においてＴＶＡＦ評価値を算出し、ＴＶＡＦ評価値が最大となるフォーカスレンズ位置を検出する。ＴＶＡＦ評価値は、ピントが合うにつれて大きくなり、合焦点において最大となる。
The TVAF
［撮像素子］
次に、本実施形態による撮像装置において用いられる撮像素子について説明する。図２は、本実施形態による撮像装置において用いられる撮像素子の一部を示す平面図である。
[Image sensor]
Next, the image sensor used in the imaging apparatus according to the present embodiment will be described. FIG. 2 is a plan view showing a part of the image sensor used in the imaging apparatus according to the present embodiment.
本実施形態において用いられる撮像素子１２２は、上述したように、例えばＣＭＯＳイメージセンサである。撮像素子１２２の画素アレイ領域（図示せず）には、撮像画素（画素）２００（図２参照）が２次元的、即ち、マトリクス状に配列されている。画素アレイ領域の周囲には、読み出し回路を含む周辺回路（図示せず）が配されている。図２においては、赤色（Ｒ）に感応する撮像画素が符号２００Ｒを用いて示されており、緑色（Ｇ）に感応する撮像画素が符号２００Ｇを用いて示されており、青色（Ｂ）に感応する撮像画素が符号２００Ｂを用いて示されている。感応する色を特に区別しないで説明する場合には、符号２００を用いて説明することとする。
As described above, the
各々の撮像画素２００は、２つの分割画素（分割領域）２０１、２０２をそれぞれ含んでいる。即ち、各々の撮像画素２００は、２列×１行に配列された第１の分割画素２０１と第２の分割画素２０２をそれぞれ含んでいる。第１の分割画素２０１の重心は、撮像画素２００において−Ｘ方向に偏心している。第２の分割画素２０２の重心は、撮像画素２００において＋Ｘ方向に偏心している。
Each
図２には、４列×４行の撮像画素２００の配列が抜き出して示されている。１つの撮像画素２００は、２つの分割画素２０１、２０２を含むため、図２には、８列×４行の分割画素２０１，２０２の配列が抜き出して示されている。
FIG. 2 shows an array of 4 columns × 4 rows of imaging
２列×２行の撮像画素２００によって、１つの画素群２０３が構成されている。図２においては、各々の画素群２０３を太い実線を用いて示している。１つの画素群２０３は、赤色に感応する１つの撮像画素２００Ｒと、緑色に感応する２つの撮像画素２００Ｇと、青色に感応する１つの撮像画素２００Ｂとにより構成されている。赤色に感応する撮像画素２００Ｒは、画素群２０３のうちの左上の位置に配されている。緑色に感応する撮像画素２００Ｇは、画素群２０３のうちの右上と左下の位置に配されている。青色に感応する撮像画素２００Ｂは、画素群２０３のうちの右下の位置に配されている。このような画素配列は、ベイヤー配列と称されている。
One
このような画素群２０３が撮像素子１２２の撮像面（受光面）に２次元的に多数配置されているため、撮像素子１２２は明瞭且つ高精度な撮影画像を取得することができる。
Since a large number of
撮像画素２００のピッチ（周期）Ｐは、例えば４μｍに設定されている。列方向（Ｘ軸方向）における撮像画素２００の配列数は、例えば５５７５に設定されており、行方向（Ｙ軸方向）における撮像画素２００の配列数は、例えば３７２５個に設定されている。即ち、撮像素子１２２の画素数（有効画素数）Ｎは、例えば約２０７５万画素に設定されている。なお、撮像素子１２２の水平方向（列方向、横方向）（図２における紙面左右方向）をＸ軸方向とし、撮像素子１２２の垂直方向（行方向、縦方向）（図２における紙面上下方向）をＹ軸方向とする。また、撮像素子１２２の撮像面の法線方向（図２における紙面法線方向）をＺ軸方向とする。
The pitch (period) P of the
上述したように、各々の撮像画素２００は、２列×１行で配列された第１の分割画素２０１と第２の分割画素２０２とによってそれぞれ構成されている。このため、列方向（Ｘ軸方向）における分割画素２０１、２０２のピッチ（周期）ＰＡＦは、例えば２μｍとなっている。列方向（Ｘ軸方向）における分割画素２０１、２０２の数は、例えば１１１５０となっている。行方向（Ｙ軸方向）における分割画素２０１、２０２の数は、例えば３７２５となっている。撮像素子１２２の分割画素数ＮＡＦは、例えば約４１５０万画素となっている。
As described above, each
図３は、撮像素子の画素部を示す平面図及び断面図である。図３（ａ）は、撮像素子の画素部を示す平面図であり、図３（ｂ）は、図３（ａ）のＡ−Ａ′線断面図である。図３（ｂ）には、光軸３０３が一点鎖線を用いて示されており、撮像素子１２２の受光面（撮像面）３０４が破線を用いて示されている。図３では、撮像素子に設けられている複数の画素（撮像画素、画素部）２００のうちの１つを抜き出して示している。
FIG. 3 is a plan view and a cross-sectional view illustrating a pixel portion of the image sensor. FIG. 3A is a plan view showing a pixel portion of the image sensor, and FIG. 3B is a cross-sectional view taken along the line AA ′ of FIG. In FIG. 3B, the
図３に示すように、各々の撮像画素２００は、複数の領域（分割画素）２０１、２０２にそれぞれ分割されている。具体的には、撮像画素２００は、Ｘ方向に２分割されており、Ｙ方向には分割されていない。このように、本実施形態では、各々の撮像画素２００が、２つの領域２０１、２０２にそれぞれ分割されている。
As shown in FIG. 3, each
一方の分割画素２０１における基板３００内には、第１の分割画素２０１の光電変換部（第１の光電変換部）３０１が形成されている。他方の分割画素２０２における基板３００内には、第２の分割画素２０２の光電変換部（第２の光電変換部）３０２が形成されている。第１の光電変換部３０１の重心は、＋Ｘ方向に偏心している。第２の光電変換部３０２の重心は、−Ｘ方向に偏心している。
A photoelectric conversion unit (first photoelectric conversion unit) 301 of the first divided
光電変換部３０１、３０２は、例えば、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードにより構成されている。
The
なお、光電変換部３０１、３０２は、ｐｉｎ構造のフォトダイオードに限定されるものではなく、イントリンシック層が省略された、ｐｎ接合のフォトダイオードであってもよい。
Note that the
光電変換部３０１、３０２が形成された基板３００上には、絶縁層３１１や配線層３０７等が適宜形成されている。絶縁層３１１や配線層３０７等が形成された基板３００上には、カラーフィルタ３０６が形成されている。
An insulating
なお、撮像画素２００Ｒ、２００Ｇ、２００Ｂ毎にカラーフィルタ３０６の分光透過率を異ならせてもよいし、カラーフィルタ３０６を適宜省略するようにしてもよい。
Note that the spectral transmittance of the
カラーフィルタ３０６が配された基板３００上には、各々の撮像画素２００に入射される光を集光するためのマイクロレンズ３０５がそれぞれ配されている。
On the
各々の画素２００に入射される光は、マイクロレンズ３０５によって集光され、カラーフィルタ３０６で分光された後、第１の光電変換部３０１と第２の光電変換部３０２とに達する。
The light incident on each
光電変換部３０１、３０２では、受光量に応じて電子とホール（正孔）とが対生成される。対生成された電子とホールは、空乏層で分離される。負電荷である電子はｎ型層３０９、３１０に蓄積され、正電荷であるホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子１２２の外部へ排出される。
In the
光電変換部３０１、３０２のｎ型層３０９、３１０にそれぞれ蓄積された電子は、転送ゲート（図示せず）を介して、静電容量部（ＦＤ）（図示せず）に転送され、電圧信号に変換される。
Electrons accumulated in the n-
図４は、瞳領域と画素部との対応関係を示す概略図である。図４の下側の図は、画素部の断面図であり、図４の上側の図は、画素部側から見た射出瞳面の平面図である。 FIG. 4 is a schematic diagram showing the correspondence between the pupil region and the pixel unit. The lower diagram in FIG. 4 is a cross-sectional view of the pixel portion, and the upper diagram in FIG. 4 is a plan view of the exit pupil plane viewed from the pixel portion side.
図４に示すように、瞳領域（射出瞳）５００は、第１の瞳部分領域５０１と第２の瞳部分領域５０２とを含んでいる。
As shown in FIG. 4, the pupil region (exit pupil) 500 includes a first pupil
第１の瞳部分領域５０１の重心は、瞳領域５００において＋Ｘ方向に偏心している。一方、上述したように、第１の分割画素２０１の重心は、撮像画素２００において−Ｘ方向に偏心している。そして、瞳領域５００と画素部２００との間にはマイクロレンズ３０５が存在している。このため、第１の瞳部分領域５０１と第１の分割画素２０１とは共役関係となっており、第１の瞳部分領域５０１を通過する光束は、第１の分割画素２０１において受光される。
The center of gravity of the first pupil
第２の瞳部分領域５０２の重心は、瞳領域５００において−Ｘ方向に偏心している。一方、上述したように、第２の分割画素２０２の重心は、撮像画素２００において＋Ｘ方向に偏心している。そして、瞳領域５００と画素部２００との間にはマイクロレンズ３０５が存在している。このため、第２の瞳部分領域５０２と第２の分割画素２０２とは共役関係になっており、第２の瞳部分領域５０２を通過する光束は、第２の分割画素２０２において受光される。
The center of gravity of the second pupil
上述したように、瞳領域５００は、第１の瞳部分領域５０１と第２の瞳部分領域５０２とを含んでいる。また、上述したように、撮像画素２００は、第１の分割画素２０１と第２の分割画素２０２とを含んでいる。このため、第１の瞳部分領域５０１と第２の瞳部分領域５０２とを含む瞳領域５００を通過する光束は、第１の分割画素２０１と第２の分割画素２０２とを含む撮像画素２００において受光される。
As described above, the
図５は、射出瞳と撮像素子との関係を示す概略図である。 FIG. 5 is a schematic diagram showing the relationship between the exit pupil and the image sensor.
ある点８０１ａから発せられた複数の光束は、互いに異なる瞳部分領域５０１，５０２をそれぞれ通過し、ある画素２００ａの第１の分割画素３０１ａと第２の分割画素３０２ａとによってそれぞれ受光される。
A plurality of light beams emitted from a certain point 801a pass through different pupil
また、他の点８０１ｂから発せられた複数の光束は、互いに異なる瞳部分領域５０１，５０２をそれぞれ通過し、他の画素２００ｂの第１の分割画素３０１ｂと第２の分割画素３０２ｂとによってそれぞれ受光される。
In addition, a plurality of light beams emitted from other points 801b pass through different pupil
なお、ここでは、瞳領域５００を水平方向（Ｘ方向）に２つに分割する場合を例に説明したが、これに限定されるものではない。必要に応じて、垂直方向（Ｙ方向）に瞳領域５００を分割してもよい。
Here, the case where the
また、ここでは、第１の分割画素２０１と第２の分割画素２０２とにより撮像画素２００を構成する場合を例に説明したが、撮像画素２００と別個に第１の焦点検出画素と第２の焦点検出画素とを適宜配置するようにしてもよい。
Here, the case where the
撮像素子１２２にマトリクス状に配列された撮像画素２００の各々の第１の分割画素２０１により検出される信号（受光信号）の集合体によって、第１の焦点検出信号（第１の焦点検出用画像データ）が構成される。また、撮像素子１２２にマトリクス状に配列された撮像画素２００の各々の第２の分割画素２０２により検出される信号（受光信号）の集合体によって、第２の焦点検出信号（第２の焦点検出用画像データ）が構成される。こうして得られた第１の焦点検出信号と第２の焦点検出信号とを用いて焦点検出が行われる。また、各々の第１の分割画素２０１により検出される信号と各々の第２の分割画素２０２により検出される信号とを加算した信号の集合体によって、有効画素数Ｎの撮像信号（撮像画像）が構成される。
A first focus detection signal (first focus detection image) is obtained by an aggregate of signals (light reception signals) detected by the first divided
［オートフォーカス動作の全体像］
次に、本実施形態による撮像装置のオートフォーカス動作の処理の全体像について図６を用いて説明する。図６は、本実施形態による撮像装置のオートフォーカス動作の処理の全体像を示すフローチャートである。
[Overview of autofocus operation]
Next, the overall image of the autofocus operation process of the imaging apparatus according to the present embodiment will be described with reference to FIG. FIG. 6 is a flowchart illustrating an overall image of the autofocus operation process of the imaging apparatus according to the present embodiment.
まず、図６に示すように、焦点検出処理が行われる（ステップＳ６０１）。焦点検出処理においては、図７を用いて後述するようにデフォーカス量が算出される。 First, as shown in FIG. 6, focus detection processing is performed (step S601). In the focus detection process, the defocus amount is calculated as will be described later with reference to FIG.
次に、点像強度分布生成処理が行われる（ステップＳ６０２）。具体的には、ステップＳ６０１において算出されたデフォーカス量の近傍の複数位置における点像強度分布を生成する。点像強度分布生成処理は、点像強度分布生成手段（点像強度分布生成部）として機能し得るカメラＭＰＵ１２５によって行われる。本実施形態において、このように点像強度分布を生成するのは、焦点検出処理（ステップＳ６０１）において算出されたデフォーカス量に対して高精度な補正を行うことを可能とし、ひいては最良像面位置に設定することを可能とするためである。
Next, point image intensity distribution generation processing is performed (step S602). Specifically, point image intensity distributions at a plurality of positions in the vicinity of the defocus amount calculated in step S601 are generated. The point image intensity distribution generation process is performed by the
次に、デフォーカス量補正処理が行われる（ステップＳ６０３）。具体的には、点像強度分布生成処理（ステップＳ６０２）において得られた複数のデフォーカス量の各々における点像強度分布を用いて補正値を算出し、焦点検出処理（ステップＳ６０１）において算出されたデフォーカス量に対して当該補正値を用いて補正する。 Next, a defocus amount correction process is performed (step S603). Specifically, the correction value is calculated using the point image intensity distribution in each of the plurality of defocus amounts obtained in the point image intensity distribution generation process (step S602), and is calculated in the focus detection process (step S601). The defocus amount is corrected using the correction value.
次に、撮影レンズ１０５の駆動が行われる（ステップＳ６０４）。具体的には、デフォーカス量補正処理（ステップＳ６０３）において得られた補正後のデフォーカス量に基づいて、撮影レンズ１０５が駆動される。
Next, the photographing
次に、合焦判定処理が行われる（ステップＳ６０５）。合焦と判定された場合には（ステップＳ６０５においてＹＥＳ）、オートフォーカス動作を終了する。 Next, focus determination processing is performed (step S605). If it is determined to be in focus (YES in step S605), the autofocus operation is terminated.
一方、合焦と判定されなかった場合には（ステップＳ６０５においてＮＯ）、ステップＳ６０１に戻り、オートフォーカス動作の処理が再度行われる。 On the other hand, when it is not determined to be in focus (NO in step S605), the process returns to step S601 and the autofocus operation process is performed again.
図６を用いて全体像を示した本実施形態による撮像装置のオートフォーカス動作の詳細を、以下に説明する。 Details of the autofocus operation of the image pickup apparatus according to the present embodiment showing an overall image using FIG. 6 will be described below.
［焦点検出］
図６を用いて概略を説明した焦点検出処理（ステップＳ６０１）について以下に詳細に説明を行うが、具体的な焦点検出処理を説明するに先立って、デフォーカス量と像ずれ量との関係について図８を用いて説明する。
[Focus detection]
The focus detection process (step S601) outlined with reference to FIG. 6 will be described in detail below. Before describing the specific focus detection process, the relationship between the defocus amount and the image shift amount is described. This will be described with reference to FIG.
図８は、デフォーカス量と像ずれ量との関係を示す図である。なお、撮像面８００には、上述した撮像素子１２２が配されているが、図８においては図示を省略している。図４及び図５を用いて上述したように、結像光学系の射出瞳５００は、第１の瞳部分領域５０１と第２の瞳部分領域５０２とに２分割されている。
FIG. 8 is a diagram illustrating the relationship between the defocus amount and the image shift amount. Note that the above-described
図８における符号ｄは、被写体の結像位置（結像点）と撮像面との間の距離、即ち、デフォーカス量を示している。デフォーカス量ｄの大きさは｜ｄ｜で表される。被写体の結像位置が撮像面の手前に位置している状態、即ち、前ピン状態の場合には、デフォーカス量の符号は負となる（ｄ＜０）。被写体の結像位置が撮像面より奥に位置している状態、即ち、後ピン状態の場合には、デフォーカス量の符号は正となる（ｄ＞０）。被写体の結像位置が撮像面に位置している状態、即ち、合焦状態である場合には、デフォーカス量ｄは０である。 8 indicates the distance between the imaging position (imaging point) of the subject and the imaging surface, that is, the defocus amount. The magnitude of the defocus amount d is represented by | d |. When the imaging position of the subject is located in front of the imaging surface, that is, in the front pin state, the sign of the defocus amount is negative (d <0). In the state where the imaging position of the subject is located behind the imaging surface, that is, in the rear pin state, the sign of the defocus amount is positive (d> 0). When the imaging position of the subject is located on the imaging surface, that is, in a focused state, the defocus amount d is zero.
図８のように被写体８０１が位置している場合には、合焦状態（ｄ＝０）となる。また、図８のように被写体８０２が位置している場合には、前ピン状態（ｄ＜０）となる。前ピン状態（ｄ＜０）も後ピン状態（ｄ＞０）も、デフォーカス状態（｜ｄ｜＞０）に該当する。 When the subject 801 is located as shown in FIG. 8, the in-focus state (d = 0) is obtained. Further, when the subject 802 is located as shown in FIG. 8, the front pin state (d <0) is established. Both the front pin state (d <0) and the rear pin state (d> 0) correspond to the defocus state (| d |> 0).
前ピン状態（ｄ＜０）においては、被写体８０２からの光束のうちの、第１の瞳部分領域５０１を通過した光束は、撮像面８００の手前で集光した後、光束の重心位置Ｇ１を中心として幅Γ１で広がり、撮像面８００においてボケた像となる。撮像面８００に達したボケた像は、撮像素子１２２に配された撮像画素２００の第１の分割画素２０１によって受光され、第１の焦点検出信号が生成される。こうして、幅Γ１でボケた被写体８０２の像が、撮像面８００上の重心位置Ｇ１において、第１の焦点検出信号として検出される。
In the front pin state (d <0), the light beam that has passed through the first pupil
また、前ピン状態（ｄ＜０）においては、被写体８０２からの光束のうちの、第２の瞳部分領域５０２を通過した光束は、撮像面８００の手前で集光した後、光束の重心位置Ｇ２を中心として幅Γ２で広がり、撮像面８００においてボケた像となる。撮像面８００に達したボケた像は、撮像素子１２２に配された撮像画素２００の第２の分割画素２０２によって受光され、第２の焦点検出信号が生成される。こうして、幅Γ２でボケた被写体８０２の像が、撮像面８００上の重心位置Ｇ２において、第２の焦点検出信号として検出される。
Further, in the front pin state (d <0), the light beam that has passed through the second pupil
被写体像のボケ幅Γ１、Γ２は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴って、概ね比例して増加していく。また、第１の焦点検出信号が示す被写体像と第２の焦点検出信号が示す被写体像との間の像ずれ量ｐ（光束の重心位置の差（Ｇ１−Ｇ２））の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴って、概ね比例して増加していく。 The blur widths Γ1 and Γ2 of the subject image increase substantially in proportion as the magnitude | d | of the defocus amount d increases. Also, the magnitude | p | of the image shift amount p (difference in the center of gravity of the light beam (G1−G2)) between the subject image indicated by the first focus detection signal and the subject image indicated by the second focus detection signal. Also, as the magnitude | d | of the defocus amount d increases, it generally increases in proportion.
後ピン状態（ｄ＞０）の場合には、第１の焦点検出信号が示す被写体像と第２の焦点検出信号が示す被写体像との間の像ずれ方向が、前ピン状態の場合に対して反対の方向となること以外は、前ピン状態の場合と同様である。 In the rear pin state (d> 0), the image shift direction between the subject image indicated by the first focus detection signal and the subject image indicated by the second focus detection signal is that in the front pin state. This is the same as in the front pin state except that the directions are opposite.
デフォーカス量と像ずれ量との間には、上記のような関係がある。即ち、デフォーカス量ｄの大きさが増加するのに伴い、第１焦点検出信号が示す被写体像と第２の焦点検出信号が示す被写体像との間の像ずれ量ｐの大きさが増加する。このような関係が成立するため、像ずれ量ｐ、即ち、位相差に基づいてデフォーカス量ｄを算出することが可能である。位相差（像ずれ量）に基づいてデフォーカス量の検出が行われる焦点検出は、位相差方式の焦点検出と称される。 There is a relationship as described above between the defocus amount and the image shift amount. That is, as the defocus amount d increases, the image shift amount p between the subject image indicated by the first focus detection signal and the subject image indicated by the second focus detection signal increases. . Since such a relationship is established, the defocus amount d can be calculated based on the image shift amount p, that is, the phase difference. Focus detection in which the defocus amount is detected based on the phase difference (image shift amount) is referred to as phase difference type focus detection.
位相差方式の焦点検出では、第１の焦点検出信号と第２の焦点検出信号とを相対的にシフトさせることにより、これらの焦点検出信号の一致度を示す相関量を計算し、相関（信号の一致度）が良好となるときのシフト量に基づいて像ずれ量ｐを検出する。デフォーカス量ｄの大きさが増加するのに伴い、第１の焦点検出信号が示す被写体像と第２の焦点検出信号が示す被写体像との間の像ずれ量ｐの大きさが増加するため、像ずれ量ｐをデフォーカス量ｄに換算することが可能である。像ずれ量ｐに基づいて算出されたデフォーカス量は、検出デフォーカス量（算出デフォーカス量）と称される。検出デフォーカス量は、実際のデフォーカス量（実デフォーカス量）と完全に一致しているとは限らない。このため、本実施形態では、算出されたデフォーカス量（ステップＳ７０６）に対して、後述するように、補正の処理（ステップＳ２１０５）が行われることとなる。 In the phase difference type focus detection, the first focus detection signal and the second focus detection signal are relatively shifted to calculate the correlation amount indicating the degree of coincidence of these focus detection signals, and the correlation (signal The image shift amount p is detected on the basis of the shift amount when the degree of coincidence is good. As the defocus amount d increases, the image shift amount p between the subject image indicated by the first focus detection signal and the subject image indicated by the second focus detection signal increases. The image shift amount p can be converted into the defocus amount d. The defocus amount calculated based on the image shift amount p is referred to as a detected defocus amount (calculated defocus amount). The detected defocus amount does not always completely match the actual defocus amount (actual defocus amount). Therefore, in the present embodiment, correction processing (step S2105) is performed on the calculated defocus amount (step S706), as will be described later.
図７は、本実施形態による撮像装置における焦点検出処理を示すフローチャートである。図７は、図６を用いて概略を説明した焦点検出処理（ステップＳ６０１）を詳細に説明するためのものである。 FIG. 7 is a flowchart showing focus detection processing in the imaging apparatus according to the present embodiment. FIG. 7 is a diagram for explaining in detail the focus detection process (step S601), which is outlined with reference to FIG.
図７に示す焦点検出処理は、撮像素子１２２、画像処理回路１２４、カメラＭＰＵ１２５、及び、撮像面位相差焦点検出部１２９が協業することにより実行される。これらの構成要素は、焦点検出信号生成手段（焦点検出信号生成部）及び焦点検出手段（焦点検出部）として機能する。
The focus detection process illustrated in FIG. 7 is executed by the cooperation of the
まず、被写体（合焦対象物）の位置に応じた撮像素子１２２上の領域が、焦点検出領域（図示せず）として設定される（ステップＳ７０１）。
First, an area on the
次に、焦点検出領域内の第１の分割画素２０１の受光信号から生成される第１の焦点検出信号と、焦点検出領域内の第２の分割画素２０２の受光信号から生成される第２の焦点検出信号とが、焦点検出信号生成手段により取得される（ステップＳ７０２）。
Next, a first focus detection signal generated from the light reception signal of the first divided
次に、第１の焦点検出信号と第２の焦点検出信号とに対して、シェーディング補正の処理（光学補正処理）がそれぞれ行われる（ステップＳ７０３）。 Next, shading correction processing (optical correction processing) is performed on the first focus detection signal and the second focus detection signal (step S703).
ここで、シェーディングについて図９を用いて説明する。図９は、シェーディングを説明するための概略図である。 Here, shading will be described with reference to FIG. FIG. 9 is a schematic diagram for explaining shading.
図９（ａ）は、結像光学系１３３の射出瞳距離Ｄｌと撮像素子側で定めた射出瞳距離Ｄｓとが等しい場合を示している。この場合には、中心像高においても周辺像高においても、結像光学系１３３の射出瞳４００を通過する光束が、第１の瞳部分領域５０１と第２の瞳部分領域５０２とにより概ね均等に分割される。
FIG. 9A shows a case where the exit pupil distance Dl of the imaging
図９（ｂ）は、結像光学系１３３の射出瞳距離Ｄｌが撮像素子側で定めた射出瞳距離Ｄｓより短い場合を示している。この場合には、周辺像高において、結像光学系１３３の射出瞳と撮像素子１２２の入射瞳との間で瞳ずれが生じる。このため、結像光学系１３３の射出瞳４００を通過する光束が、第１の瞳部分領域５０１と第２の瞳部分領域５０２とによって不均一に分割されてしまう。即ち、図９（ｂ）に示すように、結像光学系１３３の射出瞳距離Ｄｌが撮像素子側で定めた射出瞳距離Ｄｓより短い場合には、周辺像高における瞳分割が不均一になる。
FIG. 9B shows a case where the exit pupil distance Dl of the imaging
図９（ｃ）は、結像光学系１３３の射出瞳距離Ｄｌが撮像素子側で定めた射出瞳距離Ｄｓより長い場合を示している。この場合にも、周辺像高において、結像光学系１３３の射出瞳と撮像素子１２２の入射瞳との間で瞳ずれが生じる。このため、結像光学系１３３の射出瞳４００を通過する光束が、第１の瞳部分領域５０１と第２の瞳部分領域５０２とによって不均一に分割されてしまう。即ち、図９（ｃ）に示すように、結像光学系１３３の射出瞳距離Ｄｌが撮像素子側で定めた射出瞳距離Ｄｓより長い場合にも、周辺像高における瞳分割が不均一になる。
FIG. 9C shows a case where the exit pupil distance Dl of the imaging
周辺像高において瞳分割が不均一になるのに伴い、第１の焦点検出信号と第２の焦点検出信号の強度も不均一になる。即ち、第１の焦点検出信号と第２の焦点検出信号とのうちの一方の強度が大きくなり、他方の強度が小さくなる。このような現象は、シェーディングと称される。 As the pupil division becomes nonuniform at the peripheral image height, the intensity of the first focus detection signal and the second focus detection signal also becomes nonuniform. That is, the intensity of one of the first focus detection signal and the second focus detection signal is increased, and the intensity of the other is decreased. Such a phenomenon is called shading.
位相差方式の焦点検出では、第１の焦点検出信号と第２の焦点検出信号との相関（信号の一致度）に基づいて、検出デフォーカス量（合焦位置）が算出される。瞳ずれによるシェーディングが生じると、第１の焦点検出信号と第２の焦点検出信号との相関（信号の一致度）が低下する場合がある。よって、位相差方式の焦点検出では、第１の焦点検出信号と第２の焦点検出信号との相関（信号の一致度）を改善し、焦点検出精度を向上するために、シェーディング補正処理（光学補正処理）を行うことが望ましい。 In the phase difference type focus detection, the detected defocus amount (focus position) is calculated based on the correlation between the first focus detection signal and the second focus detection signal (the degree of coincidence of the signals). When shading due to pupil shift occurs, the correlation (the degree of signal coincidence) between the first focus detection signal and the second focus detection signal may decrease. Therefore, in the phase difference type focus detection, a shading correction process (optical) is performed in order to improve the correlation (signal coincidence) between the first focus detection signal and the second focus detection signal and to improve the focus detection accuracy. It is desirable to perform correction processing.
シェーディング補正処理は、以下のようにして行われる。 The shading correction process is performed as follows.
まず、焦点検出領域の像高、撮影レンズ（結像光学系）のＦ値及び射出瞳距離に応じて、第１の焦点検出信号を補正するための第１のシェーディング補正係数、及び、第２の焦点検出信号を補正するための第２のシェーディング補正係数をそれぞれ生成する。 First, the first shading correction coefficient for correcting the first focus detection signal according to the image height of the focus detection area, the F value of the taking lens (imaging optical system) and the exit pupil distance, and the second The second shading correction coefficient for correcting the focus detection signal is generated.
そして、第１のシェーディング補正係数を第１の焦点検出信号に乗算し、第２のシェーディング補正係数を第２の焦点検出信号に乗算する。 Then, the first focus detection signal is multiplied by the first shading correction coefficient, and the second focus detection signal is multiplied by the second shading correction coefficient.
こうして、第１の焦点検出信号と第２の焦点検出信号に対するシェーディング補正処理（光学補正処理）が行われる（ステップＳ７０３）。 In this way, shading correction processing (optical correction processing) is performed on the first focus detection signal and the second focus detection signal (step S703).
次に、第１の焦点検出信号と第２の焦点検出信号とに対してフィルタ処理が行われる（ステップＳ７０４）。図１０は、フィルタ処理において用いられるフィルタの周波数特性の例を示すグラフである。図１０の実線は、フィルタの周波数特性の一例を示している。図１０の一点鎖線は、フィルタの周波数特性の他の例を示している。横軸は空間周波数を示しており、縦軸はフィルタ係数を示している。 Next, filter processing is performed on the first focus detection signal and the second focus detection signal (step S704). FIG. 10 is a graph illustrating an example of frequency characteristics of a filter used in the filter processing. The solid line in FIG. 10 shows an example of the frequency characteristic of the filter. The alternate long and short dash line in FIG. 10 shows another example of the frequency characteristics of the filter. The horizontal axis indicates the spatial frequency, and the vertical axis indicates the filter coefficient.
デフォーカス量が大きい状態で焦点検出を行うことが前提となる場合には、低周波帯域が通過帯域に含まれているフィルタを用いてフィルタ処理を行えばよい。従って、この場合には、図１０の実線で示すような周波数特性のフィルタを用いることができる。 When it is assumed that focus detection is performed in a state where the defocus amount is large, a filter process may be performed using a filter in which the low frequency band is included in the pass band. Therefore, in this case, a filter having a frequency characteristic as shown by a solid line in FIG. 10 can be used.
一方、デフォーカス量が大きい状態のみならず、デフォーカス量が小さい状態においても焦点検出を行い得るようにする場合には、高周波帯域までもが通過帯域に含まれているフィルタを用いることが好ましい。この場合には、図１０において１点鎖線で示すような周波数特性のフィルタ、即ち、低周波領域のみならず高周波帯域までもが通過帯域に含まれているフィルタを用いることが好ましい。 On the other hand, when it is possible to perform focus detection not only in a state where the defocus amount is large but also in a state where the defocus amount is small, it is preferable to use a filter that includes the pass band up to the high frequency band. . In this case, it is preferable to use a filter having a frequency characteristic as indicated by a one-dot chain line in FIG. 10, that is, a filter including not only the low frequency region but also the high frequency band in the pass band.
こうして、第１の焦点検出信号と第２の焦点検出信号とに対してフィルタ処理が行われる（ステップＳ７０４）。 Thus, the filtering process is performed on the first focus detection signal and the second focus detection signal (step S704).
次に、第１の焦点検出信号と第２の焦点検出信号とを相対的に瞳分割方向にシフトさせる処理であるシフト処理が行われ、これらの信号の一致度を示す相関量が算出される（ステップＳ７０５）。かかるシフト処理は、フィルタ処理が行われた第１の焦点検出信号とフィルタ処理が行われた第２の焦点検出信号とを用いて行われる。 Next, a shift process, which is a process of relatively shifting the first focus detection signal and the second focus detection signal in the pupil division direction, is performed, and a correlation amount indicating the degree of coincidence of these signals is calculated. (Step S705). Such shift processing is performed using the first focus detection signal subjected to the filter processing and the second focus detection signal subjected to the filter processing.
シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１とすると、第１の焦点検出信号と第２の焦点検出信号との一致度を示す相関量ＣＯＲは、以下のような式（１）により算出される。ここで、Ａ（ｋ）は、第１の焦点検出信号のうちのｋ番目の信号を示しており、Ｂ（ｋ）は、第２の焦点検出信号のうちのｋ番目の信号を示している。Ｗは、焦点検出領域に対応する番号ｋの範囲である。
相関量ＣＯＲの算出においては、ｋ番目の信号である第１の焦点検出信号Ａ（ｋ）からｋ−ｓ１番目の信号である第２の焦点検出信号Ｂ（ｋ−ｓ１）を減算することにより、シフト減算信号が生成され、かかるシフト減算信号の絶対値が求められる。焦点検出領域に対応する範囲Ｗ内で番号ｋの値を順次変化させ、シフト減算信号の絶対値の総和を求めることにより、相関量ＣＯＲ（ｓ１）が算出される。必要に応じて、各行毎に算出された相関量（評価値）を、シフト量毎に、複数行に渡って加算しても良い。 In the calculation of the correlation amount COR, the second focus detection signal B (k−s1) which is the k−s1th signal is subtracted from the first focus detection signal A (k) which is the kth signal. A shift subtraction signal is generated, and the absolute value of the shift subtraction signal is obtained. The correlation amount COR (s1) is calculated by sequentially changing the value of the number k within the range W corresponding to the focus detection area and calculating the sum of the absolute values of the shift subtraction signals. If necessary, the correlation amount (evaluation value) calculated for each row may be added over a plurality of rows for each shift amount.
こうして、第１の焦点検出信号と第２の焦点検出信号との一致度を示す相関量が、シフト量ｓ１毎に算出される（ステップＳ７０５）。 Thus, the correlation amount indicating the degree of coincidence between the first focus detection signal and the second focus detection signal is calculated for each shift amount s1 (step S705).
次に、デフォーカス量算出処理が行われる（ステップＳ７０６）。デフォーカス量の算出処理においては、まず、相関量が最小値となるときのシフト量ｓ１に基づいて、像ずれ量ｐ１が算出される。そして、算出された像ずれ量ｐ１に、焦点検出領域の像高と、撮影レンズ（結像光学系）１０５のＦ値と、射出瞳距離に応じた変換係数Ｋとを乗算することにより、デフォーカス量（検出デフォーカス量）が算出される。 Next, a defocus amount calculation process is performed (step S706). In the defocus amount calculation process, first, the image shift amount p1 is calculated based on the shift amount s1 when the correlation amount becomes the minimum value. Then, the calculated image shift amount p1 is multiplied by the image height of the focus detection area, the F value of the photographing lens (imaging optical system) 105, and the conversion coefficient K corresponding to the exit pupil distance, thereby obtaining A focus amount (detected defocus amount) is calculated.
こうして、位相差方式の焦点検出により、デフォーカス量が算出される。こうして算出されたデフォーカス量は、上述したように、実際のデフォーカス量（実デフォーカス量）と完全に一致しているとは限らない。このため、本実施形態では、デフォーカス量算出処理（ステップＳ７０６）において算出されたデフォーカス量に対して、後述するように、補正の処理（ステップＳ２１０５）が行われることとなる。 Thus, the defocus amount is calculated by the phase difference type focus detection. As described above, the defocus amount calculated in this way does not always completely match the actual defocus amount (actual defocus amount). Therefore, in the present embodiment, a correction process (step S2105) is performed on the defocus amount calculated in the defocus amount calculation process (step S706), as will be described later.
［点像強度分布］
図６を用いて概略を説明した点像強度分布の生成（ステップＳ６０２）について後に詳細に説明を行うが、点像強度分布の生成について具体的な説明を行うに先立って、点像強度分布について以下に説明する。
[Point image intensity distribution]
The generation of the point image intensity distribution (step S602), which has been outlined with reference to FIG. 6, will be described in detail later. Before the specific description of the generation of the point image intensity distribution, the point image intensity distribution will be described. This will be described below.
図１１は、点像強度分布を説明するための図である。図１１（ａ）は、デフォーカス量の相違による点像強度分布の相違と、像高の相違による点像強度分布の相違とを説明するための図である。図１１（ｂ）は、絞り値の相違による点像強度分布の相違を説明するための図である。図１１（ｃ）は、レンズ収差の有無による点像強度分布の相違を説明するための図である。 FIG. 11 is a diagram for explaining the point image intensity distribution. FIG. 11A is a diagram for explaining a difference in point image intensity distribution due to a difference in defocus amount and a difference in point image intensity distribution due to a difference in image height. FIG. 11B is a diagram for explaining a difference in point image intensity distribution due to a difference in aperture value. FIG. 11C is a diagram for explaining a difference in point image intensity distribution depending on the presence or absence of lens aberration.
図１２は、点像強度分布を示す図である。図１２の横軸は撮像素子１２２の撮像面における水平方向（Ｘ方向）の位置を示しており、図１２の縦軸は光の強度を示している。
FIG. 12 is a diagram showing a point image intensity distribution. The horizontal axis in FIG. 12 indicates the position in the horizontal direction (X direction) on the imaging surface of the
図１２（ａ）は、中央像高における点光源１１０１からの光が位置１１１１に位置する撮像面に達した際の点像強度分布を示している。図１２（ｂ）は、中央像高における点光源１１０１からの光が位置１１１２に位置する撮像面に達した際の点像強度分布を示している。図１２（ｃ）は、周辺像高における点光源１１０２からの光が位置１１１１に位置する撮像面に達した際の点像強度分布を示している。図１２（ｄ）は、絞り１１３１ｂの開口を狭めた際の点像強度分布を示している。図１２（ｅ）は、レンズ収差が存在する場合の点像強度分布を示している。
FIG. 12A shows the point image intensity distribution when the light from the
点像強度分布は、点光源からの光が撮像素子の受光面（撮像面）において受光される際の、光の強度分布を示すものである。図１２に示すように、デフォーカス量の相違、像高の相違、絞り値の相違、レンズ収差の相違によって点像強度分布が相違する。 The point image intensity distribution indicates the light intensity distribution when the light from the point light source is received on the light receiving surface (imaging surface) of the image sensor. As shown in FIG. 12, the point image intensity distribution differs depending on the defocus amount, the image height, the aperture value, and the lens aberration.
デフォーカス量の相違による点像強度分布の相違は、図１２（ａ）と図１２（ｂ）とを用いて説明することができる。図１２（ａ）は、点光源１１０１からの光束が結像する位置１１１１に撮像素子１２２の撮像面が位置しているものである。図１２（ｂ）は、点光源１１０１からの光束が結像する位置１１１１の手前の位置１１１２に撮像素子１２２の撮像面が位置しているものである。即ち、図１２（ａ）は、デフォーカス量がゼロの場合であり、図１２（ｂ）は、デフォーカス量がゼロではない場合である。図１２（ａ）と図１２（ｂ）とを比較して分かるように、デフォーカス量が異なると、点像強度分布の広がりや点像強度分布のピーク値に相違が生じる。
The difference in the point image intensity distribution due to the difference in the defocus amount can be described with reference to FIGS. 12 (a) and 12 (b). In FIG. 12A, the imaging surface of the
このように、点像強度分布は、デフォーカス量の相違に応じて相違するものである。本実施形態では、後述するように、点像強度分布の算出を行うが、光束の情報がベクトル形式で表現された後述するレンズライトフィールドデータを用いるため、デフォーカス量の相違に応じてこのように相違する点像強度分布を算出することが可能である。 As described above, the point image intensity distribution differs depending on the difference in the defocus amount. In this embodiment, as will be described later, the point image intensity distribution is calculated. However, since lens light field data (described later) in which light flux information is expressed in a vector format is used, this is performed according to the difference in defocus amount. It is possible to calculate point image intensity distributions different from each other.
像高の相違による点像強度分布の相違は、図１２（ａ）と図１２（ｃ）とを用いて説明することができる。図１２（ａ）は、中央像高の点光源１１０１からの光束が位置１１１１に位置する撮像素子１２２の撮像面に結像される場合を示している。図１２（ｃ）は、周辺像高の点光源１１０２からの光束が位置１１１１に位置する撮像素子１２２の撮像面に結像される場合を示している。中央像高の点光源１１０１からの光束１１２１ａと周辺像高の点光源１１０２からの光束１１２２ａとは、撮影レンズ１０５に対する入射角が相違し、撮像素子１２２の撮像面への入射角も相違する。このため、図１２（ａ）と図１２（ｃ）とを比較して分かるように、像高の相違は点像強度分布の形状の対称性に影響を与える。即ち、図１２（ａ）では、点像強度分布の形状は左右対称となっているが、図１２（ｃ）では、点像強度分布の形状が左右対称になっておらず、偏りが生じている。
The difference in the point image intensity distribution due to the difference in image height can be described with reference to FIGS. 12 (a) and 12 (c). FIG. 12A shows a case where the light flux from the
このように、点像強度分布は、像高の相違によって相違するものである。従って、後述するレンズライトフィールドデータは、像高毎に保持する必要がある。 Thus, the point image intensity distribution differs depending on the difference in image height. Therefore, it is necessary to store lens light field data described later for each image height.
絞り値の相違による点像強度分布の相違は、図１２（ａ）と図１２（ｄ）とを用いて説明することができる。図１２（ａ）は、図１１（ａ）に対応するものであり、絞り１１３１ａの開口が比較的大きい場合を示している。図１２（ｄ）は、図１１（ｂ）に対応するものであり、絞り１１３１ｂの開口が比較的小さい場合を示している。絞り１１３１ａと絞り１１３１ｂとでは開口の大きさが互いに相違するため、絞り１１３１ａ、１１３１ｂを通過する光束の幅は互いに相違することとなる。このため、撮像素子１２２の撮像面に到達する光束の範囲に相違が生じる。図１２（ａ）と図１２（ｄ）とを比較して分かるように、絞り値の相違は、点像強度分布の広がりに相違を生じさせ、また、点像強度分布のピーク値に相違を生じさせる。ただし、ここでは、回折の影響については考慮していない。
The difference in the point image intensity distribution due to the difference in the aperture value can be described with reference to FIGS. 12 (a) and 12 (d). FIG. 12A corresponds to FIG. 11A and shows a case where the aperture of the
このように、絞り値を小さくするに伴って、光束１１２１ａが絞り１１３１ｂによってケラレるため、即ち、ビネッティングが生ずるため、撮像素子１２２の撮像面に到達する光束の範囲が限定される。このため、後述するように、ビネッティング情報に基づいて、レンズライトフィールドデータのうちの一部が選択的に用いられる。
As described above, as the aperture value is decreased, the
レンズの収差の相違による点像強度分布の相違は、図１２（ａ）と図１２（ｅ）とを用いて説明することができる。図１２（ａ）は、図１１（ａ）に対応するものであり、収差が存在しない場合を示している。図１２（ｅ）は、図１１（ｃ）に対応するものであり、収差が存在する場合を示している。図１１（ａ）に示す光束１１２１ａと図１１（ｃ）に示す光束１１２１ｃとでは、レンズで屈折した後における光路が異なり、収差が存在する場合には、図１１（ｃ）に示すように光束が一点で交わらない。図１２（ａ）と図１２（ｅ）とを比較して分かるように、レンズの収差の相違は点像強度分布に相違を生じさせる。収差が存在する場合には、光束が一点で交わらないため、前ピン、後ピンのいずれにおいても、図１２（ａ）に示す点像強度分布の形状に対して相似形ではなくなり、焦点検出時においてオフセットが発生する原因となる。なお、オフセットに関しては、後に詳述することとする。
The difference in the point image intensity distribution due to the difference in the aberration of the lens can be explained using FIG. 12 (a) and FIG. 12 (e). FIG. 12A corresponds to FIG. 11A and shows a case where no aberration exists. FIG. 12 (e) corresponds to FIG. 11 (c) and shows a case where aberration exists. When the
このように、デフォーカス量、像高、絞り値、収差等の相違によって、点像強度分布に相違が生ずる。 As described above, the point image intensity distribution differs depending on the defocus amount, image height, aperture value, aberration, and the like.
［点像強度分布生成処理］
次に、点像強度分布生成処理について図１３を用いて説明する。図１３は、本実施形態による撮像装置における点像強度分布生成処理を示すフローチャートである。図１３は、図６を用いて概略を説明した点像強度分布生成処理（ステップＳ６０２）を詳細に説明するためのものである。
[Point image intensity distribution generation processing]
Next, point image intensity distribution generation processing will be described with reference to FIG. FIG. 13 is a flowchart showing point image intensity distribution generation processing in the imaging apparatus according to the present embodiment. FIG. 13 is a diagram for explaining in detail the point image intensity distribution generation process (step S602), the outline of which is described with reference to FIG.
図１３に示す点像強度分布生成処理は、ＲＯＭ１２５ａ、レンズメモリ１１８、及び、カメラＭＰＵ１２５等が協業することにより実行される。ＲＯＭ１２５ａは、センサ受光強度特性記憶手段（センサ受光強度特性記憶部）として機能する。レンズメモリ１１８は、レンズライトフィールドデータ記憶手段（レンズライトフィールドデータ記憶部）として機能する。カメラＭＰＵ１２５は、点像強度分布生成手段（点像強度分布生成部）として機能する。
The point image intensity distribution generation processing shown in FIG. 13 is executed by the cooperation of the
まず、焦点検出処理（ステップＳ６０１）を行った際の条件、即ち、焦点検出条件を取得する（ステップＳ１３０１）。焦点検出条件は、像高、絞り値、レンズのズームステート、レンズのフォーカスステート等、焦点検出を行った際の情報である。 First, a condition when the focus detection process (step S601) is performed, that is, a focus detection condition is acquired (step S1301). The focus detection condition is information when focus detection is performed, such as an image height, an aperture value, a lens zoom state, and a lens focus state.
次に、デフォーカス量算出処理（ステップＳ７０６）において算出したデフォーカス量を取得する（ステップＳ１３０２）。 Next, the defocus amount calculated in the defocus amount calculation process (step S706) is acquired (step S1302).
次に、センサ受光強度特性を取得する（ステップＳ１３０３）。かかるセンサ受光強度特性は、撮像素子１２２に固有の特性であるため、センサ受光強度特性記憶手段であるＲＯＭ１２５ａに予め記憶されている。センサ受光強度特性は、撮像素子上に配されたマイクロレンズの入射瞳の各領域を通過する光束の撮像素子１２２の受光面３０４における受光強度を示すものである。換言すれば、センサ受光強度特性は、撮像素子１２２の各々の画素に到達する光束の撮像素子１２２の受光面３０４における受光強度分布を示すものである。なお、センサ受光強度特性については、後に詳述することとする。
Next, sensor received light intensity characteristics are acquired (step S1303). Since the sensor light reception intensity characteristic is a characteristic unique to the
次に、レンズライトフィールドデータを取得する（ステップＳ１３０４）。レンズライトフィールドデータは、レンズに固有のデータであるため、レンズライトフィールドデータ記憶手段であるレンズメモリ１１８に予め記憶されている。レンズメモリ１１８には、焦点検出条件及びデフォーカス量に応じた様々なレンズライトフィールドデータが記憶されている。従って、ステップＳ１３０１で取得された焦点検出条件とステップＳ１３０２で取得されたデフォーカス量とに応じたレンズライトフィールドデータが、レンズメモリ１１８から読み出される。レンズライトフィールドデータは、被写***置の一点から発せられ、結像光学系の射出瞳の互いに異なる領域を通過する複数の光束の方向に関する情報と、各々の光束上の点の位置に関する情報とを含むものである。レンズライトフィールドデータは、光束の方向に関する情報と光束上の点の位置に関する情報に加え、光束の強度に関する情報を更に有していてもよい。なお、ここで、光束の強度に関する情報とは、レンズの透過率分布を加味した情報である。また、光束の強度はベクトルの長さ成分で表現されるため、光束の方向と、光束上の点の位置と、光束の強度に関する情報とを有するレンズライトフィールドデータは、光束の始点と終点に関する情報で表現することもできる。なお、レンズライトフィールドデータの詳細については、後に詳述することとする。
Next, lens light field data is acquired (step S1304). Since the lens light field data is data unique to the lens, it is stored in advance in the
次に、ステップＳ１３０４で読み出したレンズライトフィールドデータのうちから使用する領域を決定する（ステップＳ１３０５）。レンズライトフィールドデータの使用領域は、ステップＳ１３０１で取得された焦点検出条件に応じて決定される。具体的には、ケラレ枠１５０５によりケラレる部分のレンズライトフィールドデータは使用せず、ケラレ枠１５０５によりケラレない部分のレンズライトフィールドデータのみを使用する。レンズライトフィールドデータは、射出瞳の領域毎の情報として記憶されているため、このような一部の領域のみの選択が可能となる。なお、ケラレ枠１５０５については、後に詳述することとする。
Next, a region to be used is determined from the lens light field data read in step S1304 (step S1305). The use area of the lens light field data is determined according to the focus detection condition acquired in step S1301. Specifically, the lens light field data of the portion vignetted by the
次に、センサ受光ライトフィールドデータの算出処理を行う（ステップＳ１３０６）。センサ受光ライトフィールドデータ算出処理においては、ステップＳ１３０３で取得したセンサ受光強度特性１４０１と、ステップＳ１３０５で使用領域が決定されたレンズライトフィールドデータとに基づいて、センサ受光ライトフィールドデータが算出される。具体的には、レンズライトフィールドデータが示す複数の光束の強度と、当該複数の光束に対応する領域におけるセンサ受光強度特性との積によって、センサ受光ライトフィールドデータが算出される。 Next, calculation processing of sensor light reception light field data is performed (step S1306). In the sensor light reception light field data calculation process, the sensor light reception light field data is calculated based on the sensor light reception intensity characteristic 1401 acquired in step S1303 and the lens light field data whose use area is determined in step S1305. Specifically, the sensor light reception light field data is calculated by the product of the intensities of the plurality of light fluxes indicated by the lens light field data and the sensor light reception intensity characteristics in the region corresponding to the plurality of light fluxes.
次に、点像強度分布の生成処理を行う（ステップＳ１３０７）。点像強度分布の生成処理においては、ステップＳ１３０６で算出したセンサ受光ライトフィールドデータに基づいて、撮像素子１２２の受光面３０４の位置を光軸方向において異ならせた際の複数の点像強度分布を生成する。
Next, point image intensity distribution generation processing is performed (step S1307). In the point image intensity distribution generation process, a plurality of point image intensity distributions when the position of the
図１４は、レンズライトフィールドデータとセンサ受光強度特性と点像強度分布との関係を示す図である。図１４におけるＸ軸は射出瞳面の水平方向を示しており、図１４におけるＺ軸は光軸方向を表している。 FIG. 14 is a diagram showing the relationship among lens light field data, sensor light-receiving intensity characteristics, and point image intensity distribution. The X axis in FIG. 14 represents the horizontal direction of the exit pupil plane, and the Z axis in FIG. 14 represents the optical axis direction.
符号１４０１は、センサ受光強度特性（センサ受光強度分布）を射出瞳面上に投影したときの分布を示している。なお、センサ受光強度特性は、上述したように、撮像素子１２２の受光面３０４における各々の画素２００に到達する各々の光束の強度を示すものであり、射出瞳面上における各々の光束の強度を表すものではない。図１４では、説明の便宜上、射出瞳面上にセンサ受光強度特性を投影している。
符号１４０２は、レンズライトフィールドデータを示している。符号１４０３は、センサ受光ライトフィールドデータを示している。符号１４０４ａ、１４０４ｂ、１４０４ｃは、撮像素子１２２の位置、即ち、センサ位置を示している。符号１４０５ａ、１４０５ｂ、１４０５ｃは、各々のセンサ位置１４０４ａ、１４０４ｂ、１４０４ｃにおける点像強度分布を表している。なお、これらの点像強度分布１４０５ａ、１４０５ｂ、１４０５ｃは、センサ受光ライトフィールドデータ１４０３に基づいて生成される。
センサ受光ライトフィールドデータ１４０３は、レンズライトフィールドデータ１４０２に示されている複数の光束の強度と、当該複数の光束に対応する領域のセンサ受光強度特性１４０１との積により求められる。センサ受光強度特性１４０１の強度が大きい座標では、センサ受光ライトフィールドデータ１４０３は大きくなる。
The sensor light reception
点像強度分布１４０５ａは、センサ受光ライトフィールドデータ１４０３上における光束のセンサ位置１４０４ａにおける到達点に応じて、センサ受光ライトフィールドデータ上における光束のセンサ位置１４０４ａでの受光強度を積分することにより算出される。点像強度分布１４０５ｂは、センサ受光ライトフィールドデータ１４０３上における光束のセンサ位置１４０４ｂにおける到達点に応じて、センサ受光ライトフィールドデータ上における光束のセンサ位置１４０４ｂでの受光強度を積分することにより算出される。点像強度分布１４０５ｃは、センサ受光ライトフィールドデータ１４０３上における光束のセンサ位置１４０４ｃにおける到達点に応じて、センサ受光ライトフィールドデータ上における光束のセンサ位置１４０４ｃでの受光強度を積分することにより算出される。センサ受光ライトフィールドデータ１４０３上における光束の受光強度を積分する際には、撮像素子１２２に配された画素２００の間隔（ピッチ）で積分が行われる。
The point
このように、センサ受光強度特性とレンズライトフィールドデータとの積に基づいてセンサ受光ライトフィールドデータが算出され、センサ受光ライトフィールドデータに基づいて複数のデフォーカス位置における点像強度分布が生成される。 As described above, the sensor light reception light field data is calculated based on the product of the sensor light reception intensity characteristic and the lens light field data, and point image intensity distributions at a plurality of defocus positions are generated based on the sensor light reception light field data. .
［センサ受光強度特性］
次に、センサ受光強度特性について説明する。
[Sensor light-receiving intensity characteristics]
Next, sensor received light intensity characteristics will be described.
なお、上述したように、センサ受光強度特性は、撮像素子１２２に固有の特性であるため、センサ受光強度特性記憶手段であるＲＯＭ１２５ａ等に予め記憶されている。
As described above, the sensor light reception intensity characteristic is a characteristic inherent to the
図１５は、センサ受光強度特性を示す概略図である。図１５では、センサ受光強度特性を出射瞳面上に投影して示している。センサ受光強度特性は、上述したように、撮像素子１２２の受光面３０４における各々の画素２００に到達する各々の光束の強度を示すものであり、射出瞳面上における光束の強度の分布を示すものではない。ここでは、説明の便宜上、射出瞳面にセンサ受光強度特性を投影して示している。
FIG. 15 is a schematic diagram showing sensor light-receiving intensity characteristics. In FIG. 15, the sensor light-receiving intensity characteristic is projected onto the exit pupil plane. As described above, the sensor light-receiving intensity characteristic indicates the intensity of each light beam that reaches each
図１５（ａ）は、第１の瞳部分領域５０１を通過する光束についてのセンサ受光強度特性１５０１ａを２次元的に示したものであり、ケラレが生じない場合のものである。図１５（ｂ）は、第２の瞳部分領域５０２を通過する光束についてのセンサ受光強度特性１５０１ｂを２次元的に示したものであり、ケラレが生じない場合のものである。図１５（ｃ）は、センサ受光強度特性を１次元的に示したものであり、ケラレが生じない場合のものである。符号１５０２ａは、第１の瞳部分領域５０１を通過する光束についてのセンサ受光強度特性を示しており、符号１５０２ｂは、第２の瞳部分領域５０２を通過する光束についてのセンサ受光強度特性を示している。
FIG. 15A shows the sensor light-receiving intensity characteristic 1501a for the light beam passing through the first pupil
図１５（ｄ）は、第１の瞳部分領域５０１を通過する光束についてのセンサ受光強度特性１５０３ａを２次元的に示したものであり、ケラレが生じる場合のものである。図１５（ｅ）は、第２の瞳部分領域５０２を通過する光束についてのセンサ受光強度特性１５０３ｂを２次元的に示したものであり、ケラレが生じる場合のものである。図１５（ｆ）は、センサ受光強度特性を１次元的に示したものであり、ケラレが生じる場合のものである。
FIG. 15D shows the sensor light reception intensity characteristic 1503a for the light beam passing through the first pupil
図１５の（ａ）、（ｂ）、（ｄ）、（ｅ）のＸ軸及びＹ軸は、射出瞳面における座標を示している。図１５の（ａ）、（ｂ）、（ｄ）、（ｅ）では、ハッチングの粗さによって光の強度を表現している。ハッチングが細かいほど光の強度が高く、ハッチングが粗いほど光の強度が低い。図１５の（ｄ）、（ｅ）における符号１５０５は、ケラレ枠を示している。ケラレ枠は、レンズ枠や絞り枠によるケラレの境界であり、ビネッティング情報として保持されている。図１５の（ｃ）、（ｆ）のＸ軸は、射出瞳面の水平方向を示している。
15A, 15B, 15D, and 15E indicate the coordinates on the exit pupil plane. In (a), (b), (d), and (e) of FIG. 15, the intensity of light is expressed by the roughness of hatching. The finer the hatching, the higher the light intensity, and the rougher the hatching, the lower the light intensity.
ケラレが生じない場合には、１次元的に示したセンサ受光強度特性は、図１５（ｃ）の符号１５０２ａ、１５０２ｂのような分布となる。
When vignetting does not occur, the sensor light reception intensity characteristics shown one-dimensionally have distributions as indicated by
これに対し、ケラレが生じる場合には、１次元的に示したセンサ受光強度特性は、図１５（ｆ）の符号１５０４ａ、１５０４ｂのような分布となる。
On the other hand, when vignetting occurs, the sensor light reception intensity characteristics shown one-dimensionally have distributions as indicated by
このように、センサ受光強度特性は、ケラレ枠１５０５と瞳形状とに依存する。
Thus, the sensor light-receiving intensity characteristic depends on the
なお、ここでは、中央像高におけるセンサ受光強度特性を例に説明したが、周辺像高におけるセンサ受光強度特性も上記と同様である。但し、周辺像高においては、ケラレ枠１５０５の形状が円形ではない場合もある。
Although the sensor light reception intensity characteristic at the central image height has been described as an example here, the sensor light reception intensity characteristic at the peripheral image height is the same as described above. However, the
センサ受光強度特性は、上述したように、撮像素子１２２の受光面３０４における各々の画素２００に到達する各々の光束の強度を示すものである。しかし、レンズライトフィールドデータが射出瞳面上の座標において定義される場合には、センサ受光強度特性も射出瞳面上の座標において定義することが好ましい。レンズライトフィールドデータとセンサ受光強度特性とを同じ面上の座標で定義することにより、センサ受光ライトフィールドデータの算出が容易となるためである。ここでは、レンズライトフィールドデータを射出瞳面上において定義することとし、センサ受光強度特性についても射出瞳面上にセンサ受光強度特性を投影したときの座標で定義することとする。
As described above, the sensor light reception intensity characteristic indicates the intensity of each light beam reaching each
センサ受光強度特性は、撮像素子１２２の受光面３０４における各々の画素２００に到達する光束の強度の２次元的な分布を示すデータであり、射出瞳面上に投影したときのＸＹ座標に対応付けて保持される。
The sensor light-receiving intensity characteristic is data indicating a two-dimensional distribution of the intensity of the light beam reaching each
なお、レンズライトフィールドデータを射出瞳面とは異なる面上の座標で定義するようにしてもよい。この場合には、レンズライトフィールドデータが定義される面と同一の面上にセンサ受光強度特性を投影した際のＸＹ座標に対応付けて、センサ受光強度特性が保持される。 The lens light field data may be defined by coordinates on a plane different from the exit pupil plane. In this case, the sensor light reception intensity characteristic is held in association with the XY coordinates when the sensor light reception intensity characteristic is projected on the same surface as the surface on which the lens light field data is defined.
センサ受光強度特性の相違は、撮像素子１２２の型式（機種、種類）の相違によっても生ずる。図１６は、撮像素子の型式の相違によるセンサ受光強度特性の相違を示すグラフである。横軸Ｘは射出瞳面の水平方向を示しており、縦軸は受光強度を表している。
The difference in the sensor light-receiving intensity characteristic also occurs due to the difference in the type (model, type) of the
符号１６０１ａは、第１の撮像素子（図示せず）によって受光される場合のセンサ受光強度特性を１次元的に示したものである。符号１６０１ｂは、第２の瞳部分領域５０２を通過する光束が第１の撮像素子によって受光される場合のセンサ受光強度特性を１次元的に示したものである。
符号１６０２ａは、第１の瞳部分領域５０１を通過する光束が、第１の撮像素子とは異なる型式の第２の撮像素子（図示せず）によって受光される場合のセンサ受光強度特性を１次元的に示したものである。符号１６０１ｂは、第２の瞳部分領域５０２を通過する光束が、第２の撮像素子によって受光される場合のセンサ受光強度特性を１次元的に示したものである。
第１の撮像素子のセンサ受光強度特性１６０１ａは、第２の撮像素子のセンサ受光強度特性１６０２ａに対して、Ｘ座標値が負の領域において顕著に低くなっている。 The sensor light reception intensity characteristic 1601a of the first image sensor is significantly lower in the region where the X coordinate value is negative than the sensor light reception intensity characteristic 1602a of the second image sensor.
また、第１の撮像素子のセンサ受光強度特性１６０１ｂは、第２の撮像素子のセンサ受光強度特性１６０２に対して、Ｘ座標値が正の領域において顕著に低くなっている。 Also, the sensor light reception intensity characteristic 1601b of the first image sensor is significantly lower in the region where the X coordinate value is positive than the sensor light reception intensity characteristic 1602 of the second image sensor.
撮像素子の型式によってセンサ受光強度特性に相違が生じるのは、撮像素子１２２の受光面３０４の上方に配された多層配線構造等によるケラレが、撮像素子の型式によって異なるためである。
The reason why the sensor light-receiving intensity characteristic varies depending on the image sensor type is that vignetting due to the multilayer wiring structure or the like disposed above the
センサ受光強度特性の相違は、撮像素子１２２を撮像装置本体１２０に取り付ける際のずれ等によっても生ずる。即ち、撮像素子１２２を撮像装置本体１２０に取り付ける際には、入射瞳面に対して撮像素子１２２の受光面３０４が傾いてしまう場合がある。撮像素子１２２の受光面３０４から射出瞳面までの距離（瞳距離）は数十ｍｍであるため、撮像素子１２２の受光面３０４が射出瞳面に対して数度傾いた場合には、射出瞳面上では数ｍｍのレベルで光軸の位置ずれが生じてしまうこととなる。撮像素子１２２の画素ピッチは一般的には数μｍであるため、数ｍｍのレベルでの光軸の位置ずれは無視できない大きさである。
The difference in sensor light-receiving intensity characteristic also occurs due to a shift or the like when the
図１７は、撮像素子を取り付ける際のずれがセンサ受光強度特性に及ぼす影響を示す概略図である。図１７（ａ）は、撮像素子１２２が撮像装置本体１２０に正常に取付けられた場合を示している。図１７（ｂ）は、撮像素子１２２が撮像装置本体１２０に傾いて取り付けられた場合を示している。Ｘ軸は撮像素子１２２の水平方向を示しており、Ｚ軸は光軸方向を示している。
FIG. 17 is a schematic diagram showing the influence of the displacement when attaching the image sensor on the sensor light-receiving intensity characteristic. FIG. 17A shows a case where the
図１７（ａ）の上側の図及び図１７（ｂ）の上側の図は、センサ受光強度特性を射出瞳面上に投影したときの分布を示している。符号１７０１ａ、１７０３ａは、第１の瞳部分領域５０１を通過する光束についてのセンサ受光強度特性を１次元的に示すものである。また、符号１７０１ｂ、１７０３ｂは、第２の瞳部分領域５０２を通過する光束についてのセンサ受光強度特性を１次元的に示すものである。符号１７０２は、射出瞳面に対して平行に取り付けられた撮像素子１２２を示しており、符号１７０４は、射出瞳面に対して傾いて取り付けられた撮像素子１２２を示している。
The upper diagram in FIG. 17A and the upper diagram in FIG. 17B show distributions when the sensor light-receiving intensity characteristic is projected onto the exit pupil plane.
図１７（ｂ）のｄｘは、光軸のずれ量を示しており、撮像素子１２２の受光面３０４の射出瞳面に対する傾き角によって異なる。
Dx in FIG. 17B indicates the amount of deviation of the optical axis, and varies depending on the inclination angle of the
なお、ここでは、Ｘ方向のずれを例に説明したが、Ｙ方向のずれについても同様である。 Note that, here, the shift in the X direction has been described as an example, but the same applies to the shift in the Y direction.
このように、センサ受光強度特性は、撮像素子１２２の型式の相違や撮像素子１２２を撮像装置本体１２０に取り付ける際のずれによっても相違する。本実施形態では、このような相違を加味した情報を用いて点像強度分布を生成するため、良好な点像強度分布を生成することができる。このため、本実施形態によれば、後述するデフォーカス量補正において補正に用いられる補正値の算出を、高精度に行うことが可能となる。
As described above, the sensor light-receiving intensity characteristics are also different depending on the type of the
［レンズライトフィールドデータ］
次に、レンズライトフィールドデータについて詳細に説明する。
[Lens Light Field Data]
Next, lens light field data will be described in detail.
レンズライトフィールドデータは、被写***置の一点から発せられ、結像光学系の射出瞳の互いに異なる領域を通過する複数の光束の方向に関する情報と、光束上の点の位置に関する情報とを含むものである。レンズライトフィールドデータは、光束の方向に関する情報と光束上の点の位置に関する情報とに加え、光束の強度に関する情報を含んでいてもよい。 The lens light field data is generated from one point of the subject position and includes information on the directions of a plurality of light beams passing through different areas of the exit pupil of the imaging optical system and information on the positions of the points on the light beam. The lens light field data may include information on the intensity of the light beam in addition to information on the direction of the light beam and information on the position of the point on the light beam.
光束の強度はベクトルの長さ成分で表現し得るため、光束の方向と、光束上の点の位置と、光束の強度に関する情報を含むレンズライトフィールドデータは、光束の始点と終点に関する情報で表現することもできる。 Since the intensity of the light beam can be expressed by a vector length component, the lens light field data including information on the direction of the light beam, the position of the point on the light beam, and the intensity of the light beam is expressed by information on the start point and end point of the light beam. You can also
レンズライトフィールドデータは、例えば、光束上の点の位置を示す３次元情報と、光束の方向を示す２次元情報と、光束の強度を示す１次元情報とを合わせた、最大で６次元の情報により表現し得る。 The lens light field data includes, for example, a maximum of six-dimensional information that is a combination of three-dimensional information indicating the position of a point on the light beam, two-dimensional information indicating the direction of the light beam, and one-dimensional information indicating the intensity of the light beam. Can be expressed by
このように、レンズライトフィールドデータは、光線追跡図のように各レンズ面での屈折を示す情報によって光束の情報を表現するのではなく、光束の方向と光束上の点の位置とを示す情報に加工することによって光束の情報を表現する。レンズライトフィールドデータは、このような情報によって表現されているため、データ量が小さく、点像強度分布を生成する際に扱いやすい。 As described above, the lens light field data does not represent the information of the light flux by the information indicating the refraction at each lens surface as in the ray tracing diagram, but the information indicating the direction of the light flux and the position of the point on the light flux. The information of the luminous flux is expressed by processing it. Since the lens light field data is expressed by such information, the data amount is small, and it is easy to handle when generating the point image intensity distribution.
図１８は、レンズライトフィールドデータを２次元的に示す概略図である。図１８（ａ）は、中央像高におけるレンズライトフィールドデータを示しており、図１８（ｂ）は、８０％の周辺像高におけるレンズライトフィールドデータを示している。図１８（ｃ）は、１００％の周辺像高におけるレンズライトフィールドデータを示している。図１８の（ａ）〜（ｃ）のいずれもが、射出瞳面に関連付けられたレンズライトフィールドデータを示している。なお、レンズライトフィールドデータは、射出瞳面に関連付けることに限定されるものではなく、射出瞳面と異なる面に関連付けられていてもよい。 FIG. 18 is a schematic diagram showing lens light field data two-dimensionally. FIG. 18A shows the lens light field data at the central image height, and FIG. 18B shows the lens light field data at the peripheral image height of 80%. FIG. 18C shows lens light field data at a peripheral image height of 100%. 18A to 18C show lens light field data associated with the exit pupil plane. The lens light field data is not limited to being associated with the exit pupil plane, but may be associated with a plane different from the exit pupil plane.
図１８（ａ）に示すように、中央像高の場合には、絞り１１３１ａによるケラレのみによって、レンズライトフィールドデータの領域が定まる。
As shown in FIG. 18A, in the case of the center image height, the area of the lens light field data is determined only by the vignetting by the
一方、図１８（ｂ）に示すように、８０％の周辺像高では、絞り１１３１ａによってケラレが生ずるだけでなく、レンズ枠によってもケラレが生じる。このため、絞り１１３１ａとレンズ枠とが組み合わさったケラレ枠によって、レンズライトフィールドデータを規定し得る領域が定まる。８０％の周辺像高の場合においてレンズライトフィールドデータを規定し得る領域は、中央像高の場合においてレンズライトフィールドデータを規定し得る領域に比べて狭い。
On the other hand, as shown in FIG. 18B, at the peripheral image height of 80%, vignetting is caused not only by the
像高が高くなるに伴ってケラレる領域が増加する。このため、１００％の周辺像高の場合には、図１８（ｃ）に示すように、レンズライトフィールドデータを規定し得る領域がさらに狭くなる。 As the image height increases, the vignetting area increases. For this reason, when the peripheral image height is 100%, as shown in FIG. 18C, the region where the lens light field data can be defined is further narrowed.
また、絞り値によってケラレ枠は変化するため、レンズライトフィールドデータの領域も絞り値によって異なる。 Since the vignetting frame changes depending on the aperture value, the area of the lens light field data also differs depending on the aperture value.
このように、レンズライトフィールドデータを規定し得る領域は、絞り値や、像高によって異なるケラレ枠（ビネッティング情報）によって定まる。このため、レンズライトフィールドデータのうちから使用領域を決定する際には（図１３のステップＳ１３０５）、絞り値、像高等の焦点検出条件に応じて、レンズライトフィールドデータの使用領域を決定する。 As described above, the region where the lens light field data can be defined is determined by the vignetting frame (vignetting information) that varies depending on the aperture value and the image height. For this reason, when determining the use area from the lens light field data (step S1305 in FIG. 13), the use area of the lens light field data is determined according to the focus detection conditions such as the aperture value and the image height.
図１９は収差の有無と光束の集光との関係を示す概略図である。図１９（ａ）は、収差が存在しない場合における光束の集光の状態を示しており、図１９（ｂ）は、収差が存在する場合における集光の状態を示している。 FIG. 19 is a schematic diagram showing the relationship between the presence / absence of aberration and the collection of light flux. FIG. 19A shows the state of light beam condensing in the absence of aberration, and FIG. 19B shows the state of light condensing in the presence of aberration.
収差が存在しない場合には、図１９（ａ）に示すように、光束が一点で交わる。 When there is no aberration, the light beams intersect at a single point as shown in FIG.
一方、収差が存在する場合には、図１９（ｂ）に示すように、光束が一点で交わらない。実際の結像光学系１３３においては、収差が存在するため、光束は例えば図１９（ｂ）のように集光することとなる。
On the other hand, when aberration is present, the light beams do not intersect at one point as shown in FIG. In the actual imaging
レンズライトフィールドデータは、結像光学系１３３における収差の影響を加味して表現することが可能である。結像光学系１３３における収差は、結像光学系（レンズ）１３３の型式（機種）や、結像光学系１３３の製造ばらつき等によって異なる。収差の影響がレンズライトフィールドデータにおいて加味されているため、レンズの収差を加味して点像強度分布を生成することが可能である。
The lens light field data can be expressed in consideration of the influence of aberration in the imaging
図２０は、レンズライトフィールドデータの形成方法を示す概略図である。 FIG. 20 is a schematic diagram showing a method for forming lens light field data.
図２０（ａ）は、被写体２００１からの光束の光線追跡図を示している。図２０（ａ）に示す光線追跡図においては、被写体２００１からの各々の光線の各レンズ面における屈折の情報が含まれている。 FIG. 20A shows a ray tracing diagram of a light beam from the subject 2001. The ray tracing diagram shown in FIG. 20A includes information on refraction of each ray from the subject 2001 on each lens surface.
図２０（ｂ）は、レンズライトフィールドデータの一例を示している。図２０（ｂ）に示すように、後玉２００２から出射される光束の軌道を含む直線を、光束の進行方向と反対方向に延長し、当該延長線上において、始点の座標の情報、方向の情報及び強度の情報を規定することにより、レンズライトフィールドデータが得られる。レンズライトフィールドデータは、例えばベクトルの形式で保持される。図２０（ｂ）に示す符号２００３ａは、レンズライトフィールドデータを構成するベクトル群を示している。
FIG. 20B shows an example of lens light field data. As shown in FIG. 20B, a straight line including the trajectory of the light beam emitted from the
図２０（ｃ）は、始点座標を射出瞳面上に揃えた場合のレンズライトフィールドデータを示している。図２０（ｃ）では、レンズライトフィールドデータを構成するベクトル群２００３ｂの始点の座標が、射出瞳面上に設定されている。図２０（ｃ）のようにすれば、光束の方向に関する２次元の情報と、光束の強度に関する１次元の情報とから成る３次元の情報にまで、レンズライトフィールドデータのデータ量を減らすことができる。更に、光束の強度を加味しない場合には、光束の方向に関する２次元の情報にまで、レンズライトフィールドデータのデータ量を減らすことが可能である。
FIG. 20C shows lens light field data when the start point coordinates are aligned on the exit pupil plane. In FIG. 20C, the coordinates of the start point of the
なお、図２０（ｃ）においては、レンズライトフィールドデータを構成するベクトル群の始点の座標を射出瞳面上に揃えたが、射出瞳面上に限定されるものではなく、任意の面上にかかるベクトルの始点の座標を揃えることが可能である。 In FIG. 20 (c), the coordinates of the start points of the vector groups constituting the lens light field data are aligned on the exit pupil plane, but the present invention is not limited to the exit pupil plane, but on any plane. It is possible to align the coordinates of the starting points of such vectors.
本実施形態では、撮影レンズ１０５と撮像装置本体１２０との間で予め定義された位置情報が、レンズライトフィールドデータを構成するベクトル群２００３ｂの始点の位置の情報として用いられる。このため、撮影レンズ１０５と撮像装置本体１２０との組み合わせが変わっても、共通の処理で点像強度分布を生成することが可能となり、データの処理を容易化することができる。
In the present embodiment, position information defined in advance between the photographing
撮影レンズ１０５の型式（機種）の相違や製造ばらつき等に起因して、撮影レンズ１０５内を進行する光束の方向等に相違が生ずる。本実施形態では、使用される撮影レンズ１０５に固有のレンズライトフィールドデータを用いて点像強度分布を生成するため、かかる相違を加味して良好な点像強度分布を生成することができる。従って、本実施形態によれば、後述するデフォーカス量補正において用いられる補正値の算出を、高精度に行うことが可能となる。
Due to the difference in the type (model) of the
［デフォーカス量補正処理］
次に、デフォーカス量補正処理について説明する。図２１は、本実施形態による撮像装置におけるデフォーカス量補正処理を示すフローチャートである。図２１は、図６を用いて概略を説明したデフォーカス量補正処理（ステップＳ６０３）を詳細に説明するためのものである。
[Defocus amount correction processing]
Next, the defocus amount correction process will be described. FIG. 21 is a flowchart showing a defocus amount correction process in the imaging apparatus according to the present embodiment. FIG. 21 is a diagram for explaining in detail the defocus amount correction process (step S603), which has been outlined with reference to FIG.
図２１に示すデフォーカス量補正処理は、ＲＯＭ１２５ａ、レンズメモリ１１８、及び、カメラＭＰＵ１２５等が協業することにより実行される。ＲＯＭ１２５ａは、センサ受光強度特性記憶手段（センサ受光強度特性記憶部）として機能する。レンズメモリ１１８は、レンズライトフィールドデータ記憶手段（レンズライトフィールドデータ記憶部）として機能する。カメラＭＰＵ１２５は、点像強度分布を生成する点像強度分布生成手段（点像強度分布生成部）、及び、補正値を算出する補正値算出手段（補正値算出部）として機能する。
The defocus amount correction process shown in FIG. 21 is executed by the cooperation of the
まず、複数のデフォーカス位置における点像強度分布を取得する（ステップＳ２１０１）。具体的には、例えば、撮像素子１２２の位置（センサ位置）が第１の位置２４０４（図２４（ｆ）参照）に位置している場合における点像強度分布を取得する。また、撮像素子１２２の位置が第２の位置２４０５（図２４（ｆ）参照）に位置している場合における点像強度分布を取得する。また、撮像素子１２２の位置が第３の位置２４０６（図２４（ｆ）参照）に位置している場合における点像強度分布を取得する。
First, point image intensity distributions at a plurality of defocus positions are acquired (step S2101). Specifically, for example, the point image intensity distribution in the case where the position (sensor position) of the
各々のセンサ位置２４０４，２４０５，２４０６における点像強度分布を取得する際には、以下のような点像強度分布が取得される。即ち、第１の瞳部分領域５０１を通過し、第１の分割画素２０１に達する光束の点像強度分布が取得される。また、第２の瞳部分領域５０２を通過し、第２の分割画素２０２に達する光束の点像強度分布が取得される。また、第１の瞳部分領域５０１と第２の瞳部分領域５０２とを含む瞳領域５００を通過し、第１の分割画素２０１と第２の分割画素２０２とを含む撮像画素２００に達する光束の点像強度分布が取得される。
When acquiring point image intensity distributions at the
第１の瞳部分領域５０１を通過し、第１の分割画素２０１に達する光束の点像強度分布、及び、第２の瞳部分領域５０２を通過し、第２の分割画素２０２に達する光束の点像強度分布は、例えば、図２４の（ｈ）〜（ｊ）のようになる。図２４（ｈ）は、撮像素子１２２が第１の位置２４０４に位置している場合における点像強度分布を示している。図２４（ｉ）は、撮像素子１２２が第２の位置２４０５に位置している場合における点像強度分布を示している。図２４（ｊ）は、撮像素子１２２が第３の位置２４０６に位置している場合における点像強度分布を示している。Ｘ軸は撮像素子１２２の水平方向を示しており、縦軸は受光強度を表している。なお、図２４の（ｈ）〜（ｊ）は、撮像素子１２２の水平方向における点像強度分布を例として示している。
The point image intensity distribution of the light beam that passes through the first pupil
第１の瞳部分領域５０１と第２の瞳部分領域５０２とを含む瞳領域５００を通過し、第１の分割画素２０１と第２の分割画素２０２とを含む撮像画素２００に達する光束の点像強度分布は、例えば、図２２のようになる。
A point image of a light beam that passes through the
図２２は、点像強度分布を示す概略図である。図２２（ａ）は、撮像素子１２２が第１の位置２４０４に位置している場合における点像強度分布を示している。図２２（ｂ）は、撮像素子１２２が第２の位置２４０５に位置している場合における点像強度分布を示している。図２２（ｃ）は、撮像素子１２２が第３の位置２４０６に位置している場合における点像強度分布を示している。Ｘ軸は撮像素子１２２の水平方向を示しており、縦軸は受光強度を表している。なお、図２２は、撮像素子１２２の水平方向における点像強度分布を例として示している。
FIG. 22 is a schematic diagram showing a point image intensity distribution. FIG. 22A shows a point image intensity distribution when the
こうして、複数のデフォーカス位置における点像強度分布が取得される（ステップＳ２１０１）。 Thus, point image intensity distributions at a plurality of defocus positions are acquired (step S2101).
次に、最良像面位置を算出する（ステップＳ２１０２）。最良像面位置（第１の焦点位置）は、複数のデフォーカス位置における点像強度分布２２０１、２２０２、２２０３に基づいてコントラスト評価値を算出し、算出されたコントラスト評価値に基づいて決定される。
Next, the best image plane position is calculated (step S2102). The best image plane position (first focal position) is determined based on the contrast evaluation values calculated based on the point
図２３は、コントラスト評価値を示す概略図である。横軸は、Ｚ軸方向における撮像素子１２２の位置、即ち、センサ位置を示しており、縦軸は、コントラスト評価値を示している。図２３は、各々のセンサ位置２４０４、２４０５、２４０６における点像強度分布２２０１、２２０２、２２０３に基づいて算出されたコントラスト評価値をプロットしたものである。符号２３０１は、撮像素子１２２の水平方向における点像強度分布２２０１、２２０２、２２０３に基づくコントラスト評価値を示している。即ち、符号２３０１は、水平成分のコントラスト評価値を示している。符号２３０２は、撮像素子１２２の垂直方向における点像強度分布に基づくコントラスト評価値を示している。即ち、符号２３０２は、垂直成分のコントラスト評価値を示している。
FIG. 23 is a schematic diagram showing contrast evaluation values. The horizontal axis indicates the position of the
水平成分のコントラスト評価値２３０１がピーク値となるときのセンサ位置が、水平成分に基づく最良像面位置として算出される。また、垂直成分のコントラスト評価値２３０２がピーク値となるときのセンサ位置が、垂直成分に基づく最良像面位置として算出される。被写体に対する最良像面位置を高精度に算出すべく、被写体の縦横成分比率に応じて、最良像面位置が算出される。被写体の縦横成分比率は、撮像信号の垂直成分のコントラスト評価値のピーク値と、撮像信号の水平成分のコントラスト評価値のピーク値との比率により算出される。こうして算出された被写体の縦横成分比率に基づいて、水平成分に基づく最良像面位置と垂直成分に基づく最良像面位置とに重み付けが行われ、最良像面位置が算出される。
The sensor position at which the horizontal component
被写体に対する最良像面位置を高精度に算出すべく、コントラスト評価値を算出する際の周波数帯域は、撮像信号の周波数特性に応じて選択される。具体的には、高域通過フィルタを用いてフィルタ処理を行った場合の撮像信号のコントラスト評価値と、低域通過フィルタを用いてフィルタ処理を行った場合の撮像信号のコントラスト評価値とを比較する。高域通過フィルタを用いた場合の方が、低域通過フィルタを用いた場合よりコントラスト評価値が大きい場合には、被写体に多く含まれる周波数帯域は高域であると考えられる。この場合には、点像強度分布のコントラスト評価値を算出する際の周波数帯域として高域を選択する。一方、低域通過フィルタを用いた場合の方が、高域通過フィルタを用いた場合よりコントラスト評価値が大きい場合には、被写体に多く含まれる周波数帯域は低域であると考えられる。この場合には、点像強度分布のコントラスト評価値を算出する際の周波数帯域として低域を選択する。 In order to calculate the best image plane position with respect to the subject with high accuracy, the frequency band for calculating the contrast evaluation value is selected according to the frequency characteristics of the imaging signal. Specifically, the contrast evaluation value of the imaging signal when filtering is performed using a high-pass filter and the contrast evaluation value of the imaging signal when filtering is performed using a low-pass filter To do. When the high-pass filter is used and the contrast evaluation value is larger than when the low-pass filter is used, the frequency band included in the subject is considered to be a high band. In this case, the high frequency band is selected as the frequency band for calculating the contrast evaluation value of the point image intensity distribution. On the other hand, when the low-pass filter is used and the contrast evaluation value is larger than when the high-pass filter is used, the frequency band included in the subject is considered to be a low band. In this case, the low frequency band is selected as the frequency band for calculating the contrast evaluation value of the point image intensity distribution.
こうして、最良像面位置（第１の合焦位置）が算出される（ステップＳ２１０２）。 Thus, the best image plane position (first in-focus position) is calculated (step S2102).
次に、焦点検出デフォーカス位置（第２の合焦位置）を算出する（ステップＳ２１０３）。具体的には、図２４の（ｈ）〜（ｊ）に示すような点像強度分布２４２４ａ、２４２４ｂ、２４２５ａ、２４２５ｂ、２４２６ａ、２４２６ｂを用いて相関演算を行うことにより、焦点検出デフォーカス位置を算出する。
Next, a focus detection defocus position (second focus position) is calculated (step S2103). Specifically, by performing correlation calculation using point
なお、点像強度分布に被写体の信号をコンボリューションした信号を用いて、相関演算を行うことにより、焦点検出デフォーカス位置を算出してもよい。 Note that the focus detection defocus position may be calculated by performing a correlation calculation using a signal obtained by convolving the signal of the subject with the point image intensity distribution.
また、ここでは相関演算を行うことにより焦点検出デフォーカス位置を算出したが、相関演算を行うことに限定されるものではなく、コントラスト方式等、他の方式によって焦点検出デフォーカス位置を求めてもよい。 Further, here, the focus detection defocus position is calculated by performing the correlation calculation, but the present invention is not limited to performing the correlation calculation, and the focus detection defocus position may be obtained by other methods such as a contrast method. Good.
こうして、焦点検出デフォーカス位置（第２の合焦位置）が算出される（ステップＳ２１０３）。 Thus, the focus detection defocus position (second focus position) is calculated (step S2103).
次に、補正値を算出する（ステップＳ２１０４）。かかる補正値は、ステップＳ２１０２で算出した最良像面位置（第１の合焦位置）とステップＳ２１０３で算出した焦点検出デフォーカス位置（第２の合焦位置）との差分である。かかる補正値を用いて、後述するデフォーカスオフセットを補正することが可能である。なお、デフォーカスオフセットについては、後に詳述することとする。算出された補正値は、例えばＥＥＰＲＯＭ１２５ｃ又はレンズメモリ１１８に記録される。
Next, a correction value is calculated (step S2104). The correction value is a difference between the best image plane position (first in-focus position) calculated in step S2102 and the focus detection defocus position (second in-focus position) calculated in step S2103. It is possible to correct a defocus offset described later using such a correction value. The defocus offset will be described in detail later. The calculated correction value is recorded in, for example, the
次に、算出された補正値を用いてデフォーカス量を補正する（ステップＳ２１０５）。即ち、ステップＳ２１０４で算出した補正値を用いて、図７のステップＳ７０６で算出したデフォーカス量を補正する。 Next, the defocus amount is corrected using the calculated correction value (step S2105). That is, the defocus amount calculated in step S706 of FIG. 7 is corrected using the correction value calculated in step S2104.
こうして、デフォーカス量補正処理が完了する。 Thus, the defocus amount correction process is completed.
［デフォーカスオフセットの発生原理］
次に、デフォーカスオフセットの発生原理について説明する。図２４は、デフォーカスオフセットの発生原理を示す概略図である。
[Principle of defocus offset generation]
Next, the principle of defocus offset generation will be described. FIG. 24 is a schematic diagram illustrating the principle of defocus offset generation.
図２４の（ａ）〜（ｅ）は、レンズ収差が存在しない場合を示しており、図２４（ｆ）〜（ｊ）は、レンズ収差が存在する場合を示している。図２４の（ａ）、（ｆ）のＸ軸は射出瞳面の水平方向を示している。符号２４０１〜２４０６は、撮像素子１２２の位置を示している。符号２４０１、２４０４は後ピン位置に対応しており、符号２４０２、２４０５は最良像面位置に対応しており、符号２４０３、２４０６は前ピン位置に対応している。
24A to 24E show a case where there is no lens aberration, and FIGS. 24F to 24J show a case where lens aberration exists. 24A and 24F, the X-axis indicates the horizontal direction of the exit pupil plane.
図２４の（ｂ）、（ｇ）は、デフォーカスカーブを示している。横軸は、Ｚ軸方向、即ち、光軸方向を示しており、図２４の（ｂ）、（ｇ）の縦軸はデフォーカス量ｄｅｆを示している。 24B and 24G show defocus curves. The horizontal axis indicates the Z-axis direction, that is, the optical axis direction, and the vertical axes in FIGS. 24B and 24G indicate the defocus amount def.
図２４の（ｃ）〜（ｅ）、（ｈ）〜（ｊ）は、点像強度分布を示している。横軸は、Ｘ軸方向、即ち、撮像素子１２２の水平方向を示しており、縦軸は受光強度を示している。
(C) to (e) and (h) to (j) in FIG. 24 show point image intensity distributions. The horizontal axis indicates the X-axis direction, that is, the horizontal direction of the
図２４（ｃ）は、後ピン位置２４０１における点像強度分布２４２１ａ、２４２１ｂを示している。符号２４２１ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２１ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24C shows point
図２４（ｄ）は、最良像面位置２４０２における点像強度分布２４２２ａ、２４２２ｂを示している。符号２４２２ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２２ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24D shows point
図２４（ｅ）は、前ピン位置２４０３における点像強度分布２４２３ａ、２４２３ｂを示している。符号２４２３ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２３ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24E shows point
図２４（ｈ）は、後ピン位置２４０４における点像強度分布２４２４ａ、２４２４ｂを示している。符号２４２４ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２４ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24 (h) shows point
図２４（ｉ）は、最良像面位置２４０５における点像強度分布２４２５ａ、２４２５ｂを示している。符号２４２５ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２５ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24 (i) shows point
図２４（ｊ）は、前ピン位置２４０６における点像強度分布２４２６ａ、２４２６ｂを表している。符号２４２６ａは、第１の瞳部分領域５０１を通過する光束についての点像強度分布を示したものであり、符号２４２６ｂは、第２の瞳部分領域５０２を通過する光束についての点像強度分布を示したものである。
FIG. 24J shows point
レンズ収差が存在しない場合には、図２４（ｃ）と図２４（ｅ）とを比較して分かるように、後ピン位置２４０１における点像強度分布２４２１ａと前ピン位置２４０３における点像強度分布２４２３ａとが、縦軸に対して線対称となる。また、後ピン位置２４０１における点像強度分布２４２１ｂと前ピン位置２４０３における点像強度分布２４２３ｂとが、縦軸に対して線対称となる。また、図２４（ｄ）に示すように、最良像面位置２４０２における点像強度分布２４２２ａと最良像面位置における点像強度分布２４２２ｂとが一致する。図２４（ｂ）に示すように、真のデフォーカス位置と、点像強度分布２４２１ａ、２４２１ｂ、２４２２ａ、２４２２ｂ、２４２３ａ、２４２３ｂから算出した焦点検出デフォーカス位置との間にデフォーカスオフセットは生じない。
When there is no lens aberration, the point
レンズ収差が存在する場合には、図２４（ｈ）と図２４（ｊ）とを比較して分かるように、後ピン位置２４０４における点像強度分布２４２４ａと前ピン位置２４０６における点像強度分布２４２６ａとは、縦軸に対して線対称とならない。また、後ピン位置２４０４における点像強度分布２４２４ｂと前ピン位置２４０６における点像強度分布２４２６ｂとは、縦軸に対して線対称とならない。また、図２４（ｉ）から分かるように、最良像面位置２４０５における点像強度分布２４２５ａと最良像面位置２４０５における点像強度分布２４２５ｂとが一致しない。また、図２４（ｇ）に示すように、真のデフォーカス位置と、点像強度分布から算出した焦点検出デフォーカス位置との間にデフォーカスオフセットｄｚが生じる。
When lens aberration is present, the point
なお、本実施形態では、点像強度分布をデフォーカス量補正に用いる場合を例に説明したが、点像強度分布を画像処理等に利用することも可能である。 In this embodiment, the case where the point image intensity distribution is used for defocus amount correction has been described as an example. However, the point image intensity distribution can also be used for image processing or the like.
このように、本実施形態によれば、レンズライトフィールドデータとセンサ受光強度特性とに基づいて、光軸方向の複数のセンサ位置における点像強度分布を生成する。そして、撮影レンズ１０５の射出瞳の全領域である瞳領域５００を通過する光束についての点像強度分布に基づいて最良像面位置（第１の合焦位置）を算出する。また、第１の瞳部分領域５０１を通過する光束についての点像強度分布と、第２の瞳部分領域５０２を通過する光束についての点像強度分布とに基づいて、焦点検出デフォーカス位置（第２の合焦位置）を算出する。そして、第１の合焦位置と第２の合焦位置との差分に基づいて補正値を算出し、位相差方式の焦点検出によって求めたデフォーカス量をかかる補正値によって補正する。そして、かかる補正値によって補正したデフォーカス量に基づいて、撮影レンズ１０５を駆動することにより、焦点を合わせる。点像強度分布は、撮影レンズ１０５に固有のレンズライトフィールドデータと、撮像装置本体１２０に固有のセンサ受光強度特性とに基づいて得られるものである。このため、かかる点像強度分布に基づいて得られる補正値は、撮影レンズ１０５や撮像装置本体１２０の製造ばらつきを加味した補正値となる。従って、本実施形態によれば、オートフォーカスを高精度に行い得る撮像装置を提供することができる。また、取得された補正値を保持しておけば、かかる補正値を用いて迅速にデフォーカス量を補正することができ、高精度なオートフォーカスをより迅速に行うことが可能となる。
Thus, according to the present embodiment, point image intensity distributions at a plurality of sensor positions in the optical axis direction are generated based on the lens light field data and the sensor light reception intensity characteristics. Then, the best image plane position (first in-focus position) is calculated based on the point image intensity distribution for the light beam that passes through the
［第２実施形態］
次に、本発明の第２実施形態による撮像システムについて図面を用いて説明する。図２５は、本実施形態による撮像システムの構成を示す概略図である。図１乃至図２４に示す第１実施形態による撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
[Second Embodiment]
Next, an imaging system according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 25 is a schematic diagram illustrating the configuration of the imaging system according to the present embodiment. The same components as those of the imaging apparatus according to the first embodiment shown in FIGS. 1 to 24 are denoted by the same reference numerals, and description thereof is omitted or simplified.
本実施形態による撮像システムは、センサ受光強度特性とレンズライトフィールドデータとをネットワーク上に保持し、ネットワーク上の点像強度分布生成手段によって点像強度分布を生成するものである。 The imaging system according to the present embodiment holds sensor light reception intensity characteristics and lens light field data on a network, and generates a point image intensity distribution by a point image intensity distribution generation unit on the network.
図２５に示すように、光学特性情報記憶手段（光学特性情報記憶装置、光学特性情報記憶部）２５０１と点像強度分布生成手段（点像強度分布生成部）２５０２とを含む処理装置２５０３が、ネットワーク上に設けられている。光学特性情報記憶手段２５０１は、センサ受光強度特性記憶手段（センサ受光強度特性記憶部）２５０１ａとレンズライトフィールドデータ記憶手段（レンズライトフィールドデータ記憶部）２５０１ｂとを有している。センサ受光光学特性情報記憶手段２５０１と点像強度分布生成手段２５０２とは互いに接続されている。センサ受光強度特性記憶手段２５０１ａには、センサ受光強度特性が記憶されている。レンズライトフィールドデータ記憶手段２５０１ｂには、レンズライトフィールドデータが記憶されている。
As shown in FIG. 25, a
撮像装置１０は、通信によって、ネットワーク上の処理装置２５０３にアクセスし得る。
こうして、本実施形態による撮像システムが構成されている。
The
Thus, the imaging system according to the present embodiment is configured.
本実施形態によれば、情報量の大きいセンサ受光強度特性とレンズライトフィールドデータとがネットワーク上に保持されているため、撮像装置１０や撮影レンズ１０５に保持するデータ量を削減することが可能となる。
According to the present embodiment, the sensor light reception intensity characteristic and the lens light field data having a large amount of information are held on the network, so that it is possible to reduce the amount of data held in the
なお、本実施形態における撮像装置１０の構成、焦点検出処理、点像強度分布生成処理、及び、デフォーカス量補正処理は、上述した第１実施形態と同様であるため、ここでは説明を省略する。ただし、ネットワーク上の光学特性情報記憶手段２５０１及び点像強度分布生成手段２５０２に撮像装置１０がアクセスし得るように、撮像装置１０が通信機能（通信部）（図示せず）を有していることが好ましい。かかる通信機能（通信部）は、無線通信機能（無線通信部）であってもよいし、有線通信機能（有線通信部）であってもよい。
Note that the configuration of the
次に、本実施形態による撮像システムの動作について図２６を用いて説明する。図２６は、本実施形態による撮像システムの動作の概略を示すフローチャートである。 Next, the operation of the imaging system according to the present embodiment will be described with reference to FIG. FIG. 26 is a flowchart illustrating an outline of the operation of the imaging system according to the present embodiment.
まず、センサ情報及びレンズ情報の取得が行われる（ステップＳ２６０１）。具体的には、レンズユニット１００からレンズ情報（レンズＩＤ）が取得され、撮像装置本体１２０からセンサ情報（センサＩＤ）が取得される。レンズＩＤとは、撮影レンズ１０５に付与されているＩＤであり、センサＩＤとは、撮像装置本体１２０に内蔵されている撮像素子１２２に付与されているＩＤである。このようなセンサ情報及びレンズ情報が、撮像装置１０からネットワーク上の処理装置２５０３に伝送される。こうして、処理装置２５０３によって、センサ情報及びレンズ情報の取得が行われる。
First, sensor information and lens information are acquired (step S2601). Specifically, lens information (lens ID) is acquired from the
次に、処理装置２５０３において、センサ受光強度特性の取得が行われる（ステップＳ２６０２）。各々のセンサＩＤに対応するセンサ受光強度特性は、センサ受光強度特性記憶手段２５０１ａに予め記憶されている。ステップＳ２６０１において取得されたセンサ情報（センサＩＤ）に基づいて、当該撮像素子１２２に固有のセンサ受光強度特性が、センサ受光強度特性記憶手段２５０１ａから取得される。
Next, the sensor light-receiving intensity characteristic is acquired in the processing device 2503 (step S2602). The sensor light reception intensity characteristics corresponding to each sensor ID are stored in advance in the sensor light reception intensity characteristic storage means 2501a. Based on the sensor information (sensor ID) acquired in step S2601, the sensor light reception intensity characteristic unique to the
次に、処理装置２５０３において、レンズライトフィールドデータの取得が行われる（ステップＳ２６０３）。各々のレンズＩＤに対応するレンズライトフィールドデータは、レンズライトフィールドデータ記憶手段２５０１ｂに予め記憶されている。ステップＳ２６０１で取得したレンズ情報（レンズＩＤ）に基づいて、当該撮影レンズ１０５に固有のレンズライトフィールドデータが、レンズライトフィールドデータ記憶手段２５０１ｂから取得される。
Next, lens light field data is acquired in the processing device 2503 (step S2603). Lens light field data corresponding to each lens ID is stored in advance in the lens light field data storage means 2501b. Based on the lens information (lens ID) acquired in step S2601, lens light field data specific to the photographing
次に、処理装置２５０３において、点像強度分布生成処理が行われる（ステップＳ２６０４）。具体的には、ステップＳ２６０２で取得したセンサ受光強度特性と、ステップＳ２６０３で取得したレンズライトフィールドデータとに基づいて、点像強度分布生成手段２５０２によって点像強度分布が生成される。
Next, a point image intensity distribution generation process is performed in the processing device 2503 (step S2604). Specifically, a point image intensity distribution is generated by the point image intensity
次に、補正値の算出が行われる（ステップＳ２６０５）。具体的には、ステップＳ２６０４で生成した点像強度分布に基づいて補正値が算出される。補正値の算出については、第１実施形態における補正値の算出と同様であるため、説明を省略する。補正値の算出は、例えば撮像装置１０において行われる。なお、補正値の算出を、処理装置２５０３側において行うようにしてもよい。
Next, a correction value is calculated (step S2605). Specifically, the correction value is calculated based on the point image intensity distribution generated in step S2604. Since the calculation of the correction value is the same as the calculation of the correction value in the first embodiment, a description thereof is omitted. The calculation of the correction value is performed in, for example, the
次に、算出された補正値の記録が行われる（ステップＳ２６０６）。具体的には、ステップＳ２６０５で算出した補正値が、撮像装置１０のレンズメモリ１１８又はＥＥＰＲＯＭ１２５ｃに記録される。
Next, the calculated correction value is recorded (step S2606). Specifically, the correction value calculated in step S2605 is recorded in the
かかる補正値は、像高、絞り値、レンズのズーム状態、レンズのフォーカス状態等のパラメータをそれぞれ変化させた全組み合わせに対して算出を行って予め記録しておいてもよいし、必要に応じて、その都度通信を行って算出して記録するようにしてもよい。 Such correction values may be calculated and recorded in advance for all combinations in which parameters such as image height, aperture value, lens zoom state, lens focus state, etc. are changed, or as necessary. Then, communication may be performed and calculated and recorded each time.
また、本実施形態では、点像強度分布から補正値を算出して記録する場合を例に説明したが、点像強度分布を記録して画像処理等に利用してもよい。 In the present embodiment, the correction value is calculated from the point image intensity distribution and recorded, but the point image intensity distribution may be recorded and used for image processing or the like.
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although exemplary embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１０…撮像装置
１０５…撮影レンズ
１１９…レンズ駆動／制御系
１３１…撮像装置駆動／制御系
１３３…結像光学系
２００、２００ａ、２００ｂ…画素、撮像画素
２０１、２０２…分割画素
３０１ａ、３０１ｂ…第１の分割画素
３０２ａ、３０２ｂ…第２の分割画素
３０４…受光面
３０５…マイクロレンズ
４００…射出瞳
５００…瞳領域
５０１…第１の瞳部分領域
５０２…第２の瞳部分領域
２５０３…処理装置
DESCRIPTION OF
Claims (23)
前記点像強度分布は、点光源からの光が撮像素子の受光面に達した際の光強度分布を示し、かつレンズの収差のデータ及びセンサ受光強度特性に基づいて予め算出されており、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光されることを特徴とする情報処理装置。 A correction value for correcting the detected in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis is read from the storage device,
The point image intensity distribution indicates a light intensity distribution when the light from the point light source reaches the light receiving surface of the image sensor, and is calculated in advance based on lens aberration data and sensor light reception intensity characteristics,
The sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging element of a light beam passing through each area of the entrance pupil of the imaging element arranged on the imaging element, and each area of the entrance pupil of the imaging element The information processing apparatus is characterized in that light beams passing through the light are respectively received by the divided pixels of the image sensor.
前記結像光学系の射出瞳の全体の瞳部分領域を通過する光束についての前記点像強度分布に基づいて、第２の合焦位置を算出し、
前記第１の合焦位置と前記第２の合焦位置との差に基づいて、前記補正値を算出することを特徴とする請求項２記載の情報処理装置。 Based on the first point image intensity distribution that is the point image intensity distribution of the light beam passing through the first pupil partial region that is a part of the exit pupil of the imaging optical system, and the exit of the imaging optical system Based on a second point image intensity distribution that is the point image intensity distribution for a light beam that passes through a second pupil partial area that is different from the first pupil partial area that is another part of the pupil, Calculate the in-focus position of 1,
Based on the point image intensity distribution for the light beam passing through the entire pupil partial region of the exit pupil of the imaging optical system, a second focus position is calculated,
The information processing apparatus according to claim 2, wherein the correction value is calculated based on a difference between the first focus position and the second focus position.
撮像素子上に配された前記撮像素子の入射瞳の各領域を通過して、前記撮像素子の分割画素によってそれぞれ受光される複数の光束の前記撮像素子の受光面における受光強度を示すセンサ受光強度特性を蓄積する第２の記憶装置とを備え、
前記レンズの収差のデータ及び前記センサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出し、
光軸上の複数の位置の各々における点像強度分布に基づいて、検出された合焦位置を補正するための補正値を算出することを特徴とする情報処理システム。 A first storage device for storing lens aberration data;
Sensor received light intensity indicating the received light intensity at the light receiving surface of the image sensor of a plurality of light beams that pass through each region of the entrance pupil of the image sensor disposed on the image sensor and are respectively received by the divided pixels of the image sensor A second storage device for storing the characteristics,
Based on the aberration data of the lens and the sensor light-receiving intensity characteristic, a point image intensity distribution indicating a light intensity distribution when light from a point light source reaches the light-receiving surface of the image sensor is calculated,
An information processing system for calculating a correction value for correcting a detected in-focus position based on a point image intensity distribution at each of a plurality of positions on an optical axis.
光軸上の複数の位置の各々における点像強度分布に基づいて算出された、合焦位置を補正するための補正値を記憶装置から読み出し、
前記合焦位置を検出し、
前記補正値を用いて前記合焦位置を補正し、
前記点像強度分布は、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示し、かつレンズの収差のデータ及びセンサ受光強度特性に基づいて算出されており、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示すことを特徴とする撮像装置。 A plurality of pixels each including a divided pixel, each of the divided pixels includes an image sensor that respectively receives a light beam passing through a different region of the exit pupil of the imaging optical system;
A correction value for correcting the in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis is read from the storage device,
Detecting the in-focus position;
Correct the in-focus position using the correction value,
The point image intensity distribution indicates a light intensity distribution when light from a point light source reaches the light receiving surface of the imaging device, and is calculated based on lens aberration data and sensor light reception intensity characteristics,
The image sensor according to claim 1, wherein the sensor light-receiving intensity characteristic indicates a light-receiving intensity on a light-receiving surface of the imaging element of a light beam passing through each region of an entrance pupil of the imaging element arranged on the imaging element.
前記点像強度分布は、点光源からの光が撮像素子の受光面に達した際の光強度分布を示し、かつレンズの収差のデータ及びセンサ受光強度特性に基づいて予め算出されており、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光されることを特徴とする情報処理方法。 A correction value for correcting the detected in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis is read from the storage device,
The point image intensity distribution indicates a light intensity distribution when the light from the point light source reaches the light receiving surface of the image sensor, and is calculated in advance based on lens aberration data and sensor light reception intensity characteristics,
The sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging element of a light beam passing through each area of the entrance pupil of the imaging element arranged on the imaging element, and each area of the entrance pupil of the imaging element The information processing method characterized in that the light beams passing through the light are respectively received by the divided pixels of the image sensor.
撮像素子上に配された前記撮像素子の入射瞳の各領域を通過して、前記撮像素子の分割画素によってそれぞれ受光される複数の光束の前記撮像素子の受光面における受光強度を示すセンサ受光強度特性を第２の記憶装置に蓄積し、
前記レンズの収差のデータ及び前記センサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出し、
光軸上の複数の位置の各々における点像強度分布に基づいて、検出された合焦位置を補正するための補正値を算出することを特徴とする情報処理方法。 Accumulating lens aberration data in the first storage device,
Sensor received light intensity indicating the received light intensity at the light receiving surface of the image sensor of a plurality of light beams that pass through each region of the entrance pupil of the image sensor disposed on the image sensor and are respectively received by the divided pixels of the image sensor Storing the characteristics in a second storage device;
Based on the aberration data of the lens and the sensor light-receiving intensity characteristic, a point image intensity distribution indicating a light intensity distribution when light from a point light source reaches the light-receiving surface of the image sensor is calculated,
An information processing method, comprising: calculating a correction value for correcting a detected focus position based on a point image intensity distribution at each of a plurality of positions on an optical axis.
光軸上の複数の位置の各々における点像強度分布に基づいて算出された、検出された合焦位置を補正するための補正値を記憶装置から読み出し、
前記合焦位置を検出し、
前記補正値を用いて前記合焦位置を補正し、
前記点像強度分布は、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示し、かつレンズの収差のデータ及びセンサ受光強度特性に基づいて算出され、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示すことを特徴とする撮像方法。 In the imaging method using the imaging device, the imaging device includes a plurality of pixels each including a divided pixel, and each of the divided pixels receives a light beam passing through a different region of an entrance pupil of the imaging optical system.
A correction value for correcting the detected in-focus position calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis is read from the storage device,
Detecting the in-focus position;
Correct the in-focus position using the correction value,
The point image intensity distribution indicates a light intensity distribution when light from a point light source reaches the light receiving surface of the image sensor, and is calculated based on lens aberration data and sensor received light intensity characteristics,
2. The imaging method according to claim 1, wherein the sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging device of a light beam passing through each region of an entrance pupil of the imaging device arranged on the imaging device.
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光されることを特徴とする情報処理装置。 A point image intensity distribution indicating a light intensity distribution when the light from the point light source reaches the light receiving surface of the image sensor, and based on the aberration data of the lens and the sensor received light intensity characteristics,
The sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging element of a light beam passing through each area of the entrance pupil of the imaging element arranged on the imaging element, and each area of the entrance pupil of the imaging element The information processing apparatus is characterized in that light beams passing through the light are respectively received by the divided pixels of the image sensor.
光軸上の複数の位置の各々における点像強度分布に基づいて、補正値を算出し、
前記合焦位置を前記補正値を用いて補正することを特徴とする請求項１３記載の情報処理装置。 Detect the focus position,
Based on the point image intensity distribution at each of a plurality of positions on the optical axis, a correction value is calculated,
The information processing apparatus according to claim 13, wherein the focus position is corrected using the correction value.
前記結像光学系の射出瞳の全体の瞳部分領域を通過する光束についての点像強度分布に基づいて、第２の合焦位置を算出し、
前記第１の合焦位置と前記第２の合焦位置との差に基づいて補正値を算出することを特徴とする請求項１３記載の情報処理装置。 An exit pupil of the imaging optical system based on a first point image intensity distribution that is a point image intensity distribution of a light beam passing through a first pupil partial region that is a part of the exit pupil of the imaging optical system Based on a second point image intensity distribution that is a point image intensity distribution for a light beam that passes through a second pupil partial area that is different from the first pupil partial area that is another part of the first pupil partial area, Calculate the in-focus position,
Based on the point image intensity distribution for the light beam passing through the entire pupil partial region of the exit pupil of the imaging optical system, the second focus position is calculated,
The information processing apparatus according to claim 13, wherein a correction value is calculated based on a difference between the first focus position and the second focus position.
撮像素子上に配された前記撮像素子の入射瞳の各領域を通過して、前記撮像素子の分割画素によってそれぞれ受光される複数の光束の前記撮像素子の受光面における受光強度を示すセンサ受光強度特性を蓄積する第２の記憶装置とを備え、
前記レンズの収差のデータ及び前記センサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出することを特徴とする情報処理システム。 A first storage device for storing lens aberration data;
Sensor received light intensity indicating the received light intensity at the light receiving surface of the image sensor of a plurality of light beams that pass through each region of the entrance pupil of the image sensor disposed on the image sensor and are respectively received by the divided pixels of the image sensor A second storage device for storing the characteristics,
A point image intensity distribution indicating a light intensity distribution when light from a point light source reaches the light receiving surface of the image sensor is calculated based on the aberration data of the lens and the sensor light reception intensity characteristic. Information processing system.
レンズの収差のデータ及びセンサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出し、
合焦位置を検出し、
光軸上の複数の位置の各々における前記点像強度分布に基づいて補正値を算出し、
前記補正値を用いて前記合焦位置を補正し、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示すことを特徴とする撮像装置。 A plurality of pixels each including a divided pixel, each of the divided pixels includes an image sensor that respectively receives a light beam passing through a different region of the exit pupil of the imaging optical system;
Based on the lens aberration data and sensor light-receiving intensity characteristics, a point image intensity distribution indicating the light intensity distribution when the light from the point light source reaches the light-receiving surface of the image sensor is calculated,
Detect the focus position,
A correction value is calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis,
Correct the in-focus position using the correction value,
The image sensor according to claim 1, wherein the sensor light-receiving intensity characteristic indicates a light-receiving intensity on a light-receiving surface of the imaging element of a light beam passing through each region of an entrance pupil of the imaging element arranged on the imaging element.
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示し、前記撮像素子の入射瞳の各領域を通過する光束は、前記撮像素子の分割画素によってそれぞれ受光されることを特徴とする情報処理方法。 Shows the light intensity distribution when the light from the point light source reaches the light receiving surface of the image sensor, and reads the point image intensity distribution calculated in advance based on the lens aberration data and the sensor light receiving intensity characteristics,
The sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging element of a light beam passing through each area of the entrance pupil of the imaging element arranged on the imaging element, and each area of the entrance pupil of the imaging element The information processing method characterized in that the light beams passing through the light are respectively received by the divided pixels of the image sensor.
撮像素子上に配された前記撮像素子の入射瞳の各領域を通過して、前記撮像素子の分割画素によってそれぞれ受光される複数の光束の前記撮像素子の受光面における受光強度を示すセンサ受光強度特性を第２の記憶装置に蓄積し、
前記レンズの収差のデータ及び前記センサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出することを特徴とする情報処理方法。 Accumulating lens aberration data in the first storage device,
Sensor received light intensity indicating the received light intensity at the light receiving surface of the image sensor of a plurality of light beams that pass through each region of the entrance pupil of the image sensor disposed on the image sensor and are respectively received by the divided pixels of the image sensor Storing the characteristics in a second storage device;
A point image intensity distribution indicating a light intensity distribution when light from a point light source reaches the light receiving surface of the image sensor is calculated based on the aberration data of the lens and the sensor light reception intensity characteristic. Information processing method.
レンズの収差のデータ及びセンサ受光強度特性に基づいて、点光源からの光が前記撮像素子の受光面に達した際の光強度分布を示す点像強度分布を算出し、
合焦位置を検出し、
光軸上の複数の位置の各々における前記点像強度分布に基づいて補正値を算出し、
前記補正値を用いて前記合焦位置を補正し、
前記センサ受光強度特性は、前記撮像素子上に配された前記撮像素子の入射瞳の各領域を通過する光束の前記撮像素子の受光面における受光強度を示すことを特徴とする撮像方法。 A plurality of pixels each including a divided pixel, each of the divided pixels using an image sensor that respectively receives a light beam passing through a different region of the exit pupil of the imaging optical system;
Based on the lens aberration data and sensor light-receiving intensity characteristics, a point image intensity distribution indicating the light intensity distribution when the light from the point light source reaches the light-receiving surface of the image sensor is calculated,
Detect the focus position,
A correction value is calculated based on the point image intensity distribution at each of a plurality of positions on the optical axis,
Correct the in-focus position using the correction value,
2. The imaging method according to claim 1, wherein the sensor light-receiving intensity characteristic indicates a light-receiving intensity at a light-receiving surface of the imaging device of a light beam passing through each region of an entrance pupil of the imaging device arranged on the imaging device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140372A JP2018200480A (en) | 2018-07-26 | 2018-07-26 | Imaging device and imaging system |
| JP2020084557A JP6938719B2 (en) | 2018-07-26 | 2020-05-13 | Imaging device and imaging system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018140372A JP2018200480A (en) | 2018-07-26 | 2018-07-26 | Imaging device and imaging system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014266496A Division JP6376974B2 (en) | 2014-12-26 | 2014-12-26 | Imaging apparatus and imaging system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020084557A Division JP6938719B2 (en) | 2018-07-26 | 2020-05-13 | Imaging device and imaging system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018200480A true JP2018200480A (en) | 2018-12-20 |
Family
ID=64668105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018140372A Pending JP2018200480A (en) | 2018-07-26 | 2018-07-26 | Imaging device and imaging system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018200480A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11218674A (en) * | 1998-02-02 | 1999-08-10 | Canon Inc | Objective lens, image pickup device, and photographing system provided with them |
| JP2000199845A (en) * | 1999-01-05 | 2000-07-18 | Ricoh Co Ltd | Device and method for automatic focusing |
| JP2010283527A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Image processor and method of the same |
| JP2013171251A (en) * | 2012-02-22 | 2013-09-02 | Nikon Corp | Focus detection device |
| JP2013236207A (en) * | 2012-05-08 | 2013-11-21 | Nikon Corp | Imaging apparatus, imaging method, and program |
| JP2014194502A (en) * | 2013-03-29 | 2014-10-09 | Canon Inc | Imaging apparatus and imaging system |
-
2018
- 2018-07-26 JP JP2018140372A patent/JP2018200480A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11218674A (en) * | 1998-02-02 | 1999-08-10 | Canon Inc | Objective lens, image pickup device, and photographing system provided with them |
| JP2000199845A (en) * | 1999-01-05 | 2000-07-18 | Ricoh Co Ltd | Device and method for automatic focusing |
| JP2010283527A (en) * | 2009-06-03 | 2010-12-16 | Canon Inc | Image processor and method of the same |
| JP2013171251A (en) * | 2012-02-22 | 2013-09-02 | Nikon Corp | Focus detection device |
| JP2013236207A (en) * | 2012-05-08 | 2013-11-21 | Nikon Corp | Imaging apparatus, imaging method, and program |
| JP2014194502A (en) * | 2013-03-29 | 2014-10-09 | Canon Inc | Imaging apparatus and imaging system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6376974B2 (en) | Imaging apparatus and imaging system | |
| JP5675157B2 (en) | Focus detection device | |
| JP6174940B2 (en) | Imaging device and imaging apparatus | |
| JP6239857B2 (en) | Imaging apparatus and control method thereof | |
| US20140071322A1 (en) | Image pickup apparatus with image pickup device and control method for image pickup apparatus | |
| JP6746359B2 (en) | Image processing device, imaging device, image processing method, program, and storage medium | |
| JP7264192B2 (en) | Imaging element and imaging device | |
| JP2019215578A (en) | Image sensor and image capturing device | |
| CN107026992A (en) | Imaging sensor and picture pick-up device | |
| JP2017158018A (en) | Image processing apparatus, control method of the same, and imaging apparatus | |
| JP6702669B2 (en) | Imaging device and control method thereof | |
| JP6671130B2 (en) | Imaging device, imaging device, focus detection device, image processing device, and control method therefor | |
| JP6285683B2 (en) | Imaging apparatus and control method thereof | |
| JP2017192028A (en) | Imaging apparatus and control method of the same, program, and memory medium | |
| JP6639326B2 (en) | Control device, imaging device, control method, program, and storage medium | |
| JP6845912B2 (en) | Imaging device and its control method | |
| JP6938719B2 (en) | Imaging device and imaging system | |
| JP7022575B2 (en) | Focus detectors and methods, and imaging devices | |
| JP2018151508A (en) | Imaging device | |
| JP2018200480A (en) | Imaging device and imaging system | |
| JP6701023B2 (en) | Imaging device, image processing method, image processing system, and image processing program | |
| JP2015121778A (en) | Imaging device, imaging system, imaging device control method, program, and storage medium | |
| CN113596431B (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP6671868B2 (en) | Control device, imaging device, control method, program, and storage medium | |
| JP2019114912A (en) | Image processing device and image processing method, and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180726 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200213 |