JP2017054052A - Control device, imaging device, control method, program, and storage medium - Google Patents

Control device, imaging device, control method, program, and storage medium Download PDF

Info

Publication number
JP2017054052A
JP2017054052A JP2015179136A JP2015179136A JP2017054052A JP 2017054052 A JP2017054052 A JP 2017054052A JP 2015179136 A JP2015179136 A JP 2015179136A JP 2015179136 A JP2015179136 A JP 2015179136A JP 2017054052 A JP2017054052 A JP 2017054052A
Authority
JP
Japan
Prior art keywords
correction data
optical correction
pupil
focus detection
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015179136A
Other languages
Japanese (ja)
Other versions
JP6525829B2 (en
Inventor
勇希 吉村
Yuki Yoshimura
勇希 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015179136A priority Critical patent/JP6525829B2/en
Publication of JP2017054052A publication Critical patent/JP2017054052A/en
Application granted granted Critical
Publication of JP6525829B2 publication Critical patent/JP6525829B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a control device that can perform accurate focus detection.SOLUTION: A control device (121) comprises: acquisition means (121a) that acquires first optical correction data on a pair of first image signals corresponding to first light beams that have passed through first pupil areas created by division of a pupil in a first direction, and second optical correction data on a pair of second image signals corresponding to second light beams that have passed through second pupil areas created by division of the pupil in a second direction different from the first direction; and focus detection means (121b) that performs focus detection on the basis of the pair of first image signals, first optical correction data, the pair of second image signals, and second optical correction data.SELECTED DRAWING: Figure 1

Description

本発明は、焦点検出が可能な撮像装置に関する。   The present invention relates to an imaging apparatus capable of focus detection.

従来から、撮像光学系の異なる射出瞳領域を通過した光束を受光する画素群から得られた一対の像信号を用いて焦点検出を行う撮像装置が知られている。このような撮像装置においては、画素群へ向かう光束の一部が撮像光学系により遮られる、いわゆるケラレが発生する場合がある。この場合、一対の像信号のうち少なくとも一方に、光量の低下による像信号の強度むら（画素ごとの受光感度のむらであり、以下、「シェーディングという。）が生じる。このようなケラレによるシェーディングは、一対の像信号の一致度を低下させるため、焦点検出を高精度に行うことが難しくなる。   2. Description of the Related Art Conventionally, an imaging apparatus that performs focus detection using a pair of image signals obtained from a pixel group that receives a light beam that has passed through different exit pupil regions of an imaging optical system is known. In such an imaging apparatus, there is a case where so-called vignetting occurs in which a part of the light beam traveling toward the pixel group is blocked by the imaging optical system. In this case, at least one of the pair of image signals has unevenness in the intensity of the image signal due to a decrease in the amount of light (hereinafter referred to as unevenness in light receiving sensitivity for each pixel, hereinafter referred to as “shading”). Since the degree of coincidence between the pair of image signals is reduced, it is difficult to perform focus detection with high accuracy.

特許文献１には、撮像光学系の異なる射出瞳領域を通過した光束を受光する画素群から得られた一対の像信号に対してシェーディング補正を行う撮像装置が開示されている。   Patent Document 1 discloses an imaging apparatus that performs shading correction on a pair of image signals obtained from a pixel group that receives light beams that have passed through different exit pupil regions of an imaging optical system.

特開２０１４-６３８８号公報JP 2014-6388 A

しかしながら、高精度な焦点検出を行うには、撮像素子ごとの個体ばらつき（二次元方向のばらつき）を加味してシェーディング補正および変換係数などの光学補正値を算出する必要がある。   However, in order to perform high-precision focus detection, it is necessary to calculate optical correction values such as shading correction and conversion coefficients in consideration of individual variations (variations in the two-dimensional direction) for each image sensor.

そこで本発明は、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。   Therefore, the present invention provides a control device, an imaging device, a control method, a program, and a storage medium capable of highly accurate focus detection.

本発明の一側面としての制御装置は、第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データと、該第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データとを取得する取得手段と、前記対の第１像信号および前記第１光学補正データと、前記対の第２像信号および前記第２光学補正データと、に基づいて焦点検出を行う焦点検出手段とを有する。   A control device according to one aspect of the present invention includes first optical correction data relating to a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that has been pupil-divided in a first direction, and the first direction. Acquisition means for acquiring second optical correction data relating to a pair of second image signals corresponding to a second light flux that has passed through a second pupil region that has been pupil-divided in a second direction different from, and the first image of the pair Focus detection means for performing focus detection based on the signal and the first optical correction data, and the second image signal of the pair and the second optical correction data.

本発明の他の側面としての撮像装置は、第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号と、該第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号とを出力する撮像手段と、前記対の第１像信号に関する第１光学補正データと、前記対の第２像信号に関する第２光学補正データとを取得する取得手段と、前記対の第１像信号および前記第１光学補正データと前記対の第２像信号および前記第２光学補正データとに基づいて焦点検出を行う焦点検出手段とを有する。   An imaging apparatus according to another aspect of the present invention includes a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that is divided in the first direction, and a second image signal that is different from the first direction. Imaging means for outputting a pair of second image signals corresponding to a second light flux that has passed through a second pupil region that is pupil-divided in a direction, first optical correction data relating to the pair of first image signals, and the pair Acquisition means for acquiring second optical correction data relating to the second image signal, the first image signal of the pair and the first optical correction data, the second image signal of the pair and the second optical correction data. And focus detection means for performing focus detection based on the detection result.

本発明の他の側面としての制御方法は、第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データを取得するステップと、前記第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データを取得するステップと、前記対の第１像信号および前記第１光学補正データと前記対の第２像信号および前記第２光学補正データとに基づいて焦点検出を行うステップとを有する。   According to another aspect of the present invention, there is provided a control method for obtaining first optical correction data relating to a pair of first image signals corresponding to a first light beam that has passed through a first pupil region that is divided in a first direction. Obtaining second optical correction data relating to a pair of second image signals corresponding to a second light flux that has passed through a second pupil region that has been pupil-divided in a second direction different from the first direction; and And performing focus detection based on the first image signal and the first optical correction data, the second image signal of the pair, and the second optical correction data.

本発明の他の側面としてのプログラムは、第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データを取得するステップと、前記第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データを取得するステップと、前記対の第１像信号および前記第１光学補正データと前記対の第２像信号および前記第２光学補正データとに基づいて焦点検出を行うステップと、をコンピュータに実行させる。   According to another aspect of the present invention, there is provided a program for obtaining first optical correction data relating to a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that has been pupil-divided in a first direction; Obtaining second optical correction data relating to a second image signal of a pair corresponding to a second light flux that has passed through a second pupil region that has been pupil-divided in a second direction different from the first direction; And causing the computer to execute focus detection based on one image signal and the first optical correction data and the pair of second image signal and the second optical correction data.

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。   A storage medium according to another aspect of the present invention stores the program.

本発明の他の目的及び特徴は、以下の実施形態において説明される。   Other objects and features of the invention are described in the following embodiments.

本発明によれば、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。   According to the present invention, it is possible to provide a control device, an imaging device, a control method, a program, and a storage medium capable of highly accurate focus detection.

本実施形態における撮像装置のブロック図である。It is a block diagram of the imaging device in this embodiment. 本実施形態における撮像素子の画素配列を示す図である。It is a figure which shows the pixel arrangement | sequence of the image pick-up element in this embodiment. 本実施形態における撮像素子の画素構造を示す図である。It is a figure which shows the pixel structure of the image pick-up element in this embodiment. 本実施形態における撮像素子および瞳分割機能の説明図である。It is explanatory drawing of the image pick-up element and pupil division function in this embodiment. 本実施形態における撮像素子および瞳分割機能の説明図である。It is explanatory drawing of the image pick-up element and pupil division function in this embodiment. 本実施形態におけるデフォーカス量と像ずれ量と関係図である。FIG. 6 is a relationship diagram between a defocus amount and an image shift amount in the present embodiment. 本実施形態における焦点検出処理を示すフローチャートである。It is a flowchart which shows the focus detection process in this embodiment. 本実施形態における第１焦点検出信号および第２焦点検出信号の瞳ずれによるシェーディングの説明図である。It is explanatory drawing of the shading by the pupil shift | offset | difference of the 1st focus detection signal and 2nd focus detection signal in this embodiment. 本実施形態におけるフィルタ周波数帯域の説明図である。It is explanatory drawing of the filter frequency band in this embodiment. 本実施形態において、分割領域（像高）ごとの光学補正値の説明図である。In this embodiment, it is explanatory drawing of the optical correction value for every division area (image height). 本実施形態における瞳強度分布の瞳ずれの説明図である。It is explanatory drawing of the pupil shift | offset | difference of the pupil intensity distribution in this embodiment. 本実施形態におけるシェーディング補正処理を示すフローチャートである。It is a flowchart which shows the shading correction process in this embodiment.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

まず、図１を参照して、本実施形態における撮像装置の概略構成について説明する。図１は、本実施形態における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮像光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。   First, with reference to FIG. 1, a schematic configuration of the imaging apparatus according to the present embodiment will be described. FIG. 1 is a block diagram of an imaging apparatus 100 (camera) in the present embodiment. The imaging apparatus 100 is a digital camera system that includes a camera body and an interchangeable lens (imaging optical system or imaging optical system) that can be attached to and detached from the camera body. However, the present embodiment is not limited to this, and can also be applied to an imaging apparatus in which a camera body and a lens are integrally configured.

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。   The first lens group 101 is disposed in the forefront (subject side) of the plurality of lens groups constituting the photographing lens (imaging optical system), and can advance and retreat in the direction of the optical axis OA (optical axis direction). The lens barrel is held in a state. The aperture / shutter 102 (aperture) adjusts the aperture to adjust the amount of light during shooting, and also functions as an exposure time adjustment shutter during still image shooting. The second lens group 103 has a zoom function of moving forward and backward in the optical axis direction integrally with the diaphragm / shutter 102 and performing a zooming operation in conjunction with the forward / backward movement of the first lens group 101. The third lens group 105 is a focus lens group that performs focus adjustment (focus operation) by moving back and forth in the optical axis direction. The optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image.

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。撮像素子１０７は、結像光学系の結像面に配置される。   The image sensor 107 performs photoelectric conversion of a subject image (optical image) via an imaging optical system, and includes, for example, a CMOS sensor or a CCD sensor and its peripheral circuits. As the image sensor 107, for example, a two-dimensional single-plate color sensor in which a Bayer array primary color mosaic filter is formed on-chip on a light receiving pixel having m pixels in the horizontal direction and n pixels in the vertical direction is used. It is done. The image sensor 107 is disposed on the imaging plane of the imaging optical system.

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１および第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。   The zoom actuator 111 performs a zooming operation by moving the first lens group 101 and the second lens group 103 along the optical axis direction by rotating (driving) a cam cylinder (not shown). The aperture shutter actuator 112 controls the aperture diameter of the aperture / shutter 102 to adjust the amount of light (photographing light amount), and also controls the exposure time during still image shooting. The focus actuator 114 adjusts the focus by moving the third lens group 105 in the optical axis direction.

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。   The electronic flash 115 is an illumination device used to illuminate a subject. As the electronic flash 115, a flash illumination device including a xenon tube or an illumination device including an LED (light emitting diode) that continuously emits light is used. The AF auxiliary light unit 116 projects an image of a mask having a predetermined opening pattern onto a subject via a light projection lens. As a result, the focus detection capability for a dark subject or a low-contrast subject can be improved.

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。   The CPU 121 is a control device (control means) that performs various controls of the imaging device 100. The CPU 121 includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like. The CPU 121 reads and executes a predetermined program stored in the ROM, thereby driving various circuits of the imaging apparatus 100 and controlling a series of operations such as focus detection (AF), shooting, image processing, or recording. To do.

ＣＰＵ１２１は、取得手段１２１ａ、焦点検出手段１２１ｂ、および、記憶手段１２１ｃを有する。取得手段１２１ａは、瞳分割された瞳領域を通過した光束に対応する対の像信号に関する光学補正データ（第１光学補正データおよび第２光学補正データ）を取得する。第１光学補正データは、第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する光学補正データである。第２光学補正データは、第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する光学補正データである。光学補正データは、例えばシェーディング補正の際に用いられるシェーディング補正値または像ずれ量からデフォーカス量への変換の際に用いられる変換係数であるが、これらに限定されるものではない。   The CPU 121 includes an acquisition unit 121a, a focus detection unit 121b, and a storage unit 121c. The acquisition unit 121a acquires optical correction data (first optical correction data and second optical correction data) related to a pair of image signals corresponding to the light beam that has passed through the pupil-divided pupil region. The first optical correction data is optical correction data related to a pair of first image signals corresponding to the first light flux that has passed through the first pupil region that is divided in the first direction. The second optical correction data is optical correction data relating to a pair of second image signals corresponding to the second light flux that has passed through the second pupil region divided in the second direction different from the first direction. The optical correction data is, for example, a shading correction value used at the time of shading correction or a conversion coefficient used at the time of conversion from an image shift amount to a defocus amount, but is not limited thereto.

焦点検出手段１２１ｂは、対の第１像信号および第１光学補正データと、対の第２像信号および第２光学補正データと、に基づいて位相差検出方式による焦点検出を行う。また焦点検出手段１２１ｂは、焦点検出結果（デフォーカス量）に基づいてフォーカス制御を行う。記憶手段１２１ｃは、光学補正データ（第１光学補正データ）に関する情報を記憶する。ただし記憶手段１２１ｂはＣＰＵ１２１の内部メモリに限定されるものではなく、ＣＰＵ１２１の外部に設けられたメモリであってもよい。   The focus detection unit 121b performs focus detection by the phase difference detection method based on the pair of first image signals and the first optical correction data and the pair of second image signals and the second optical correction data. The focus detection unit 121b performs focus control based on the focus detection result (defocus amount). The storage unit 121c stores information regarding optical correction data (first optical correction data). However, the storage unit 121b is not limited to the internal memory of the CPU 121, and may be a memory provided outside the CPU 121.

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。   The electronic flash control circuit 122 controls lighting of the electronic flash 115 in synchronization with the photographing operation. The auxiliary light driving circuit 123 performs lighting control of the AF auxiliary light unit 116 in synchronization with the focus detection operation. The image sensor driving circuit 124 controls the image capturing operation of the image sensor 107, A / D converts the acquired image signal, and transmits it to the CPU 121. The image processing circuit 125 performs processing such as γ (gamma) conversion, color interpolation, or JPEG (Joint Photographic Experts Group) compression of the image data output from the image sensor 107.

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。   The focus drive circuit 126 performs focus adjustment by driving the focus actuator 114 based on the focus detection result and moving the third lens group 105 along the optical axis direction. The aperture shutter drive circuit 128 drives the aperture shutter actuator 112 to control the aperture diameter of the aperture / shutter 102. The zoom drive circuit 129 drives the zoom actuator 111 according to the zoom operation of the photographer.

表示器１３１は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。   The display 131 includes, for example, an LCD (Liquid Crystal Display). The display 131 displays information related to the shooting mode of the imaging apparatus 100, a preview image before shooting, a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. The operation unit 132 (operation switch group) includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. The release switch has a two-stage switch in a half-pressed state (a state where SW1 is ON) and a full-pressed state (a state where SW2 is ON). The recording medium 133 is, for example, a flash memory that can be attached to and detached from the imaging apparatus 100, and records captured images (image data).

次に、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。   Next, with reference to FIG. 2 and FIG. 3, the pixel arrangement and the pixel structure of the image sensor 107 in this embodiment will be described. FIG. 2 is a diagram illustrating a pixel array of the image sensor 107. 3A and 3B are diagrams illustrating the pixel structure of the image sensor 107. FIG. 3A is a plan view of the pixel 200G of the image sensor 107 (viewed from the + z direction), and FIG. ) Is a sectional view taken along line aa (viewed from the -y direction).

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、４つの副画素２０１、２０２、２０３、２０４（４つの焦点検出画素）により構成さている。このため、図２には、副画素の配列が、８列×８行の範囲で示されている。   FIG. 2 shows a pixel array (photographing pixel array) of the image sensor 107 (two-dimensional CMOS sensor) in a range of 4 columns × 4 rows. In the present embodiment, each imaging pixel (pixels 200R, 200G, and 200B) includes four subpixels 201, 202, 203, and 204 (four focus detection pixels). For this reason, in FIG. 2, the arrangement of subpixels is shown in a range of 8 columns × 8 rows.

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×２行に配列された副画素２０１（第１焦点検出画素）、副画素２０２（第２焦点検出画素）、副画素２０３（第３焦点検出画素）、および、副画素２０４（第４焦点検出画素）により構成されている。副画素２０１は、結像光学系の第１瞳部分領域を通過した光束を受光する画素である。副画素２０２は、結像光学系の第２瞳部分領域を通過した光束を受光する画素である。副画素２０３は、結像光学系の第３瞳部分領域を通過した光束を受光する画素である。副画素２０４は、結像光学系の第４瞳部分領域を通過した光束を受光する画素である。複数の副画素２０１は第１画素群、複数の副画素２０２は第２画素群、複数の副画素２０３は第３画素群、および、複数の副画素２０４は第４画素群をそれぞれ構成する。   As shown in FIG. 2, a pixel group 200 of 2 columns × 2 rows has pixels 200R, 200G, and 200B arranged in a Bayer array. That is, in the pixel group 200, a pixel 200R having a spectral sensitivity of R (red) is at the upper left, a pixel 200G having a spectral sensitivity of G (green) is at the upper right and a lower left, and a pixel 200B having a spectral sensitivity of B (blue). Are located at the bottom right. Each of the pixels 200R, 200G, and 200B (each imaging pixel) includes a sub pixel 201 (first focus detection pixel), a sub pixel 202 (second focus detection pixel), and a sub pixel 203 (first pixel) arranged in 2 columns × 2 rows. 3 focus detection pixels) and sub-pixels 204 (fourth focus detection pixels). The sub-pixel 201 is a pixel that receives the light beam that has passed through the first pupil partial region of the imaging optical system. The sub-pixel 202 is a pixel that receives the light beam that has passed through the second pupil partial region of the imaging optical system. The sub-pixel 203 is a pixel that receives the light beam that has passed through the third pupil partial region of the imaging optical system. The sub-pixel 204 is a pixel that receives the light beam that has passed through the fourth pupil partial region of the imaging optical system. The plurality of subpixels 201 constitute a first pixel group, the plurality of subpixels 202 constitute a second pixel group, the plurality of subpixels 203 constitute a third pixel group, and the plurality of subpixels 204 constitute a fourth pixel group.

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×８行の副画素）を面上に多数配置して構成されており、撮像信号（副画素信号または焦点検出信号）を出力する。本実施形態の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、副画素の周期ＰＳＵＢが２μｍ、副画素の数ＮＳＵＢが横１１１５０列×縦７４５０行＝約８３００万画素である。 As shown in FIG. 2, the image sensor 107 is configured by arranging a large number of 4 columns × 4 rows of imaging pixels (8 columns × 8 rows of subpixels) on the surface, and an imaging signal (subpixel signal). Or a focus detection signal). In the imaging device 107 of the present embodiment, the period P of pixels (imaging pixels) is 4 μm, and the number N of pixels (imaging pixels) is 5575 columns × 3725 rows = approximately 20.75 million pixels. The imaging element 107 has a sub-pixel period P SUB of 2 μm, and the number of sub-pixels N SUB is 11150 horizontal rows × 7450 vertical rows = approximately 83 million pixels.

図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（２分割）された光電変換部３０１、３０２、３０３、３０４が形成されている。光電変換部３０１〜３０４は、副画素２０１〜２０４にそれぞれ対応する。このように撮像素子１０７は、１つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが２次元状に配列されている。光電変換部３０１〜３０４は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。 As shown in FIG. 3B, the pixel 200G of the present embodiment is provided with a microlens 305 for condensing incident light on the light receiving surface side of the pixel. A plurality of microlenses 305 are two-dimensionally arranged, and are arranged at a position away from the light receiving surface by a predetermined distance in the z-axis direction (the direction of the optical axis OA). Also in the pixel 200G is, N H divided in the x direction (divided into two), N V division (2 divided) photoelectric conversion unit 301, 302, 303 and 304 are formed in the y-direction. The photoelectric conversion units 301 to 304 correspond to the subpixels 201 to 204, respectively. Thus, the image sensor 107 has a plurality of photoelectric conversion units for one microlens, and the microlenses are arranged in a two-dimensional manner. Each of the photoelectric conversion units 301 to 304 is configured as a photodiode having a pin structure in which an intrinsic layer is sandwiched between a p-type layer and an n-type layer. If necessary, the intrinsic layer may be omitted and a pn junction photodiode may be configured.

画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１〜３０４のそれぞれとの間に、Ｇ（緑）のカラーフィルタ３０６が設けられる。同様に、画素２００Ｒ、２００Ｂ（各画素）には、マイクロレンズ３０５と、光電変換部３０１〜３０４のそれぞれとの間に、Ｒ（赤）およびＢ（青）のカラーフィルタ３０６がそれぞれ設けられる。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。   In the pixel 200 </ b> G (each pixel), a G (green) color filter 306 is provided between the microlens 305 and each of the photoelectric conversion units 301 to 304. Similarly, R (red) and B (blue) color filters 306 are respectively provided between the microlens 305 and the photoelectric conversion units 301 to 304 in the pixels 200R and 200B (each pixel). If necessary, the spectral transmittance of the color filter 306 can be changed for each sub-pixel, or the color filter may be omitted.

図３に示されるように、画素２００Ｇ（２００Ｒ、２００Ｂ）に入射した光は、マイクロレンズ３０５により集光され、Ｇのカラーフィルタ３０６（Ｒ、Ｂのカラーフィルタ３０６）で分光された後、光電変換部３０１〜３０４で受光される。光電変換部３０１〜３０４のそれぞれにおいては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１〜３０４のそれぞれのｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。   As shown in FIG. 3, the light incident on the pixel 200G (200R, 200B) is collected by the microlens 305, separated by the G color filter 306 (R, B color filter 306), and then photoelectrically Light is received by the converters 301 to 304. In each of the photoelectric conversion units 301 to 304, pairs of electrons and holes are generated according to the amount of received light, and after they are separated by the depletion layer, negatively charged electrons are accumulated in the n-type layer. On the other hand, the holes are discharged to the outside of the image sensor 107 through a p-type layer connected to a constant voltage source (not shown). Electrons accumulated in the n-type layers of the photoelectric conversion units 301 to 304 are transferred to the capacitance unit (FD) via the transfer gate and converted into voltage signals.

続いて、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。   Next, the pupil division function of the image sensor 107 will be described with reference to FIG. FIG. 4 is an explanatory diagram of the pupil division function of the image sensor 107 and shows a state of pupil division in one pixel unit. FIG. 4 shows a cross-sectional view of the pixel structure shown in FIG. 3A as viewed from the + y side, and an exit pupil plane of the imaging optical system. In FIG. 4, in order to correspond to the coordinate axis of the exit pupil plane, the x-axis and y-axis in the cross-sectional view are inverted with respect to the x-axis and y-axis in FIG.

図４において、瞳部分領域５０１、５０３（第１瞳部分領域および第４瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１、３０３の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１、５０３は、副画素２０１、２０３で受光可能な瞳領域を表している。副画素２０１、２０３の瞳部分領域５０１、５０３の重心は、瞳面上で＋Ｘ側に偏心している。また、瞳部分領域５０２、５０４（第２瞳部分領域および第４瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２、３０４の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２、５０４は、副画素２０２、２０４で受光可能な瞳領域を表している。副画素２０２、２０４の瞳部分領域５０２、５０４の重心は、瞳面上で−Ｘ側に偏心している。瞳領域５００は、光電変換部３０１〜３０４（副画素２０１〜２０４）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。   In FIG. 4, pupil partial regions 501 and 503 (first pupil partial region and fourth pupil partial region) pass through light receiving surfaces of photoelectric conversion units 301 and 303 whose centroids are decentered in the −x direction, and a micro lens 305. It is almost conjugate. Therefore, the pupil partial areas 501 and 503 represent pupil areas that can be received by the sub-pixels 201 and 203. The centers of gravity of the pupil partial areas 501 and 503 of the sub-pixels 201 and 203 are eccentric to the + X side on the pupil plane. The pupil partial regions 502 and 504 (second pupil partial region and fourth pupil partial region) are substantially conjugated via the microlens 305 with the light receiving surfaces of the photoelectric conversion units 302 and 304 whose centroids are decentered in the + x direction. It has become a relationship. For this reason, the pupil partial areas 502 and 504 represent pupil areas that can be received by the sub-pixels 202 and 204. The centers of gravity of the pupil partial areas 502 and 504 of the sub-pixels 202 and 204 are eccentric to the −X side on the pupil plane. The pupil region 500 is a pupil region that can receive light in the entire pixel 200G when all the photoelectric conversion units 301 to 304 (subpixels 201 to 204) are combined.

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×２分割された副画素２０１〜２０４で受光される。本実施形態では、瞳領域が水平方向および垂直方向にそれぞれ２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて他の方向に瞳分割を行ってもよい。   FIG. 5 is an explanatory diagram of the image sensor 107 and the pupil division function. Light beams that have passed through different pupil partial regions 501 and 502 in the pupil region of the imaging optical system are incident on the imaging surface 800 of the imaging device 107 at different angles to each pixel of the imaging device 107 and are divided into 2 × 2. The subpixels 201 to 204 receive the light. In this embodiment, an example in which the pupil region is divided into two pupils in the horizontal direction and the vertical direction has been described. However, the present invention is not limited to this, and the pupil division is performed in another direction as necessary. May be performed.

本実施形態において、撮像素子１０７は、結像光学系（撮影レンズ）の第１瞳部分領域〜第４瞳部分領域を通過するそれぞれの光束を受光する第１焦点検出画素〜第４焦点検出画素を有する。また撮像素子１０７は、結像光学系の第１瞳部分領域〜第４瞳部分領域を合わせた瞳領域を通過する光束を受光する撮像画素が複数配列されている。本実施形態において、各撮像画素（画素２００）は、第１焦点検出画素〜第４焦点検出画素（副画素２０１〜２０４）から構成されている。必要に応じて、撮像画素と、第１焦点検出画素〜第４焦点検出画素とを別の画素で構成してもよい。このとき、撮像画素配列の一部に、第１焦点検出画素〜第４焦点検出画素を部分的に（離散的に）配置するように構成される。   In the present embodiment, the image sensor 107 includes a first focus detection pixel to a fourth focus detection pixel that receive respective light beams that pass through the first pupil partial region to the fourth pupil partial region of the imaging optical system (shooting lens). Have The imaging element 107 includes a plurality of imaging pixels that receive a light beam passing through a pupil region that is a combination of the first pupil partial region to the fourth pupil partial region of the imaging optical system. In the present embodiment, each imaging pixel (pixel 200) is composed of a first focus detection pixel to a fourth focus detection pixel (subpixels 201 to 204). As needed, you may comprise an imaging pixel and a 1st focus detection pixel-a 4th focus detection pixel by another pixel. At this time, the first focus detection pixel to the fourth focus detection pixel are partially (discretely) arranged in a part of the imaging pixel array.

本実施形態において、撮像装置１００は、撮像素子１０７の各画素の第１焦点検出画素（副画素２０１）および第３焦点検出画素（副画素２０３）の受光信号を集めて（加算して）第１焦点検出信号を生成する。同様に、撮像装置１００は、各画素の第２焦点検出画素（副画素２０２）および第４焦点検出画素（副画素２０４）の受光信号を集めて（加算して）第２焦点検出信号を生成する。また撮像装置１００は、各画素の第１焦点検出画素（副画素２０１）および第２焦点検出画素（副画素２０２）の受光信号を集めて（加算して）第３焦点検出信号を生成する。同様に、撮像装置１００は、各画素の第３焦点検出画素（副画素２０３）および第４焦点検出画素（副画素２０４）の受光信号を集めて（加算して）第４焦点検出信号を生成する。そして撮像装置１００は、第１焦点検出信号〜第４焦点検出信号に基づいて焦点検出を行う。また撮像装置１００は、撮像素子１０７の画素ごとに、第１焦点検出画素〜第４焦点検出画素（副画素２０１〜２０４）の信号を集める（加算する）ことにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。   In the present embodiment, the imaging apparatus 100 collects (adds) the light reception signals of the first focus detection pixel (subpixel 201) and the third focus detection pixel (subpixel 203) of each pixel of the image sensor 107. A single focus detection signal is generated. Similarly, the imaging apparatus 100 collects (adds) the light reception signals of the second focus detection pixel (subpixel 202) and the fourth focus detection pixel (subpixel 204) of each pixel to generate a second focus detection signal. To do. The imaging device 100 collects (adds) the light reception signals of the first focus detection pixel (subpixel 201) and the second focus detection pixel (subpixel 202) of each pixel to generate a third focus detection signal. Similarly, the imaging apparatus 100 collects (adds) the light reception signals of the third focus detection pixel (subpixel 203) and the fourth focus detection pixel (subpixel 204) of each pixel to generate a fourth focus detection signal. To do. The imaging apparatus 100 performs focus detection based on the first focus detection signal to the fourth focus detection signal. The imaging apparatus 100 collects (adds) signals from the first focus detection pixel to the fourth focus detection pixels (sub-pixels 201 to 204) for each pixel of the image sensor 107, so that the resolution of the effective pixel number N is obtained. An imaging signal (captured image) is generated.

次に、図６を参照して、撮像素子１０７の副画素２０１、２０３の出力信号を合わせた第１焦点検出信号、および、副画素２０２、２０４の出力信号を合わせた第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳は瞳部分領域５０１〜５０４に４分割される。ただし図６においては、瞳部分領域５０１と瞳部分領域５０３、および、瞳部分領域５０２と瞳部分領域５０４はそれぞれ等価であるため、瞳部分領域５０１および瞳部分領域５０２を用いて説明する。なお本実施形態において、２つの副画素を加算して相関演算を行うのは、Ｓ/Ｎを向上させるためである。   Next, referring to FIG. 6, the first focus detection signal obtained by combining the output signals of the sub-pixels 201 and 203 of the image sensor 107 and the second focus detection signal obtained by combining the output signals of the sub-pixels 202 and 204. A relationship between the defocus amount and the image shift amount will be described. FIG. 6 is a relationship diagram between the defocus amount and the image shift amount. In FIG. 6, the image sensor 107 is disposed on the imaging surface 800, and the exit pupil of the imaging optical system is divided into four pupil partial areas 501 to 504 as in FIGS. 4 and 5. However, in FIG. 6, the pupil partial region 501 and the pupil partial region 503, and the pupil partial region 502 and the pupil partial region 504 are equivalent to each other, and therefore, description will be made using the pupil partial region 501 and the pupil partial region 502. In the present embodiment, the reason why the correlation calculation is performed by adding the two sub-pixels is to improve the S / N.

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。   The defocus amount d is the distance from the imaging position of the subject to the imaging surface 800 | d |, the negative pin state where the imaging position is closer to the subject than the imaging surface 800 (d <0), and imaging. A rear pin state in which the position is on the opposite side of the subject from the imaging surface 800 is defined as a positive sign (d> 0). A defocus amount d = 0 is established in a focused state where the imaging position of the subject is on the imaging surface 800 (focus position). In FIG. 6, a subject 801 in a focused state (d = 0) and a subject 802 in a front pin state (d <0) are shown. The front pin state (d <0) and the rear pin state (d> 0) are collectively referred to as a defocus state (| d |> 0).

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する副画素２０１（副画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。   In the front pin state (d <0), the luminous flux that has passed through the pupil partial area 501 (or the pupil partial area 502) out of the luminous flux from the subject 802 is condensed once. Thereafter, the light beam spreads over a width Γ 1 (Γ 2) centered on the gravity center position G 1 (G 2) of the light beam, resulting in a blurred image on the imaging surface 800. The blurred image is received by the sub-pixel 201 (sub-pixel 202) constituting each pixel arranged in the image sensor 107, and a first focus detection signal (second focus detection signal) is generated. Therefore, the first focus detection signal (second focus detection signal) is recorded as a subject image in which the subject 802 is blurred by the width Γ1 (Γ2) at the gravity center position G1 (G2) on the imaging surface 800. The blur width Γ1 (Γ2) of the subject image increases substantially proportionally as the defocus amount d magnitude | d | increases. Similarly, the magnitude | p | of the subject image displacement amount p (= difference G1-G2 in the center of gravity of the light beam) between the first focus detection signal and the second focus detection signal is also equal to the defocus amount d. As the magnitude | d | increases, it generally increases proportionally. The same applies to the rear pin state (d> 0), but the image shift direction of the subject image between the first focus detection signal and the second focus detection signal is opposite to the front pin state.

このように本実施形態において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。図６では、第１焦点検出信号と第２焦点検出信号とを用いた水平方向（Ｘ方向）の瞳分割の場合について説明した。第３焦点検出信号（第１焦点検出画素と第２焦点検出画素を合わせた出力信号）と、第４焦点検出信号（第３焦点検出画素と第４焦点検出画素とを合わせた出力信号）とを用いた垂直方向（Ｙ方向）の瞳分割の場合も同様のため、その説明は省略する。本実施形態において、水平方向および垂直方向の２方向に関して焦点検出を行う場合、最終的なデフォーカス量は、例えば、２方向のデフォーカス検出結果の平均値または被写体の方向に応じた重み付け加算を行って算出される。   As described above, in this embodiment, the magnitude of the defocus amount of the imaging signal obtained by adding the first focus detection signal and the second focus detection signal or the first focus detection signal and the second focus detection signal increases. Accordingly, the amount of image shift between the first focus detection signal and the second focus detection signal increases. In FIG. 6, the case of pupil division in the horizontal direction (X direction) using the first focus detection signal and the second focus detection signal has been described. A third focus detection signal (an output signal combining the first focus detection pixel and the second focus detection pixel) and a fourth focus detection signal (an output signal combining the third focus detection pixel and the fourth focus detection pixel); Since the same applies to the case of pupil division in the vertical direction (Y direction) using, the description thereof is omitted. In the present embodiment, when focus detection is performed in two directions, the horizontal direction and the vertical direction, the final defocus amount is, for example, an average value of defocus detection results in two directions or weighted addition according to the direction of the subject. Calculated by going.

次に、本実施形態における位相差検出方式の焦点検出について説明する。位相差検出方式の焦点検出では、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号とを相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を算出する。またＣＰＵ１２１は、第３焦点検出信号と第４焦点検出信号とを相対的にシフトさせて信号の一致度を表す相関量（第２評価値）を算出する。そしてＣＰＵ１２１は、相関量（信号の一致度）が良好になるシフト量に基づいて像ずれ量を検出（算出）する。ＣＰＵ１２１は、撮像信号のデフォーカス量の大きさが増加するのに伴って像ずれ量の大きさが増加する関係性に基づいて、像ずれ量をデフォーカス量（検出デフォーカス量）に変換して焦点検出を行う。   Next, focus detection by the phase difference detection method in the present embodiment will be described. In focus detection using the phase difference detection method, the CPU 121 relatively shifts the first focus detection signal and the second focus detection signal to calculate a correlation amount (first evaluation value) representing the degree of coincidence of the signals. Further, the CPU 121 relatively shifts the third focus detection signal and the fourth focus detection signal to calculate a correlation amount (second evaluation value) representing the degree of coincidence of the signals. Then, the CPU 121 detects (calculates) the image shift amount based on the shift amount at which the correlation amount (signal coincidence) becomes good. The CPU 121 converts the image shift amount into a defocus amount (detected defocus amount) based on the relationship that the image shift amount increases as the image signal defocus amount increases. To detect the focus.

図７を参照して、本実施形態における位相差検出方式の焦点検出処理について説明する。図７は、焦点検出処理を示すフローチャートである。図７の各ステップは、主に、ＣＰＵ１２１（取得手段１２１ａ、焦点検出手段１２１ｂ）および画像処理回路１２５により実行される。   With reference to FIG. 7, the focus detection process of the phase difference detection method in this embodiment is demonstrated. FIG. 7 is a flowchart showing the focus detection process. Each step in FIG. 7 is mainly executed by the CPU 121 (acquisition unit 121a, focus detection unit 121b) and the image processing circuit 125.

まずステップＳ１１０において、ＣＰＵ１２１は、撮像素子１０７の有効画素領域の中から焦点調節を行うための焦点検出領域を設定する。そしてＣＰＵ１２１（焦点検出手段１２１ｂ）は、焦点検出領域の第１焦点検出画素および第３焦点検出画素の受光信号（出力信号）に基づいて第１焦点検出信号を生成（取得）する。また焦点検出手段１２１ｂは、焦点検出領域の第２焦点検出画素および第４焦点検出画素の受光信号（出力信号）に基づいて第２焦点検出信号を生成（取得）する。同様に、焦点検出手段１２１ｂは、第１焦点検出画素および第２焦点検出画素の受光信号（出力信号）に基づいて第３焦点検出信号、第３焦点検出画素および第４焦点検出画素の受光信号（出力信号）に基づいて第４焦点検出信号をそれぞれ生成（取得）する。   First, in step S <b> 110, the CPU 121 sets a focus detection area for performing focus adjustment from the effective pixel area of the image sensor 107. The CPU 121 (focus detection means 121b) generates (acquires) a first focus detection signal based on the light reception signals (output signals) of the first focus detection pixel and the third focus detection pixel in the focus detection region. The focus detection unit 121b generates (acquires) a second focus detection signal based on the light reception signals (output signals) of the second focus detection pixel and the fourth focus detection pixel in the focus detection region. Similarly, the focus detection unit 121b is configured to detect the third focus detection signal, the third focus detection pixel, and the fourth focus detection pixel based on the light reception signals (output signals) of the first focus detection pixel and the second focus detection pixel. A fourth focus detection signal is generated (acquired) based on (output signal).

続いてステップＳ１２０において、ＣＰＵ１２１（焦点検出手段１２１ｂ）は、第１焦点検出信号、第２焦点検出信号、第３焦点検出信号、および、第４焦点検出信号のそれぞれに関し、信号データ量を抑制するため、列方向に３画素加算処理を行う。またＣＰＵ１２１は、ＲＧＢ信号を輝度Ｙ信号にするため、ベイヤー（ＲＧＢ）加算処理を行う。   Subsequently, in step S120, the CPU 121 (focus detection means 121b) suppresses the signal data amount for each of the first focus detection signal, the second focus detection signal, the third focus detection signal, and the fourth focus detection signal. Therefore, a three-pixel addition process is performed in the column direction. Further, the CPU 121 performs a Bayer (RGB) addition process in order to convert the RGB signal into a luminance Y signal.

続いてステップＳ１３０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号、第２焦点検出信号、第３焦点検出信号、および、第４焦点検出信号のそれぞれに対して、シェーディング補正処理（光学補正処理）を行う。ここで、図８を参照して、第１焦点検出信号、第２焦点検出信号、第３焦点検出信号、および、第４焦点検出信号の瞳ずれによるシェーディングについて説明する。図８は、第１焦点検出信号、第２焦点検出信号、第３焦点検出信号、および、第４焦点検出信号の瞳ずれによるシェーディングの説明図である。具体的には、図８は、撮像素子１０７の周辺像高における副画素２０１〜２０４（第１焦点検出画素〜第４焦点検出画素）のそれぞれの瞳部分領域５０１〜５０４（第１瞳部分領域〜第４瞳部分領域）と、結像光学系の射出瞳４００との関係を示している。   Subsequently, in step S130, the CPU 121 and the image processing circuit 125 perform shading correction processing (optical) on each of the first focus detection signal, the second focus detection signal, the third focus detection signal, and the fourth focus detection signal. Correction process). Here, with reference to FIG. 8, the shading by the pupil shift | offset | difference of a 1st focus detection signal, a 2nd focus detection signal, a 3rd focus detection signal, and a 4th focus detection signal is demonstrated. FIG. 8 is an explanatory diagram of shading due to pupil shift of the first focus detection signal, the second focus detection signal, the third focus detection signal, and the fourth focus detection signal. Specifically, FIG. 8 shows pupil partial areas 501 to 504 (first pupil partial areas) of the sub-pixels 201 to 204 (first focus detection pixels to fourth focus detection pixels) at the peripheral image height of the image sensor 107. To the fourth pupil partial region) and the exit pupil 400 of the imaging optical system.

図８（ａ）は、結像光学系の射出瞳距離Ｄｌ（射出瞳４００と撮像素子１０７の撮像面との距離）と、撮像素子１０７の設定瞳距離Ｄｓとが等しい場合を示している。この場合、瞳部分領域５０１〜５０４により、結像光学系の射出瞳４００は略均等に瞳分割される。   FIG. 8A shows a case where the exit pupil distance Dl (distance between the exit pupil 400 and the imaging surface of the image sensor 107) of the imaging optical system is equal to the set pupil distance Ds of the image sensor 107. In this case, the exit pupil 400 of the imaging optical system is substantially equally divided by the pupil partial areas 501 to 504.

一方、図８（ｂ）にされるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも短い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。同様に、図８（ｃ）に示されるように、結像光学系の射出瞳距離Ｄｌが撮像素子１０７の設定瞳距離Ｄｓよりも長い場合、撮像素子１０７の周辺像高では、結像光学系の射出瞳４００と撮像素子１０７の入射瞳との間に瞳ずれが生じる。このため、結像光学系の射出瞳４００が不均一に瞳分割される。周辺像高で瞳分割が不均一になるのに伴い、第１焦点検出信号および第２焦点検出信号（第３焦点検出信号および第４焦点検出信号）の強度も互いに不均一となる。このため、第１焦点検出信号および第２焦点検出信号（第３焦点検出信号および第４焦点検出信号）のいずれか一方の強度が大きくなり、他方の強度が小さくなるシェーディングが生じる。   On the other hand, when the exit pupil distance Dl of the imaging optical system is shorter than the set pupil distance Ds of the image sensor 107 as shown in FIG. A pupil shift occurs between the exit pupil 400 and the entrance pupil of the image sensor 107. For this reason, the exit pupil 400 of the imaging optical system is non-uniformly divided into pupils. Similarly, as illustrated in FIG. 8C, when the exit pupil distance Dl of the imaging optical system is longer than the set pupil distance Ds of the imaging element 107, the imaging optical system has a peripheral image height of the imaging element 107. A pupil shift occurs between the exit pupil 400 of the image sensor and the entrance pupil of the image sensor 107. For this reason, the exit pupil 400 of the imaging optical system is non-uniformly divided into pupils. As pupil division becomes nonuniform at the peripheral image height, the intensities of the first focus detection signal and the second focus detection signal (third focus detection signal and fourth focus detection signal) also become nonuniform. For this reason, the intensity | strength of any one of a 1st focus detection signal and a 2nd focus detection signal (a 3rd focus detection signal and a 4th focus detection signal) becomes large, and the other intensity | strength becomes a shading.

後述の像ずれ量をデフォーカス量へ変換するための変換係数に関しても、シェーディングと同様に、瞳分割の状態に応じてその値は変化する。このため、変換係数も像高に応じて変化する。また、図８（ａ）〜（ｃ）を見ればわかるように、シェーディングおよび変換係数は、射出瞳距離Ｄｌおよび絞り値（Ｆ値）によっても変化する。   A conversion coefficient for converting an image shift amount described later into a defocus amount also changes in accordance with the state of pupil division as in the case of shading. For this reason, the conversion coefficient also changes according to the image height. Further, as can be seen from FIGS. 8A to 8C, the shading and the conversion coefficient also change depending on the exit pupil distance Dl and the aperture value (F value).

図７のステップＳ１３０では、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、第１焦点検出信号の第１シェーディング補正係数（第１シェーディング補正値）を生成する。同様に、ＣＰＵ１２１は、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じて、第２焦点検出信号の第２シェーディング補正係数（第２シェーディング補正値）を生成する。そしてＣＰＵ１２１（画像処理回路１２５）は、第１焦点検出信号に第１シェーディング補正係数を乗算し、第２焦点検出信号に第２シェーディング補正係数を乗算して、第１焦点検出信号および第２焦点検出信号のシェーディング補正処理（光学補正処理）を行う。同様に、ＣＰＵ１２１（画像処理回路１２５）は、第３焦点検出信号に第３シェーディング補正係数を乗算し、第４焦点検出信号に第４シェーディング補正係数を乗算して、第３焦点検出信号および第４焦点検出信号のシェーディング補正処理を行う。   In step S130 of FIG. 7, the CPU 121 determines the first shading correction coefficient (first focus detection signal) according to the image height of the focus detection area, the F value of the imaging lens (imaging optical system), and the exit pupil distance. 1st shading correction value) is generated. Similarly, the CPU 121 determines the second shading correction coefficient (second shading correction) of the second focus detection signal according to the image height of the focus detection area, the F value of the imaging lens (imaging optical system), and the exit pupil distance. Value). Then, the CPU 121 (image processing circuit 125) multiplies the first focus detection signal by the first shading correction coefficient, multiplies the second focus detection signal by the second shading correction coefficient, and outputs the first focus detection signal and the second focus detection signal. A detection signal shading correction process (optical correction process) is performed. Similarly, the CPU 121 (image processing circuit 125) multiplies the third focus detection signal by the third shading correction coefficient, multiplies the fourth focus detection signal by the fourth shading correction coefficient, and outputs the third focus detection signal and the second focus detection signal. A four-focus detection signal shading correction process is performed.

位相差検出方式の焦点検出を行う際、ＣＰＵ１２１は、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）に基づいて、デフォーカス量（第１デフォーカス量）を検出（算出）する。同様に、ＣＰＵ１２１は、第３焦点検出信号と第４焦点検出信号との相関（信号の一致度）に基づいて、デフォーカス量（第２デフォーカス量）を検出（算出）する。瞳ずれによるシェーディングが生じると、第１焦点検出信号と第２焦点検出信号との相関（信号の一致度）、および、第３焦点検出信号と第４焦点検出信号との相関（信号の一致度）が低下する場合がある。このため本実施形態において、第１焦点検出信号と第２焦点検出信号との相関および第３焦点検出信号と第４焦点検出信号との相関を改善して焦点検出性能を向上させるため、シェーディング補正処理（光学補正処理）を行うことが好ましい。   When performing focus detection by the phase difference detection method, the CPU 121 detects the defocus amount (first defocus amount) based on the correlation (the degree of signal coincidence) between the first focus detection signal and the second focus detection signal. (calculate. Similarly, the CPU 121 detects (calculates) the defocus amount (second defocus amount) based on the correlation (signal coincidence) between the third focus detection signal and the fourth focus detection signal. When shading occurs due to pupil shift, the correlation between the first focus detection signal and the second focus detection signal (signal matching degree) and the correlation between the third focus detection signal and the fourth focus detection signal (signal matching degree). ) May decrease. For this reason, in this embodiment, in order to improve the focus detection performance by improving the correlation between the first focus detection signal and the second focus detection signal and the correlation between the third focus detection signal and the fourth focus detection signal, the shading correction is performed. It is preferable to perform processing (optical correction processing).

続いてステップＳ１４０において、ＣＰＵ１２１および画像処理回路１２５は、第１焦点検出信号、第２焦点検出信号、第３焦点検出信号、および、第４焦点検出信号に対して、フィルタ処理を行う。図９は、本実施形態におけるフィルタ処理の説明図であり、本実施形態のフィルタ処理における通過帯域例を実線で示している。本実施形態では、位相差検出方式の焦点検出により大デフォーカス状態での焦点検出を行う。このため、フィルタ処理における通過帯域は、低周波帯域を含むように構成される。必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際に、デフォーカス状態に応じて、焦点検出処理の際のフィルタ処理の通過帯域を、例えば図９中の一点鎖線のように調整してもよい。   Subsequently, in step S140, the CPU 121 and the image processing circuit 125 perform filter processing on the first focus detection signal, the second focus detection signal, the third focus detection signal, and the fourth focus detection signal. FIG. 9 is an explanatory diagram of the filter processing in the present embodiment, and a pass band example in the filter processing of the present embodiment is indicated by a solid line. In this embodiment, focus detection in a large defocus state is performed by focus detection using a phase difference detection method. For this reason, the pass band in the filter processing is configured to include a low frequency band. When performing focus adjustment from the large defocus state to the small defocus state as necessary, the pass band of the filter processing at the time of the focus detection processing according to the defocus state is, for example, the one-dot chain line in FIG. You may adjust as follows.

続いてステップＳ１５０において、ＣＰＵ１２１（焦点検出手段１２１ｂ）は、フィルタ処理後の第１焦点検出信号と第２焦点検出信号とを相対的に瞳分割方向にシフトさせる第１シフト処理を行い、信号の一致度を表す第１相関量（第１評価値）を算出する。同様に、ＣＰＵ１２１（焦点検出手段１２１ｂ）は、フィルタ処理後の第３焦点検出信号と第４焦点検出信号とを相対的に瞳分割方向にシフトさせる第２シフト処理を行い、信号の一致度を表す第２相関量（第２評価値）を算出する。   Subsequently, in step S150, the CPU 121 (focus detection unit 121b) performs a first shift process that relatively shifts the first focus detection signal and the second focus detection signal after the filter process in the pupil division direction, and outputs the signal. A first correlation amount (first evaluation value) representing the degree of coincidence is calculated. Similarly, the CPU 121 (focus detection unit 121b) performs a second shift process that relatively shifts the third focus detection signal and the fourth focus detection signal after the filter process in the pupil division direction, and determines the degree of coincidence of the signals. A second correlation amount (second evaluation value) to be expressed is calculated.

ここで、フィルタ処理後のｋ１番目の第１焦点検出信号をＡ（ｋ１）、第２焦点検出信号をＢ（ｋ１）、フィルタ処理後のＫ２番目の第３焦点検出信号をＣ（ｋ２）、第４焦点検出信号をＤ（ｋ２）、焦点検出領域に対応する番号ｋ１、ｋ２の範囲をＷとする。また、第１シフト処理によるシフト量をｓ１、第２シフト処理によるシフト量をｓ２、シフト量ｓ１のシフト範囲をΓ１、シフト量ｓ２のシフト範囲をΓ２とする。このとき、第１相関量ＣＯＲ（ｓ１）および第２相関量ＣＯＲ（ｓ２）は、以下の式（１）、（２）のようにそれぞれ表される。 Here, the filtered first k first focus detection signal is A (k 1 ), the second focused detection signal is B (k 1 ), and the second filtered K second third focus detection signal is C. (K 2 ), the fourth focus detection signal is D (k 2 ), and the range of numbers k 1 and k 2 corresponding to the focus detection area is W. Further, the shift amount by the first shift process is s 1 , the shift amount by the second shift process is s 2 , the shift range of the shift amount s 1 is Γ1, and the shift range of the shift amount s 2 is Γ2. At this time, the first correlation amount COR (s 1 ) and the second correlation amount COR (s 2 ) are respectively expressed as the following formulas (1) and (2).

第１シフト量ｓ１の第１シフト処理により、ｋ１番目の第１焦点検出信号Ａ（ｋ１）と（ｋ１−ｓ１）番目の第２焦点検出信号Ｂ（ｋ１−ｓ１）とを対応させて減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内で番号ｋ１の和を取り、第１相関量ＣＯＲ（ｓ１）を算出する。同様に、第２シフト量ｓ２の第２シフト処理により、ｋ２番目の第３焦点検出信号Ｃ（ｋ２）と（ｋ２−ｓ２）番目の第４焦点検出信号Ｂ（ｋ２−ｓ２）とを対応させて減算し、シフト減算信号を生成する。そして、生成されたシフト減算信号の絶対値を算出し、焦点検出領域に対応する範囲Ｗ内で番号ｋ２の和を取り、第２相関量ＣＯＲ（ｓ２）を算出する。なお、必要に応じて、行ごとに算出された第１相関量ＣＯＲ（ｓ１）および第２相関量（ｓ２）、シフト量ごとに、複数行に渡って加算してもよい。 By the first shift processing of the first shift amount s 1 , the k 1st first focus detection signal A (k 1 ) and the (k 1 −s 1 ) th second focus detection signal B (k 1 −s 1 ) Are subtracted in correspondence with each other to generate a shift subtraction signal. Then, the absolute value of the generated shift subtraction signal is calculated, the sum of the number k 1 is taken within the range W corresponding to the focus detection area, and the first correlation amount COR (s 1 ) is calculated. Similarly, by the second shift process of the second shift amount s 2 , the k 2nd third focus detection signal C (k 2 ) and the (k 2 −s 2 ) th fourth focus detection signal B (k 2 − s 2 ) and corresponding subtraction to generate a shift subtraction signal. Then, the absolute value of the generated shift subtraction signal is calculated, the sum of the number k 2 is taken within the range W corresponding to the focus detection area, and the second correlation amount COR (s 2 ) is calculated. If necessary, the first correlation amount COR (s 1 ) and the second correlation amount (s 2 ) calculated for each row, and the shift amount may be added over a plurality of rows.

続いてステップＳ１６０において、ＣＰＵ１２１（焦点検出手段１２１ｂ）は、第１相関量（第１評価値）に対してサブピクセル演算を行い、第１相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１を求める。同様に、ＣＰＵ１２１（焦点検出手段１２１ｂ）は、第２相関量（第２評価値）に対してサブピクセル演算を行い、第２相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ２を求める。そしてＣＰＵ１２１は、像ずれ量ｐ１に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第１変換係数Ｋ１を掛けて、第１デフォーカス量Ｄｅｆ１を検出（算出）する。同様に、ＣＰＵ１２１は、像ずれ量ｐ２に対して、焦点検出領域の像高、撮像レンズ（結像光学系）のＦ値、および、射出瞳距離に応じた第２変換係数Ｋ２を掛けて、第２デフォーカス量Ｄｅｆ２を検出（算出）する。その後、ＣＰＵ１２１は、第１デフォーカス量Ｄｅｆ１および第２デフォーカス量Ｄｅｆ２を用いて、以下の式（３）で表されるように、検出デフォーカス量Ｄｅｆを算出する。   Subsequently, in step S160, the CPU 121 (focus detection unit 121b) performs sub-pixel calculation on the first correlation amount (first evaluation value), and calculates a real-value shift amount at which the first correlation amount is the minimum value. Thus, an image shift amount p1 is obtained. Similarly, the CPU 121 (focus detection unit 121b) performs a sub-pixel calculation on the second correlation amount (second evaluation value), calculates a real-value shift amount at which the second correlation amount is the minimum value, and calculates the image. The shift amount p2 is obtained. Then, the CPU 121 multiplies the image shift amount p1 by the first conversion coefficient K1 corresponding to the image height of the focus detection area, the F value of the imaging lens (imaging optical system), and the exit pupil distance. The defocus amount Def1 is detected (calculated). Similarly, the CPU 121 multiplies the image shift amount p2 by the second conversion coefficient K2 corresponding to the image height of the focus detection area, the F value of the imaging lens (imaging optical system), and the exit pupil distance. The second defocus amount Def2 is detected (calculated). Thereafter, the CPU 121 calculates the detected defocus amount Def using the first defocus amount Def1 and the second defocus amount Def2 as represented by the following expression (3).

なお本実施形態において、式（３）で表されるように、第１デフォーカス量Ｄｅｆ１と第２デフォーカス量Ｄｅｆ２との平均値を用いて検出デフォーカス量Ｄｅｆを算出しているが、これに限定されるものではない。例えば、被写体の方向に応じて第１デフォーカス量Ｄｅｆ１および第２デフォーカス量Ｄｅｆ２のそれぞれの重み付けを変更して検出デフォーカス量Ｄｅｆを算出してもよい。   In the present embodiment, as expressed by Expression (3), the detected defocus amount Def is calculated using an average value of the first defocus amount Def1 and the second defocus amount Def2. It is not limited to. For example, the detected defocus amount Def may be calculated by changing the weights of the first defocus amount Def1 and the second defocus amount Def2 according to the direction of the subject.

次に、シェーディング補正値および変換係数（デフォーカス量変換係数）について説明する。図８を参照して説明したように、シェーディング補正値および変換係数は、像高に応じて連続的に変化するため、像高関数として表現することができる。前述のように、シェーディング補正値は、像高に応じて変化するのに加えて、絞り値と射出瞳距離との組み合わせに応じて変化する。このため、レンズ交換式のカメラなどの撮像装置においてシェーディング補正を行う場合、全ての補正値を記憶させようとすると膨大な記憶容量が必要となる。これを解決するため、例えば、予め条件（絞り値と射出瞳距離との組み合わせ）ごとにシェーディング補正値を算出し、その近似関数を求め、近似関数の係数のみを記憶するように構成することができる。本実施形態は、このような近似関数の係数を記憶する構成について説明するが、これに限定されるものでない。   Next, the shading correction value and the conversion coefficient (defocus amount conversion coefficient) will be described. As described with reference to FIG. 8, the shading correction value and the conversion coefficient change continuously according to the image height, and therefore can be expressed as an image height function. As described above, the shading correction value changes according to the combination of the aperture value and the exit pupil distance in addition to changing according to the image height. For this reason, when shading correction is performed in an imaging apparatus such as an interchangeable lens camera, an enormous storage capacity is required to store all correction values. In order to solve this, for example, it is configured to calculate a shading correction value for each condition (combination of aperture value and exit pupil distance) in advance, obtain an approximation function thereof, and store only the coefficients of the approximation function. it can. In the present embodiment, a configuration for storing the coefficients of such an approximate function will be described, but the present invention is not limited to this.

近似関数が３次近似式である場合、第１焦点検出信号のシェーディング補正値ＳＡ（ｘ，ｙ）および第２焦点検出信号のシェーディング補正値ＳＢ（ｘ，ｙ）は、以下の式（４）、（５）のようにそれぞれ表される。このとき、変換係数Ｋ（ｘ，ｙ）は、以下の式（６）のように表される。   When the approximate function is a cubic approximation expression, the shading correction value SA (x, y) of the first focus detection signal and the shading correction value SB (x, y) of the second focus detection signal are expressed by the following expression (4). , (5), respectively. At this time, the conversion coefficient K (x, y) is expressed as the following equation (6).

式（４）において、Ｓ０Ａ、Ｓ１Ａ、Ｓ２Ａ、Ｓ３Ａ、Ｓ４Ａ、Ｓ５Ａ、Ｓ６Ａ、Ｓ７Ａ、Ｓ８Ａ、Ｓ９Ａは、それぞれ、第１焦点検出信号のシェーディング補正値（第１シェーディング補正値）を算出するための近似関数の係数である。式（５）において、Ｓ０Ｂ、Ｓ１Ｂ、Ｓ２Ｂ、Ｓ３Ｂ、Ｓ４Ｂ、Ｓ５Ｂ、Ｓ６Ｂ、Ｓ７Ｂ、Ｓ８Ｂ、Ｓ９Ｂは、それぞれ、第２焦点検出信号のシェーディング補正値（第２シェーディング補正値）を算出するための近似関数の係数である。式（６）において、Ｋ０、Ｋ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５、Ｋ６、Ｋ７、Ｋ８、Ｋ９は、それぞれ、変換係数を算出するための近似関数の係数である。 In Equation (4), S0A, S1A, S2A, S3A, S4A, S5A, S6A, S7A, S8A, and S9A are respectively used for calculating the shading correction value (first shading correction value) of the first focus detection signal. The coefficient of the approximate function. In equation (5), S0B, S1B, S2B, S3B, S4B, S5B, S6B, S7B, S8B, and S9B are respectively used for calculating the shading correction value (second shading correction value) of the second focus detection signal. The coefficient of the approximate function. In Expression (6), K0, K1, K2, K3, K4, K5, K6, K7, K8, and K9 are coefficients of an approximate function for calculating a conversion coefficient, respectively.

焦点検出を行う際には、補正精度が良ければ焦点検出精度も良くなるため、できる限り補正精度を向上させる必要がある。一方、補正精度を向上させるには近似次数を上げる必要があり、その結果、演算規模が増加して焦点検出時間も増大する。このように、補正精度と演算規模とはトレードオフの関係になる。そこで本実施形態では、演算規模を低減しつつ、補正精度を維持するため、所定の焦点検出方向（例えばＸ方向）の位置ｘのみに関して、第１シェーディング補正値ＳＡ（ｘ）、第２シェーディング補正値ＳＢ（ｘ）、および、変換係数Ｋ（ｘ）を算出する。このとき、第１シェーディング補正値ＳＡ（ｘ）、第２シェーディング補正値ＳＢ（ｘ）、および、変換係数Ｋ（ｘ）は、以下の式（７）、（８）、（９）のようにそれぞれ表される。   When performing focus detection, if the correction accuracy is good, the focus detection accuracy is also improved. Therefore, it is necessary to improve the correction accuracy as much as possible. On the other hand, in order to improve the correction accuracy, it is necessary to increase the approximate order. As a result, the calculation scale increases and the focus detection time also increases. Thus, there is a trade-off relationship between the correction accuracy and the computation scale. Therefore, in the present embodiment, in order to maintain the correction accuracy while reducing the calculation scale, the first shading correction value SA (x) and the second shading correction are performed only for the position x in a predetermined focus detection direction (for example, the X direction). A value SB (x) and a conversion coefficient K (x) are calculated. At this time, the first shading correction value SA (x), the second shading correction value SB (x), and the conversion coefficient K (x) are expressed by the following equations (7), (8), and (9). Each is represented.

図１０は、分割領域（像高）ごとの光学補正データ（シェーディング補正値および変換係数などの光学補正値）の説明図である。図１０には、所定の焦点検出方向（本実施形態ではＸ方向）に対して垂直方向（Ｙ方向）における像高ごとに（分割領域ごとに）シェーディング補正値および変換係数を記憶させる様子が示されている。図１０において、１００１は分割領域（分割領域ブロック）である。点線の四角で囲われた領域（分割領域１００１）内では、シェーディング補正値および変換係数を焦点検出方向（Ｘ方向）の位置（ｘ）のみに依存する関数として算出し、Ｙ方向に関しては同一のシェーディング補正値および変換係数を用いる。焦点検出方向に対して垂直方向（Ｙ方向）に関しては、図１０に示されるように分割領域１００１ごとに、シェーディング補正値および変換係数を算出する。これにより、式（４）、（５）、（６）で表される２次元の３次関数と同等の補正精度を、式（７）、（８）、（９）で表される１次元の３次関数で実現することができる。その結果、乗算の回数を２０回から６回と大幅に削減でき、演算規模を低減することが可能である。また、補正値算出の演算規模が低減することにより演算時間が短縮し、焦点検出の高速化が期待できる。   FIG. 10 is an explanatory diagram of optical correction data (an optical correction value such as a shading correction value and a conversion coefficient) for each divided region (image height). FIG. 10 shows a state in which a shading correction value and a conversion coefficient are stored for each image height (for each divided region) in the vertical direction (Y direction) with respect to a predetermined focus detection direction (X direction in the present embodiment). Has been. In FIG. 10, reference numeral 1001 denotes a divided area (divided area block). In a region surrounded by a dotted square (divided region 1001), the shading correction value and the conversion coefficient are calculated as functions depending only on the position (x) in the focus detection direction (X direction), and the same for the Y direction. A shading correction value and a conversion coefficient are used. For the direction perpendicular to the focus detection direction (Y direction), a shading correction value and a conversion coefficient are calculated for each divided region 1001 as shown in FIG. As a result, the correction accuracy equivalent to the two-dimensional cubic function represented by the equations (4), (5), and (6) can be obtained in one dimension represented by the equations (7), (8), and (9). It can be realized by a cubic function of As a result, the number of multiplications can be significantly reduced from 20 to 6, and the operation scale can be reduced. In addition, since the calculation scale for calculating the correction value is reduced, the calculation time is shortened, and the focus detection can be speeded up.

図１１は、瞳強度分布（センサの入射角受光特性分布）の瞳ずれの説明図であり、瞳強度分布の瞳ずれがない場合とある場合の枠によるケラレの相違を示している。撮像装置の組み付けばらつきや撮像素子の製造ばらつきの影響により、瞳の重心位置は、撮像装置ごと（撮像装置の個体ごと）に異なる。これを瞳ずれという（図１１中のｄｘ）。ここで瞳の重心位置（Ａ＋Ｂ像の瞳の重心）は、基本的には、Ａ像とＢ像の瞳強度分布１１０１、１１０２がクロスしている場所であるため、本実施形態ではクロスしている場所を瞳の重心位置として説明する。   FIG. 11 is an explanatory diagram of pupil shift of the pupil intensity distribution (sensor incident angle light receiving characteristic distribution), and shows differences in vignetting depending on the frame when there is no pupil shift and when there is no pupil shift in the pupil intensity distribution. The position of the center of gravity of the pupil is different for each imaging device (for each individual imaging device) due to the influence of assembly variation of the imaging device and manufacturing variation of the imaging device. This is called pupil shift (dx in FIG. 11). Here, the position of the center of gravity of the pupil (the center of gravity of the pupil of the A + B image) is basically a place where the pupil intensity distributions 1101 and 1102 of the A image and the B image cross. The place where the center is located is described as the center of gravity of the pupil.

このため、シェーディング補正値および変換係数（第１変換係数）としては、撮像装置ごと（撮像装置の個体ごと）に瞳ずれに応じて適切な値を用いる必要がある。図１１からわかるように、瞳ずれにより、瞳のケラレ方が変わる。図１１に示されるように、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓとが互いに同じであるため、像高に応じてケラレは変化しない。一方、結像光学系の射出瞳距離Ｄｌと撮像素子１０７の設定瞳距離Ｄｓとが互いに異なる場合、像高に応じてケラレは変化する。また、絞り値によってもケラレは変化する。このため、瞳ずれによるシェーディングの変化は、瞳ずれ量、射出瞳距離Ｄｌ、設定瞳距離Ｄｓ、像高、および、絞り値に依存して決定される。これは、変換係数に関しても同様である。   For this reason, as the shading correction value and the conversion coefficient (first conversion coefficient), it is necessary to use appropriate values according to the pupil shift for each imaging device (for each individual imaging device). As can be seen from FIG. 11, the vignetting of the pupil changes due to the pupil shift. As shown in FIG. 11, since the exit pupil distance Dl of the imaging optical system and the set pupil distance Ds of the image sensor 107 are the same, vignetting does not change according to the image height. On the other hand, when the exit pupil distance Dl of the imaging optical system and the set pupil distance Ds of the image sensor 107 are different from each other, the vignetting changes according to the image height. The vignetting also changes depending on the aperture value. For this reason, the change in shading due to pupil shift is determined depending on the pupil shift amount, exit pupil distance Dl, set pupil distance Ds, image height, and aperture value. The same applies to the conversion coefficient.

シェーディング補正値および変換係数の瞳ずれによる影響は、Ｘ方向とＹ方向のそれぞれにおける瞳ずれ量が決定されると、予め補正関数ｆ（瞳ずれｄｐ、射出瞳距離Ｄｌ、設定瞳距離Ｄｓ、像高ｙ、および、絞り値Ｆ）を算出することにより補正可能である。図１１では、Ｘ方向のみが示されているが、瞳ずれはＹ方向でも同様に発生する。また、Ｘ方向とＹ方向とで瞳ずれ量は相関がない。このため、Ｘ方向およびＹ方向のそれぞれに関して焦点検出を行うには、Ｘ方向およびＹ方向のそれぞれに関するシェーディング補正値および変換係数を用意する必要がある。   The effects of the shading correction value and the conversion coefficient due to the pupil shift are determined in advance when the pupil shift amount in each of the X direction and the Y direction is determined, and the correction function f (pupil shift dp, exit pupil distance Dl, set pupil distance Ds, image Correction is possible by calculating the high y and the aperture value F). In FIG. 11, only the X direction is shown, but pupil displacement similarly occurs in the Y direction. Further, there is no correlation between the pupil shift amounts in the X direction and the Y direction. Therefore, in order to perform focus detection for each of the X direction and the Y direction, it is necessary to prepare a shading correction value and a conversion coefficient for each of the X direction and the Y direction.

一方、瞳ずれがある場合、瞳強度分布はシフトした形で移動する。これは、Ｘ方向およびＹ方向の両方向で共通である。瞳ずれ量を除いて、Ｘ方向およびＹ方向のそれぞれに関して設計の瞳強度分布の形状が同様である場合、瞳強度分布の形状は互いに略一致する。このため、Ｘ方向およびＹ方向の瞳ずれ量Ｘｐ、Ｙｐの情報、Ｘ方向またはＹ方向のいずれか一方のシェーディング補正値、および、変換係数（第１変換係数）を用いて、他方の値を以下の式（１０）、（１１）、（１２）で表されるように求めることが可能である。式（１０）、（１１）、（１２）は、Ｙ方向の第１シェーディング補正値および第２シェーディング補正値と変換係数とを、Ｘ方向の第１シェーディング補正値および第２シェーディング補正値と変換係数とから換算して算出している。   On the other hand, when there is a pupil shift, the pupil intensity distribution moves in a shifted form. This is common in both the X direction and the Y direction. When the shape of the designed pupil intensity distribution is the same for each of the X direction and the Y direction, excluding the pupil shift amount, the shapes of the pupil intensity distributions substantially match each other. For this reason, the information on the pupil displacement amounts Xp and Yp in the X direction and the Y direction, the shading correction value in one of the X direction and the Y direction, and the conversion coefficient (first conversion coefficient) are used to set the other value. It can be calculated as expressed by the following equations (10), (11), and (12). Expressions (10), (11), and (12) convert the first shading correction value and the second shading correction value in the Y direction and the conversion coefficient into the first shading correction value and the second shading correction value in the X direction. Calculated from the coefficient.

瞳の重心位置に対してＡ像とＢ像は対称形である。このため、瞳ずれ量Ｘｐ、Ｙｐの符合が互いに異なる場合、Ａ像とＢ像とを反転させて考えることにより、瞳ずれの差分値を小さくすることが可能である。瞳ずれの差分値が大きいほど、補正関数の精度が低下する。このため、瞳ずれ量Ｘｐ、Ｙｐの符合が反転した場合、Ａ像とＢ像とを反転させて瞳ずれの差分値として計算してもよい。   The A and B images are symmetrical with respect to the center of gravity of the pupil. For this reason, when the signs of the pupil shift amounts Xp and Yp are different from each other, the difference value of the pupil shift can be reduced by inverting the A image and the B image. The greater the pupil shift difference value, the lower the accuracy of the correction function. For this reason, when the sign of the pupil shift amounts Xp and Yp is inverted, the A image and the B image may be inverted and calculated as a difference value of the pupil shift.

また、瞳ずれ量Ｘｐ、Ｙｐのいずれの光学補正値を基準として撮像装置に記憶させるかに関しては、優先順位に応じて変えることが好ましい。焦点検出可能な条件（デフォーカス量検出範囲や被写体条件など）を増やすことを優先させる場合、瞳ずれが小さい（瞳ずれ量Ｘｐ、Ｙｐの絶対値が小さい）方の値を記憶することが好ましい。この理由は、クロス測距（クロス焦点検出）の場合、一方の値が検出できれば焦点検出が可能であり、瞳ずれが小さい方がシェーディングの影響は小さく、焦点検出可能範囲が広いためである。逆に、焦点検出精度の安定性を優先させる場合、瞳ずれが大きい（瞳ずれ量Ｘｐ、Ｙｐの絶対値が大きい）方の値を記憶することが好ましい。この理由は、補正をして算出した補正値は多少補正精度が低下してしまうためである。このため、クロス測距できる条件を増やすことを優先させる場合、瞳ずれが大きい方を記憶することが好ましい。   Further, it is preferable to change the optical correction value of the pupil shift amount Xp or Yp based on the priority order as to be stored in the image pickup apparatus with reference to the optical correction value. When priority is given to increasing the focus detection conditions (defocus amount detection range, subject conditions, etc.), it is preferable to store the value of the smaller pupil shift (the smaller pupil shift amounts Xp and Yp are smaller). . This is because, in the case of cross ranging (cross focus detection), if one value can be detected, focus detection is possible, and the smaller the pupil shift, the less the influence of shading and the wider focus detection range. On the contrary, when giving priority to the stability of focus detection accuracy, it is preferable to store a value with a larger pupil shift (a larger absolute value of the pupil shift amounts Xp and Yp). The reason for this is that the correction accuracy calculated by the correction slightly reduces the correction accuracy. For this reason, when giving priority to increasing the conditions for cross-range measurement, it is preferable to store the one having the larger pupil shift.

前述のとおり、瞳ずれによる瞳強度分布の影響は、実質的には、単純に水平方向にシフトした形で表される。このため、焦点検出を行う像高に関し、瞳のずれ量分を補正することにより、Ｘ方向からＹ方向（または、Ｙ方向からＸ方向）の補正値を算出することが可能となる。したがって、Ｘ方向およびＹ方向のそれぞれの瞳ずれ量と、一方向のシェーディング補正値および変換係数とを記憶すれば十分であり、二方向のシェーディング補正値および変換係数を記憶する必要はない。   As described above, the influence of the pupil intensity distribution due to the pupil shift is substantially expressed in a form that is simply shifted in the horizontal direction. For this reason, it is possible to calculate a correction value from the X direction to the Y direction (or from the Y direction to the X direction) by correcting the amount of pupil shift with respect to the image height at which focus detection is performed. Therefore, it is sufficient to store the amount of pupil shift in each of the X direction and the Y direction, the one-way shading correction value and the conversion coefficient, and it is not necessary to store the two-way shading correction value and the conversion coefficient.

次に、図１２を参照して、瞳ずれ情報を用いたシェーディング補正について説明する。図１２は、２次元方向におけるシェーディング補正処理を示すフローチャートであり、図７のステップＳ１３０にて説明したシェーディング補正処理に関し、瞳ずれ情報を用いて２次元方向にシェーディング補正処理を行う場合を示している。図１２の各ステップは、主に、ＣＰＵ１２１および画像処理回路１２５により実行される。   Next, with reference to FIG. 12, shading correction using pupil shift information will be described. FIG. 12 is a flowchart showing the shading correction processing in the two-dimensional direction, and shows the case where the shading correction processing is performed in the two-dimensional direction using the pupil shift information regarding the shading correction processing described in step S130 of FIG. Yes. Each step in FIG. 12 is mainly executed by the CPU 121 and the image processing circuit 125.

まずステップＳ１３０１において、ＣＰＵ１２１は、焦点検出を行う光学条件（絞り値、射出瞳距離、像高などの撮影条件）を取得する。続いてステップＳ１３０２において、ＣＰＵ１２１は、ステップＳ１３０１にて取得した光学条件に応じて、適切な第１光学補正値（第１シェーディング補正値および第１変換係数）を取得する。なお、第１変換係数は、デフォーカス量を算出する直前に取得してもよい。続いてステップＳ１３０３において、ＣＰＵ１２１（画像処理回路１２５）は、ステップＳ１３０２にて取得した第１シェーディング補正係数を用いて、第１方向（本実施形態ではＸ方向）のシェーディング補正を行う。   First, in step S1301, the CPU 121 acquires optical conditions for performing focus detection (imaging conditions such as aperture value, exit pupil distance, and image height). Subsequently, in step S1302, the CPU 121 acquires an appropriate first optical correction value (first shading correction value and first conversion coefficient) according to the optical condition acquired in step S1301. Note that the first conversion coefficient may be acquired immediately before the defocus amount is calculated. Subsequently, in step S1303, the CPU 121 (image processing circuit 125) performs shading correction in the first direction (X direction in the present embodiment) using the first shading correction coefficient acquired in step S1302.

続いてステップＳ１３０４において、ＣＰＵ１２１は、第１方向と第２方向（本実施形態ではＹ方向）のそれぞれの瞳ずれ量を取得する。瞳ずれ量は、撮像装置の調整の際などに測定可能である。続いてステップＳ１３０５において、ＣＰＵ１２１は、ステップＳ１３０１にて取得した光学条件と、ステップＳ１３０４にて取得した瞳ずれ量とを用いて、適切な第２光学補正値（第２シェーディング補正係数および第２変換係数）を取得する。なお、第２変換係数は、第２デフォーカス量を算出する直前に取得してもよい。続いてステップＳ１３０６において、ＣＰＵ１２１（画像処理回路１２５）は、ステップＳ１３０５にて取得した第２シェーディング補正係数を用いて、第２方向（本実施形態ではＹ方向）のシェーディング補正を行う。   Subsequently, in step S1304, the CPU 121 acquires each pupil shift amount in the first direction and the second direction (Y direction in the present embodiment). The pupil shift amount can be measured when adjusting the imaging device. Subsequently, in step S1305, the CPU 121 uses the optical condition acquired in step S1301 and the pupil shift amount acquired in step S1304 to obtain an appropriate second optical correction value (second shading correction coefficient and second conversion value). Coefficient). Note that the second conversion coefficient may be acquired immediately before calculating the second defocus amount. Subsequently, in step S1306, the CPU 121 (image processing circuit 125) performs shading correction in the second direction (Y direction in the present embodiment) using the second shading correction coefficient acquired in step S1305.

このように本実施形態において、制御装置（ＣＰＵ１２１）は、取得手段１２１ａおよび焦点検出手段１２１ｂを有する。取得手段１２１ａは、所定の焦点検出方向に瞳分割された瞳領域を通過した光束に対応する対の像信号に関する光学補正データ（光学補正値）を取得する。光学補正データは、第１光学補正データ（第１光学補正値）および第２光学補正データ（第２光学補正値）を含む。第１光学補正データは、第１方向（例えばＸ方向）に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する光学補正データである。第２光学補正データは、第１方向とは異なる第２方向（例えばＹ方向）に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する光学補正データである。ここで第１瞳領域は、例えば瞳部分領域５０１、５０３を合わせた第１領域、および、瞳部分領域５０２、５０４を合わせた第２領域である。対の第１像信号は、第１領域を通過した第１光束に対応する第１焦点検出信号および第２領域を通過した第１光束に対応する第２焦点検出信号である。第２瞳領域は、例えば瞳部分領域５０１、５０２を合わせた第３領域、および、瞳部分領域５０３、５０４を合わせた第４領域である。対の第２像信号は、第３領域を通過した第２光束に対応する第３焦点検出信号および第４領域を通過した第２光束に対応する第４焦点検出信号である。焦点検出手段１２１ｂは、対の第１像信号および第１光学補正データと、対の第２像信号および第２光学補正データと、に基づいて焦点検出を行う。   As described above, in the present embodiment, the control device (CPU 121) includes the acquisition unit 121a and the focus detection unit 121b. The acquisition unit 121a acquires optical correction data (optical correction value) relating to a pair of image signals corresponding to a light beam that has passed through a pupil region that has been pupil-divided in a predetermined focus detection direction. The optical correction data includes first optical correction data (first optical correction value) and second optical correction data (second optical correction value). The first optical correction data is optical correction data relating to a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that is pupil-divided in a first direction (for example, the X direction). The second optical correction data is optical correction data related to a pair of second image signals corresponding to the second light flux that has passed through the second pupil region divided in the second direction (for example, the Y direction) different from the first direction. is there. Here, the first pupil region is, for example, a first region in which the pupil partial regions 501 and 503 are combined, and a second region in which the pupil partial regions 502 and 504 are combined. The first image signal of the pair is a first focus detection signal corresponding to the first light flux that has passed through the first region and a second focus detection signal corresponding to the first light flux that has passed through the second region. The second pupil region is, for example, a third region in which the pupil partial regions 501 and 502 are combined, and a fourth region in which the pupil partial regions 503 and 504 are combined. The pair of second image signals are a third focus detection signal corresponding to the second light flux that has passed through the third region and a fourth focus detection signal corresponding to the second light flux that has passed through the fourth region. The focus detection unit 121b performs focus detection based on the pair of first image signals and the first optical correction data and the pair of second image signals and the second optical correction data.

好ましくは、取得手段は、第１方向における第１瞳ずれ量（例えば瞳ずれ量Ｘｐ）に応じて第１光学補正データを取得する。同様に取得手段は、第２方向における第２瞳ずれ量（例えば瞳ずれ量Ｙｐ）に応じて第２光学補正データを取得する。より好ましくは、制御装置は、第１光学補正データに関する情報を記憶する記憶手段１２１ｃを有する。そして取得手段は、記憶手段から第１光学補正データを取得する。また取得手段は、第１瞳ずれ量および第２瞳ずれ量と第１光学補正データに関する情報（光学補正データテーブル）とを用いて、第２光学補正データを取得する。より好ましくは、取得手段は、第１瞳ずれ量と第２瞳ずれ量との差（例えば、Ｙｐ−Ｘｐ）に基づいて、第１光学補正データに関する情報から第２光学補正データを取得する。また好ましくは、記憶手段は、第１光学補正データに関する情報として、第１光学補正データに関する近似関数の係数データ（例えば式（７）〜（９）中の係数）を記憶している。そして近似関数は、第１方向（例えばＸ方向）における位置のみに依存する関数である（すなわち、Ｙ方向など第２方向における位置には依存しない）。また好ましくは、記憶手段は、第２方向に分割された複数の領域（分割領域１００１）ごとに、近似関数の係数データを記憶している。   Preferably, the acquisition unit acquires the first optical correction data according to a first pupil shift amount (for example, a pupil shift amount Xp) in the first direction. Similarly, the acquisition unit acquires the second optical correction data according to the second pupil shift amount (for example, pupil shift amount Yp) in the second direction. More preferably, the control device includes a storage unit 121c that stores information related to the first optical correction data. Then, the acquisition unit acquires the first optical correction data from the storage unit. The acquisition unit acquires the second optical correction data by using the first pupil shift amount and the second pupil shift amount and information (optical correction data table) related to the first optical correction data. More preferably, the acquisition unit acquires the second optical correction data from the information related to the first optical correction data based on a difference (for example, Yp−Xp) between the first pupil shift amount and the second pupil shift amount. Preferably, the storage unit stores coefficient data of an approximate function related to the first optical correction data (for example, coefficients in equations (7) to (9)) as information related to the first optical correction data. The approximate function is a function that depends only on the position in the first direction (for example, the X direction) (that is, it does not depend on the position in the second direction such as the Y direction). Preferably, the storage unit stores coefficient data of an approximate function for each of a plurality of regions (divided regions 1001) divided in the second direction.

好ましくは、第１光学補正データおよび第２光学補正データは、第１光束および第２光束を受光する撮像手段（撮像素子１０７）の入射角受光特性に応じて変化する。また好ましくは、第１光学補正データおよび第２光学補正データはそれぞれ、像高およびＦ値に応じて変化する。また好ましくは、焦点検出手段は、対の第１像信号と第１光学補正データとに基づいて第１デフォーカス量（Ｄｅｆ１）を算出し、対の第２像信号と第２光学補正データとに基づいて第２デフォーカス量（Ｄｅｆ２）を算出する。そして焦点検出手段は、第１デフォーカス量および第２デフォーカス量に基づいて焦点検出の際のデフォーカス量（Ｄｅｆ）を取得する。また好ましくは、第１光学補正データおよび第２光学補正データはそれぞれ、シェーディング補正値である。また好ましくは、第１光学補正データは、対の第１像信号に関する第１像ずれ量（ｐ１）を第１デフォーカス量へ変換する際に用いられる第１変換係数（Ｋ１）である。また第２光学補正データは、対の第２像信号に関する第２像ずれ量（ｐ２）を第２デフォーカス量へ変換する際に用いられる第２変換係数（Ｋ２）である。   Preferably, the first optical correction data and the second optical correction data change according to the incident angle light receiving characteristics of the image pickup means (image pickup element 107) that receives the first light flux and the second light flux. Preferably, the first optical correction data and the second optical correction data change according to the image height and the F value, respectively. Preferably, the focus detection unit calculates a first defocus amount (Def1) based on the pair of first image signals and the first optical correction data, and the pair of second image signals and the second optical correction data. The second defocus amount (Def2) is calculated based on the above. The focus detection unit acquires a defocus amount (Def) at the time of focus detection based on the first defocus amount and the second defocus amount. Preferably, each of the first optical correction data and the second optical correction data is a shading correction value. Further preferably, the first optical correction data is a first conversion coefficient (K1) used when converting the first image shift amount (p1) related to the pair of first image signals into the first defocus amount. The second optical correction data is a second conversion coefficient (K2) used when the second image shift amount (p2) related to the pair of second image signals is converted into the second defocus amount.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

本実施形態の撮像装置は、撮像素子ごとの二次元方向のばらつきを加味して光学補正値（シェーディング補正または変換係数）を算出する。このため本実施形態によれば、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。また本実施形態によれば、データ量の増大を回避しつつ高精度な焦点検出を行うことが可能である。   The imaging apparatus according to the present embodiment calculates an optical correction value (shading correction or conversion coefficient) in consideration of the variation in the two-dimensional direction for each imaging element. Therefore, according to the present embodiment, it is possible to provide a control device, an imaging device, a control method, a program, and a storage medium that are capable of highly accurate focus detection. Further, according to the present embodiment, it is possible to perform focus detection with high accuracy while avoiding an increase in the amount of data.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

１２１ ＣＰＵ（制御装置）
１２１ａ 取得手段
１２１ｂ 焦点検出手段 121 CPU (control device)
121a acquisition means 121b focus detection means

Claims (15)

第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データと、該第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データと、を取得する取得手段と、
前記対の第１像信号および前記第１光学補正データと、前記対の第２像信号および前記第２光学補正データと、に基づいて焦点検出を行う焦点検出手段と、を有することを特徴とする制御装置。 The first optical correction data relating to the pair of first image signals corresponding to the first light flux that has passed through the first pupil region divided in the first direction, and the pupil division in a second direction different from the first direction Acquisition means for acquiring second optical correction data relating to a pair of second image signals corresponding to the second light flux that has passed through the second pupil region;
Focus detection means for performing focus detection based on the first image signal and the first optical correction data of the pair, and the second image signal of the pair and the second optical correction data. Control device. 前記取得手段は、
前記第１方向における第１瞳ずれ量に応じて前記第１光学補正データを取得し、
前記第２方向における第２瞳ずれ量に応じて前記第２光学補正データを取得する、ことを特徴とする請求項１に記載の制御装置。 The acquisition means includes
Obtaining the first optical correction data according to the first pupil displacement amount in the first direction;
The control device according to claim 1, wherein the second optical correction data is acquired according to a second pupil shift amount in the second direction. 前記第１光学補正データに関する情報を記憶する記憶手段を更に有し、
前記取得手段は、
前記記憶手段から前記第１光学補正データを取得し、
前記第１瞳ずれ量および前記第２瞳ずれ量と前記第１光学補正データに関する情報とを用いて、前記第２光学補正データを取得する、ことを特徴とする請求項２に記載の制御装置。 Storage means for storing information relating to the first optical correction data;
The acquisition means includes
Obtaining the first optical correction data from the storage means;
3. The control device according to claim 2, wherein the second optical correction data is acquired using the first pupil shift amount, the second pupil shift amount, and information related to the first optical correction data. . 前記取得手段は、前記第１瞳ずれ量と前記第２瞳ずれ量との差に基づいて、前記第１光学補正データに関する情報から前記第２光学補正データを取得する、ことを特徴とする請求項３に記載の制御装置。   The acquisition means acquires the second optical correction data from information on the first optical correction data based on a difference between the first pupil shift amount and the second pupil shift amount. Item 4. The control device according to Item 3. 前記記憶手段は、前記第１光学補正データに関する情報として、該第１光学補正データに関する近似関数の係数データを記憶しており、
前記近似関数は、前記第１方向における位置のみに依存する関数である、ことを特徴とする請求項３または４に記載の制御装置。 The storage means stores coefficient data of an approximate function related to the first optical correction data as information related to the first optical correction data.
The control device according to claim 3, wherein the approximate function is a function that depends only on a position in the first direction. 前記記憶手段は、前記第２方向に分割された複数の領域ごとに、前記近似関数の前記係数データを記憶していることを特徴とする請求項５に記載の制御装置。   The control device according to claim 5, wherein the storage unit stores the coefficient data of the approximate function for each of a plurality of regions divided in the second direction. 前記第１光学補正データおよび前記第２光学補正データは、前記第１光束および前記第２光束を受光する撮像手段の入射角受光特性に応じて変化することを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。   7. The first optical correction data and the second optical correction data change according to an incident angle light receiving characteristic of an imaging unit that receives the first light flux and the second light flux. The control device according to any one of claims. 前記第１光学補正データおよび前記第２光学補正データはそれぞれ、像高およびＦ値に応じて変化することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。   The control device according to claim 1, wherein the first optical correction data and the second optical correction data change according to an image height and an F value, respectively. 前記焦点検出手段は、
前記対の第１像信号と前記第１光学補正データとに基づいて第１デフォーカス量を算出し、
前記対の第２像信号と前記第２光学補正データとに基づいて第２デフォーカス量を算出し、
前記第１デフォーカス量および前記第２デフォーカス量に基づいて前記焦点検出の際のデフォーカス量を取得する、ことを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。 The focus detection means includes
Calculating a first defocus amount based on the first image signal of the pair and the first optical correction data;
Calculating a second defocus amount based on the second image signal of the pair and the second optical correction data;
The control device according to claim 1, wherein a defocus amount at the time of focus detection is acquired based on the first defocus amount and the second defocus amount. 前記第１光学補正データおよび前記第２光学補正データはそれぞれ、シェーディング補正値であることを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。   10. The control device according to claim 1, wherein each of the first optical correction data and the second optical correction data is a shading correction value. 前記第１光学補正データは、前記対の第１像信号に関する第１像ずれ量を第１デフォーカス量へ変換する際に用いられる第１変換係数であり、
前記第２光学補正データは、前記対の第２像信号に関する第２像ずれ量を第２デフォーカス量へ変換する際に用いられる第２変換係数である、ことを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。 The first optical correction data is a first conversion coefficient used when converting a first image shift amount related to the pair of first image signals into a first defocus amount;
2. The second optical correction data is a second conversion coefficient used when converting a second image shift amount related to the pair of second image signals into a second defocus amount. The control device according to any one of 9. 第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号と、該第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号とを出力する撮像手段と、
前記対の第１像信号に関する第１光学補正データと、前記対の第２像信号に関する第２光学補正データと、を取得する取得手段と、
前記対の第１像信号および前記第１光学補正データと、前記対の第２像信号および前記第２光学補正データと、に基づいて焦点検出を行う焦点検出手段と、を有することを特徴とする撮像装置。 A pair of first image signals corresponding to the first light flux that has passed through the first pupil region divided in the first direction and a second pupil region that has been pupil-divided in a second direction different from the first direction. Imaging means for outputting a pair of second image signals corresponding to the second luminous flux;
Obtaining means for obtaining first optical correction data relating to the first image signal of the pair and second optical correction data relating to the second image signal of the pair;
Focus detection means for performing focus detection based on the first image signal and the first optical correction data of the pair, and the second image signal of the pair and the second optical correction data. An imaging device. 第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データを取得するステップと、
前記第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データを取得するステップと、
前記対の第１像信号および前記第１光学補正データと、前記対の第２像信号および前記第２光学補正データと、に基づいて焦点検出を行うステップと、を有することを特徴とする制御方法。 Obtaining first optical correction data relating to a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that is pupil-divided in a first direction;
Obtaining second optical correction data relating to a pair of second image signals corresponding to a second light flux that has passed through a second pupil region that has been pupil-divided in a second direction different from the first direction;
And a step of performing focus detection based on the first image signal of the pair and the first optical correction data and the second image signal of the pair and the second optical correction data. Method. 第１方向に瞳分割された第１瞳領域を通過した第１光束に対応する対の第１像信号に関する第１光学補正データを取得するステップと、
前記第１方向とは異なる第２方向に瞳分割された第２瞳領域を通過した第２光束に対応する対の第２像信号に関する第２光学補正データを取得するステップと、
前記対の第１像信号および前記第１光学補正データと、前記対の第２像信号および前記第２光学補正データと、に基づいて焦点検出を行うステップと、をコンピュータに実行させることを特徴とするプログラム。 Obtaining first optical correction data relating to a pair of first image signals corresponding to a first light flux that has passed through a first pupil region that is pupil-divided in a first direction;
Obtaining second optical correction data relating to a pair of second image signals corresponding to a second light flux that has passed through a second pupil region that has been pupil-divided in a second direction different from the first direction;
Causing the computer to execute focus detection based on the pair of first image signals and the first optical correction data and the pair of second image signals and the second optical correction data. Program. 請求項１４に記載のプログラムを記憶していることを特徴とする記憶媒体。   A storage medium storing the program according to claim 14.
JP2015179136A 2015-09-11 2015-09-11 Control device, imaging device, control method, program, and storage medium Active JP6525829B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015179136A JP6525829B2 (en) 2015-09-11 2015-09-11 Control device, imaging device, control method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015179136A JP6525829B2 (en) 2015-09-11 2015-09-11 Control device, imaging device, control method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2017054052A true JP2017054052A (en) 2017-03-16
JP6525829B2 JP6525829B2 (en) 2019-06-05

Family

ID=58320788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015179136A Active JP6525829B2 (en) 2015-09-11 2015-09-11 Control device, imaging device, control method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP6525829B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259509B1 (en) * 2016-12-28 2018-01-10 株式会社エスケーエレクトロニクス Halftone mask, photomask blank, and method of manufacturing halftone mask
JP2019095593A (en) * 2017-11-22 2019-06-20 オリンパス株式会社 Focus detection device and focus detection method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111618A (en) * 1993-10-08 1995-04-25 Victor Co Of Japan Ltd Fringe pattern reducing device for image formation system
JP2002131623A (en) * 2000-10-24 2002-05-09 Canon Inc Imaging apparatus and system
US20100045849A1 (en) * 2008-08-25 2010-02-25 Canon Kabushiki Kaisha Image sensing apparatus, image sensing system and focus detection method
US20110234861A1 (en) * 2010-03-23 2011-09-29 Fujifilm Corporation Imaging device
JP2011227388A (en) * 2010-04-22 2011-11-10 Canon Inc Imaging device
US20130021520A1 (en) * 2011-07-20 2013-01-24 Samsung Electronics Co. Ltd. Apparatus and method for automatically adjusting focus in image capturing device
US20130342751A1 (en) * 2012-06-25 2013-12-26 Canon Kabushiki Kaisha Image pickup apparatus and its control method
US20150002838A1 (en) * 2013-07-01 2015-01-01 Canon Kabushiki Kaisha Focus detection apparatus, control method thereof, and storage medium storing program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111618A (en) * 1993-10-08 1995-04-25 Victor Co Of Japan Ltd Fringe pattern reducing device for image formation system
JP2002131623A (en) * 2000-10-24 2002-05-09 Canon Inc Imaging apparatus and system
US20100045849A1 (en) * 2008-08-25 2010-02-25 Canon Kabushiki Kaisha Image sensing apparatus, image sensing system and focus detection method
JP2010049209A (en) * 2008-08-25 2010-03-04 Canon Inc Imaging sensing apparatus, image sensing system, and focus detection method
US20110234861A1 (en) * 2010-03-23 2011-09-29 Fujifilm Corporation Imaging device
JP2011223562A (en) * 2010-03-23 2011-11-04 Fujifilm Corp Imaging apparatus
JP2011227388A (en) * 2010-04-22 2011-11-10 Canon Inc Imaging device
US20130021520A1 (en) * 2011-07-20 2013-01-24 Samsung Electronics Co. Ltd. Apparatus and method for automatically adjusting focus in image capturing device
US20130342751A1 (en) * 2012-06-25 2013-12-26 Canon Kabushiki Kaisha Image pickup apparatus and its control method
JP2014006388A (en) * 2012-06-25 2014-01-16 Canon Inc Imaging apparatus, and its control method and program
US20150002838A1 (en) * 2013-07-01 2015-01-01 Canon Kabushiki Kaisha Focus detection apparatus, control method thereof, and storage medium storing program
JP2015011283A (en) * 2013-07-01 2015-01-19 キヤノン株式会社 Image capturing device, method of controlling the same, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6259509B1 (en) * 2016-12-28 2018-01-10 株式会社エスケーエレクトロニクス Halftone mask, photomask blank, and method of manufacturing halftone mask
JP2018109672A (en) * 2016-12-28 2018-07-12 株式会社エスケーエレクトロニクス Halftone mask, photomask blank, and method for producing halftone mask
JP2019095593A (en) * 2017-11-22 2019-06-20 オリンパス株式会社 Focus detection device and focus detection method
JP7027133B2 (en) 2017-11-22 2022-03-01 オリンパス株式会社 Focus detection device and focus detection method

Also Published As

Publication number Publication date
JP6525829B2 (en) 2019-06-05

Similar Documents

Publication Publication Date Title
JP6362060B2 (en) Imaging apparatus, control method thereof, and program
JP6249825B2 (en) Imaging device, control method thereof, and control program
JP6239857B2 (en) Imaging apparatus and control method thereof
KR101886059B1 (en) Image capturing apparatus and method of controlling the same
JP6381266B2 (en) IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP6746359B2 (en) Image processing device, imaging device, image processing method, program, and storage medium
JP2014056014A (en) Imaging element and imaging apparatus
JP6486149B2 (en) Image processing apparatus, imaging apparatus, image processing method, program, and storage medium
CN110312957B (en) Focus detection apparatus, focus detection method, and computer-readable storage medium
JP6525829B2 (en) Control device, imaging device, control method, program, and storage medium
JP2015210285A (en) Imaging device, manufacturing method of the same, program thereof and recording medium
JP2019028359A (en) Imaging apparatus and control method of the same
JP6254843B2 (en) Image processing apparatus and control method thereof
JP6285683B2 (en) Imaging apparatus and control method thereof
JP7019337B2 (en) Image stabilization device, lens device and their control method
JP6639326B2 (en) Control device, imaging device, control method, program, and storage medium
JP6862102B2 (en) Control device, image pickup device, control method, program, and storage medium
JP2015145970A (en) Imaging device, control method of the same, program abd recording medium
JP7022575B2 (en) Focus detectors and methods, and imaging devices
JP6701023B2 (en) Imaging device, image processing method, image processing system, and image processing program
CN113596431B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2019219577A (en) Detection device and detection method
JP2015225310A (en) Image capturing device, control method therefor, program, and storage medium
JP6526294B2 (en) Imaging device and lens device
JP2017003674A (en) Control device, imaging apparatus, control method, program, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R151 Written notification of patent or utility model registration

Ref document number: 6525829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151