JP2020008739A - Imaging device and imaging device control device as well as program - Google Patents

Imaging device and imaging device control device as well as program Download PDF

Info

Publication number
JP2020008739A
JP2020008739A JP2018130050A JP2018130050A JP2020008739A JP 2020008739 A JP2020008739 A JP 2020008739A JP 2018130050 A JP2018130050 A JP 2018130050A JP 2018130050 A JP2018130050 A JP 2018130050A JP 2020008739 A JP2020008739 A JP 2020008739A
Authority
JP
Japan
Prior art keywords
correction
image
amount
information
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018130050A
Other languages
Japanese (ja)
Other versions
JP7130473B2 (en
Inventor
松尾　康弘
Yasuhiro Matsuo
康弘 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018130050A priority Critical patent/JP7130473B2/en
Publication of JP2020008739A publication Critical patent/JP2020008739A/en
Application granted granted Critical
Publication of JP7130473B2 publication Critical patent/JP7130473B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

To enable highly accurate focus detection even if an image tremor correction by a hybrid method is made.SOLUTION: An imaging device performs focus detection on the basis of light fluxes passing through a plurality of pupil regions of an image formation optical system. The imaging device comprises: an image pick-up element that receives the light flux; and control means. The control means comprises: first correction means that drives one part of a lens group of the image formation optical system on the basis of a first amount of correction, and thereby corrects an image tremor; second correction means that drives the image pick-up element in an in-plane vertical to an optical axis of the image formation optical system on the basis of a second amount of correction of the image pick-up element, and thereby corrects the image tremor; acquisition means that acquires aperture information on the image formation optical system and sensitivity degree information representing an amount of change of an aperture of the image formation optical system with respect to the first amount of correction; modification means that modifies the aperture information acquired by the acquisition means on the basis of the first amount of correction, the second amount of correction and the sensitivity degree information, and obtains modified aperture information; and focus detection means that performs focus detection on the modified aperture information.SELECTED DRAWING: Figure 15

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関する。   The present invention relates to an imaging device, a control method thereof, and a program.

レンズから入る光の経路を左右２つに分割し、両経路からの結像位置の差に基づき焦点を合わせる瞳分割方式による位相差ＡＦ（ｐｈａｓｅ ｄｅｔｅｃｔｉｏｎ ａｕｔｏｆｏｃｕｓ）が知られている。瞳分割方式は、測距エリアが結像光学系の光軸から離れた領域になるほど、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、不均一に瞳分割されるため、焦点検出精度が下がるという問題がある。また、瞳分割方式と像振れ補正方式を併用する場合は、像振れ補正の方式により、以下のような理由で、さらに焦点検出精度が下がるという問題がある。   There is known a phase difference AF (phase detection autofocus) by a pupil division method in which a path of light entering from a lens is divided into two right and left sides and a focal point is set based on a difference between image forming positions from both paths. In the pupil division method, the pupil shift between the exit pupil of the imaging optical system and the entrance pupil of the image sensor occurs as the distance measurement area becomes farther from the optical axis of the imaging optical system, resulting in uneven pupil division. However, there is a problem that the focus detection accuracy is reduced. In addition, when the pupil division method and the image blur correction method are used together, there is a problem that the focus detection accuracy is further reduced due to the following reasons, depending on the image blur correction method.

像振れ補正方式には、撮像素子を結像光学系の光軸に垂直な面内で駆動する撮像素子駆動方式と、結像光学系のレンズ群の一部を駆動するレンズ群駆動方式と、がある。   The image blur correction method includes an image sensor driving method for driving the image sensor in a plane perpendicular to the optical axis of the image forming optical system, a lens group driving method for driving a part of the lens group of the image forming optical system, There is.

瞳分割方式による位相差ＡＦと、撮像素子駆動方式による像振れ補正と、を併用した場合は、撮像素子が動くことにより、結像光学系の光軸中心から撮像素子上のある画素までの距離が変化する。これにより、ある画素から見た結像光学系の射出瞳の形状及び位置が変化する。つまり、撮像素子の入射瞳に投影された結像光学系の射出瞳の形状及び位置が変化する。   When the phase difference AF based on the pupil division method and the image blur correction based on the image sensor driving method are used together, the distance from the optical axis center of the imaging optical system to a certain pixel on the image sensor due to the movement of the image sensor. Changes. As a result, the shape and position of the exit pupil of the imaging optical system as viewed from a certain pixel changes. That is, the shape and position of the exit pupil of the imaging optical system projected on the entrance pupil of the image sensor change.

瞳分割方式による位相差ＡＦと、レンズ群駆動方式による像振れ補正と、を併用した場合は、結像光学系のレンズ群の一部が駆動され、結像光学系を通過する光束を制限する枠の位置関係が変化する。これにより、結像光学系の射出瞳の形状が変化する。特に、測距エリアが結像光学系の光軸中心から離れている場合は、光束の入射角度が大きいため、枠位置の変化の影響を大きく受ける。   When the phase difference AF based on the pupil division method and the image blur correction based on the lens group driving method are used together, a part of the lens group of the imaging optical system is driven to limit the light flux passing through the imaging optical system. The positional relationship of the frame changes. As a result, the shape of the exit pupil of the imaging optical system changes. In particular, when the distance measuring area is far from the center of the optical axis of the image forming optical system, the angle of incidence of the light beam is large, so that the frame position is greatly affected by the change in the frame position.

特開２０１６−９０６４９号公報JP-A-2006-90649 特開２０１６−１１８６９７号公報JP-A-2006-118697

特許文献１は、瞳分割方式による位相差ＡＦと、撮像素子駆動方式による像振れ補正と、を併用した場合の高精度な焦点検出方法を開示する。特許文献１では、像振れ量からデフォーカス量を換算する換算係数テーブルが予め用意される。つまり、特許文献１では、撮像素子駆動方式による像振れ補正の状態に応じて、撮像素子に対する光束の上側光線と下側光線を算出し、かつ換算係数テーブルを用いてデフォーカス量を求めることで、高精度な焦点検出を実現する。特許文献２は、特許文献１よりも高精度な焦点検出を実現するために、上側光線と下側光線を算出する際にレンズ群の開口情報を用いる焦点検出方法を開示する。   Patent Literature 1 discloses a highly accurate focus detection method in which phase difference AF using a pupil division method and image shake correction using an image sensor driving method are used in combination. In Patent Document 1, a conversion coefficient table for converting a defocus amount from an image blur amount is prepared in advance. That is, in Patent Document 1, by calculating the upper ray and the lower ray of the luminous flux with respect to the image sensor in accordance with the state of image blur correction by the image sensor driving method, and obtaining the defocus amount using the conversion coefficient table. And realizes highly accurate focus detection. Patent Literature 2 discloses a focus detection method that uses aperture information of a lens group when calculating an upper ray and a lower ray in order to realize more accurate focus detection than Patent Literature 1.

しかしながら、特許文献１及び２は、いずれも、位相差ＡＦにおいて、ハイブリット方式による像振れ補正を考慮して高精度な焦点検出を行う方法を開示しない。特に、特許文献１及び２は、レンズ群駆動方式による結像光学系の射出瞳の形状変化を考慮した焦点検出方法を何ら開示しない。ここで、ハイブリット方式による像振れ補正とは、撮像素子駆動方式による像振れ補正とレンズ群駆動方式による像振れ補正とを組み合わせた像振れ補正のことである。   However, Patent Documents 1 and 2 do not disclose a method of performing highly accurate focus detection in the phase difference AF in consideration of image blur correction by a hybrid method. In particular, Patent Documents 1 and 2 do not disclose any focus detection method in consideration of a change in the shape of an exit pupil of an imaging optical system using a lens group driving method. Here, the image blur correction by the hybrid method is image blur correction that combines image blur correction by the image sensor driving method and image blur correction by the lens group driving method.

本発明は、ハイブリット方式による像振れ補正を考慮した修正された開口情報から焦点検出のための変換係数を取得し、当該変換係数を用いて位相差からデフォーカス量を求めることで、高精度な焦点検出を可能とする撮像装置を実現することを目的とする。   The present invention obtains a conversion coefficient for focus detection from corrected aperture information in consideration of image blur correction by a hybrid method, and obtains a defocus amount from a phase difference using the conversion coefficient, thereby achieving high precision. It is an object of the present invention to realize an imaging device that enables focus detection.

本発明の例に係る撮像装置は、結像光学系の複数の瞳領域を通過する光束に基づき焦点検出を行う撮像装置であって、前記光束を受ける撮像素子と、制御手段と、を備える。前記制御手段は、前記結像光学系のレンズ群の一部を第１の補正量に基づき駆動することで像振れを補正する第１の補正手段と、前記撮像素子を第２の補正量に基づき前記結像光学系の光軸に垂直な面内で駆動することで前記像振れを補正する第２の補正手段と、前記結像光学系の開口情報、及び前記第１の補正量に対する前記結像光学系の開口の変化量を表す敏感度情報を取得する取得手段と、前記第１の補正量、前記第２の補正量、及び前記敏感度情報に基づき、前記取得手段により取得された前記開口情報を修正することで、修正された開口情報を求める修正手段と、前記修正された開口情報に基づき焦点検出を行う焦点検出手段と、を備える。   An imaging device according to an example of the present invention is an imaging device that performs focus detection based on a light beam that passes through a plurality of pupil regions of an imaging optical system, and includes an image sensor that receives the light beam, and a control unit. The control unit includes a first correction unit that corrects an image blur by driving a part of a lens group of the imaging optical system based on a first correction amount, and sets the imaging device to a second correction amount. A second correction unit that corrects the image blur by driving in a plane perpendicular to the optical axis of the imaging optical system based on the aperture information of the imaging optical system and the first correction amount. Acquiring means for acquiring sensitivity information indicating a change amount of the aperture of the imaging optical system; and acquiring the sensitivity information based on the first correction amount, the second correction amount, and the sensitivity information. The image processing apparatus includes: a correction unit that obtains corrected opening information by correcting the opening information; and a focus detection unit that performs focus detection based on the corrected opening information.

本発明によれば、ハイブリット方式による像振れ補正を考慮した修正された開口情報から焦点検出のための変換係数を取得し、当該変換係数を用いて位相差からデフォーカス量を求めることで、高精度な焦点検出を可能とする撮像装置を実現できる。   According to the present invention, a conversion coefficient for focus detection is obtained from corrected aperture information in consideration of image blur correction by a hybrid method, and a defocus amount is obtained from a phase difference using the conversion coefficient, thereby achieving high defocus. An imaging device that enables accurate focus detection can be realized.

カメラシステムの例を示す図である。It is a figure showing an example of a camera system. 撮像素子の例を示す図である。FIG. 3 is a diagram illustrating an example of an imaging element. 撮像素子の例を示す図である。FIG. 3 is a diagram illustrating an example of an imaging element. 図３の撮像素子の動作を示す波形図である。FIG. 4 is a waveform chart illustrating an operation of the imaging device in FIG. 3. 光電変換領域と射出瞳との関係を示す図である。FIG. 3 is a diagram illustrating a relationship between a photoelectric conversion region and an exit pupil. 周辺像高で発生する不均一な瞳分割を示す図である。FIG. 5 is a diagram illustrating non-uniform pupil division occurring at a peripheral image height. 撮像素子駆動方式による像振れ補正時の瞳分割を示す図である。FIG. 5 is a diagram illustrating pupil division at the time of image blur correction by an image sensor driving method. レンズ群駆動方式による像振れ補正時の瞳分割を示す図である。FIG. 7 is a diagram illustrating pupil division at the time of image blur correction by a lens group driving method. レンズ群駆動方式による像振れ補正時の開口形状の変化を示す図である。FIG. 9 is a diagram illustrating a change in an aperture shape at the time of image blur correction by a lens group driving method. 開口情報、敏感度情報、及び換算係数テーブルの例を示す図である。It is a figure showing an example of opening information, sensitivity information, and a conversion coefficient table. 像振れ補正の例を示すフローチャートである。9 is a flowchart illustrating an example of image blur correction. 像振れ補正中の焦点検出の例を示すフローチャートである。9 is a flowchart illustrating an example of focus detection during image blur correction. 撮影範囲と焦点検出領域の例を示す図である。FIG. 3 is a diagram illustrating an example of a shooting range and a focus detection area. 焦点検出領域内の画素の例を示す図である。FIG. 4 is a diagram illustrating an example of a pixel in a focus detection area. 像振れ補正中の開口情報の修正の例を示すフローチャートである。9 is a flowchart illustrating an example of correction of aperture information during image blur correction. デフォーカス量の算出の例を示すフローチャートである。9 is a flowchart illustrating an example of calculating a defocus amount.

以下、本発明の例示的な実施形態について、添付図面を参照して詳細に説明する。
ここでは、本発明に係る撮像装置をレンズ交換式のデジタル一眼レフカメラ（カメラシステム）に適用した実施形態について説明する。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
Here, an embodiment in which the imaging apparatus according to the present invention is applied to a digital single-lens reflex camera (camera system) of an interchangeable lens type will be described.

しかしながら、本発明は、以下の実施形態に限定されず、瞳分割方式による位相差ＡＦと、ハイブリッド方式による像振れ補正と、を併用した撮像装置、又はそれを備えたシステムに適用可能である。例えば、本発明は、デジタルスチルカメラ、デジタルビデオカメラなどのカメラ一般はもとより、カメラ機能を搭載した機器にも適用可能である。カメラ機能を搭載した機器とは、携帯電話、スマートフォン、タブレット端末、コンピュータ機器、メディアプレーヤ、ロボット機器、ゲーム機器、家電機器などを含む。   However, the present invention is not limited to the embodiments described below, and is applicable to an imaging apparatus using both phase difference AF using a pupil division method and image shake correction using a hybrid method, or a system including the same. For example, the present invention is applicable not only to general cameras such as digital still cameras and digital video cameras, but also to devices equipped with camera functions. Devices equipped with a camera function include mobile phones, smartphones, tablet terminals, computer devices, media players, robot devices, game devices, home appliances, and the like.

（カメラシステム）
図１は、カメラシステムの例を示す。
カメラシステムは、撮像装置としてのカメラ本体１００と、カメラ本体１００から取り外し可能な交換レンズ（撮影レンズ）３００と、を備える。 (Camera system)
FIG. 1 shows an example of a camera system.
The camera system includes a camera body 100 as an imaging device, and an interchangeable lens (photographing lens) 300 detachable from the camera body 100.

光束は、結像光学系３０３と、絞り３０４と、交換レンズ３００側のレンズマウント３０１と、カメラ本体１００側のレンズマウント１１と、シャッタ１２とをそれぞれ通過し、かつ撮像素子１４に入射する。   The light beam passes through the imaging optical system 303, the aperture 304, the lens mount 301 on the interchangeable lens 300 side, the lens mount 11 on the camera body 100 side, and the shutter 12, respectively, and enters the image sensor 14.

撮像素子１４は、ＣＣＤ又はＣＭＯＳイメージセンサであり、２次元的に配置される複数の画素を備える。各画素は、例えば、フォトダイオードなどの光電変換領域を有する。撮像素子１４は、被写体光学像に対応する電気信号を出力する。撮像素子１４にて光電変換された電気信号は、Ａ／Ｄ変換器１６へ送られる。Ａ／Ｄ変換器１６は、アナログ信号をデジタル信号（画像データ）に変換する。尚、後述するように、Ａ／Ｄ変換器１６は、撮像素子１４内に組み込まれてもよい。   The imaging element 14 is a CCD or CMOS image sensor, and includes a plurality of pixels arranged two-dimensionally. Each pixel has a photoelectric conversion region such as a photodiode, for example. The imaging element 14 outputs an electric signal corresponding to the subject optical image. The electric signal photoelectrically converted by the image sensor 14 is sent to the A / D converter 16. The A / D converter 16 converts an analog signal into a digital signal (image data). In addition, as described later, the A / D converter 16 may be incorporated in the image sensor 14.

本実施形態では、カメラ本体１００は、瞳分割方式による位相差ＡＦを行う。従って、撮像素子１４の複数の画素のうちの一部に関しては、１つの画素が結像光学系の複数の瞳領域を通過する光束を受ける複数の光電変換領域を備える。そして、撮像装置は、これら複数の光電変換領域から得られる信号に基づき、焦点検出を行う。   In the present embodiment, the camera body 100 performs the phase difference AF by the pupil division method. Therefore, regarding a part of the plurality of pixels of the image sensor 14, one pixel includes a plurality of photoelectric conversion regions that receive a light beam passing through a plurality of pupil regions of the imaging optical system. Then, the imaging device performs focus detection based on signals obtained from the plurality of photoelectric conversion regions.

タイミング発生回路１８は、クロック信号及び制御信号を、撮像素子１４及びＡ／Ｄ変換器１６に供給する。タイミング発生回路１８は、システム制御部５０により制御される。例えば、システム制御部５０は、タイミング発生回路１８を用いて、１つの画素内の複数の光電変換領域から、順次、信号を出力したり、又は１つの画素内の複数の光電変換領域から得られる信号を加算し、一度に出力したりすることができる。   The timing generation circuit 18 supplies a clock signal and a control signal to the image sensor 14 and the A / D converter 16. The timing generation circuit 18 is controlled by the system control unit 50. For example, the system control unit 50 uses the timing generation circuit 18 to sequentially output signals from a plurality of photoelectric conversion regions in one pixel, or obtain signals from a plurality of photoelectric conversion regions in one pixel. Signals can be added and output at once.

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データに対して、画素補間処理、ホワイトバランス調整処理、色変換処理などの所定の処理を適用する。   The image processing unit 20 applies predetermined processing such as pixel interpolation processing, white balance adjustment processing, and color conversion processing to the image data from the A / D converter 16.

画像処理部２０は、Ａ／Ｄ変換器１６からの画像データ（撮像素子１４の出力信号）のうち、焦点検出信号に基づき、位相差ＡＦによる焦点検出のための一対の信号列を生成する。一対の信号列は、システム制御部５０を介してＡＦ（ＡｕｔｏＦｏｃｕｓ）部５４へ送られる。焦点検出部としてのＡＦ部５４は、一対の信号列の相関演算により、一対の信号列間のずれ量（位相差）を検出し、かつこのずれ量を交換レンズ３００のデフォーカス量とデフォーカス方向に変換する。ＡＦ部５４は、当該デフォーカスの量及び当該デフォーカス方向をそれぞれシステム制御部５０に出力する。システム制御部５０は、交換レンズ３００のフォーカス制御部３０７を通じてフォーカスレンズを駆動し、交換レンズ３００の焦点距離を調節する。   The image processing unit 20 generates a pair of signal trains for focus detection by the phase difference AF based on the focus detection signal in the image data (output signal of the image sensor 14) from the A / D converter 16. The pair of signal trains are sent to an AF (Auto Focus) unit 54 via the system control unit 50. The AF unit 54 serving as a focus detection unit detects a shift amount (phase difference) between the pair of signal trains by performing a correlation operation of the pair of signal trains, and detects the shift amount between the defocus amount of the interchangeable lens 300 and the defocus amount. Convert to direction. The AF unit 54 outputs the defocus amount and the defocus direction to the system control unit 50, respectively. The system control unit 50 drives the focus lens through the focus control unit 307 of the interchangeable lens 300, and adjusts the focal length of the interchangeable lens 300.

また、画像処理部２０は、撮像素子１４から得られる、通常の画像データを生成するための信号に基づき、コントラスト評価値を演算する。即ち、本実施形態では、カメラ本体１００は、位相差ＡＦ（位相差検出方式）に代えて、コントラスト検出方式による焦点検出も可能である。この場合、システム制御部５０は、交換レンズ３００のフォーカス制御部３０７を通じて、フォーカスレンズの位置を変更しながら撮像素子１４による撮影を行い、画像処理部２０で算出したコントラスト評価値の変化を調べる。そして、システム制御部５０は、フォーカスレンズを、コントラスト評価値が最大となる位置に駆動する。   Further, the image processing unit 20 calculates a contrast evaluation value based on a signal for generating normal image data obtained from the image sensor 14. That is, in the present embodiment, the camera body 100 can also perform focus detection by a contrast detection method instead of the phase difference AF (phase difference detection method). In this case, the system control unit 50 performs imaging by the imaging element 14 while changing the position of the focus lens through the focus control unit 307 of the interchangeable lens 300, and checks a change in the contrast evaluation value calculated by the image processing unit 20. Then, the system control unit 50 drives the focus lens to a position where the contrast evaluation value is maximized.

シャッタ制御部５６は、測光部５２からの測光情報に基づき、交換レンズ３００の絞り３０４を制御する絞り制御部３０６と連携しながら、シャッタ１２を制御する。インターフェース（Ｉ／Ｆ）部４３及びコネクタ４２は、カメラ本体１００と交換レンズ３００とを電気的に接続する。これらは、カメラ本体１００と交換レンズ３００との間で、制御信号、状態信号、データ信号などを伝え合うと共に、カメラ本体１００から交換レンズ３００に電圧及び電流を供給する機能も備える。また、これらは、電気通信の他に、光通信、音声通信などが可能であってもよい。   The shutter control unit 56 controls the shutter 12 based on photometric information from the photometric unit 52 in cooperation with an aperture control unit 306 that controls the aperture 304 of the interchangeable lens 300. The interface (I / F) unit 43 and the connector 42 electrically connect the camera body 100 and the interchangeable lens 300. These components have functions of transmitting control signals, status signals, data signals, and the like between the camera body 100 and the interchangeable lens 300 and supplying a voltage and a current from the camera body 100 to the interchangeable lens 300. These may be capable of optical communication, voice communication, and the like, in addition to electric communication.

測光部５２は、自動露出制御（ＡＥ）処理を行う。測光部５２は、被写体輝度と露出条件とを対応付けたプログラム線図などを用いて露出条件を決定する。   The photometry unit 52 performs an automatic exposure control (AE) process. The photometric unit 52 determines an exposure condition using a program diagram or the like in which the subject brightness and the exposure condition are associated with each other.

システム制御部５０は、例えば、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することによりカメラシステム全体の動作を制御する。システム制御部５０の動作用の定数、変数、プログラムなどは、不図示の不揮発性のメモリ内に予め記憶しておく。   The system control unit 50 has a programmable processor such as a CPU and an MPU, for example, and controls the operation of the entire camera system by executing a program stored in advance. Constants, variables, programs, and the like for operation of the system control unit 50 are stored in a non-volatile memory (not shown) in advance.

像振れ検出部７０は、カメラ本体１００の像振れ量を検出する。像振れ検出部７０は、ジャイロセンサなどを用いてカメラ本体１００の動きから像振れ量を検出する方式でもよいし、撮像素子１４からの信号に基づき画像処理より像振れ量を検出する方式でもよいし、又はそれらを併用する方式でもよい。また、本実施形態では、像振れ検出部７０は、カメラ本体１００に取り付けられるが、交換レンズ３００に取り付けられても、又はカメラ本体１００と交換レンズ３００の双方に取り付けられてもよい。さらに、像振れ検出部７０は、複数の像振れ量から最も高い精度を持つ像振れ量を選択する方式でもよいし、又は複数の像振れ量から１つの像振れ量を演算する方式でもよい。   The image blur detector 70 detects the amount of image blur of the camera body 100. The image shake detection unit 70 may be a method of detecting the amount of image shake from the movement of the camera body 100 using a gyro sensor or the like, or a method of detecting the amount of image shake from image processing based on a signal from the image sensor 14. Or a combination of them. In addition, in the present embodiment, the image blur detection unit 70 is attached to the camera body 100, but may be attached to the interchangeable lens 300, or may be attached to both the camera body 100 and the interchangeable lens 300. Further, the image shake detection unit 70 may be a method of selecting the image shake amount having the highest accuracy from a plurality of image shake amounts, or a method of calculating one image shake amount from the plurality of image shake amounts.

像振れ検出部７０は、検出した像振れ量をシステム制御部５０に送る。システム制御部５０は、当該像振れ量を、レンズ群駆動方式による第１の補正量と、撮像素子駆動方式による第２の補正量とに配分する補正量配分部を備える。補正量配分部は、交換レンズ３００のズームの状態、焦点距離、撮像素子駆動機構の可動駆動量、防振用レンズ群駆動機構の可動駆動量などに基づき、当該像振れ量から第１の補正量と第２の補正量を決定する。   The image blur detection unit 70 sends the detected image blur amount to the system control unit 50. The system control unit 50 includes a correction amount distribution unit that distributes the image blur amount to a first correction amount according to the lens group driving method and a second correction amount according to the imaging element driving method. The correction amount distribution unit performs a first correction from the image shake amount based on the zoom state of the interchangeable lens 300, the focal length, the movable drive amount of the image sensor driving mechanism, the movable drive amount of the image stabilizing lens group drive mechanism, and the like. The amount and the second correction amount are determined.

ここで、レンズ群駆動方式とは、システム制御部５０の第１の補正部を用いて、結像光学系３０３のレンズ群の一部を第１の補正量に基づき駆動することで、像振れを補正する方式のことである。また、撮像素子駆動方式とは、システム制御部５０の第２の補正部を用いて、撮像素子１４を第２の補正量に基づき結像光学系３０３の光軸に垂直な面内で駆動することで、像振れを補正する方式のことである。   Here, the lens group driving method refers to a method of driving a part of the lens group of the imaging optical system 303 based on the first correction amount using the first correction unit of the system control unit 50, thereby obtaining image blur. Is a method of correcting Further, the image pickup device driving method refers to driving the image pickup device 14 in a plane perpendicular to the optical axis of the imaging optical system 303 based on the second correction amount using the second correction unit of the system control unit 50. This is a method for correcting image blur.

例えば、交換レンズ３００の焦点距離が長い場合、レンズ群駆動方式により像振れを補正したほうが、撮像素子駆動方式により像振れを補正するよりも少ない補正量（レンズ群の駆動量）で像振れを補正できる。従って、この場合、システム制御部５０の補正量配分部は、レンズ群駆動方式の第１の補正量を撮像素子駆動方式の第２の補正量よりも大きくする。   For example, when the focal length of the interchangeable lens 300 is long, the image shake is corrected with a smaller correction amount (the drive amount of the lens group) by correcting the image shake by the lens group driving method than by correcting the image shake by the imaging element driving method. Can be corrected. Therefore, in this case, the correction amount distribution unit of the system control unit 50 sets the first correction amount of the lens group driving method to be larger than the second correction amount of the imaging element driving method.

また、結像光学系３０３のレンズ群を駆動する防振用レンズ群駆動機構の残りの可動駆動量が少ない場合、特に、交換レンズ３００の焦点距離が長いときは、レンズ群駆動方式の補正量を大きくすると、当該レンズ群の駆動量が当該可動駆動量を超えてしまう。従って、この場合、システム制御部５０の補正量配分部は、撮像素子駆動方式の第２の補正量をレンズ群駆動方式の第１の補正量よりも大きくする。   Further, when the remaining movable drive amount of the image stabilizing lens group driving mechanism that drives the lens group of the imaging optical system 303 is small, particularly when the focal length of the interchangeable lens 300 is long, the correction amount of the lens group drive method is used. Is increased, the driving amount of the lens group exceeds the movable driving amount. Therefore, in this case, the correction amount distribution unit of the system control unit 50 sets the second correction amount of the image sensor driving method to be larger than the first correction amount of the lens group driving method.

撮像素子駆動機構１５は、撮像素子１４を結像光学系３０３の光軸に垂直な面内で駆動する。撮像素子防振制御部７２は、システム制御部５０の補正量配分部で決定された第２の補正量に基づき、撮像素子駆動機構１５による撮像素子１４の駆動量を制御する。   The image sensor driving mechanism 15 drives the image sensor 14 in a plane perpendicular to the optical axis of the imaging optical system 303. The image sensor image stabilization control unit 72 controls the driving amount of the image sensor 14 by the image sensor driving mechanism 15 based on the second correction amount determined by the correction amount distribution unit of the system control unit 50.

換算係数記憶部７６は、ＡＦ部５４で位相差（焦点検出のための一対の信号列間のずれ量）からデフォーカス量を求めるための換算係数を記憶する。但し、位相差からデフォーカス量を求めるための換算係数は、結像光学系３０３の開口情報に依存するため、換算係数記憶部７６は、換算係数を、開口情報と換算係数と間の関係を示す換算係数テーブルとして記憶する。   The conversion coefficient storage unit 76 stores a conversion coefficient for obtaining a defocus amount from a phase difference (a shift amount between a pair of signal trains for focus detection) in the AF unit 54. However, since the conversion coefficient for obtaining the defocus amount from the phase difference depends on the aperture information of the imaging optical system 303, the conversion coefficient storage unit 76 stores the conversion coefficient and the relationship between the aperture information and the conversion coefficient. It is stored as a conversion coefficient table shown.

従って、焦点検出を行う場合、システム制御部５０の取得部は、まず、焦点検出時の結像光学系３０３の開口情報を取得する。この後、システム制御部５０の取得部は、換算係数記憶部７６に記憶された換算係数テーブルを参照し、当該開口情報に基づき換算係数を取得する。そして、システム制御部５０は、取得した換算係数を、焦点検出部としてのＡＦ部５４に送る。ＡＦ部５４は、換算係数に基づき、位相差からデフォーカス量を求める。   Therefore, when performing focus detection, the acquisition unit of the system control unit 50 first acquires aperture information of the imaging optical system 303 at the time of focus detection. Thereafter, the acquisition unit of the system control unit 50 refers to the conversion coefficient table stored in the conversion coefficient storage unit 76, and obtains a conversion coefficient based on the aperture information. Then, the system control unit 50 sends the obtained conversion coefficient to the AF unit 54 as a focus detection unit. The AF unit 54 obtains the defocus amount from the phase difference based on the conversion coefficient.

ここで、開口情報とは、結像光学系３０３を通過する光束を決定する枠開口の情報を所定の瞳面に投影したときに得られる枠１及び枠２の円の半径と中心座標とで表現される。枠１及び枠２の詳細については、後述する。但し、開口情報の定義は、これに限られることはなく、結像光学系３０３を通過する光束を決定する枠開口の情報が再現可能であれば、どのような形式で定義しても構わない。   Here, the aperture information is the radius and center coordinates of the circles of frame 1 and frame 2 obtained when the information of the frame opening that determines the light flux passing through the imaging optical system 303 is projected on a predetermined pupil plane. Is expressed. Details of the frames 1 and 2 will be described later. However, the definition of the aperture information is not limited to this, and may be defined in any format as long as the information of the frame aperture that determines the light beam passing through the imaging optical system 303 can be reproduced. .

このように、ＡＦ部５４は、換算係数に基づき、位相差からデフォーカス量を求める。また、換算係数は、換算係数テーブルに基づき、結像光学系３０３の開口情報から取得される。しかし、従来、当該開口情報は、ハイブリッド方式の像振れ補正、即ち、レンズ群駆動方式及び撮像素子駆動方式の双方による像振れ補正を考慮した情報となっていない。一方、結像光学系３０３を通過する光束を決定する枠開口は、レンズ群駆動方式及び撮像素子駆動方式の各々による像振れ補正に影響を受ける。   As described above, the AF unit 54 obtains the defocus amount from the phase difference based on the conversion coefficient. The conversion coefficient is obtained from the aperture information of the imaging optical system 303 based on the conversion coefficient table. However, conventionally, the aperture information is not information in consideration of image blur correction of the hybrid method, that is, image blur correction by both the lens group driving method and the imaging device driving method. On the other hand, a frame opening that determines a light beam passing through the imaging optical system 303 is affected by image blur correction by each of the lens group driving method and the image sensor driving method.

そこで、本実施形態では、ハイブリット方式による像振れ補正を行う場合に、当該像振れ補正を考慮した修正された開口情報から焦点検出のための変換係数を取得し、当該変換係数を用いて位相差からデフォーカス量を求める。即ち、修正された開口情報から取得される変換係数は、レンズ群駆動方式による像振れ補正が枠開口に与える影響、及び撮像素子駆動方式による像振れ補正が枠開口に与える影響を含んだ高精度な変換係数となっている。その結果、本実施形態では、高精度な焦点検出が可能となる。   Therefore, in the present embodiment, when performing image blur correction by the hybrid method, a conversion coefficient for focus detection is acquired from the corrected aperture information in consideration of the image blur correction, and the phase difference is calculated using the conversion coefficient. To obtain the defocus amount. That is, the conversion coefficient obtained from the corrected aperture information is highly accurate including the effect of image blur correction by the lens group driving method on the frame opening and the effect of image blur correction by the image sensor driving method on the frame opening. Conversion coefficients. As a result, in the present embodiment, highly accurate focus detection becomes possible.

開口情報修正部７４は、結像光学系３０３の開口情報を、レンズ群駆動方式の第１の補正量、撮像素子駆動方式の第２の補正量、及び敏感度情報に基づき、修正する。ここで、敏感度情報とは、レンズ群駆動方式の第１の補正量に対する結像光学系３０３の開口の変化量のことである。即ち、敏感度情報は、第１の補正部により結像光学系のレンズ群の一部が駆動されたときの第１の補正量に対する開口の中心座標の変化量で表現される。言い換えれば、敏感度情報は、防振用レンズ群機構の駆動量に対する開口の変化量に関する情報のことである。   The aperture information correction unit 74 corrects the aperture information of the imaging optical system 303 based on the first correction amount of the lens group driving method, the second correction amount of the imaging device driving method, and the sensitivity information. Here, the sensitivity information is a change amount of the aperture of the imaging optical system 303 with respect to the first correction amount of the lens group driving method. That is, the sensitivity information is represented by a change amount of the center coordinates of the opening with respect to the first correction amount when a part of the lens group of the imaging optical system is driven by the first correction unit. In other words, the sensitivity information is information on the amount of change in the aperture with respect to the amount of drive of the vibration reduction lens group mechanism.

敏感度情報は、例えば、交換レンズ３００の状態及び撮像素子１４上の像高と、敏感度情報との間の関係を示す敏感度情報テーブルとして敏感度情報記憶部３１１内に予め記憶される。システム制御部５０の取得部は、敏感度情報記憶部３１１内の敏感度情報テーブルを参照し、交換レンズ３００の状態及び撮像素子１４上の像高を引数とすることで、敏感度情報を取得することができる。   The sensitivity information is stored in advance in the sensitivity information storage unit 311 as, for example, a sensitivity information table indicating a relationship between the state of the interchangeable lens 300, the image height on the image sensor 14, and the sensitivity information. The acquisition unit of the system control unit 50 acquires the sensitivity information by referring to the sensitivity information table in the sensitivity information storage unit 311 and using the state of the interchangeable lens 300 and the image height on the image sensor 14 as arguments. can do.

敏感度情報は、レンズ群駆動方式による像振れ補正が結像光学系３０３の開口情報に与える影響の程度を決定する。従って、敏感度情報は、レンズ群駆動方式による像振れ補正の影響を開口情報に反映させる場合に用いられるが、撮像素子駆動方式による像振れ補正の影響を開口情報に反映させる場合に際には用いられない。   The sensitivity information determines the degree of the effect of the image blur correction by the lens group driving method on the aperture information of the imaging optical system 303. Therefore, the sensitivity information is used when the influence of the image blur correction by the lens group driving method is reflected on the aperture information, but is used when the effect of the image blur correction by the imaging element driving method is reflected on the aperture information. Not used.

即ち、開口情報修正部７４は、レンズ群駆動方式の第１の補正量及び敏感度情報に基づき開口情報を修正し、かつ撮像素子駆動方式の第２の補正量に基づき開口情報を修正する。例えば、開口情報修正部７４は、レンズ群駆動方式の第１の補正量及び敏感度情報から開口情報の第１の修正量を求め、かつ第２の補正量から開口情報の第２の修正量を求める。そして、開口情報修正部７４は、第１及び第２の修正量に基づき、修正された開口情報を求める。   That is, the aperture information correction unit 74 corrects the aperture information based on the first correction amount and the sensitivity information of the lens group driving method, and corrects the aperture information based on the second correction amount of the imaging device driving method. For example, the aperture information correction unit 74 obtains a first correction amount of the aperture information from the first correction amount and the sensitivity information of the lens group driving method, and obtains a second correction amount of the aperture information from the second correction amount. Ask for. Then, the opening information correction unit 74 obtains corrected opening information based on the first and second correction amounts.

従って、本実施形態では、焦点検出を行う場合、システム制御部５０の取得部は、まず、開口情報記憶部３１２から開口情報を取得すると共に、敏感度情報記憶部３１１から敏感度情報を取得する。また、開口情報修正部７４は、第１の補正量、第２の補正量、及び敏感度情報に基づき、開口情報を修正する。この後、システム制御部５０の取得部は、換算係数記憶部７６に記憶された換算係数テーブルを参照し、開口情報修正部７４により修正された開口情報に基づき換算係数を取得する。そして、システム制御部５０は、取得した換算係数を、焦点検出部としてのＡＦ部５４に送る。ＡＦ部５４は、換算係数に基づき、位相差からデフォーカス量を求める。   Therefore, in the present embodiment, when performing focus detection, the acquisition unit of the system control unit 50 first acquires aperture information from the aperture information storage unit 312 and acquires sensitivity information from the sensitivity information storage unit 311. . Further, the opening information correction unit 74 corrects the opening information based on the first correction amount, the second correction amount, and the sensitivity information. Thereafter, the acquisition unit of the system control unit 50 refers to the conversion coefficient table stored in the conversion coefficient storage unit 76 and obtains a conversion coefficient based on the opening information corrected by the opening information correction unit 74. Then, the system control unit 50 sends the obtained conversion coefficient to the AF unit 54 as a focus detection unit. The AF unit 54 obtains the defocus amount from the phase difference based on the conversion coefficient.

尚、敏感度情報を用いて開口情報を修正する具体的な方法については、像振れ補正時の焦点検出フローチャートで後述する。   Note that a specific method of correcting the aperture information using the sensitivity information will be described later with reference to a focus detection flowchart for image blur correction.

次に、交換レンズ３００について説明する。
交換レンズ３００は、レンズマウント３０１をカメラ本体１００のレンズマウント１１に係合させることによりにカメラ本体１００と機械的及び電気的に結合される。電気的な結合は、レンズマウント１１及びレンズマウント３０１に設けられたコネクタ４２及びコネクタ３０２によって実現される。 Next, the interchangeable lens 300 will be described.
The interchangeable lens 300 is mechanically and electrically coupled to the camera body 100 by engaging the lens mount 301 with the lens mount 11 of the camera body 100. The electrical connection is realized by the connectors 42 and 302 provided on the lens mount 11 and the lens mount 301.

結像光学系３０３は、交換レンズ３００の焦点距離を調節するためのフォーカスレンズを含む。また、結像光学系３０３は、レンズ群駆動方式により防振を行うための防振用レンズ群と、防振用レンズ群を駆動させるための防振用レンズ群駆動機構と、を含む。フォーカス制御部３０７は、フォーカスレンズを光軸に沿って駆動することで交換レンズ３００の焦点調節を行う。フォーカス制御部３０７の動作は、システム制御部５０に制御される。即ち、システム制御部５０は、レンズシステム制御部３０９を通じて、フォーカス制御部３０７を制御する。絞り３０４は、カメラ本体１００に入射する被写体光の量と角度を調節する。   The imaging optical system 303 includes a focus lens for adjusting the focal length of the interchangeable lens 300. Further, the image forming optical system 303 includes a lens group for image stabilization for performing image stabilization by a lens group driving method, and a lens group driving mechanism for image stabilization for driving the lens group for image stabilization. The focus control unit 307 adjusts the focus of the interchangeable lens 300 by driving the focus lens along the optical axis. The operation of the focus control unit 307 is controlled by the system control unit 50. That is, the system control unit 50 controls the focus control unit 307 through the lens system control unit 309. The aperture 304 adjusts the amount and angle of subject light incident on the camera body 100.

コネクタ３０２及びインターフェース部３１３は、交換レンズ３００をカメラ本体１００のコネクタ４２と電気的に接続する。そして、コネクタ３０２は、カメラ本体１００と交換レンズ３００との間で、制御信号、状態信号、データ信号などを伝え合うと共に、カメラ本体１００から交換レンズ３００に電圧及び電流を供給する機能も備える。また、コネクタ３０２は、電気通信の他に、光通信、音声通信などが可能であってもよい。   The connector 302 and the interface unit 313 electrically connect the interchangeable lens 300 to the connector 42 of the camera body 100. The connector 302 has a function of transmitting a control signal, a status signal, a data signal, and the like between the camera body 100 and the interchangeable lens 300, and a function of supplying a voltage and a current from the camera body 100 to the interchangeable lens 300. Further, the connector 302 may be capable of optical communication, voice communication, and the like, in addition to electric communication.

ズーム制御部３０５は、結像光学系３０３の変倍レンズを駆動し、交換レンズ３００の焦点距離（画角）を調整する。交換レンズ３００が単焦点レンズであれば、ズーム制御部３０５は省略できる。絞り制御部３０６は、測光部５２からの測光情報に基づき、シャッタ１２を制御するシャッタ制御部５６と連携しながら、絞り３０４を制御する。   The zoom control unit 305 drives the variable power lens of the imaging optical system 303 and adjusts the focal length (angle of view) of the interchangeable lens 300. If the interchangeable lens 300 is a single focus lens, the zoom control unit 305 can be omitted. The aperture control unit 306 controls the aperture 304 based on photometric information from the photometric unit 52 in cooperation with the shutter control unit 56 that controls the shutter 12.

レンズシステム制御部３０９は、例えば、ＣＰＵやＭＰＵなどのプログラマブルプロセッサを有し、予め記憶されたプログラムを実行することにより交換レンズ３００全体の動作を制御する。また、レンズシステム制御部３０９は、交換レンズ３００の動作用の定数、変数、プログラムなどを記憶するメモリの機能を備える。不揮発性メモリ３１０は、交換レンズ３００の固有の番号などの識別情報、管理情報、開放絞り値、最小絞り値、焦点距離などの機能情報、現在／過去の各設定値、といった各種情報を記憶する。   The lens system control unit 309 has a programmable processor such as a CPU and an MPU, for example, and controls the entire operation of the interchangeable lens 300 by executing a program stored in advance. In addition, the lens system control unit 309 has a function of a memory that stores constants, variables, programs, and the like for operation of the interchangeable lens 300. The nonvolatile memory 310 stores various information such as identification information such as a unique number of the interchangeable lens 300, management information, function information such as an open aperture value, a minimum aperture value, and a focal length, and current / past setting values. .

敏感度情報記憶部３１１は、上述の敏感度情報テーブルを記憶する。また、開口情報記憶部３１２は、例えば、交換レンズ３００の状態及び撮像素子１４上の像高と、開口情報との間の関係を示す開口情報テーブルとして予め開口情報記憶部３１２内に記憶される。システム制御部５０の取得部は、開口情報記憶部３１２内の開口情報テーブルを参照し、交換レンズ３００の状態及び撮像素子１４上の像高を引数とすることで、開口情報を取得することができる。   The sensitivity information storage unit 311 stores the above-described sensitivity information table. The aperture information storage unit 312 is stored in the aperture information storage unit 312 in advance as an aperture information table indicating, for example, the relationship between the state of the interchangeable lens 300, the image height on the image sensor 14, and the aperture information. . The acquisition unit of the system control unit 50 can acquire the aperture information by referring to the aperture information table in the aperture information storage unit 312 and using the state of the interchangeable lens 300 and the image height on the image sensor 14 as arguments. it can.

絞り３０４は、結像光学系３０３を通過する光束を決定する枠内に含まれる。当該枠は、その他に、レンズを保持する開口部品などを含む。また、結合光学系３０３を通過する光束を決定する枠は、結像光学系３０３のフォーカス位置及びズーム位置によって変化する。従って、結像光学系３０３のフォーカス位置及びズーム位置に応じた複数の開口情報テーブルが、開口情報記憶部３１２内に記憶される。   The diaphragm 304 is included in a frame that determines a light beam that passes through the imaging optical system 303. The frame also includes an opening part for holding a lens, and the like. Further, the frame for determining the light beam passing through the coupling optical system 303 changes depending on the focus position and the zoom position of the imaging optical system 303. Therefore, a plurality of aperture information tables corresponding to the focus position and the zoom position of the imaging optical system 303 are stored in the aperture information storage unit 312.

そして、カメラ本体１００が焦点検出を行う場合、システム制御部５０の取得部は、開口情報記憶部３１２内に記憶された複数の開口情報テーブルのうち、結像光学系３０３のフォーカス位置及びズーム位置に応じた開口情報テーブルを選択する。また、当該取得部は、選択された開口情報テーブルに基づき、交換レンズ３００の状態及び撮像素子１４上の像高を引数とすることで、結像光学系３０３のフォーカス位置及びズーム位置に最適な開口情報を取得する。   When the camera body 100 performs the focus detection, the acquisition unit of the system control unit 50 determines the focus position and the zoom position of the imaging optical system 303 among the plurality of aperture information tables stored in the aperture information storage unit 312. Select the opening information table according to. In addition, the acquisition unit uses the state of the interchangeable lens 300 and the image height on the image sensor 14 as arguments based on the selected aperture information table, to thereby optimize the focus position and the zoom position of the imaging optical system 303. Get opening information.

レンズ群防振制御部３０８は、システム制御部５０の補正量配分部により配分されたレンズ群駆動方式の第１の補正量に基づき、結像光学系３０３内に含まれる防振用レンズ群駆動機構を駆動する。   The lens group image stabilization control unit 308 drives the image stabilization lens group included in the imaging optical system 303 based on the first correction amount of the lens group driving method distributed by the correction amount distribution unit of the system control unit 50. Drive the mechanism.

上述のカメラシステムによれば、ハイブリット方式による像振れ補正を考慮した修正された開口情報から焦点検出のための変換係数を取得し、当該変換係数を用いて位相差からデフォーカス量を求めることで、高精度な焦点検出を行うことができる。   According to the above-described camera system, a conversion coefficient for focus detection is obtained from the corrected aperture information in consideration of image blur correction by the hybrid method, and a defocus amount is obtained from a phase difference using the conversion coefficient. It is possible to perform highly accurate focus detection.

即ち、結像光学系の開口情報は、レンズ群駆動方式による第１の補正量、撮像素子駆動方式による第２の補正量、さらには、敏感度情報に基づき、修正可能である。また、焦点検出のための変換係数は、変換係数テーブルに基づき、修正された開口情報から取得可能である。このように、焦点検出のための変換係数は、ハイブリッド方式による像振れ補正を考慮した高精度な変換係数となっている。従って、当該変換係数を用いて、位相差からデフォーカス量を求めることで、ハイブリット方式による像振れ補正を行った場合でも、高精度な焦点検出が可能となる。   That is, the aperture information of the imaging optical system can be corrected based on the first correction amount by the lens group driving method, the second correction amount by the imaging element driving method, and the sensitivity information. The conversion coefficient for focus detection can be obtained from the corrected aperture information based on the conversion coefficient table. As described above, the conversion coefficient for focus detection is a high-precision conversion coefficient in consideration of image blur correction by the hybrid method. Accordingly, by obtaining the defocus amount from the phase difference using the conversion coefficient, it is possible to perform highly accurate focus detection even when image blur correction is performed by the hybrid method.

（撮像素子）
図２は、撮像素子の画素部の例を示す。
図２（Ａ）は、撮像素子１４が有する複数の画素のうち、位相差ＡＦによる焦点検出に用いる信号を出力可能な画素の回路例である。 (Imaging device)
FIG. 2 illustrates an example of a pixel portion of an image sensor.
FIG. 2A is a circuit example of a pixel that can output a signal used for focus detection by phase difference AF among a plurality of pixels included in the imaging element 14.

図２（Ａ）では、２つのフォトダイオードＰＤ２０１ａ、２０１ｂは、マイクロレンズを共有する複数の光電変換領域として機能し、かつ１つの画素２００内に配置される。但し、１つの画素２００内にフォトダイオードの数は、２つに限られることはなく、３つ以上、例えば、４つであっても構わない。フォトダイオード２０１ａ、２０１ｂは、後述するように、焦点検出画素として機能すると共に、撮像画素としても機能する。   In FIG. 2A, two photodiodes PD201a and 201b function as a plurality of photoelectric conversion regions sharing a microlens, and are arranged in one pixel 200. However, the number of photodiodes in one pixel 200 is not limited to two, and may be three or more, for example, four. The photodiodes 201a and 201b function as focus detection pixels and also function as imaging pixels, as described later.

転送スイッチ２０２ａ、２０２ｂ、リセットスイッチ２０５、及び選択スイッチ２０６は、例えば、電界効果トランジスタ（ＦＥＴ）である。以下の説明では、これらのスイッチは、Ｎ型電界効果トランジスタであることを前提とするが、Ｐ型電界効果トランジスタ、その他のスイッチング素子であってもよい。   The transfer switches 202a and 202b, the reset switch 205, and the selection switch 206 are, for example, field effect transistors (FETs). In the following description, these switches are assumed to be N-type field-effect transistors, but may be P-type field-effect transistors or other switching elements.

図２（Ｂ）は、撮像素子１４内に２次元的に配置される複数の画素のうち、水平ｎ画素、垂直ｍ画素を模式的に示す図である。図２（Ｂ）に示す各画素は、例えば、図２（Ａ）に示す回路構造を有するものとする。   FIG. 2B is a diagram schematically showing n horizontal pixels and m vertical pixels among a plurality of pixels arranged two-dimensionally in the image sensor 14. Each pixel illustrated in FIG. 2B has, for example, a circuit structure illustrated in FIG.

各画素は、１つのマイクロレンズ２３６により覆われ、フォトダイオード２０１ａ、２０１ｂは、当該１つのマイクロレンズを共有する。以下では、フォトダイオード２０１ａにより得られる信号をＡ信号と呼び、フォトダイオード２０１ｂにより得られる信号をＢ信号と呼ぶ。また、複数の画素からの複数のＡ信号の信号列（焦点検出信号列）をＡ像（像信号）と呼び、複数の画素からの複数のＢ信号の信号列（焦点検出信号列）をＢ像（像信号）と呼ぶ。また、１つの画素からのＡ像及びＢ像の対を像信号対と呼ぶ。   Each pixel is covered by one microlens 236, and the photodiodes 201a and 201b share the one microlens. Hereinafter, the signal obtained by the photodiode 201a is called an A signal, and the signal obtained by the photodiode 201b is called a B signal. A signal sequence of a plurality of A signals (focus detection signal sequence) from a plurality of pixels is called an A image (image signal), and a signal sequence of a plurality of B signals (focus detection signal sequence) from a plurality of pixels is a B signal. It is called an image (image signal). A pair of the A image and the B image from one pixel is called an image signal pair.

水平ｎ画素は、垂直方向に交互に配置される第１の行と第２の行とを備える。第１の行は、緑（Ｇ）と赤（Ｒ）のカラーフィルタを有するＧｒ画素とＲ画素とが水平方向に交互に配置される。第２の行は、青（Ｂ）と緑（Ｇ）のカラーフィルタを有するＢ画素とＧｂ画素とが水平方向に交互に配列される。   The horizontal n pixels include a first row and a second row alternately arranged in the vertical direction. In the first row, Gr pixels and R pixels having green (G) and red (R) color filters are alternately arranged in the horizontal direction. In the second row, B pixels and Gb pixels having blue (B) and green (G) color filters are alternately arranged in the horizontal direction.

ここでは、Ｇｒ画素の第１の光電変換領域をＡ−Ｇｒと表記し、第２の光電変換領域をＢ−Ｇｒと表記する。また、Ｒ画素の第１の光電変換領域をＡ−Ｒと表記し、第２の光電変換領域をＢ−Ｒと表記する。さらに、Ｂ画素の第１の光電変換領域をＡ−Ｂをと表記し、第２の光電変換領域をＢ−Ｂと表記し、Ｇｂ画素の第１の光電変換領域をＡ−Ｇｂと表記し、第２の光電変換領域をＢ−Ｇｂと表記する。また、これらの光電変換領域から得られた信号についても、同様の表記を行う。また、第１の光電変換領域の集まりを第１の光電変換領域群と呼び、第２の光電変換領域の集まりを第２の光電変換領域群と呼ぶ。   Here, the first photoelectric conversion region of the Gr pixel is described as A-Gr, and the second photoelectric conversion region is described as B-Gr. Further, the first photoelectric conversion region of the R pixel is denoted by AR, and the second photoelectric conversion region is denoted by BR. Further, the first photoelectric conversion region of the B pixel is denoted by AB, the second photoelectric conversion region is denoted by BB, and the first photoelectric conversion region of the Gb pixel is denoted by A-Gb. , And the second photoelectric conversion region is denoted by B-Gb. The same notation is also applied to signals obtained from these photoelectric conversion regions. A group of the first photoelectric conversion regions is called a first photoelectric conversion region group, and a group of the second photoelectric conversion regions is called a second photoelectric conversion region group.

転送スイッチ２０２ａは、フォトダイオード２０１ａとフローティングディフュージョン（ＦＤ）２０３との間に接続される。また、転送スイッチ２０２ｂは、フォトダイオード２０１ｂとＦＤ２０３との間に接続される。ＦＤ２０３は、フォトダイオード２０１ａ、２０１ｂに共通である。即ち、転送スイッチ２０２ａ、２０２ｂは、それぞれフォトダイオード２０１ａ、２０１ｂ内で発生した電荷を共通のＦＤ２０３に転送する。転送スイッチ２０２ａ、２０２ｂは、それぞれ制御信号ＴＸ＿Ａ、ＴＸ＿Ｂによって制御される。   The transfer switch 202a is connected between the photodiode 201a and the floating diffusion (FD) 203. The transfer switch 202b is connected between the photodiode 201b and the FD 203. The FD 203 is common to the photodiodes 201a and 201b. That is, the transfer switches 202a and 202b transfer the charges generated in the photodiodes 201a and 201b to the common FD 203, respectively. The transfer switches 202a and 202b are controlled by control signals TX_A and TX_B, respectively.

ＦＤ２０３は、フォトダイオード２０１ａ、２０１ｂから転送された電荷を一時的に保持すると共に、保持した電荷を電圧信号に変換する電荷電圧変換部（キャパシタ）として機能する。   The FD 203 functions as a charge-voltage converter (capacitor) that temporarily holds the charges transferred from the photodiodes 201a and 201b and converts the held charges into a voltage signal.

増幅部２０４は、ソースフォロワの電界効果トランジスタである。増幅部２０４のゲートは、ＦＤ２０３に接続され、増幅部２０４のドレインは、電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、ＦＤ２０３に保持された電荷に基づく電圧信号を増幅し、当該電圧信号を画像信号として出力する。   The amplification unit 204 is a source follower field effect transistor. The gate of the amplification unit 204 is connected to the FD 203, and the drain of the amplification unit 204 is connected to the common power supply 208 that supplies the power supply potential VDD. The amplification unit 204 amplifies a voltage signal based on the electric charge held in the FD 203, and outputs the voltage signal as an image signal.

リセットスイッチ２０５は、ＦＤ２０３と共通電源２０８との間に接続される。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、ＦＤ２０３の電位を電源電位ＶＤＤにリセットする機能を有する。   The reset switch 205 is connected between the FD 203 and the common power supply 208. The reset switch 205 is controlled by the control signal RES, and has a function of resetting the potential of the FD 203 to the power supply potential VDD.

選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７との間に接続される。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された画像信号を垂直出力線２０７に出力する。   The selection switch 206 is connected between the source of the amplification unit 204 and the vertical output line 207. The selection switch 206 is controlled by the control signal SEL, and outputs the image signal amplified by the amplifier 204 to the vertical output line 207.

図３は、撮像素子の信号出力部の例を示す。
撮像素子１４は、画素アレイ２３４と、垂直走査回路２０９と、電流源負荷２１０と、読み出し回路２３５と、共通出力線２２８、２２９と、水平走査回路２３２と、データ出力部２３３と、を備える。以下では、画素アレイ２３４内に含まれる全ての画素が図２（Ａ）に示す回路構造を有するものとする。但し、一部の画素については、１つのフォトダイオードが１つのマイクロレンズに対応する構造を有してもよい。 FIG. 3 shows an example of a signal output unit of the image sensor.
The imaging device 14 includes a pixel array 234, a vertical scanning circuit 209, a current source load 210, a readout circuit 235, common output lines 228 and 229, a horizontal scanning circuit 232, and a data output unit 233. Hereinafter, it is assumed that all the pixels included in the pixel array 234 have the circuit structure illustrated in FIG. However, for some pixels, one photodiode may have a structure corresponding to one microlens.

画素アレイ２３４は、行列状に配置される複数の画素２００を備える。図３の例は、説明を簡略化するため、画素アレイ２３４が４行ｎ列の画素アレイ２３４を有する場合を示す。但し、画素アレイ２３４の行数（ｍの数）及び列数（ｎの数）は、これに限られることなく、任意に決めることができる。また、本実施形態において、撮像素子１４は、単板式カラー撮像素子であり、原色ベイヤー配列のカラーフィルタを有する。このため、画素２００は、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）のカラーフィルタのうちのいずれか１つを備える。尚、カラーフィルタの色及び配列については、特に制限はない。また、画素アレイ２３４内の一部の画素は、遮光され、オプチカルブラック（ＯＢ）領域として機能する。   The pixel array 234 includes a plurality of pixels 200 arranged in a matrix. The example in FIG. 3 illustrates a case where the pixel array 234 includes 4 rows and n columns of pixel arrays 234 for simplification of description. However, the number of rows (the number of m) and the number of columns (the number of n) of the pixel array 234 are not limited thereto, and can be arbitrarily determined. Further, in the present embodiment, the image sensor 14 is a single-chip color image sensor, and has color filters of a primary color Bayer array. For this reason, the pixel 200 includes one of the red (R), green (G), and blue (B) color filters. Note that there is no particular limitation on the color and arrangement of the color filters. Some of the pixels in the pixel array 234 are shielded from light and function as optical black (OB) regions.

垂直走査回路２０９は、行毎に設けられた駆動信号線２０８を介して、各行の画素２００に、図２（Ａ）に示す各種の制御信号を供給する。尚、図３では、簡略化のため、各行の駆動信号線２０８を１本の線で表記するが、実際には、各行の駆動信号線２０８は、図２（Ａ）から明白なように、複数の駆動信号線を含む。   The vertical scanning circuit 209 supplies various control signals illustrated in FIG. 2A to the pixels 200 in each row through the drive signal lines 208 provided for each row. In FIG. 3, the drive signal lines 208 of each row are represented by one line for simplification. However, in practice, the drive signal lines 208 of each row are, as apparent from FIG. Including a plurality of drive signal lines.

画素アレイ２３４内の複数の画素２００は、一列毎に共通の垂直出力線２０７に接続される。本実施形態では、画素アレイ２３４は、ｎ列を有するため、垂直出力線２０７の数は、ｎ本である。これら複数の垂直出力線２０７の各々は、電流源負荷２１０に接続される。そして、各画素２００からの信号は、垂直出力線２０７を通じて、列毎に読み出し回路２３５に入力される。   The plurality of pixels 200 in the pixel array 234 are connected to a common vertical output line 207 for each column. In this embodiment, since the pixel array 234 has n columns, the number of the vertical output lines 207 is n. Each of the plurality of vertical output lines 207 is connected to a current source load 210. Then, a signal from each pixel 200 is input to the readout circuit 235 for each column through the vertical output line 207.

水平走査回路２３２は、複数の読み出し回路２３５に対応する複数の制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を出力する。複数の制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）は、複数の読み出し回路２３５のうちの１つを選択する。複数の制御信号ｈｓｒ（０）〜ｈｓｒ（ｎ−１）により選択された１つの読み出し回路２３５は、共通出力線２２８、２２９を通じて、データ出力部２３３に信号を出力する。   The horizontal scanning circuit 232 outputs a plurality of control signals hsr (0) to hsr (n-1) corresponding to the plurality of read circuits 235. The plurality of control signals hsr (0) to hsr (n-1) select one of the plurality of read circuits 235. One readout circuit 235 selected by the plurality of control signals hsr (0) to hsr (n-1) outputs a signal to the data output unit 233 through the common output lines 228 and 229.

次に、読み出し回路２３５の具体的な回路例を説明する。
図３は、複数の読み出し回路２３５のうち、最も左側に位置する１つの読み出し回路２３５の回路例を示す。残りの読み出し回路２３５も、最も左側に位置する１つの読み出し回路２３５と同じ回路構造を有する。尚、本実施形態の読み出し回路２３５は、ランプ型のＡＤ変換器を含む。 Next, a specific circuit example of the reading circuit 235 will be described.
FIG. 3 illustrates a circuit example of one of the plurality of read circuits 235 that is located on the leftmost side. The remaining read circuits 235 also have the same circuit structure as the one read circuit 235 located on the leftmost side. Note that the readout circuit 235 of the present embodiment includes a ramp-type AD converter.

垂直出力線２０７を通じて読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。基準電圧源２１２からの基準電圧Ｖｒｅｆは、オペアンプ２１３の非反転入力端子に入力される。フィードバック容量２１４〜２１６及びスイッチ２１８〜２２０は、オペアンプ２１３の反転入力端子と出力端子との間に接続される。スイッチ２１７は、オペアンプ２１３の反転入力端子と出力端子との間に接続される。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御され、フィードバック容量２１４〜２１６の両端をショートさせる機能を有する。また、スイッチ２１８〜２２０は、システム制御部５０からの制御信号ＧＡＩＮ０〜ＧＡＩＮ２により制御される。   The signal input to the read circuit 235 through the vertical output line 207 is input to the inverting input terminal of the operational amplifier 213 via the clamp capacitor 211. The reference voltage Vref from the reference voltage source 212 is input to a non-inverting input terminal of the operational amplifier 213. The feedback capacitors 214 to 216 and the switches 218 to 220 are connected between the inverting input terminal and the output terminal of the operational amplifier 213. The switch 217 is connected between the inverting input terminal and the output terminal of the operational amplifier 213. The switch 217 is controlled by the control signal RES_C, and has a function of short-circuiting both ends of the feedback capacitors 214 to 216. The switches 218 to 220 are controlled by control signals GAIN0 to GAIN2 from the system control unit 50.

オペアンプ２１３の出力信号、及びランプ信号発生器２３０からのランプ信号２２４は、比較器２２１に入力される。Ｌａｔｃｈ＿Ｎ ２２２は、ノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿Ｓ ２２３は、Ａ信号、及びＡ信号とＢ信号とが加算された信号レベル（Ａ＋Ｂ信号）を保持するための記憶素子である。   The output signal of the operational amplifier 213 and the ramp signal 224 from the ramp signal generator 230 are input to the comparator 221. Latch_N 222 is a storage element for holding a noise level (N signal), and Latch_S 223 is storage for holding an A signal and a signal level (A + B signal) obtained by adding the A signal and the B signal. Element.

比較器２２１の出力（比較結果を表す値）及びカウンタ２３１の出力（カウンタ値）２２５は、Ｌａｔｃｈ＿Ｎ ２２２と、Ｌａｔｃｈ＿Ｓ ２２３とのそれぞれに入力される。Ｌａｔｃｈ＿Ｎ ２２２、及びＬａｔｃｈ＿Ｓ ２２３の動作（有効又は無効）は、それぞれ、制御信号ＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓにより制御される。Ｌａｔｃｈ＿Ｎ ２２２で保持したノイズレベルは、スイッチ２２６を介して共通出力線２２８に出力される。Ｌａｔｃｈ＿Ｓ ２２３で保持した信号レベルは、スイッチ２２７を介して共通出力線２２９に出力される。共通出力線２２８、２２９は、データ出力部２３３に接続される。   An output of the comparator 221 (a value indicating a comparison result) and an output (counter value) 225 of the counter 231 are input to the Latch_N 222 and the Latch_S 223, respectively. The operation (valid or invalid) of Latch_N 222 and Latch_S 223 is controlled by control signals LATEN_N and LATEN_S, respectively. The noise level held by Latch_N 222 is output to the common output line 228 via the switch 226. The signal level held by Latch_S 223 is output to the common output line 229 via the switch 227. The common output lines 228 and 229 are connected to the data output unit 233.

スイッチ２２６、２２７は、水平走査回路２３２からの制御信号ｈｓｒ（ｈ）により制御される。ここで、（ｈ）内のｈは、列番号、即ち、０〜（ｎ−１）のうちの１つを示す。各読み出し回路２３５において、Ｌａｔｃｈ＿Ｎ ２２２、及びＬａｔｃｈ＿Ｓ ２２３に保持された信号レベルは、共通出力線２３８、２２９に順次出力され、かつデータ出力部２３３を通じて画像処理部２０に出力される。各読み出し回路２３５で保持された信号レベルを順次外部に出力する動作は、水平転送と呼ばれる。   The switches 226 and 227 are controlled by a control signal hsr (h) from the horizontal scanning circuit 232. Here, h in (h) indicates a column number, that is, one of 0 to (n-1). In each readout circuit 235, the signal levels held in Latch_N 222 and Latch_S 223 are sequentially output to common output lines 238, 229 and output to the image processing unit 20 through the data output unit 233. The operation of sequentially outputting the signal level held by each read circuit 235 to the outside is called horizontal transfer.

尚、各読み出し回路２３５に入力される制御信号（但し、ｈｓｒ（０）〜ｈｓｒ（ｎ−１）を除く）は、タイミング発生回路１８又はシステム制御部５０から供給される。同様に、垂直走査回路２０９、水平走査回路２３２、ランプ信号発生器２３０、及びカウンタ２３１の各制御信号も、タイミング発生回路１８又はシステム制御部５０から供給される。   The control signals (excluding hsr (0) to hsr (n-1)) input to each readout circuit 235 are supplied from the timing generation circuit 18 or the system control unit 50. Similarly, control signals for the vertical scanning circuit 209, the horizontal scanning circuit 232, the ramp signal generator 230, and the counter 231 are also supplied from the timing generation circuit 18 or the system control unit 50.

図４は、図３の撮像素子の動作を示す。
同図のタイミングチャートを参照して、図３の画素アレイ２３４の１行分の画素に対する読み出し動作を説明する。以下の説明では、制御信号のレベルがＨ（Ｈｉｇｈ）のときに当該制御信号により制御されるスイッチがオンとなり、制御信号のレベルがＬ（Ｌｏｗ）のときに当該制御信号により制御されるスイッチがオフとなるものとする。 FIG. 4 shows the operation of the image sensor of FIG.
With reference to the timing chart of FIG. 3, the read operation for one row of pixels of the pixel array 234 of FIG. 3 will be described. In the following description, when the level of the control signal is H (High), the switch controlled by the control signal is turned on, and when the level of the control signal is L (Low), the switch controlled by the control signal is turned on. It shall be off.

時刻ｔ１において、垂直走査回路２０９は、制御信号ＲＥＳをＨにした状態で制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬからＨにして、転送スイッチ２０２ａ、２０２ｂをオンにする。これにより、フォトダイオード２０１ａ、２０１ｂに蓄積された電荷は、転送スイッチ２０２ａ、２０２ｂ、及びリセットスイッチ２０５を介して、電源２０８に転送され、かつフォトダイオード２０１ａ、２０１ｂは、リセットされる。ＦＤ２０３も、同様にリセットされる。   At time t1, the vertical scanning circuit 209 changes the control signals TX_A and TX_B from L to H while the control signal RES is set to H, and turns on the transfer switches 202a and 202b. Thereby, the electric charges accumulated in the photodiodes 201a and 201b are transferred to the power supply 208 via the transfer switches 202a and 202b and the reset switch 205, and the photodiodes 201a and 201b are reset. The FD 203 is similarly reset.

時刻ｔ２において、垂直走査回路２０９は、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＬとし、転送スイッチ２０２ａ、２０２ｂをオフにする。その結果、フォトダイオード２０１ａ、２０１ｂにおいて、光電荷の蓄積が開始される。   At time t2, the vertical scanning circuit 209 sets the control signals TX_A and TX_B to L and turns off the transfer switches 202a and 202b. As a result, accumulation of photocharges in the photodiodes 201a and 201b is started.

時刻ｔ２における光電荷の蓄積開始から所定の蓄積時間が経過した時点、即ち、時刻ｔ３において、垂直走査回路２０９は、制御信号ＳＥＬをＨとし、選択スイッチ２０６をオンにする。これにより、増幅部２０４のソースは、垂直出力線２０７に接続される。続けて、時刻ｔ４において、垂直走査回路２０９は、制御信号ＲＥＳをＬとし、リセットスイッチ２０５をオフする。これにより、ＦＤ２０３のリセットは、解除される。即ち、ＦＤ２０３のリセット信号レベルは、増幅部２０４を介して垂直出力線２０７に読み出され、かつ読み出し回路２３５に入力される。   At a time when a predetermined accumulation time has elapsed from the start of the accumulation of the photocharge at time t2, that is, at time t3, the vertical scanning circuit 209 sets the control signal SEL to H and turns on the selection switch 206. As a result, the source of the amplification unit 204 is connected to the vertical output line 207. Subsequently, at time t4, the vertical scanning circuit 209 sets the control signal RES to L and turns off the reset switch 205. Thereby, the reset of the FD 203 is released. That is, the reset signal level of the FD 203 is read out to the vertical output line 207 via the amplification unit 204 and is input to the readout circuit 235.

この後、時刻ｔ５において、システム制御部５０は、制御信号ＲＥＳ＿ＣをＬにする。これにより、スイッチ２１７がオンし、垂直出力線２０７に読み出されたリセット信号レベルと基準電圧Ｖｒｅｆとの差分に基づく電圧は、オペアンプ２１３から出力される。   Thereafter, at time t5, the system control unit 50 changes the control signal RES_C to L. As a result, the switch 217 is turned on, and a voltage based on the difference between the reset signal level read to the vertical output line 207 and the reference voltage Vref is output from the operational amplifier 213.

ここで、システム制御部５０は、予め設定されたＩＳＯ感度に基づき、制御信号ＧＡＩＮ０〜ＧＡＩＮ２のいずれか１つをＨにする。   Here, the system control unit 50 sets any one of the control signals GAIN0 to GAIN2 to H based on a preset ISO sensitivity.

例えば、カメラ本体１００がＩＳＯ感度１００、２００、及び４００のうちのいずれかを設定可能である場合、ＩＳＯ感度１００が設定されたときは、システム制御部５０は、制御信号ＧＡＩＮ０をＨとし、ＧＡＩＮ１及びＧＡＩＮ２をＬとする。また、ＩＳＯ感度２００が設定されたときは、システム制御部５０は、制御信号ＧＡＩＮ１をＨとし、ＧＡＩＮ０及びＧＡＩＮ２をＬとする。さらに、ＩＳＯ感度４００が設定されたときは、システム制御部５０は、制御信号ＧＡＩＮ２をＨとし、ＧＡＩＮ０及びＧＡＩＮ１をＬとする。但し、設定感度の種類、及び設定感度と制御信号との関係は、これに限定されることはない。   For example, when the camera main body 100 can set any one of the ISO sensitivities 100, 200, and 400, when the ISO sensitivity 100 is set, the system control unit 50 sets the control signal GAIN0 to H and sets the GAIN1 And GAIN2 is L. When the ISO sensitivity 200 is set, the system control unit 50 sets the control signal GAIN1 to H and sets GAIN0 and GAIN2 to L. Further, when the ISO sensitivity 400 is set, the system control unit 50 sets the control signal GAIN2 to H, and sets GAIN0 and GAIN1 to L. However, the type of the set sensitivity and the relationship between the set sensitivity and the control signal are not limited thereto.

オペアンプ２１３は、入力された電圧を、クランプ容量２１１と、所定のスイッチのフィードバック容量との容量比で定まる反転ゲインで増幅し、かつ出力する。所定のスイッチのフィードバック容量とは、複数のスイッチ２１８〜２２０のうち、信号レベルがＨである制御信号ＧＡＩＮｘ（ｘは０〜２のうちの１つ）に対応する１つのスイッチのフィードバック容量（２１４〜２１６の１つ）のことである。また、オペアンプ２１３での増幅において、オペアンプ２１３までの回路で発生するランダムノイズ成分も、増幅される。従って、増幅後の信号に含まれるランダムノイズの大きさは、ＩＳＯ感度に依存する。   The operational amplifier 213 amplifies the input voltage with an inverted gain determined by a capacitance ratio between the clamp capacitance 211 and a feedback capacitance of a predetermined switch, and outputs the amplified voltage. The feedback capacity of the predetermined switch is the feedback capacity of one switch corresponding to the control signal GAINx (x is one of 0 to 2) whose signal level is H among the plurality of switches 218 to 220. 216). In addition, in the amplification by the operational amplifier 213, a random noise component generated in a circuit up to the operational amplifier 213 is also amplified. Therefore, the magnitude of the random noise included in the amplified signal depends on the ISO sensitivity.

次に、時刻ｔ６において、ランプ信号発生器２３０は、時間経過と共に信号レベルが線形に増加するランプ信号の出力を開始する。同時に、カウンタ２３１は、リセット状態からカウントアップを開始する。また、タイミング発生回路１８は、ＬＡＴＥＮ＿ＮをＨにして、Ｌａｔｃｈ＿Ｎを有効にする。   Next, at time t6, the ramp signal generator 230 starts outputting a ramp signal whose signal level increases linearly with time. At the same time, the counter 231 starts counting up from the reset state. In addition, the timing generation circuit 18 sets LATEN_N to H and makes Latch_N valid.

比較器２２１は、オペアンプ２１３の出力信号と、ランプ信号発生器２３０からのランプ信号とを比較する。時刻ｔ７において、ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力は、ＬからＨに変化する。ＬＡＴＥＮ＿ＮがＨの状態において、比較器２２１の出力がＬからＨに変化すると、Ｌａｔｃｈ＿Ｎ ２２２は、その変化時点においてカウンタ２３１が出力するカウンタ値を記憶する。Ｌａｔｃｈ＿Ｎ ２２２が記憶するカウンタ値は、Ｎ信号レベルを表すデジタル値（Ｎ信号データ）に相当する。   The comparator 221 compares the output signal of the operational amplifier 213 with the ramp signal from the ramp signal generator 230. At time t7, when the ramp signal level exceeds the output signal level of the operational amplifier 213, the output of the comparator 221 changes from L to H. When the output of the comparator 221 changes from L to H while LATEN_N is H, Latch_N 222 stores the counter value output by the counter 231 at the time of the change. The counter value stored in Latch_N 222 corresponds to a digital value (N signal data) representing the N signal level.

尚、ＬＡＴＥＮ＿Ｓは、Ｌであるため、Ｌａｔｃｈ＿Ｓ ２２３は、無効であり、かつカウント値を記憶しない。この後、時刻ｔ８において、ランプ信号レベルが予め定められた値に達すると、ランプ信号発生器２３０は、ランプ信号の出力を停止し、かつタイミング発生回路１８は、ＬＡＴＥＮ＿ＮをＬにする。   Since LATEN_S is L, Latch_S 223 is invalid and does not store the count value. Thereafter, at time t8, when the ramp signal level reaches a predetermined value, the ramp signal generator 230 stops outputting the ramp signal, and the timing generation circuit 18 sets LATEN_N to L.

次に、時刻ｔ９において、垂直走査回路２０９は、制御信号ＴＸ＿ＡをＨにする。これにより、転送スイッチ２０２ａがオンし、時刻ｔ２からフォトダイオード２０１ａに蓄積された光電荷（Ａ信号）がＦＤ２０３へ転送される。この後、時刻ｔ１０において、垂直走査回路２０９は、制御信号ＴＸ＿ＡをＬにする。ＦＤ２０３は、転送された電荷を電位に変換する。この電位（Ａ信号レベル）は、増幅部２０４及び垂直出力線２０７を介して、読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。オペアンプ２１３の反転ゲインは、クランプ容量２１１と、フィードバック容量２１４〜２１６のいずれか１つとの比率によって定まる。   Next, at time t9, the vertical scanning circuit 209 sets the control signal TX_A to H. As a result, the transfer switch 202a is turned on, and the photoelectric charge (A signal) accumulated in the photodiode 201a is transferred to the FD 203 from time t2. Thereafter, at time t10, the vertical scanning circuit 209 sets the control signal TX_A to L. The FD 203 converts the transferred charges into a potential. This potential (A signal level) is output to the readout circuit 235 via the amplifier 204 and the vertical output line 207. The operational amplifier 213 outputs a voltage based on the difference between the A signal level read to the vertical output line 207 and the reference voltage Vref. The inverting gain of the operational amplifier 213 is determined by the ratio between the clamp capacitance 211 and one of the feedback capacitances 214 to 216.

次に、時刻ｔ１１において、ランプ信号発生器２３０は、ランプ信号の出力を開始する。同時に、カウンタ２３１は、リセット状態からカウントアップを開始する。また、タイミング発生回路１８は、ＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。   Next, at time t11, the ramp signal generator 230 starts outputting a ramp signal. At the same time, the counter 231 starts counting up from the reset state. In addition, the timing generation circuit 18 sets LATEN_S to H and makes Latch_S valid.

比較器２２１は、オペアンプ２１３の出力信号と、ランプ信号発生器２３０からのランプ信号とを比較する。時刻ｔ１２において、ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力は、ＬからＨに変化する。ＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、Ｌａｔｃｈ＿Ｓ ２２３は、その時点でカウンタ２３１が出力するカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ ２２３が記憶するカウンタ値は、Ａ信号レベルを表すデジタル値（Ａ信号データ）に相当する。   The comparator 221 compares the output signal of the operational amplifier 213 with the ramp signal from the ramp signal generator 230. At time t12, when the ramp signal level exceeds the output signal level of the operational amplifier 213, the output of the comparator 221 changes from L to H. When the output of the comparator 221 changes from L to H while LATEN_S is H, Latch_S 223 stores the counter value output by the counter 231 at that time. The counter value stored in Latch_S 223 corresponds to a digital value (A signal data) representing the A signal level.

尚、ＬＡＴＥＮ＿Ｎは、Ｌであるため、Ｌａｔｃｈ＿Ｎ ２２２は、無効であり、かつカウント値を記憶しない。この後、時刻ｔ１３において、ランプ信号レベルが予め定められた値に達すると、ランプ信号発生器２３０は、ランプ信号の出力を停止し、かつタイミング発生回路１８は、ＬＡＴＥＮ＿ＳをＬにする。   Since LATEN_N is L, Latch_N 222 is invalid and does not store the count value. Thereafter, at time t13, when the ramp signal level reaches a predetermined value, the ramp signal generator 230 stops outputting the ramp signal, and the timing generation circuit 18 sets LATEN_S to L.

この後、時刻ｔ１４〜ｔ１５の間、水平走査回路２３２は、制御信号ｈｓｒ（ｈ）を、順次、一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７は、一定期間オンになった後にオフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ ２２２、Ｌａｔｃｈ＿Ｓ ２２３内に保持されたＮ信号データ、及びＡ信号データは、共通出力線２２８、２２９にそれぞれ読み出され、かつデータ出力部２３３に入力される。データ出力部２３３は、各読み出し回路２３５から出力されたＡ信号データ及びＮ信号データに対して、Ａ信号データからＮ信号データを減じた値を外部に出力する。   Thereafter, during the time t14 to t15, the horizontal scanning circuit 232 sequentially sets the control signal hsr (h) to H for a predetermined period. As a result, the switches 226 and 227 of each readout circuit 235 are turned on for a certain period and then turned off. The N signal data and the A signal data held in Latch_N 222 and Latch_S 223 of each read circuit 235 are read out to common output lines 228 and 229, respectively, and input to the data output unit 233. The data output unit 233 outputs a value obtained by subtracting N signal data from A signal data to the A signal data and N signal data output from each readout circuit 235 to the outside.

また、時刻ｔ１６からｔ１７の間、垂直走査回路２０９は、制御信号ＴＸ＿Ａ、ＴＸ＿ＢをＨにし、転送スイッチ２０２ａ，２０２ｂをオンにする。これにより、２つのフォトダイオード２０１ａ、２０１ｂの双方から光電荷がＦＤ２０３へ転送される。ＦＤ２０３は、転送された電荷を電位に変換する。この電位（Ａ＋Ｂ信号レベル）は、増幅部２０４及び垂直出力線２０７を介して、読み出し回路２３５へ出力される。オペアンプ２１３は、垂直出力線２０７に読み出されたＡ＋Ｂ信号レベルと、基準電圧Ｖｒｅｆとの差分に基づく電圧を出力する。   Further, from time t16 to time t17, the vertical scanning circuit 209 sets the control signals TX_A and TX_B to H, and turns on the transfer switches 202a and 202b. As a result, photoelectric charges are transferred to the FD 203 from both of the two photodiodes 201a and 201b. The FD 203 converts the transferred charges into a potential. This potential (A + B signal level) is output to the readout circuit 235 via the amplifier 204 and the vertical output line 207. The operational amplifier 213 outputs a voltage based on the difference between the A + B signal level read to the vertical output line 207 and the reference voltage Vref.

次に、時刻ｔ１８において、ランプ信号発生器２３０は、ランプ信号の出力を開始する。同時に、カウンタ２３１は、リセット状態からカウントアップを開始する。また、タイミング発生回路１８は、ＬＡＴＥＮ＿ＳをＨにして、Ｌａｔｃｈ＿Ｓを有効にする。   Next, at time t18, the ramp signal generator 230 starts outputting the ramp signal. At the same time, the counter 231 starts counting up from the reset state. In addition, the timing generation circuit 18 sets LATEN_S to H and makes Latch_S valid.

比較器２２１は、オペアンプ２１３の出力信号と、ランプ信号発生器２３０からのランプ信号とを比較する。時刻ｔ１９において、ランプ信号レベルがオペアンプ２１３の出力信号レベルを上回ると、比較器２２１の出力は、ＬからＨに変化する。ＬＡＴＥＮ＿ＳがＨの状態において、比較器２２１の出力がＬからＨに変化すると、Ｌａｔｃｈ＿Ｓ ２２３は、その時点でカウンタ２３１が出力するカウンタ値を記憶する。Ｌａｔｃｈ＿Ｓ ２２３が記憶するカウンタ値は、Ａ＋Ｂ信号レベルを表すデジタル値（Ａ＋Ｂ信号データ）に相当する。   The comparator 221 compares the output signal of the operational amplifier 213 with the ramp signal from the ramp signal generator 230. At time t19, when the ramp signal level exceeds the output signal level of the operational amplifier 213, the output of the comparator 221 changes from L to H. When the output of the comparator 221 changes from L to H while LATEN_S is H, Latch_S 223 stores the counter value output by the counter 231 at that time. The counter value stored in Latch_S 223 corresponds to a digital value (A + B signal data) representing the A + B signal level.

この後、時刻ｔ２０において、ランプ信号レベルが予め定められた値に達すると、ランプ信号発生器２３０は、ランプ信号の出力を停止し、かつタイミング発生回路１８は、ＬＡＴＥＮ＿ＳをＬにする。   Thereafter, at a time t20, when the ramp signal level reaches a predetermined value, the ramp signal generator 230 stops outputting the ramp signal, and the timing generation circuit 18 sets LATEN_S to L.

また、時刻ｔ２１〜ｔ２２の間、水平走査回路２３２は、制御信号ｈｓｒ（ｈ）を、順次、一定期間ずつＨにする。これにより、各読み出し回路２３５のスイッチ２２６、２２７は、一定期間オンになった後にオフに戻る。各読み出し回路２３５のＬａｔｃｈ＿Ｎ ２２２、Ｌａｔｃｈ＿Ｓ ２２３内に保持されたＮ信号データ、及びＡ＋Ｂ信号データは、共通出力線２２８、２２９にそれぞれ読み出され、かつデータ出力部２３３に入力される。データ出力部２３３は、各読み出し回路２３５から出力されたＡ＋Ｂ信号データ及びＮ信号データに対して、Ａ＋Ｂ信号データからＮ信号データを減じた値を外部に出力する。   In addition, during the time t21 to t22, the horizontal scanning circuit 232 sequentially sets the control signal hsr (h) to H for a certain period at a time. As a result, the switches 226 and 227 of each readout circuit 235 are turned on for a certain period and then turned off. The N signal data and A + B signal data held in Latch_N 222 and Latch_S 223 of each read circuit 235 are read out to common output lines 228 and 229, respectively, and input to the data output unit 233. The data output unit 233 outputs, to the outside, a value obtained by subtracting N signal data from A + B signal data with respect to A + B signal data and N signal data output from each readout circuit 235.

次に、時刻ｔ２２において、タイミング発生回路１８は、制御信号ＲＥＳ＿ＣをＨにする。また、時刻ｔ２３において、垂直走査回路２０９は、制御信号ＲＥＳをＨにする。この後、時刻ｔ２４において、垂直走査回路２０９が制御信号ＳＥＬをＬにすると、画素アレイ２３４の１行分の読み出し動作が完了する。   Next, at time t22, the timing generation circuit 18 sets the control signal RES_C to H. At time t23, the vertical scanning circuit 209 sets the control signal RES to H. Thereafter, at time t24, when the vertical scanning circuit 209 sets the control signal SEL to L, the reading operation for one row of the pixel array 234 is completed.

以上の動作を所定の行数分繰り返すことにより、画素アレイ２３４から１画面分の像信号を取得することができる。   By repeating the above operation for a predetermined number of rows, an image signal for one screen can be obtained from the pixel array 234.

本実施形態では、カメラ本体１００は、静止画モードと動画モードとを有する。静止画モードが設定されている場合、システム制御部５０は、撮像素子１４から画素アレイ２３４の全行分の画素データを読み出すように制御する。また、動画モードが設定されている場合、システム制御部５０は、撮像素子１４から、例えば、３行周期（１行読んで２行飛ばす）で画素データを読み出すように制御する。   In the present embodiment, the camera body 100 has a still image mode and a moving image mode. When the still image mode is set, the system control unit 50 controls to read pixel data of all rows of the pixel array 234 from the image sensor 14. When the moving image mode is set, the system control unit 50 controls to read pixel data from the image sensor 14 at, for example, a three-row cycle (one row is read and two rows are skipped).

このように、本実施形態では、画素アレイ２３４から読み出す行数は、静止画モードが設定されている場合よりも、動画モードが設定されている場合のほうが少ない。但し、静止画モードと動画モードにおける読み出し方法は、これに限定されるものではない。   As described above, in the present embodiment, the number of rows read from the pixel array 234 is smaller when the moving image mode is set than when the still image mode is set. However, the reading method in the still image mode and the moving image mode is not limited to this.

このようにして、リセットノイズが除去されたＡ信号とＡ＋Ｂ信号とを撮像素子１４から読み出すことができる。Ａ信号は、焦点検出用の信号として、Ａ＋Ｂ信号は、撮影画像を構成する信号として、それぞれ用いられる。また、Ａ＋Ｂ信号及びＡ信号は、焦点検出用のＢ信号を生成するためにも用いられる。   In this manner, the A signal and the A + B signal from which the reset noise has been removed can be read from the image sensor 14. The A signal is used as a signal for focus detection, and the A + B signal is used as a signal forming a captured image. The A + B signal and the A signal are also used to generate a B signal for focus detection.

また、本実施形態では、撮像素子１４は、全画素読み出しモードと、間引き読み出しモードと、の２種類の読み出しモードを有する。全画素読み出しモードは、画素アレイ２３４から全ての有効画素を読み出すモードであり、例えば、高精細静止画を得る際に設定される。   Further, in the present embodiment, the image sensor 14 has two types of readout modes: an all-pixels readout mode and a thinned-out readout mode. The all-pixel reading mode is a mode in which all effective pixels are read from the pixel array 234, and is set, for example, when a high-definition still image is obtained.

間引き読み出しモードは、全画素読み出しモードよりも、画素アレイ２３４から読み出す画素数が少ない読み出しモードである。間引き読み出しモードは、例えば、動画、プレビュー画像などのように、高精細静止画よりも低い解像度で十分な場合、画素データを高速に読み出す必要がある場合など、に設定される。間引き読み出しモードでは、例えば、画像の縦横比を変えないように、水平方向の画素数（ｎ画素）と垂直方向の画素数（ｍ画素）に対して、それぞれ同じ割合で画素が間引かれる。   The thinning-out reading mode is a reading mode in which the number of pixels read from the pixel array 234 is smaller than in the all-pixel reading mode. The thinning-out reading mode is set when, for example, a resolution lower than that of a high-definition still image is sufficient, such as a moving image or a preview image, or when pixel data needs to be read at high speed. In the thinning-out reading mode, for example, the pixels are thinned out at the same ratio to the number of pixels in the horizontal direction (n pixels) and the number of pixels in the vertical direction (m pixels) so as not to change the aspect ratio of the image.

尚、間引き読み出しモードにおける「間引き」とは、一部の画素について読み出し自体を行わない場合に加え、次の場合も含む。即ち、全画素に対して読み出しを行うが、そのうちの一部の画素（信号）を破棄又は無視する場合も、上記「間引き」に含まれる。また、画素アレイ２３４から読み出した複数の画素（信号）から１つの信号を生成する場合、例えば、当該複数の画素の信号値を平均した１つの信号を生成し、Ｓ／Ｎ比の改善を図る場合も、上記「間引き」に含まれる。   Note that “thinning-out” in the thinning-out reading mode includes the following cases in addition to the case where reading is not performed for some pixels. That is, reading is performed for all pixels, but a case where some of the pixels (signals) are discarded or ignored is also included in the above-described “thinning”. When generating one signal from a plurality of pixels (signals) read from the pixel array 234, for example, one signal is generated by averaging the signal values of the plurality of pixels to improve the S / N ratio. The case is also included in the above “thinning out”.

（光電変換領域と射出瞳との関係）
図５は、光電変換領域と射出瞳との関係を示す。
図５（Ａ）は、本実施形態の撮像装置において、交換レンズ３００の射出瞳面と、撮像素子１４の像面の中央又はその近傍に配置された画素２００（以下、中央画素と称する）の光電変換領域２０１ａ、２０１ｂと、の共役関係を説明する図である。 (Relationship between photoelectric conversion area and exit pupil)
FIG. 5 shows the relationship between the photoelectric conversion region and the exit pupil.
FIG. 5A shows the exit pupil plane of the interchangeable lens 300 and the pixel 200 (hereinafter, referred to as a center pixel) arranged at or near the center of the image plane of the image sensor 14 in the imaging apparatus of the present embodiment. FIG. 4 is a diagram illustrating a conjugate relationship between photoelectric conversion regions 201a and 201b.

撮像素子１４内の光電変換領域２０１ａ、２０１ｂ及び交換レンズ３００の射出瞳面は、オンチップマイクロレンズ２０１ｉによって共役関係となるように設計される。そして、交換レンズ３００の射出瞳面は、光量調節用の虹彩絞りが設けられる面とほぼ一致するのが一般的である。   The photoelectric conversion regions 201a and 201b in the image sensor 14 and the exit pupil plane of the interchangeable lens 300 are designed to have a conjugate relationship by the on-chip micro lens 201i. In general, the exit pupil surface of the interchangeable lens 300 substantially coincides with the surface on which the iris diaphragm for adjusting the light amount is provided.

一方、本実施形態の交換レンズ３００は、変倍機能を有するズームレンズである。ズームレンズは、変倍操作を行なうと、射出瞳の大きさ、及び像面から射出瞳までの距離（射出瞳距離）が変化するのが一般的である。図５（Ａ）は、交換レンズ３００の焦点距離が広角端と望遠端との中央にある状態を示す。偏心パラメータの最適設計は、この状態における射出瞳距離Ｄｌを標準値として、オンチップマイクロレンズの形状、及び像高（画面中心からの距離、又は画面中心を原点としたときのＸＹ座標）に基づき行われる。   On the other hand, the interchangeable lens 300 of the present embodiment is a zoom lens having a zoom function. The zoom lens generally changes the size of the exit pupil and the distance from the image plane to the exit pupil (exit pupil distance) when performing a magnification operation. FIG. 5A shows a state in which the focal length of the interchangeable lens 300 is at the center between the wide-angle end and the telephoto end. The optimum design of the eccentricity parameter is based on the shape of the on-chip micro lens and the image height (the distance from the center of the screen or the XY coordinates when the center of the screen is the origin) with the exit pupil distance Dl in this state as a standard value. Done.

図５（Ａ）において、交換レンズ３００は、第１のレンズ群１０１と、第１のレンズ群１０１を保持する鏡筒部材１０１ｂと、第３のレンズ群１０５と、第３のレンズ群１０５を保持する鏡筒部材１０５ｂと、を備える。また、交換レンズ３００は、絞り１０２と、絞り開放時の開口径を規定する開口板１０２ａと、絞り込み時の開口径を調節するための絞り羽根１０２ｂと、を備える。   In FIG. 5A, an interchangeable lens 300 includes a first lens group 101, a lens barrel member 101b that holds the first lens group 101, a third lens group 105, and a third lens group 105. And a lens barrel member 105b for holding. Further, the interchangeable lens 300 includes the stop 102, an opening plate 102a that defines an opening diameter when the stop is opened, and an aperture blade 102b for adjusting the opening diameter when stopping down.

尚、交換レンズ３００を通過する光束の制限部材として作用する鏡筒部材１０１ｂ、１０５ｂ、開口板１０２ａ、及び絞り羽根１０２ｂは、像面から観察した場合の光学的な虚像を示す。また、絞り１０２の近傍における合成開口を交換レンズ３００の射出瞳と定義し、像面からの距離を射出瞳距離Ｄｌと定義する。   Note that the barrel members 101b and 105b, the aperture plate 102a, and the aperture blade 102b, which act as members for restricting the light flux passing through the interchangeable lens 300, show an optical virtual image when observed from the image plane. The synthetic aperture near the stop 102 is defined as the exit pupil of the interchangeable lens 300, and the distance from the image plane is defined as the exit pupil distance Dl.

光電変換領域２０１ａ、２０１ｂは、画素２００の最下層に配置される。即ち、配線層２０１ｅ、２０１ｆ、２０１ｇ、カラーフィルタ２０１ｈ、及びオンチップマイクロレンズ２０１ｉは、光電変換領域２０１ａ、２０１ｂの上層に配置される。光電変換領域２０１ａ、２０１ｂは、オンチップマイクロレンズ２０１ｉによって交換レンズ３００の射出瞳面に投影される。換言すれば、交換レンズ３００の射出瞳は、オンチップマイクロレンズ２０１ｉを介して、光電変換領域２０１ａ、２０１ｂの表面に投影される。   The photoelectric conversion regions 201a and 201b are arranged in the lowermost layer of the pixel 200. That is, the wiring layers 201e, 201f, 201g, the color filters 201h, and the on-chip microlenses 201i are arranged above the photoelectric conversion regions 201a, 201b. The photoelectric conversion regions 201a and 201b are projected on the exit pupil plane of the interchangeable lens 300 by the on-chip micro lens 201i. In other words, the exit pupil of the interchangeable lens 300 is projected onto the surfaces of the photoelectric conversion regions 201a and 201b via the on-chip micro lens 201i.

図５（Ｂ）は、交換レンズ３００の射出瞳面上における、光電変換領域２０１ａ、２０１ｂの投影像５０１、５０２を示す。円４００は、絞り１０２の開口板１０２ａで規定される、画素２００への光束の最大入射範囲を射出瞳面に示したものである。即ち、円４００は、開口板１０２ａに依存する。従って、図５（Ｂ）では、円４００は、開口板１０２ａと同じものとして表記してある。   FIG. 5B shows projected images 501 and 502 of the photoelectric conversion regions 201a and 201b on the exit pupil plane of the interchangeable lens 300. A circle 400 indicates the maximum incident range of the light beam to the pixel 200 defined by the aperture plate 102a of the stop 102 on the exit pupil plane. That is, the circle 400 depends on the aperture plate 102a. Accordingly, in FIG. 5B, the circle 400 is represented as the same as the aperture plate 102a.

図５（Ｂ）の例は、中央画素を対象とするため、光束のケラレは、光軸に対して、上下左右（Ｘ軸方向及びＹ軸方向）、それぞれ対称である。また、光電変換領域２０１ａ、２０１ｂは、同じ大きさの瞳領域を通過した光束を受光する。そして、円４００は、投影像５０１、５０２の大部分を含むため、光束のケラレは、ほぼ発生しない。   In the example of FIG. 5B, since the center pixel is targeted, the vignetting of the light beam is symmetric with respect to the optical axis in the vertical and horizontal directions (the X-axis direction and the Y-axis direction). Further, the photoelectric conversion regions 201a and 201b receive a light beam that has passed through a pupil region of the same size. Since the circle 400 includes most of the projected images 501 and 502, vignetting of the light beam hardly occurs.

従って、中央画素の光電変換領域２０１ａ、２０１ｂで光電変換された信号は、円４００、即ち、射出瞳領域のほぼ全体を通過した光束を光電変換した結果として、撮像素子１４から出力される。以下では、光電変換領域２０１ａが受光する射出瞳の領域を第１の瞳領域、光電変換領域２０１ｂが受光する射出瞳の領域を第２の瞳領域、第１の瞳領域と第２の瞳領域を合わせた領域を第３の瞳領域と呼ぶ。   Accordingly, the signals photoelectrically converted in the photoelectric conversion regions 201a and 201b of the central pixel are output from the image sensor 14 as a result of photoelectrically converting a light beam passing through the circle 400, that is, substantially the entire exit pupil region. Hereinafter, the area of the exit pupil that the photoelectric conversion area 201a receives is the first pupil area, the area of the exit pupil that the photoelectric conversion area 201b receives is the second pupil area, and the first pupil area and the second pupil area. Is referred to as a third pupil region.

（周辺像高における瞳分割）
図６は、周辺像高で発生する不均一な瞳分割を示す。
同図は、撮像素子１４の周辺像高における光電変換領域２０１ａの第１の瞳領域５０１、光電変換領域２０１ｂの第２の瞳領域５０２、及び結像光学系の射出瞳４００である第３の瞳領域の関係を示す。ここでは、結像光学系の射出瞳として絞りのみを考慮し、円形で射出瞳４００を示す。また、同図は、図５（Ｂ）と比べると、絞り１０２を絞った状態となっている。また、同図の座標系は、射出瞳４００の水平方向をＸ軸、射出瞳４００の垂直方向をＹ軸とする。 (Pupil division at peripheral image height)
FIG. 6 shows non-uniform pupil division occurring at the peripheral image height.
The figure shows a first pupil region 501 of the photoelectric conversion region 201a, a second pupil region 502 of the photoelectric conversion region 201b, and a third pupil 400 of the imaging optical system at the peripheral image height of the image sensor 14. 6 shows a relationship between pupil regions. Here, only the stop is considered as the exit pupil of the imaging optical system, and the exit pupil 400 is shown as a circle. 5B shows a state in which the diaphragm 102 is narrowed down as compared with FIG. 5B. In the coordinate system shown in the figure, the horizontal direction of the exit pupil 400 is defined as the X axis, and the vertical direction of the exit pupil 400 is defined as the Y axis.

図６（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓが等しい場合である。この場合、第１の瞳領域５０１と第２の瞳領域５０２により、結像光学系の射出瞳４００は、概ね、均等に瞳分割される。入射角受光感度分布で考えると、各像高への光線入射角度θは、光電変換領域２０１ａ、２０１ｂを有する画素の最も感度の高い入射角度θｃにほぼ等しくなる（θ＝θｃ）。   FIG. 6A shows a case where the exit pupil distance Dl of the imaging optical system is equal to the set pupil distance Ds of the image sensor 14. In this case, the first pupil region 501 and the second pupil region 502 divide the exit pupil 400 of the imaging optical system substantially evenly. Considering the incident angle light receiving sensitivity distribution, the light incident angle θ at each image height is almost equal to the incident angle θc with the highest sensitivity of the pixel having the photoelectric conversion regions 201a and 201b (θ = θc).

図６（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓよりも短い場合である。また、図６（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓよりも長い場合である。どちらの場合も、撮像素子の周辺像高において結像光学系の射出瞳と撮像素子１４の入射瞳との瞳ずれが生じる。このため、結像光学系の射出瞳４００は、不均一に瞳分割される。   FIG. 6B shows a case where the exit pupil distance Dl of the imaging optical system is shorter than the set pupil distance Ds of the image sensor 14. FIG. 6C shows a case where the exit pupil distance Dl of the imaging optical system is longer than the set pupil distance Ds of the image sensor 14. In either case, a pupil shift occurs between the exit pupil of the imaging optical system and the entrance pupil of the image sensor 14 at the peripheral image height of the image sensor. For this reason, the exit pupil 400 of the imaging optical system is pupil-divided non-uniformly.

入射角受光感度分布で考えると、図６（Ｂ）及び図６（Ｃ）における光線入射角度θは、像高が高くなるほど、光電変換領域２０１ａ、２０１ｂを有する画素の最も感度の高い入射角度θｃからずれる。従って、レンズユニット１００の射出瞳距離と設定瞳距離Ｄｓとのずれが大きく、結果として、像高が高くなるほど、瞳分割が不均一に行われる。   Considering the incident angle light receiving sensitivity distribution, the light incident angle θ in FIGS. 6B and 6C is such that the higher the image height, the higher the incident angle θc of the pixel having the photoelectric conversion regions 201a and 201b, which is the most sensitive. Deviate. Therefore, the difference between the exit pupil distance of the lens unit 100 and the set pupil distance Ds is large, and as a result, the pupil division is performed more unevenly as the image height increases.

一方で、撮像素子１４の中央像高においては、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとの関係によらず、瞳ずれが発生しないため、瞳分割は、均一に行われる。本実施形態では、上述した通り、交換レンズ３００の焦点距離が広角端や望遠端になった場合に、図６（Ｂ）又は図６（Ｃ）の状態が発生し得る。また、交換レンズ３００を交換した場合なども、同様である。   On the other hand, at the center image height of the image sensor 14, pupil shift does not occur regardless of the relationship between the exit pupil distance Dl of the imaging optical system and the set pupil distance Ds of the image sensor 14, so that pupil division is uniform. Done in In the present embodiment, as described above, when the focal length of the interchangeable lens 300 reaches the wide-angle end or the telephoto end, the state of FIG. 6B or FIG. 6C may occur. The same applies when the interchangeable lens 300 is replaced.

（撮像素子駆動方式による像振れ補正が行われた場合の瞳分割）
図７は、撮像素子駆動方式による像振れ補正時の不均一な瞳分割を示す。
同図は、撮像素子駆動方式による像振れ補正により、撮像素子１４がＸ軸方向に移動量ΔＩＩＳだけ移動した時の、中央画素の瞳分割の変化の例である。 (Pupil division when image blur correction by the image sensor driving method is performed)
FIG. 7 shows non-uniform pupil division at the time of image blur correction by the image sensor driving method.
FIG. 9 shows an example of a change in pupil division of the center pixel when the image sensor 14 moves by the movement amount ΔIIS in the X-axis direction due to image shake correction by the image sensor driving method.

図７（Ａ）は、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとが等しい場合である。図７（Ｂ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓよりも短い場合である。図７（Ｃ）は、結像光学系の射出瞳距離Ｄｌが撮像素子１４の設定瞳距離Ｄｓよりも長い場合である。これらの図において、Ｘ軸及びＹ軸は、カメラ本体１００上に固定され、撮像素子１４が動いても、撮像素子１４と共に動かないものとする。   FIG. 7A shows a case where the exit pupil distance Dl of the imaging optical system is equal to the set pupil distance Ds of the image sensor 14. FIG. 7B shows a case where the exit pupil distance Dl of the imaging optical system is shorter than the set pupil distance Ds of the image sensor 14. FIG. 7C shows a case where the exit pupil distance Dl of the imaging optical system is longer than the set pupil distance Ds of the image sensor 14. In these drawings, it is assumed that the X axis and the Y axis are fixed on the camera body 100 and do not move together with the image sensor 14 even when the image sensor 14 moves.

例えば、撮像素子１４がＸ軸方向に移動量ΔＩＩＳだけ移動すると、図７（Ａ）、（Ｂ）、及び（Ｃ）から明らかなように、撮像素子１４の入射瞳は、Ｘ軸方向に移動量ΔＰｓだけ移動する。ここで、５０３は、撮像素子駆動方式による像振れ補正で移動した第１の瞳領域を示し、５０４は、撮像素子駆動方式による像振れ補正で移動した第２の瞳領域を示す。即ち、撮像素子１４の入射瞳の移動量ΔＰｓは、撮像素子駆動方式による像振れ補正による撮像素子１４の移動量ΔＩＩＳに等しい。   For example, when the image sensor 14 moves by the movement amount ΔIIS in the X-axis direction, the entrance pupil of the image sensor 14 moves in the X-axis direction, as is clear from FIGS. 7A, 7B, and 7C. Move by the amount ΔPs. Here, reference numeral 503 denotes a first pupil region moved by image blur correction by the image sensor driving method, and reference numeral 504 denotes a second pupil region moved by image blur correction by the image sensor driving method. That is, the moving amount ΔPs of the entrance pupil of the image sensor 14 is equal to the moving amount ΔIIS of the image sensor 14 due to image blur correction by the image sensor driving method.

また、撮像素子１４が動くと、注目している画素に対する結像光学系の射出瞳の相対位置も変化する。その結果、結像光学系の射出瞳を撮像素子１４の入射瞳面上に投影した位置も変化する。   Further, when the image sensor 14 moves, the relative position of the exit pupil of the imaging optical system with respect to the pixel of interest also changes. As a result, the position where the exit pupil of the imaging optical system is projected on the entrance pupil plane of the image sensor 14 also changes.

例えば、図７（Ａ）に示すように、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとが等しい場合、撮像素子１４の入射瞳面上に投影した結像光学系の射出瞳４０１の位置は変わらない。しかし、図７（Ｂ）及び図７（Ｃ）に示すように、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとが異なる場合、撮像素子１４の入射瞳面上に投影した結像光学系の射出瞳４０１の位置は、移動量ΔＰｌだけ移動する。このとき、ΔＰｌの値は、ΔＰｌ＝ΔＩＩＳ×（Ｄｌ−Ｄｓ）／Ｄｌにより求まる。図７（Ａ）では、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとが等しいため、ΔＰｌ＝０である。   For example, as shown in FIG. 7A, when the exit pupil distance Dl of the imaging optical system is equal to the set pupil distance Ds of the imaging device 14, the imaging optical system projected on the entrance pupil plane of the imaging device 14 Of the exit pupil 401 does not change. However, as shown in FIG. 7B and FIG. 7C, when the exit pupil distance Dl of the imaging optical system and the set pupil distance Ds of the image sensor 14 are different, on the entrance pupil plane of the image sensor 14 The position of the exit pupil 401 of the projected imaging optical system moves by a movement amount ΔPl. At this time, the value of ΔPl is determined by ΔPl = ΔIIS × (D1−Ds) / D1. In FIG. 7A, ΔPl = 0 because the exit pupil distance Dl of the imaging optical system is equal to the set pupil distance Ds of the image sensor 14.

（レンズ群駆動方式による像振れ補正が行われた場合の瞳分割）
図８は、レンズ群駆動方式による像振れ補正時の不均一な瞳分割を示す。
ここでは、図８の下段に示すように、絞り１０２と、防振用レンズ群の枠１０３とによって光束が制限される場合を考える。図８の上段は、中央像高から見た瞳分割の様子を示す。図８の中段は、周辺像高から見た瞳分割の様子を示す。 (Pupil division when image blur correction by lens group drive method is performed)
FIG. 8 shows non-uniform pupil division at the time of image blur correction by the lens group driving method.
Here, as shown in the lower part of FIG. 8, a case is considered where the light beam is restricted by the stop 102 and the frame 103 of the vibration reduction lens group. The upper part of FIG. 8 shows a state of pupil division viewed from the center image height. The middle part of FIG. 8 shows the state of pupil division viewed from the peripheral image height.

また、４０２は、防振用レンズ群の枠１０３を撮像素子１４の入射瞳面上に投影したものを示す。４０３は、絞り１０２と防振用レンズ群の枠１０３によって光束が制限される領域を示す。ここでは、結像光学系の射出瞳距離Ｄｌと撮像素子１４の設定瞳距離Ｄｓとが等しい場合について考える。   Reference numeral 402 denotes the image obtained by projecting the frame 103 of the image stabilizing lens group onto the entrance pupil plane of the image sensor 14. Reference numeral 403 denotes an area where the light beam is restricted by the aperture 102 and the frame 103 of the vibration reduction lens group. Here, a case is considered where the exit pupil distance Dl of the imaging optical system is equal to the set pupil distance Ds of the image sensor 14.

図８（Ａ）は、防振用レンズ群が結像光学系の光軸中心にある場合を示す。このとき、中央像高では、絞り１０２によってのみ光束が制限される。一方で、周辺像高では、絞り１０２に加えて、防振用レンズ群の枠１０３によっても一部光束が制限される。これは、像高が高いことにより、光束の入射角が大きく、かつ枠の影響を受け易いことを意味する。   FIG. 8A shows a case where the vibration reduction lens group is located at the center of the optical axis of the imaging optical system. At this time, at the center image height, the luminous flux is limited only by the stop 102. On the other hand, at the peripheral image height, the luminous flux is partially restricted not only by the aperture 102 but also by the frame 103 of the vibration reduction lens group. This means that, due to the high image height, the incident angle of the light beam is large and the frame is easily affected by the frame.

図８（Ｂ）は、防振用レンズ群がＸ軸正方向にシフトした状態を示す。同図において、防振用レンズ枠１０３の中心は、一点鎖線によって示す。このとき、中央像高では、防振用のレンズ枠１０３が移動したことにより、下線が防振用レンズ枠１０３の端と開口板１０２ａの端を通ることが分かる。一方で、周辺像高では、防振用のレンズ枠１０３が移動したことにより、レンズ枠１０３による上線側の制限がなくなり、絞り１０２のみによって光束が制限される。   FIG. 8B shows a state in which the vibration reduction lens group has shifted in the positive direction of the X axis. In the same figure, the center of the anti-vibration lens frame 103 is indicated by a chain line. At this time, at the center image height, it can be seen that the underline passes through the end of the anti-shake lens frame 103 and the end of the aperture plate 102a due to the movement of the anti-shake lens frame 103. On the other hand, at the peripheral image height, the movement of the lens frame 103 for image stabilization eliminates the restriction on the upper line side by the lens frame 103, and the luminous flux is limited only by the diaphragm 102.

図８（Ｃ）は、防振用レンズ群がＸ軸負方向にシフトした状態を示す。同図において、防振用レンズ枠１０３の中心は、一点鎖線によって示す。このとき、中央像高では、防振用のレンズ枠１０３が移動したことにより、上線が防振用レンズ枠１０３の端と開口板１０２ａの端を通ることが分かる。一方で、周辺像高では、防振用のレンズ枠１０３が移動したことにより、図８（Ａ）と比較して、防振用のレンズ枠１０３により制限される領域がさらに拡大する。   FIG. 8C shows a state in which the vibration reduction lens group is shifted in the negative direction of the X axis. In the same figure, the center of the anti-vibration lens frame 103 is indicated by a chain line. At this time, at the center image height, it can be seen that the upper line passes through the end of the anti-shake lens frame 103 and the end of the aperture plate 102a due to the movement of the anti-shake lens frame 103. On the other hand, at the peripheral image height, the area limited by the vibration reduction lens frame 103 is further enlarged as compared with FIG. 8A due to the movement of the vibration reduction lens frame 103.

このように、レンズ群駆動方式による像振れ補正によって、結像光学系の射出瞳の形状が変化し、これが焦点検出精度の低下の原因となる。特に、周辺像高においては、光束の入射角度が大きいため、絞り１０２以外の枠開口から受ける影響が大きくなる。   As described above, the shape of the exit pupil of the imaging optical system changes due to the image blur correction by the lens group driving method, and this causes a reduction in focus detection accuracy. In particular, at the peripheral image height, since the incident angle of the light beam is large, the influence from the frame opening other than the stop 102 becomes large.

（開口情報、敏感度情報、換算係数テーブルの形式）
図９は、レンズ駆動方式による像振れ補正時の開口形状の変化を示す。図１０は、開口情報、敏感度情報、及びデフォーカス換算係数テーブルの例を示す。以下、図９及び図１０を用いて、開口情報、敏感度情報、及びデフォーカス換算係数テーブル形式の例を説明する。 (Form of aperture information, sensitivity information, conversion coefficient table)
FIG. 9 shows a change in the aperture shape at the time of image blur correction by the lens driving method. FIG. 10 shows an example of the aperture information, the sensitivity information, and the defocus conversion coefficient table. Hereinafter, an example of the aperture information, the sensitivity information, and the defocus conversion coefficient table format will be described with reference to FIGS. 9 and 10.

最初に、本実施形態の開口情報の形式について説明する。
開口情報とは、交換レンズ３００を通過する光束を決定する枠開口の情報を所定の瞳面に投影したときに得られる枠１及び枠２の円の半径と中心とを意味する。例えば、図９に示すように、開口情報は、当該枠開口の情報を所定の瞳面に投射したときの結像光学系の射出瞳の形状を、枠１としての円６０１と枠２としての円７０１とによって表現する。この場合、円６０１の中心ｃ１及び半径ｒ１と、円７０１の中心ｃ２及び半径ｒ２とが開口情報となる。開口情報は、各像高に対して予め計算され、開口情報記憶部３１２内に記憶される。 First, the format of the aperture information according to the present embodiment will be described.
The aperture information means the radius and the center of the circles of the frames 1 and 2 obtained when the information of the frame opening that determines the light flux passing through the interchangeable lens 300 is projected on a predetermined pupil plane. For example, as shown in FIG. 9, the aperture information indicates the shape of the exit pupil of the imaging optical system when the information of the frame aperture is projected on a predetermined pupil plane, as a circle 601 as frame 1 and a frame 2 as frame 2. This is represented by a circle 701. In this case, the center c1 and the radius r1 of the circle 601 and the center c2 and the radius r2 of the circle 701 are the aperture information. The aperture information is calculated in advance for each image height, and stored in the aperture information storage unit 312.

ここでは、開口形状が枠１及び枠２の２枠で構成される場合を説明するが、開口形状は、これに限られず、例えば、３枠以上であってもよい。この場合、全ての枠情報が開口情報記憶部３１２内に記憶されるのが望ましい。但し、開口形状が３枠以上であっても、全ての枠情報を用意せずに、代表される一部の枠情報のみが開口情報記憶部３１２内に記憶されてもよい。   Here, a case will be described where the opening shape is composed of two frames, frame 1 and frame 2, but the opening shape is not limited to this, and for example, three or more frames may be used. In this case, it is desirable that all the frame information be stored in the opening information storage unit 312. However, even if the opening shape is three or more frames, only a part of the representative frame information may be stored in the opening information storage unit 312 without preparing all the frame information.

また、開口情報は、Ｆ値に依存する。絞り以外の枠開口の影響を受けるのは、Ｆ値を開放側に設定した場合である。Ｆ値を小絞り側に設定した場合、光束は、絞りによって制限を受ける。このため、開口情報は、Ｆ値毎にテーブルを用意しておくのが望ましい。また、絞り以外の枠開口の情報と、Ｆ値に応じた絞りの枠開口の情報とを別々に用意し、これらを用いてＦ値に応じた開口情報を算出してもよい。   The aperture information depends on the F value. The effect of the frame opening other than the aperture is when the F-number is set to the open side. When the F-number is set to the small aperture side, the luminous flux is restricted by the aperture. Therefore, it is desirable to prepare a table for the aperture information for each F value. Alternatively, information on the frame opening other than the aperture and information on the frame opening of the aperture corresponding to the F value may be separately prepared, and the opening information corresponding to the F value may be calculated using these.

以下の説明では、Ｆ値毎に開口情報テーブルが用意され、かつＦ値に応じて、複数の開口情報テーブルのうちから適切な開口情報テーブルが選択される場合を説明する。   In the following description, a case will be described in which an aperture information table is prepared for each F value, and an appropriate aperture information table is selected from a plurality of aperture information tables according to the F value.

開口情報テーブルの例を図１０（Ａ）に示す。
ここでは、各像高に対して、枠１の半径ｒ１、枠２の半径ｒ２、枠１の中心ｃ１、及び枠２の中心ｃ２がそれぞれ記憶される。ここで、像高及び枠中心は、例えば、極座標系の動径成分によって定義される。極座標系の動径成分でテーブルを用意するのは、結像光学系が回転対称形である場合、角度依存がないため、データ容量を削減できるからである。また、像高０（ｍｍ）と像高５（ｍｍ）において、枠２の半径及び中心が空欄であるのは、枠１の１枠だけで光束が制限されるからである。 FIG. 10A shows an example of the opening information table.
Here, the radius r1 of the frame 1, the radius r2 of the frame 2, the center c1 of the frame 1, and the center c2 of the frame 2 are stored for each image height. Here, the image height and the frame center are defined by, for example, a radial component of a polar coordinate system. The reason why the table is prepared using the radial component of the polar coordinate system is that when the imaging optical system is rotationally symmetric, there is no angle dependence and the data capacity can be reduced. Further, at the image height of 0 (mm) and the image height of 5 (mm), the radius and the center of the frame 2 are blank because the luminous flux is limited by only one frame of the frame 1.

次に、敏感度情報について説明する。
図９に示すように、レンズ群駆動方式により水平方向に補正角αの像振れ補正を行い、結像光学系の射出瞳が円６０２、７０２のように変化し、円６０２の中心がΔｃ１だけ移動し、円７０２の中心がΔｃ２だけ移動した場合を考える。 Next, the sensitivity information will be described.
As shown in FIG. 9, the image blur correction of the correction angle α is performed in the horizontal direction by the lens group driving method, and the exit pupil of the imaging optical system changes as circles 602 and 702, and the center of the circle 602 is Δc1. It is assumed that the user moves and the center of the circle 702 moves by Δc2.

この場合、本実施形態では、枠１に対する敏感度Ｓ１は、Ｓ１＝Δｃ１／αによって定義され、枠２に対する敏感度Ｓ２は、Ｓ２＝Δｃ２／αによって定義される。但し、この定義は、一例であり、敏感度を他の方法で定義してもよい。即ち、敏感度は、上述のように、水平方向への補正角で定義してもよいし、極座標系の動径方向への補正角で定義してもよい。後者は、より一般的な定義である。   In this case, in the present embodiment, the sensitivity S1 for the frame 1 is defined by S1 = Δc1 / α, and the sensitivity S2 for the frame 2 is defined by S2 = Δc2 / α. However, this definition is an example, and the sensitivity may be defined by another method. That is, the sensitivity may be defined by the correction angle in the horizontal direction as described above, or may be defined by the correction angle in the radial direction of the polar coordinate system. The latter is a more general definition.

また、敏感度情報は、敏感度情報とレンズ群駆動方式による像振れ補正角とにより、開口情報記憶部３１２内に記憶された開口情報を、レンズ群駆動方式による像振れ補正を考慮した開口情報（修正された開口情報）に修正できれば、どのような形式でもよい。   The sensitivity information is obtained by converting the aperture information stored in the aperture information storage unit 312 based on the sensitivity information and the image blur correction angle based on the lens group driving method into aperture information considering image blur correction based on the lens group driving method. Any format may be used as long as it can be corrected to (corrected opening information).

敏感度情報テーブルの例を図１０（Ｂ）に示す。
ここで、図１０（Ａ）の開口情報テーブルと同様に、像高及び敏感度を定義する補正角は、例えば、極座標系の動径成分によって定義される。 FIG. 10B shows an example of the sensitivity information table.
Here, similarly to the aperture information table of FIG. 10A, the correction angle defining the image height and the sensitivity is defined by, for example, a radial component of a polar coordinate system.

撮像素子駆動方式とレンズ群駆動方式とを併用したハイブリッド方式での像振れ補正中においては、開口情報の修正は、後述する図１５のフローチャートに従い行われる。即ち、開口情報修正部７４は、換算係数記憶部７６内に記憶されたデフォーカス換算係数テーブルを参照し、修正された開口情報を引数として、換算係数を取得する。焦点検出部としてのＡＦ部５４は、検出された位相差と換算係数とからデフォーカス量を求めることで、ハイブリッド方式による像振れ補正中であっても、高精度な焦点検出が可能となる。   During image blur correction in the hybrid system using both the imaging device driving system and the lens group driving system, the correction of the aperture information is performed according to the flowchart of FIG. 15 described later. That is, the aperture information correction unit 74 refers to the defocus conversion coefficient table stored in the conversion coefficient storage unit 76, and obtains a conversion coefficient using the corrected aperture information as an argument. The AF unit 54 as a focus detection unit obtains a defocus amount from the detected phase difference and the conversion coefficient, thereby enabling highly accurate focus detection even during image blur correction by the hybrid method.

デフォーカス換算係数テーブルの例を図１０（Ｃ）に示す。
後述するように、検出された位相差からデフォーカス量を求めるための換算係数は、枠１の中心座標（水平、垂直）、枠２の中心座標（水平、垂直）、枠１の半径、及び枠２の半径の合計６変数を引数として、デフォーカス換算係数テーブルから取得する。ここでは、一例として、６変数を用いて換算係数を取得するが、これに限られることはなく、種々の変更が可能である。 FIG. 10C shows an example of the defocus conversion coefficient table.
As will be described later, the conversion coefficients for obtaining the defocus amount from the detected phase difference include the center coordinates of the frame 1 (horizontal and vertical), the center coordinates of the frame 2 (horizontal and vertical), the radius of the frame 1, and The parameters are acquired from the defocus conversion coefficient table with the total of six variables of the radius of the frame 2 as arguments. Here, as an example, the conversion coefficient is obtained using six variables, but is not limited to this, and various changes can be made.

デフォーカス換算係数テーブルは、全ての交換レンズに対応できるように、即ち、どのような変数値からも換算係数を取得できるように、予め、複数のデフォーカス換算係数テーブルを備えるのが望ましい。また、１本の交換レンズに注目すれば、枠１及び枠２の半径の値は、ある程度限定されるため、交換レンズ毎に、デフォーカス換算係数テーブルを用意してもよい。この場合、全ての交換レンズに対応できるような対策を施しても、それによるデフォーカス換算係数テーブルの数の増加は抑えられるため、換算係数記憶部７６のデータ容量の増大も防止される。   It is preferable that the defocus conversion coefficient table includes a plurality of defocus conversion coefficient tables in advance so as to be compatible with all interchangeable lenses, that is, to obtain a conversion coefficient from any variable value. When focusing on one interchangeable lens, the radius values of the frame 1 and the frame 2 are limited to some extent, so a defocus conversion coefficient table may be prepared for each interchangeable lens. In this case, even if a countermeasure that can be applied to all the interchangeable lenses is taken, an increase in the number of defocus conversion coefficient tables due to the countermeasures can be suppressed, and an increase in the data capacity of the conversion coefficient storage unit 76 can be prevented.

尚、カメラ本体１００に取り付けられた交換レンズ３００の種類、及びカメラ本体１００内の撮像素子１４の入射瞳の特性にそれぞれ対応したデフォーカス換算係数テーブルは、ネットワーク又は記憶媒体を用いて、換算係数記憶部７６内に読み込まれる。   The defocus conversion coefficient table corresponding to the type of the interchangeable lens 300 attached to the camera body 100 and the characteristics of the entrance pupil of the image sensor 14 in the camera body 100 is obtained by using a network or a storage medium. The data is read into the storage unit 76.

（像振れ補正動作）
図１１は、像振れ補正の例を示すフローチャートである。
このフローチャートに基づき、カメラ本体１００が行う像振れ補正の例を説明する。この例は、焦点検出部としてのＡＦ部５４が、ハイブリッド方式による像振れ補正を行っている最中に、開口情報修正部７４により修正された開口情報に基づき焦点検出を行う例である。 (Image blur correction operation)
FIG. 11 is a flowchart illustrating an example of image blur correction.
An example of image blur correction performed by the camera body 100 will be described based on this flowchart. In this example, the AF unit 54 as a focus detection unit performs focus detection based on the aperture information corrected by the aperture information correction unit 74 while performing image blur correction by the hybrid method.

まず、Ｓ５０１で、像振れ検出部７０は、カメラ本体１００の動きに基づき像振れを検出する。次に、Ｓ５０２で、システム制御部５０の補正量配分部は、Ｓ５０１で検出された像振れに基づき、レンズ群駆動方式による第１の補正量と、撮像素子駆動方式による第２の補正量と、を決定する。このとき、当該補正量配分部は、交換レンズ３００のズームの状態、焦点距離、像振れ補正機構の可動駆動量、像高など、を考慮した上で、第１の補正量と第２の補正量の配分割合を決定する。   First, in step S501, the image blur detection unit 70 detects image blur based on the movement of the camera body 100. Next, in S502, the correction amount distribution unit of the system control unit 50 determines a first correction amount by the lens group driving method and a second correction amount by the imaging element driving method based on the image shake detected in S501. , To determine. At this time, the correction amount distribution unit considers the zoom state of the interchangeable lens 300, the focal length, the movable drive amount of the image blur correction mechanism, the image height, and the like, and considers the first correction amount and the second correction amount. Determine the quantity distribution ratio.

次に、Ｓ５０３及びＳ５０４で、ハイブリッド方式による像振れ補正を行う。この例では、Ｓ５０３で、撮像素子駆動方式による像振れ補正を行い、Ｓ５０４で、レンズ群駆動方式による像振れ補正を行うが、Ｓ５０３で、レンズ群駆動方式による像振れ補正を行い、Ｓ５０４で、撮像素子駆動方式による像振れ補正を行ってもよい。また、これら２つの像振れ補正は、同時に行ってもよい。   Next, in steps S503 and S504, image blur correction by the hybrid method is performed. In this example, in step S503, image blur correction is performed by the image sensor driving method, and in step S504, image blur correction is performed by the lens group driving method. In step S503, image blur correction is performed by the lens group driving method. Image blur correction by an image sensor driving method may be performed. Further, these two image blur corrections may be performed simultaneously.

Ｓ５０３で、撮像素子防振制御部７２は、第２の補正量に基づき、撮像素子駆動機構１５を用いて撮像素子１４を駆動する。また、Ｓ５０４で、レンズ群防振制御部３０８は、第２の補正量に基づき、結像光学系３０３内に含まれる防振用レンズ群駆動機構を用いてレンズ群の一部を駆動する。   In step S <b> 503, the imaging device image stabilization control unit 72 drives the imaging device 14 using the imaging device driving mechanism 15 based on the second correction amount. In step S504, the lens group image stabilization control unit 308 drives a part of the lens group using the image stabilization lens group driving mechanism included in the imaging optical system 303 based on the second correction amount.

次に、Ｓ５０５で、システム制御部５０は、焦点検出開始の指示が入力されたか否かを判定する。焦点検出開始の指示が入力された場合、システム制御部５０は、その旨をＡＦ部５４に伝え、本フローは、Ｓ５０６に進む。Ｓ５０６で、ＡＦ部５４は、後述する手法（図１２）を用いて、デフォーカス量を求め、焦点検出を行う。   Next, in S505, the system control unit 50 determines whether or not an instruction to start focus detection has been input. If an instruction to start focus detection has been input, the system control unit 50 notifies the AF unit 54 of the input, and the flow proceeds to S506. In step S506, the AF unit 54 calculates a defocus amount and performs focus detection using a method described later (FIG. 12).

一方、焦点検出開始の指示が入力されない場合、本フローは、Ｓ５０６をスキップして、Ｓ５０７に進む。Ｓ５０７で、システム制御部５０は、像振れ補正の終了指示が入力されたか否かを判定する。像振れ補正の終了指示が入力された場合、システム制御部５０は、本フロー、即ち、像振れ補正を終了する。また、像振れ補正の終了指示が入力されない場合、本フローは、Ｓ５０１に戻る。   On the other hand, if the instruction to start focus detection is not input, the flow skips S506 and proceeds to S507. In step S507, the system control unit 50 determines whether an instruction to end image blur correction has been input. When an instruction to end the image blur correction is input, the system control unit 50 ends this flow, that is, ends the image blur correction. If the end instruction of the image blur correction has not been input, the flow returns to S501.

尚、Ｓ５０５において、システム制御部５０は、焦点検出開始の有無に代えて、ライブビュー表示、動画記録など、の開始の有無に基づき、本フローを、Ｓ５０６に進めるか、又はＳ５０７に進めるか、を決定してもよい。   In step S505, the system control unit 50 determines whether to proceed to step S506 or step S507 based on the presence or absence of the start of live view display or moving image recording, instead of the presence or absence of the start of focus detection. May be determined.

（像振れ補正中の焦点検出動作）
図１２は、像振れ補正中の焦点検出の例を示すフローチャートである。
このフローチャートに基づき、像振れ補正中の焦点検出の例を説明する。このフローチャートは、図１１のＳ５０６のサブルーチンに相当する。 (Focus detection operation during image blur correction)
FIG. 12 is a flowchart illustrating an example of focus detection during image blur correction.
An example of focus detection during image blur correction will be described based on this flowchart. This flowchart corresponds to the subroutine of S506 in FIG.

まず、Ｓ５０６１で、システム制御部５０は、交換レンズ３００の開口情報、フォーカスレンズ位置など、の各種レンズ情報を、インターフェース部４３、３１３及びコネクタ４２、３０２を介して、レンズシステム制御部３０９から取得する。   First, in step S5061, the system control unit 50 acquires various kinds of lens information such as the aperture information of the interchangeable lens 300 and the focus lens position from the lens system control unit 309 via the interface units 43 and 313 and the connectors 42 and 302. I do.

次に、Ｓ５０６２で、システム制御部５０は、逐次読み出されるフレーム画像データの、焦点検出領域内の画素データから、ＡＦ用の像信号対を生成するように画像処理部２０に指示する。画像処理部２０は、システム制御部５０からの指示を受けると、ＡＦ用の像信号対を生成する。ＡＦ用の像信号対は、画素のカラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）毎に生成される。ＡＦ用の像信号対は、システム制御部５０を介してＡＦ部５４に供給される。   Next, in step S5062, the system control unit 50 instructs the image processing unit 20 to generate an AF image signal pair from the pixel data in the focus detection area of the sequentially read frame image data. Upon receiving an instruction from the system control unit 50, the image processing unit 20 generates an image signal pair for AF. An image signal pair for AF is generated for each color filter type (R, Gr, Gb, B) of a pixel. The AF image signal pair is supplied to the AF unit 54 via the system control unit 50.

ＡＦ部５４は、ＡＦ用の像信号対に対して信号レベルの差を補正する処理などを行う。また、ＡＦ部５４は、ＡＦ用の各像信号のピーク値（最大値）及びボトム値（最小値）を検出する。   The AF unit 54 performs a process of correcting a signal level difference with respect to the AF image signal pair. The AF unit 54 detects a peak value (maximum value) and a bottom value (minimum value) of each image signal for AF.

Ｓ５０６２における焦点検出領域の例を図１３に示す。
図１３は、撮影範囲と焦点検出領域の例である。同図において、８００は、撮影範囲を示し、８０１及び８０２は、撮影範囲８００内に設定された焦点検出領域を示す。 FIG. 13 shows an example of the focus detection area in S5062.
FIG. 13 is an example of a shooting range and a focus detection area. In the figure, reference numeral 800 denotes a photographing range, and reference numerals 801 and 802 denote focus detection areas set in the photographing range 800.

焦点検出領域８０１は、撮影光学系の光軸と撮像素子との交点、及び焦点検出領域の中心が一致する、いわゆる中央像高に設定された焦点検出領域である。一方で、焦点検出領域８０２は、焦点検出領域の中心が、撮影光学系の光軸と撮像素子との交点から離れている、いわゆる周辺像高に設定された焦点検出領域である。   The focus detection area 801 is a focus detection area set at a so-called center image height where the intersection between the optical axis of the imaging optical system and the image sensor and the center of the focus detection area coincide. On the other hand, the focus detection area 802 is a focus detection area in which the center of the focus detection area is set at a so-called peripheral image height where the center of the focus detection area is far from the intersection between the optical axis of the imaging optical system and the image sensor.

撮像素子の画素からの信号を用いて焦点検出を行う場合、コントラスト検出方式及び位相差検出方式のいずれを用いる場合においても、焦点検出領域８０１、８０２に対応する撮像素子の画素からの信号を用いて焦点検出を行う。即ち、焦点検出領域８０１、８０２は、撮像素子そのものに設定されると言うこともできる。   When focus detection is performed using a signal from a pixel of the image sensor, a signal from a pixel of the image sensor corresponding to the focus detection area 801 or 802 is used in any of the contrast detection method and the phase difference detection method. To perform focus detection. That is, it can be said that the focus detection areas 801 and 802 are set in the image sensor itself.

従って、以下では、説明及び理解を容易にするため、焦点検出領域８０１、８０２を撮像素子の画素領域として説明する。また、焦点検出領域８０１、８０２は、４行２Ｎ列の画素アレイを備え、かつ画素アレイ内の各画素は、図２（Ａ）に示す構造を有するものとする。   Therefore, in the following, the focus detection areas 801 and 802 will be described as pixel areas of the image sensor for easy explanation and understanding. Further, the focus detection areas 801 and 802 include a pixel array of 4 rows and 2N columns, and each pixel in the pixel array has a structure shown in FIG.

尚、これは、単なる例示であり、焦点検出領域の数及び大きさ、並びに焦点検出領域内に含まれる画素数については、位相差ＡＦにおける位相差の検出に支障がない範囲で、適宜、定めることができる。   Note that this is merely an example, and the number and size of the focus detection areas and the number of pixels included in the focus detection areas are appropriately determined within a range that does not hinder the detection of the phase difference in the phase difference AF. be able to.

図１４は、焦点検出領域内の画素の例を示す。
焦点検出領域８０１、８０２は、それぞれ、４行２Ｎ列の複数の画素を有する画素アレイを備える。本実施形態では、ｉ行ｊ列のＡＦ用Ａ像の信号を作成するために用いられる画素（フォトダイオード２０１ａ）及びその出力をＡ（ｉ，ｊ）と表す。同様に、ｉ行ｊ列のＡＦ用Ｂ像の信号を作成するために用いられる画素（フォトダイオード２０１ｂ）及びその出力をＢ（ｉ，ｊ）と表す。 FIG. 14 shows an example of a pixel in the focus detection area.
Each of the focus detection areas 801 and 802 includes a pixel array having a plurality of pixels in 4 rows and 2N columns. In the present embodiment, a pixel (photodiode 201a) used to generate a signal of the AF A image in the i-th row and the j-th column and its output are represented as A (i, j). Similarly, a pixel (photodiode 201b) used to generate a signal of the B image for AF in the i-th row and the j-th column and its output are represented as B (i, j).

同図では、１行目と３行目は、赤（Ｒ）と緑（Ｇｒ）のカラーフィルタを有する画素が交互に配置され、２行目と４行目は、緑（Ｇｂ）と青（Ｂ）のカラーフィルタを有する画素が交互に配置される。赤（Ｒ）の左右方向の隣に配置された緑の画素をＧｒと表記し、青（Ｂ）の左右方向の隣に配置された緑の画素をＧｂと表記する。   In the figure, pixels having red (R) and green (Gr) color filters are alternately arranged in the first and third rows, and green (Gb) and blue ( Pixels having the color filters of B) are alternately arranged. A green pixel arranged right and left next to red (R) is described as Gr, and a green pixel arranged next to blue (B) in the left and right direction is expressed as Gb.

画像処理部２０は、画素のカラーフィルタ種別（Ｒ,Ｇｒ,Ｇｂ,Ｂ）毎に構成されるＡＦ用の像信号対を、フィルタ処理、加算処理などにより、色毎の特性を有さないＹ信号に加工する。これにより、ＡＦ用の像信号対の情報量が減るため、以後の処理の演算量は、大幅に低減される。本実施形態では、焦点検出領域８０１、８０２は、４行２Ｎ列の画素アレイを備えるが、上記Ｙ信号は、当該画素アレイの水平方向及び垂直方向の２画素がそれぞれ加算された２行Ｎ列の信号として圧縮される。   The image processing unit 20 converts the image signal pair for AF configured for each color filter type (R, Gr, Gb, B) of the pixel into a Y signal having no characteristic for each color by a filtering process, an adding process, or the like. Process into a signal. As a result, the information amount of the AF image signal pair is reduced, so that the amount of calculation in the subsequent processing is significantly reduced. In the present embodiment, the focus detection areas 801 and 802 include a pixel array of 4 rows and 2N columns. The Y signal is obtained by adding 2 pixels in the horizontal direction and 2 columns in the vertical direction of the pixel array. Is compressed as a signal.

図１２のフローの説明に戻る。
Ｓ５０６３で、開口情報修正部７４は、開口情報記憶部３１２内に記憶された開口情報を参照し、かつレンズ群駆動方式による第１の補正量と、撮像素子駆動方式による第２の補正量と、敏感度情報と、に基づき、当該開口情報を修正する。開口情報の修正については、Ｓ５０６３のサブルーチンである図１５のフローチャートにおいて詳しく述べる。 Returning to the description of the flow of FIG.
In step S5063, the aperture information correction unit 74 refers to the aperture information stored in the aperture information storage unit 312, and determines the first correction amount according to the lens group driving method and the second correction amount according to the imaging element driving method. The aperture information is corrected based on the sensitivity information. The correction of the opening information will be described in detail in the flowchart of FIG. 15 which is a subroutine of S5063.

次に、Ｓ５０６４で、システム制御部５０は、Ｓ５０６３で修正された開口情報に基づき像振れ補正中のデフォーカス換算係数を取得する。例えば、システム制御部５０は、換算係数記憶部７６内に記憶されたデフォーカス換算係数テーブルを参照し、Ｓ５０６３で修正された開口情報を引数として、像振れ補正中のデフォーカス換算係数を取得する。   Next, in step S5064, the system control unit 50 acquires a defocus conversion coefficient during image blur correction based on the aperture information corrected in step S5063. For example, the system control unit 50 refers to the defocus conversion coefficient table stored in the conversion coefficient storage unit 76, and acquires the defocus conversion coefficient during image blur correction using the aperture information corrected in S5063 as an argument. .

次に、Ｓ５０６５で、焦点検出手段としてのＡＦ部５４は、Ａ像とＢ像について相関量ＣＯＲ（ｋ）を算出し、相関量ＣＯＲ（ｋ）を最小にするシフト量ｋを像ずれ量（位相差）として検出する。そして、ＡＦ部５４は、検出した像ずれ量とデフォーカス換算係数とを用いて、デフォーカス量を求める。この処理の詳細は、後述する。ＡＦ部５４は、デフォーカス量をシステム制御部５０に出力する。   Next, in S5065, the AF unit 54 as the focus detection unit calculates the correlation amount COR (k) for the A image and the B image, and determines the shift amount k that minimizes the correlation amount COR (k) to the image shift amount ( (Phase difference). Then, the AF unit 54 obtains the defocus amount using the detected image shift amount and the defocus conversion coefficient. Details of this processing will be described later. The AF unit 54 outputs the defocus amount to the system control unit 50.

次に、Ｓ５０６６で、システム制御部５０は、ＡＦ部５４からのデフォーカス量に基づき、交換レンズ３００のフォーカスレンズ駆動量及び駆動方向を決定する。   Next, in step S5066, the system control unit 50 determines the focus lens drive amount and the drive direction of the interchangeable lens 300 based on the defocus amount from the AF unit 54.

次に、Ｓ５０６７で、システム制御部５０は、インターフェース部４３、３１３、及びコネクタ４２、３０２を介して、フォーカスレンズ駆動量及び駆動方向の情報を交換レンズ３００のレンズシステム制御部３０９に送信する。レンズシステム制御部３０９は、フォーカスレンズ駆動量及び駆動方向の情報をフォーカス制御部３０７に送信する。フォーカス制御部３０７は、フォーカスレンズ駆動量及び駆動方向の情報に基づき、フォーカスフォーカスレンズを駆動する。これにより、交換レンズ３００の焦点調節が行われる。フォーカスレンズ駆動量及び駆動方向の情報は、システム制御部５０からフォーカス制御部３０７に直接送信されてもよい。   Next, in step S5067, the system control unit 50 transmits information on the focus lens driving amount and the driving direction to the lens system control unit 309 of the interchangeable lens 300 via the interface units 43 and 313 and the connectors 42 and 302. The lens system control unit 309 transmits information on the focus lens drive amount and the drive direction to the focus control unit 307. The focus control unit 307 drives the focus focus lens based on the information on the focus lens drive amount and the drive direction. Thereby, the focus of the interchangeable lens 300 is adjusted. Information on the focus lens drive amount and the drive direction may be directly transmitted from the system control unit 50 to the focus control unit 307.

尚、システム制御部５０は、修正された開口情報に基づき、光量／画像補正を行う光量／画像補正部を備えていてもよい。当該光量／画像補正部は、図１１及び図１２のフローを実行している最中に、開口情報修正部７４からの修正された開口情報に基づき、光量調整、画像補正（シェーディング補正）などを行う。   Note that the system control unit 50 may include a light amount / image correction unit that performs light amount / image correction based on the corrected aperture information. The light amount / image correction unit performs light amount adjustment, image correction (shading correction), and the like based on the corrected aperture information from the aperture information correction unit 74 during the execution of the flows in FIGS. Do.

（開口情報の修正方法）
図１５は、像振れ補正中の開口情報の修正の例を示すフローチャートである。
このフローチャートに基づき、像振れ補正中の開口情報の修正の例を説明する。このフローチャートは、図１２のＳ５０６３のサブルーチンに相当する。 (How to correct aperture information)
FIG. 15 is a flowchart illustrating an example of correction of aperture information during image blur correction.
An example of correcting the aperture information during the image blur correction will be described based on this flowchart. This flowchart corresponds to the subroutine of S5063 in FIG.

まず、Ｓ６３０１〜Ｓ６３０４で、開口情報修正部７４は、撮像素子駆動方式による像振れ補正で生じた像高変化分の修正を行う。ここでの像高変化は、カメラ本体１００に固定したＸ軸（水平方向）とＹ軸（垂直方向）とを基準として考える。撮像素子上の測距エリアの位置は、変化しないが、撮像素子が駆動されることにより、測距エリアのＸ座標及びＹ座標は、変化する。   First, in steps S6301 to S6304, the aperture information correction unit 74 corrects an image height change caused by image blur correction by the image sensor driving method. Here, the image height change is considered based on the X axis (horizontal direction) and the Y axis (vertical direction) fixed to the camera body 100. The position of the distance measurement area on the image sensor does not change, but the X and Y coordinates of the distance measurement area change when the image sensor is driven.

Ｓ６３０１で、開口情報修正部７４は、撮像素子防振制御部７２から、撮像素子駆動方式による水平方向の補正角θｈｉ、及び垂直方向の補正角θｖｉを取得する。ここでの補正角は、図１１のＳ５０２で配分された第２の補正量（補正角）ではなく、それまでの制御により累積された補正角を表す。   In step S6301, the aperture information correction unit 74 acquires a horizontal correction angle θhi and a vertical correction angle θvi based on the image sensor driving method from the image sensor image stabilization control unit 72. The correction angle here does not represent the second correction amount (correction angle) distributed in S502 in FIG. 11, but the correction angle accumulated by the control up to that time.

Ｓ６３０２で、開口情報修正部７４は、取得した補正角θｈｉ及びθｖｉに基づき、測距エリアの水平方向の像高変化量Δｈｉと、垂直方向の像高変化量Δｖｉを算出する。このとき、像高変化量Δｈｉ及びΔｖｉは、撮像レンズ３００の焦点距離ｆを用いて、Δｈｉ＝ｆ×θｈｉ、Δｖｉ＝ｆ×θｖｉによって算出される。また、像高変化量Δｈｉ及びΔｖｉは、撮像素子防振制御部７２による並進移動量に相当するため、第２の補正量（補正角）から計算することなく、並進移動量として取得してもよい。   In step S6302, the aperture information correction unit 74 calculates the horizontal image height change amount Δhi and the vertical image height change amount Δvi of the ranging area based on the acquired correction angles θhi and θvi. At this time, the image height change amounts Δhi and Δvi are calculated using the focal length f of the imaging lens 300 by Δhi = f × θhi and Δvi = f × θvi. Further, since the image height change amounts Δhi and Δvi correspond to the translation amount by the image sensor image stabilization control unit 72, even if they are acquired as the translation amount without being calculated from the second correction amount (correction angle). Good.

Ｓ６３０３で、開口情報修正部７４は、撮像素子駆動方式による像振れ補正を行わない場合の測距エリアの水平像高ｈ及び垂直像高ｖを、当該像振れ補正を行う場合に発生する像高変化を考慮した水平像高ｈ＋Δｈｉ及び垂直像高ｖ＋Δｖｉに修正する。   In step S6303, the aperture information correction unit 74 determines the horizontal image height h and the vertical image height v of the distance measurement area when image blur correction by the image sensor driving method is not performed, and the image height generated when the image blur correction is performed. Correction is made to the horizontal image height h + Δhi and the vertical image height v + Δvi in consideration of the change.

Ｓ６３０４で、開口情報修正部７４は、開口情報記憶部３１２内に記憶された開口情報テーブルを参照し、Ｓ６３０３で修正された水平像高ｈ＋Δｈｉ及び垂直像高ｖ＋Δｖｉを引数として開口情報を取得する。この開口情報は、撮像素子駆動方式による撮像素子の駆動量を考慮した開口情報、即ち、像振れ補正で当該撮像素子が駆動された後の測距エリアから見た開口情報に相当する。このとき取得された枠１の中心位置の水平座標をｃｘ１とし、垂直座標をｃｙ１とし、半径をｒ１とする。また、このとき取得された枠２の中心位置の水平座標をｃｘ２とし、垂直座標をｃｙ２とし、半径をｒ２とする。   In step S6304, the aperture information correction unit 74 refers to the aperture information table stored in the aperture information storage unit 312, and acquires the aperture information using the horizontal image height h + Δhi and the vertical image height v + Δvi corrected in S6303 as arguments. This aperture information corresponds to aperture information in consideration of the driving amount of the image sensor by the image sensor driving method, that is, aperture information viewed from a distance measurement area after the image sensor has been driven by image blur correction. At this time, the horizontal coordinate of the center position of the frame 1 acquired is set to cx1, the vertical coordinate is set to cy1, and the radius is set to r1. Also, the horizontal coordinate of the center position of the frame 2 acquired at this time is cx2, the vertical coordinate is cy2, and the radius is r2.

次に、Ｓ６３０５〜Ｓ６３０８で、開口情報修正部７４は、レンズ群駆動方式による像振れ補正で生じた開口情報の変化分を修正する。   Next, in steps S6305 to S6308, the aperture information correction unit 74 corrects a change in aperture information caused by image blur correction by the lens group driving method.

Ｓ６３０５で、開口情報修正部７４は、敏感度情報記憶部３１１から敏感度情報を取得する。敏感度情報は、例えば、像高毎に、敏感度情報記憶部３１１内に記憶される。ここでは、開口情報修正部７４は、撮像素子駆動方式による撮像素子の駆動量を考慮した水平像高ｈ＋Δｈｉ及び垂直像高ｖ＋Δｖｉを引数として、敏感度情報を読み出す。このとき得られた枠１の敏感度をＳ１とし、枠２の敏感度をＳ２とする。   In step S6305, the aperture information correction unit 74 acquires sensitivity information from the sensitivity information storage unit 311. The sensitivity information is stored in the sensitivity information storage unit 311 for each image height, for example. Here, the aperture information correction unit 74 reads out the sensitivity information using the horizontal image height h + Δhi and the vertical image height v + Δvi in consideration of the driving amount of the image sensor by the image sensor driving method as arguments. The sensitivity of the frame 1 obtained at this time is S1 and the sensitivity of the frame 2 is S2.

Ｓ６３０６で、開口情報修正部７４は、レンズ群防振制御３０８から、レンズ群駆動方式による水平方向の補正角θｈｌ、及び垂直方向の補正角θｖｌを取得する。ここでの補正角は、図１１のＳ５０２で配分された第１の補正量（補正角）ではなく、それまでの制御で累積された補正角を表す。   In step S6306, the aperture information correction unit 74 acquires the horizontal correction angle θhl and the vertical correction angle θvl by the lens group driving method from the lens group image stabilization control 308. The correction angle here does not represent the first correction amount (correction angle) distributed in S502 of FIG. 11, but the correction angle accumulated by the control up to that time.

Ｓ６３０７で、開口情報修正部７４は、Ｓ６３０４及びＳ６３０５でそれぞれ取得した開口情報及び敏感度情報に基づき、レンズ群駆動方式による像振れ補正で生じた開口情報の変化量を算出する。ここで求める変化量は、枠１の中心位置の水平方向の変化量Δｃｘ１、枠１の中心位置の垂直方向の変化量Δｃｙ１、枠２の中心位置の水平方向の変化量Δｃｘ２、及び枠２の中心位置の垂直方向の変化量Δｃｙ２である。   In step S6307, the aperture information correction unit 74 calculates the amount of change in aperture information caused by image blur correction using the lens group driving method based on the aperture information and the sensitivity information acquired in steps S6304 and S6305, respectively. The amount of change obtained here is a horizontal change amount Δcx1 of the center position of the frame 1, a vertical change amount Δcy1 of the center position of the frame 1, a horizontal change amount Δcx2 of the center position of the frame 2, and The change amount Δcy2 in the vertical direction of the center position.

枠１の中心位置の水平方向の変化量は、Δｃｘ１＝Ｓ１×θｈｌにより算出され、枠１の中心位置の垂直方向の変化量は、Δｃｙ１＝Ｓ１×θｖｌにより算出される。また、枠２の中心位置の水平方向の変化量は、Δｃｘ２＝Ｓ２×θｈｌにより算出され、枠２の中心位置の垂直方向の変化量は、Δｃｙ２＝Ｓ２×θｖｌにより算出される。図９の説明では、水平方向のみを考慮したが、ここでは、水平方向と垂直方向の双方を考慮する。また、敏感度Ｓ１、Ｓ２は、水平方向及び垂直方向について共通の値を用いる。   The horizontal change amount of the center position of the frame 1 is calculated by Δcx1 = S1 × θhl, and the vertical change amount of the center position of the frame 1 is calculated by Δcy1 = S1 × θvl. The horizontal change amount of the center position of the frame 2 is calculated by Δcx2 = S2 × θhl, and the vertical change amount of the center position of the frame 2 is calculated by Δcy2 = S2 × θvl. Although only the horizontal direction is considered in the description of FIG. 9, both the horizontal direction and the vertical direction are considered here. In addition, the sensitivities S1 and S2 use a common value in the horizontal direction and the vertical direction.

Ｓ６３０８で、開口情報修正部７４は、防振用レンズ群の駆動後の開口情報を次のように修正する。即ち、開口情報修正部７４は、枠１の中心位置の水平座標をｃｘ１＋Δｃｘ１に修正し、枠１の中心位置の垂直座標をｃｙ１＋Δｃｙ１に修正し、半径をｒ１に修正する。また、開口情報修正部７４は、枠２の中心位置の水平座標をｃｘ２＋Δｃｘ２に修正し、枠２の中心位置の垂直座標をｃｙ２＋Δｃｙ２に修正し、半径をｒ２に修正する。   In step S6308, the aperture information correction unit 74 corrects the aperture information after driving the vibration reduction lens group as follows. That is, the opening information correction unit 74 corrects the horizontal coordinate of the center position of the frame 1 to cx1 + Δcx1, corrects the vertical coordinate of the center position of the frame 1 to cy1 + Δcy1, and corrects the radius to r1. Further, the opening information correction unit 74 corrects the horizontal coordinate of the center position of the frame 2 to cx2 + Δcx2, corrects the vertical coordinate of the center position of the frame 2 to cy2 + Δcy2, and corrects the radius to r2.

最後に、Ｓ６３０９〜Ｓ６３１０で、開口情報修正部７４は、図７で説明した、撮像素子駆動方式による撮像素子の入射瞳に対する結像光学系の射出瞳の移動量を修正する。   Finally, in steps S6309 to S6310, the aperture information correction unit 74 corrects the movement amount of the exit pupil of the imaging optical system with respect to the entrance pupil of the imaging device using the imaging device driving method described with reference to FIG.

Ｓ６３０９で、開口情報修正部７４は、Ｓ６３０２と同様に、水平方向の結像光学系の射出瞳の移動量をΔｈｉとし、垂直方向の結像光学系の射出瞳の移動量をΔｖｉとする。続けて、Ｓ６３１０で、開口情報修正部７４は、撮像素子駆動方式及びレンズ群駆動方式による像振れ補正時の枠１の中心位置の水平座標をｃｘ１＋Δｃｘ１−Δｈｉに修正し、垂直座標をｃｙ１＋Δｃｙ１−Δｖｉに修正し、半径をｒ１に修正する。また、開口情報修正部７４は、当該像振れ補正時の枠２の中心位置の水平座標をｃｘ２＋Δｃｘ２−Δｈｉに修正し、垂直座標をｃｙ２＋Δｃｙ２−Δｖｉに修正し、半径をｒ２に修正する。   In step S6309, the aperture information correcting unit 74 sets the movement amount of the exit pupil of the imaging optical system in the horizontal direction to Δhi and the movement amount of the exit pupil of the imaging optical system in the vertical direction to Δvi, as in step S6302. Subsequently, in S6310, the aperture information correction unit 74 corrects the horizontal coordinate of the center position of the frame 1 at the time of image blur correction by the image sensor driving method and the lens group driving method to cx1 + Δcx1-Δhi, and changes the vertical coordinate to cy1 + Δcy1-Δvi. And the radius is corrected to r1. Further, the aperture information correction unit 74 corrects the horizontal coordinate of the center position of the frame 2 at the time of the image blur correction to cx2 + Δcx2-Δhi, corrects the vertical coordinate to cy2 + Δcy2-Δvi, and corrects the radius to r2.

本実施形態では、換算係数記憶部７６からデフォーカス換算係数を読み出すときの引数として、枠１の中心座標（水平、垂直）、枠２の中心座標（水平、垂直）、枠１の半径、及び枠２の半径の合計６変数を引数とした。しかし、焦点検出精度の高精度化よりもデータ容量の削減を優先する場合、枠１と枠２の中心が同じ角度座標にあると近似して、極座標系を用いてもよい。このとき、デフォーカス換算係数を取得するための引数は、枠１の中心の動径座標、枠２の中心の動径座標、枠１の角度座標（＝枠２の角度座標）、枠１の半径、及び枠２の半径の合計５変数となり、データ容量が削減される。   In the present embodiment, the central coordinates (horizontal and vertical) of the frame 1, the central coordinates (horizontal and vertical) of the frame 2, the radius of the frame 1, A total of six variables of the radius of the frame 2 were used as arguments. However, when priority is given to reducing the data volume over improving the focus detection accuracy, the polar coordinate system may be used by approximating that the centers of the frames 1 and 2 are at the same angular coordinates. At this time, the arguments for obtaining the defocus conversion coefficient include the radial coordinate of the center of the frame 1, the radial coordinate of the center of the frame 2, the angular coordinate of the frame 1 (= the angular coordinate of the frame 2), The radius and the radius of the frame 2 become a total of five variables, and the data capacity is reduced.

この近似方法を用いる場合、換算係数記憶部７６内に記憶されるデフォーカス換算係数テーブルは、上記５変数を引数とするテーブルに書き換えられる。この場合、システム制御部５０又はＡＦ部５４は、Ｓ６３１０で、開口情報修正部７４から修正された開口情報を取得した後、当該修正された開口情報について、直行座標系から極座標系への変換を行う。   When this approximation method is used, the defocus conversion coefficient table stored in the conversion coefficient storage unit 76 is rewritten to a table using the above five variables as arguments. In this case, after acquiring the corrected opening information from the opening information correcting unit 74 in S6310, the system control unit 50 or the AF unit 54 converts the corrected opening information from the orthogonal coordinate system to the polar coordinate system. Do.

また、Ｓ６３１０で、修正された開口情報の枠１の中心の角度座標と、枠２の中心の角度座標とは、一般的に異なる。この場合、ＡＦ部５４は、デフォーカス換算係数に寄与度が大きい枠の角度座標を用いて、換算係数記憶部７６からデフォーカス換算係数を読み出す。寄与度の大きい枠を選択する方法の一例としては、２枠に囲まれる領域を２枠の交点を結ぶ直線で分割した後、結果的に面積が大きくなるほうの領域を囲う枠を寄与度の大きい枠として選択する方法がある。   In step S6310, the angle coordinates of the center of frame 1 and the angle coordinates of the center of frame 2 in the corrected opening information are generally different. In this case, the AF unit 54 reads out the defocus conversion coefficient from the conversion coefficient storage unit 76 using the angular coordinates of the frame having a large contribution to the defocus conversion coefficient. As an example of a method of selecting a frame having a large contribution, a region surrounded by two frames is divided by a straight line connecting intersections of the two frames, and a frame surrounding a region having a larger area as a result is determined by a There is a method of selecting a large frame.

（デフォーカス量の算出処理）
図１６は、デフォーカス量の算出の例を示すフローチャートである。
このフローチャートに基づき、デフォーカス量の算出の例を説明する。このフローチャートは、図１２のＳ５０６５のサブルーチンに相当する。 (Defocus amount calculation processing)
FIG. 16 is a flowchart illustrating an example of calculating the defocus amount.
An example of calculating the defocus amount will be described based on this flowchart. This flowchart corresponds to the subroutine of S5065 in FIG.

まず、Ｓ６５０１で、ＡＦ部５４は、焦点検出領域内の複数の行から、演算対象となる行を選択し、相関演算を行う。本実施形態では、Ｓ５０６２で、焦点検出領域内の圧縮された上記２行Ｎ列の信号のうちの１行目を選択する。   First, in step S6501, the AF unit 54 selects a row to be calculated from a plurality of rows in the focus detection area, and performs a correlation calculation. In the present embodiment, in step S5062, the first row is selected from the compressed signals in the two rows and N columns in the focus detection area.

位相差ＡＦによる焦点検出では、同じ被写体に対応した一対の信号列（像）を生成し、一対の信号列（像）の位相差（ずれ量）を検出し、当該位相差をデフォーカス量及び方向に変換する。所定方向（例えば、水平方向）に存在する複数の画素２００のフォトダイオード２０１ａから得られるＡ信号に基づく信号列（Ａ像）と、フォトダイオード２０１ｂから得られるＢ信号に基づく信号列（Ｂ像）とは、同じ被写体を違う視点からみた像に相当する。従って、Ａ像とＢ像の位相差を検出し、当該位相差をデフォーカス量及び方向に変換することで、位相差ＡＦによる焦点検出が実現できる。   In focus detection by phase difference AF, a pair of signal trains (images) corresponding to the same subject is generated, a phase difference (shift amount) between the pair of signal trains (images) is detected, and the phase difference is determined by a defocus amount and a defocus amount. Convert to direction. A signal sequence (A image) based on A signals obtained from the photodiodes 201a of a plurality of pixels 200 existing in a predetermined direction (for example, a horizontal direction) and a signal sequence (B image) based on a B signal obtained from the photodiode 201b Is equivalent to an image of the same subject viewed from different viewpoints. Therefore, focus detection by phase difference AF can be realized by detecting the phase difference between the A image and the B image and converting the phase difference into a defocus amount and direction.

そして、所定方向におけるＡ像とＢ像との相対距離（シフト量）を変更しながら、個々の位置においてＡ像とＢ像との相関を表す値（相関量）を算出し、相関が最も高くなるシフト量を、Ａ像とＢ像との位相差として検出することができる。相関量は、例えば、対応信号値の差分累積値であるが、それ以外の値でもよい。   Then, while changing the relative distance (shift amount) between the A image and the B image in the predetermined direction, a value (correlation amount) representing the correlation between the A image and the B image at each position is calculated, and the correlation is highest. Can be detected as a phase difference between the A image and the B image. The correlation amount is, for example, a difference accumulated value of the corresponding signal values, but may be another value.

例えば、Ａ像としてＡ（１，１）〜Ａ（１，Ｎ）を生成し、Ｂ像としてＢ（１，１）〜Ｂ（１，Ｎ）を生成し、シフト量ｋを画素単位で−ｋｍａｘ≦ｋ≦ｋｍａｘの範囲で変化させるとする。この場合、個々の相対位置における相関量ＣＯＲ（ｋ）は、以下のように算出できる。   For example, A (1,1) to A (1, N) are generated as the A image, B (1,1) to B (1, N) are generated as the B image, and the shift amount k is determined in units of pixels. It is assumed that the value is changed in a range of kmax ≦ k ≦ kmax. In this case, the correlation amount COR (k) at each relative position can be calculated as follows.

Figure 2020008739
但し、−ｋｍａｘ≦ｋ≦ｋｍａｘである。
このように、Ｓ６５０１では、ＡＦ部５４は、選択された行のＡ像とＢ像の信号から、相関量ＣＯＲを算出する。
Figure 2020008739
 However, -kmax ≦ k ≦ kmax.
Thus, in S6501, the AF unit 54 calculates the correlation amount COR from the signals of the A image and the B image of the selected row.

次に、Ｓ６５０２で、ＡＦ部５４は、相関量の行加算の判定を行う。焦点検出領域内に相関演算を行う複数の行が存在する場合、ＡＦ部５４は、相関量の加算を行う。但し、相関演算を行う行によっては、飽和などにより、信頼性の高い焦点検出結果が得られない行も存在する。このため、Ｓ６５０２で、ＡＦ部５４は、Ｓ６５０１の結果に基づき、相関量の行加算を行うか否かの判定を行う。即ち、ＡＦ部５４は、Ｓ６５０１で演算した相関量の信頼性が高いと判断される行については、行加算を行う。   Next, in step S6502, the AF unit 54 determines row addition of the correlation amount. When there are a plurality of rows for which a correlation operation is performed in the focus detection area, the AF unit 54 adds a correlation amount. However, some rows for which a correlation calculation is performed cannot obtain a highly reliable focus detection result due to saturation or the like. Therefore, in S6502, the AF unit 54 determines whether or not to perform row addition of the correlation amount based on the result of S6501. That is, the AF unit 54 performs the row addition for the row determined to be highly reliable in the correlation amount calculated in S6501.

次に、Ｓ６５０３で、ＡＦ部５４は、Ｓ６５０２の結果に基づき、実際に、行加算を行うか否かを決める。行加算を行う場合、本フローは、Ｓ６５０４に進む。Ｓ６５０４で、ＡＦ部５４は、既に得ている相関量の加算結果に対して、さらに、Ｓ６５０１で得られた相関量を加算する。一方、行加算を行わない場合、本フローは、Ｓ６５０４をスキップして、Ｓ６５０５に進む。   Next, in step S6503, the AF unit 54 determines whether or not to actually perform row addition based on the result of step S6502. When performing the row addition, the flow proceeds to S6504. In S6504, the AF unit 54 further adds the correlation amount obtained in S6501 to the addition result of the correlation amount already obtained. On the other hand, when the row addition is not performed, the flow skips S6504 and proceeds to S6505.

次に、Ｓ６５０５で、ＡＦ部５４は、焦点検出領域内の全行について、相関演算を行ったか否かを判定する。全行の相関演算を終えてない場合、本フローは、Ｓ６５０１に戻り、再び、Ｓ６５０１〜Ｓ６５０４の処理を行う。全行の相関演算を終えた場合、本フローは、Ｓ６５０６に進む。   Next, in step S6505, the AF unit 54 determines whether or not a correlation operation has been performed for all rows in the focus detection area. If the correlation calculation has not been completed for all rows, the flow returns to S6501, and the processes of S6501 to S6504 are performed again. If the correlation calculation for all rows has been completed, the flow proceeds to S6506.

次に、Ｓ６５０６で、ＡＦ部５４は、デフォーカス量の算出を行う。
まず、ＡＦ部５４は、全行の相関演算により得られたＣＯＲ（ｋ）を最小にするシフト量ｋの値を求める。ここで、上記式（１）で算出するシフト量ｋは、整数であるが、分解能を向上させるため、最終的に求めるシフト量ｋは、実数とする。 Next, in step S6506, the AF unit 54 calculates a defocus amount.
First, the AF unit 54 obtains a value of the shift amount k that minimizes the COR (k) obtained by the correlation operation of all rows. Here, the shift amount k calculated by the above equation (1) is an integer, but in order to improve the resolution, the finally obtained shift amount k is a real number.

例えば、上記式（１）から得られる最小値がＣＯＲ（ａ）の場合、ＡＦ部５４は、ＣＯＲ（ａ−１）、ＣＯＲ（ａ）、及びＣＯＲ（ａ＋１）からの補間演算などにより、この区間での相関量を最小にする実数値のシフト量を求める。   For example, if the minimum value obtained from the above equation (1) is COR (a), the AF unit 54 performs this interpolation by interpolating COR (a-1), COR (a), and COR (a + 1). The shift amount of the real value that minimizes the correlation amount in the section is obtained.

次に、ＡＦ部５４は、相関量ＣＯＲの差分値の符号が変化するシフト量ｄｋを、相関量ＣＯＲ１（ｋ）が最小となるシフト量ｋとして算出する。
ＡＦ部５４は、相関量の差分値ＤＣＯＲを式（２）に従って算出する。

Figure 2020008739
Next, the AF unit 54 calculates the shift amount dk at which the sign of the difference value of the correlation amount COR changes as the shift amount k at which the correlation amount COR1 (k) becomes minimum.
The AF unit 54 calculates the difference value DCOR of the correlation amount according to the equation (2).
Figure 2020008739

そして、ＡＦ部５４は、相関量の差分値ＤＣＯＲを用いて、差分量の符号が変化するシフト量ｄｋを求める。差分量の符号が変化する直前のｋの値をｋ１とし、符号が変化したｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、ＡＦ部５４は、シフト量ｄｋを式（３）に従って算出する。

Figure 2020008739
Then, the AF unit 54 obtains the shift amount dk at which the sign of the difference amount changes using the difference value DCOR of the correlation amount. Assuming that the value of k immediately before the sign of the difference amount changes is k1 and the value of k whose sign changes is k2 (k2 = k1 + 1), the AF unit 54 calculates the shift amount dk according to equation (3).
Figure 2020008739

以上のようにして、ＡＦ部５４は、Ａ像とＢ像の相関量が最大となるシフト量ｄｋをサブピクセル単位で算出する。尚、２つの１次元像信号の位相差を算出する方法は、ここで説明したものに限らず、公知の任意の方法を用いることができる。   As described above, the AF unit 54 calculates the shift amount dk that maximizes the correlation amount between the A image and the B image in subpixel units. The method for calculating the phase difference between the two one-dimensional image signals is not limited to the method described here, and any known method can be used.

最後に、ＡＦ部５４は、シフト量ｄｋに、Ｓ５０６４で取得したデフォーカス換算係数を乗じて、デフォーカス量Ｄｅｆを求める。
ＡＦ部５４によるデフォーカス量の算出が完了すると、本フロー、即ち、デフォーカス量の算出のサブルーチン（Ｓ５０６５）は、終了する。 Finally, the AF unit 54 calculates the defocus amount Def by multiplying the shift amount dk by the defocus conversion coefficient acquired in S5064.
When the calculation of the defocus amount by the AF unit 54 is completed, the present flow, that is, the subroutine for calculating the defocus amount (S5065) ends.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention provides a system or an apparatus via a network or a storage medium for supplying a program for realizing one or more functions of the above-described embodiment, and one or more processors in a computer of the system or apparatus execute the program. But it is feasible. In addition, the present invention can be realized by a circuit (for example, an ASIC) that realizes one or more functions.

（むすび）
以上、本発明によれば、ハイブリット方式による像振れ補正を考慮した修正された開口情報から焦点検出のための変換係数を取得し、当該変換係数を用いて位相差からデフォーカス量を求めることで、高精度な焦点検出を可能とする撮像装置を実現できる。 (Conclusion)
As described above, according to the present invention, a conversion coefficient for focus detection is obtained from corrected aperture information in consideration of image blur correction by the hybrid method, and a defocus amount is obtained from a phase difference using the conversion coefficient. In addition, it is possible to realize an imaging device that enables highly accurate focus detection.

即ち、本発明では、結像光学系の開口情報は、レンズ群駆動方式による第１の補正量、撮像素子駆動方式による第２の補正量、さらには、敏感度情報に基づき、修正される。また、焦点検出のための変換係数は、変換係数テーブルに基づき、修正された開口情報から取得される。このように、焦点検出のための変換係数は、ハイブリッド方式による像振れ補正を考慮した高精度な変換係数となっている。従って、当該変換係数を用いて、位相差からデフォーカス量を求めることで、ハイブリット方式による像振れ補正を行った場合でも、高精度な焦点検出が可能となる。   That is, in the present invention, the aperture information of the imaging optical system is corrected based on the first correction amount by the lens group driving method, the second correction amount by the imaging element driving method, and the sensitivity information. Further, the conversion coefficient for focus detection is obtained from the corrected aperture information based on the conversion coefficient table. As described above, the conversion coefficient for focus detection is a high-precision conversion coefficient in consideration of image blur correction by the hybrid method. Accordingly, by obtaining the defocus amount from the phase difference using the conversion coefficient, it is possible to perform highly accurate focus detection even when image blur correction is performed by the hybrid method.

１１…（カメラ側）レンズマウント、
１２…シャッタ、
１４…撮像素子、
１５…撮像素子駆動機構、
１６…Ａ／Ｄ変換器、
１８…タイミング発生回路、
２０…画像処理部、
４２…（カメラ側）コネクタ、
４３…（カメラ側）インターフェース部、
５０…システム制御部、
５２…測光部、
５４…ＡＦ部、
５６…シャッタ制御部、
７０…像振れ検出部、
７２…撮像素子防振制御部、
７４…開口情報修正部、
７６…換算係数記憶部、
１００…カメラ本体、
３００…交換レンズ、
３０１…（レンズ側）レンズマウント、
３０２…（レンズ側）コネクタ、
３０３…結像光学系、
３０４…絞り、
３０５…ズーム制御部、
３０６…絞り制御部、
３０７…フォーカス制御部、
３０８…レンズ群防振制御部、
３０９…レンズシステム制御部、
３１０…不揮発性メモリ、
３１１…敏感度情報記憶部、
３１２…開口情報記憶部、
３１３…（レンズ側）インターフェース部。 11 ... (camera side) lens mount,
12 ... Shutter,
14 ... Image sensor,
15 ... Imaging element drive mechanism,
16 ... A / D converter,
18 ... timing generation circuit,
20 image processing unit,
42 ... (camera side) connector,
43 ... (camera side) interface part,
50: System control unit,
52 photometry unit,
54 ... AF unit,
56: shutter control unit,
70 image blur detector
72: image sensor image stabilization control unit,
74 ... Aperture information correction unit,
76 conversion coefficient storage unit
100 ... camera body,
300 ... Interchangeable lens,
301 ... (lens side) lens mount,
302 ... (lens side) connector,
303: imaging optical system,
304 ... aperture,
305: zoom control unit,
306: aperture control unit,
307: Focus control unit,
308: lens group image stabilization control unit
309: lens system control unit,
310 ... non-volatile memory,
311... Sensitivity information storage unit
312... Aperture information storage unit,
313 (lens side) interface unit.

Claims (15)

結像光学系の複数の瞳領域を通過する光束に基づき焦点検出を行う撮像装置であって、
前記光束を受ける撮像素子と、
制御手段と、を備え、
前記制御手段は、
前記結像光学系のレンズ群の一部を第１の補正量に基づき駆動することで像振れを補正する第１の補正手段と、
前記撮像素子を第２の補正量に基づき前記結像光学系の光軸に垂直な面内で駆動することで前記像振れを補正する第２の補正手段と、
前記結像光学系の開口情報、及び前記第１の補正量に対する前記結像光学系の開口の変化量を表す敏感度情報を取得する取得手段と、
前記第１の補正量、前記第２の補正量、及び前記敏感度情報に基づき、前記取得手段により取得された前記開口情報を修正することで、修正された開口情報を求める修正手段と、
前記修正された開口情報に基づき焦点検出を行う焦点検出手段と、を備える、
ことを特徴とする撮像装置。 An imaging apparatus that performs focus detection based on a light beam that passes through a plurality of pupil regions of an imaging optical system,
An image sensor that receives the light beam;
Control means,
The control means,
A first correction unit that corrects image blur by driving a part of the lens group of the imaging optical system based on a first correction amount;
A second correction unit that corrects the image blur by driving the image sensor in a plane perpendicular to the optical axis of the imaging optical system based on a second correction amount;
Acquisition means for acquiring aperture information of the imaging optical system, and sensitivity information representing an amount of change in the aperture of the imaging optical system with respect to the first correction amount,
Correcting means for obtaining corrected opening information by correcting the opening information obtained by the obtaining means based on the first correction amount, the second correction amount, and the sensitivity information;
Focus detection means for performing focus detection based on the corrected aperture information,
An imaging device characterized by the above-mentioned. 前記修正手段は、前記第１の補正量及び前記敏感度情報から前記開口情報の第１の修正量を求め、前記第２の補正量から前記開口情報の第２の修正量を求め、かつ前記第１及び第２の修正量に基づき前記修正された開口情報を求める、ことを特徴とする請求項１に記載の撮像装置。   The correction means obtains a first correction amount of the opening information from the first correction amount and the sensitivity information, obtains a second correction amount of the opening information from the second correction amount, and The imaging apparatus according to claim 1, wherein the corrected opening information is obtained based on first and second correction amounts. 前記焦点検出手段は、前記第１及び第２の補正手段により前記像振れを補正している最中に、前記修正された開口情報に基づき焦点検出を行う、ことを特徴とする請求項１又は２に記載の撮像装置。   The apparatus according to claim 1, wherein the focus detection unit performs focus detection based on the corrected aperture information while the image shake is being corrected by the first and second correction units. 3. The imaging device according to 2. 前記取得手段は、前記修正された開口情報に基づき換算係数を取得し、
前記焦点検出手段は、前記換算係数に基づき、焦点検出のための一対の信号列間のずれ量からデフォーカス量を求める、
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The obtaining means obtains a conversion coefficient based on the corrected opening information,
The focus detection means calculates a defocus amount from a shift amount between a pair of signal trains for focus detection based on the conversion coefficient.
The imaging device according to claim 1, wherein: 前記取得手段は、開口情報と換算係数との間の関係を示す換算係数テーブルに基づき、前記修正された開口情報を引数として前記換算係数を取得する、ことを特徴とする請求項４に記載の撮像装置。   The method according to claim 4, wherein the obtaining unit obtains the conversion coefficient using the corrected opening information as an argument based on a conversion coefficient table indicating a relationship between the opening information and the conversion coefficient. Imaging device. 前記開口情報、前記敏感度情報、及び前記換算係数テーブルを記憶する記憶手段をさらに備える、ことを特徴とする請求項５に記載の撮像装置。   The imaging apparatus according to claim 5, further comprising a storage unit configured to store the aperture information, the sensitivity information, and the conversion coefficient table. 前記撮像素子は、前記複数の瞳領域に対応する複数の光電変換領域を備える、ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。   The imaging device according to any one of claims 1 to 6, wherein the imaging device includes a plurality of photoelectric conversion regions corresponding to the plurality of pupil regions. 前記焦点検出手段は、瞳分割方式による位相差ＡＦにより焦点検出を行う、ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the focus detection unit performs focus detection by phase difference AF using a pupil division method. 前記開口情報は、前記第２の補正手段により前記撮像素子が駆動された後の測距エリアの像高に基づき取得される、ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。   9. The apparatus according to claim 1, wherein the aperture information is obtained based on an image height of a ranging area after the imaging device is driven by the second correction unit. 10. Imaging device. 前記開口情報は、前記結像光学系を通過する光束を決定する枠開口の情報を所定の瞳面に投影したときの円の半径と中心座標とで表現される、ことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。   The aperture information is represented by a radius and a center coordinate of a circle when information of a frame aperture that determines a light beam passing through the imaging optical system is projected on a predetermined pupil plane. The imaging device according to any one of claims 1 to 9. 前記敏感度情報は、前記第１の補正手段により前記結像光学系のレンズ群の一部が駆動されたときの前記第１の補正量に対する前記中心座標の変化量で表現される、ことを特徴とする請求項１０に記載の撮像装置。   The sensitivity information is represented by a change amount of the center coordinate with respect to the first correction amount when a part of the lens group of the imaging optical system is driven by the first correction unit. The imaging device according to claim 10, wherein: 前記制御手段は、前記修正された開口情報に基づき光量／画像補正を行う光量／画像補正手段をさらに備える、ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the control unit further includes a light amount / image correction unit configured to perform light amount / image correction based on the corrected aperture information. 像振れ量を検出する像振れ検出手段をさらに備え、
前記制御手段は、前記像振れ量を前記第１の補正量と前記第２の補正量とに配分する補正量配分手段をさらに備える、
ことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。 Further comprising an image blur detecting means for detecting an image blur amount,
The control unit further includes a correction amount distribution unit that distributes the image blur amount to the first correction amount and the second correction amount.
The imaging device according to claim 1, wherein: 結像光学系の複数の瞳領域を通過する光束に基づき焦点検出を行う撮像装置の制御方法であって、
前記結像光学系のレンズ群の一部を第１の補正量に基づき駆動することで像振れを補正する第１の補正工程と、
撮像素子を第２の補正量に基づき前記結像光学系の光軸に垂直な面内で駆動することで前記像振れを補正する第２の補正工程と、
前記結像光学系の開口情報、及び前記第１の補正量に対する前記結像光学系の開口の変化量を表す敏感度情報を取得する取得工程と、
前記第１の補正量、前記第２の補正量、及び前記敏感度情報に基づき、前記取得工程により取得された前記開口情報を修正することで、修正された開口情報を求める修正工程と、
前記修正された開口情報に基づき焦点検出を行う焦点検出工程と、を備える、
ことを特徴とする制御方法。 A control method of an imaging device that performs focus detection based on a light beam passing through a plurality of pupil regions of an imaging optical system,
A first correction step of correcting image blur by driving a part of a lens group of the imaging optical system based on a first correction amount;
A second correction step of correcting the image blur by driving an image sensor in a plane perpendicular to the optical axis of the imaging optical system based on a second correction amount;
An acquisition step of acquiring aperture information of the imaging optical system, and sensitivity information representing an amount of change in an aperture of the imaging optical system with respect to the first correction amount;
A first correction amount, a second correction amount, and, based on the sensitivity information, by correcting the opening information obtained in the obtaining step, a correction step of obtaining corrected opening information;
A focus detection step of performing focus detection based on the corrected aperture information,
A control method characterized in that: 請求項１乃至１３のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。   A program for causing a computer to function as each unit of the imaging apparatus according to claim 1.
JP2018130050A 2018-07-09 2018-07-09 IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM Active JP7130473B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018130050A JP7130473B2 (en) 2018-07-09 2018-07-09 IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130050A JP7130473B2 (en) 2018-07-09 2018-07-09 IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2020008739A true JP2020008739A (en) 2020-01-16
JP7130473B2 JP7130473B2 (en) 2022-09-05

Family

ID=69151526

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130050A Active JP7130473B2 (en) 2018-07-09 2018-07-09 IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7130473B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020017654A1 (en) * 2018-07-20 2021-08-02 株式会社ニコン Imaging device
JP7422466B2 (en) 2020-03-27 2024-01-26 キヤノン株式会社 Image stabilization control device, imaging device, and control method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126667A (en) * 2004-10-29 2006-05-18 Canon Inc Camera system, camera, and interchangeable lens
JP2015141391A (en) * 2014-01-30 2015-08-03 オリンパス株式会社 camera system
JP2016090649A (en) * 2014-10-30 2016-05-23 オリンパス株式会社 Focus adjustment device, camera system and focus adjustment method
JP2016118697A (en) * 2014-12-22 2016-06-30 オリンパス株式会社 Photographing device
JP2017194591A (en) * 2016-04-21 2017-10-26 キヤノン株式会社 Distance measurement device, imaging apparatus, and distance measurement method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006126667A (en) * 2004-10-29 2006-05-18 Canon Inc Camera system, camera, and interchangeable lens
JP2015141391A (en) * 2014-01-30 2015-08-03 オリンパス株式会社 camera system
JP2016090649A (en) * 2014-10-30 2016-05-23 オリンパス株式会社 Focus adjustment device, camera system and focus adjustment method
JP2016118697A (en) * 2014-12-22 2016-06-30 オリンパス株式会社 Photographing device
JP2017194591A (en) * 2016-04-21 2017-10-26 キヤノン株式会社 Distance measurement device, imaging apparatus, and distance measurement method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020017654A1 (en) * 2018-07-20 2021-08-02 株式会社ニコン Imaging device
JP7147846B2 (en) 2018-07-20 2022-10-05 株式会社ニコン Imaging device
JP2022184997A (en) * 2018-07-20 2022-12-13 株式会社ニコン Imaging apparatus
JP7422466B2 (en) 2020-03-27 2024-01-26 キヤノン株式会社 Image stabilization control device, imaging device, and control method thereof

Also Published As

Publication number Publication date
JP7130473B2 (en) 2022-09-05

Similar Documents

Publication Publication Date Title
US9742984B2 (en) Image capturing apparatus and method of controlling the same
JP5791349B2 (en) Imaging apparatus and control method thereof
US9955094B2 (en) Imaging apparatus and signal processing method
CN107370939B (en) Focus detection apparatus, control method thereof, image pickup apparatus, and computer readable medium
US8902349B2 (en) Image pickup apparatus
JP7195120B2 (en) Imaging device and its control method
JP2002131623A (en) Imaging apparatus and system
JP2010271670A (en) Imaging apparatus
US20140320734A1 (en) Image capture apparatus and method of controlling the same
JP6530593B2 (en) Imaging device, control method therefor, storage medium
JP2005341033A (en) Imaging apparatus and program
JP7130473B2 (en) IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM
US11025884B2 (en) Image capturing apparatus, control method thereof, and storage medium
JP6941011B2 (en) Imaging device and its control method, program, storage medium
JP2012165070A (en) Solid state imaging element and imaging apparatus using the same
JP6758964B2 (en) Control device, image pickup device, control method, program, and storage medium
JP7157642B2 (en) IMAGING DEVICE, CONTROL METHOD, AND PROGRAM
JP2020003733A (en) Defocus detection device, and defocus detection method
JP7005313B2 (en) Imaging device and its control method, program, storage medium
US20230305266A1 (en) Optical apparatus, control method, and storage medium
US11122196B2 (en) Image processing apparatus
JP6711886B2 (en) Imaging device, control method thereof, program, and storage medium
JP2020085920A (en) Imaging device and control method of the same
JP2004191630A (en) Imaging apparatus
JP6254780B2 (en) Focus detection apparatus and method, and imaging apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220824

R151 Written notification of patent or utility model registration

Ref document number: 7130473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151