JP2017003674A - Control device, imaging apparatus, control method, program, and storage medium - Google Patents

Control device, imaging apparatus, control method, program, and storage medium Download PDF

Info

Publication number
JP2017003674A
JP2017003674A JP2015115389A JP2015115389A JP2017003674A JP 2017003674 A JP2017003674 A JP 2017003674A JP 2015115389 A JP2015115389 A JP 2015115389A JP 2015115389 A JP2015115389 A JP 2015115389A JP 2017003674 A JP2017003674 A JP 2017003674A
Authority
JP
Japan
Prior art keywords
signal
focus detection
aperture
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015115389A
Other languages
Japanese (ja)
Other versions
JP6671868B2 (en
Inventor
英之 浜野
Hideyuki Hamano
英之 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015115389A priority Critical patent/JP6671868B2/en
Publication of JP2017003674A publication Critical patent/JP2017003674A/en
Application granted granted Critical
Publication of JP6671868B2 publication Critical patent/JP6671868B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a control device capable of performing highly accurate focus detection, without drastically reducing the number of photographing sheets per unit time in consecutive photographing.SOLUTION: A control device (121) capable of performing phase difference detection system focus detection on the basis of a signal outputted from an imaging element receiving a luminous flux passing through the pupil partial areas different from each other of an image forming optical system includes diaphragm control means (121a) for controlling the diaphragm of the image forming optical system into a first opening state, to acquire a first signal on image data for recording and for controlling the diaphragm into a second opening state, to acquire a second signal on data for focus detection and signal control means (121b) for periodically acquiring the first signal and the second signal from the imaging element.SELECTED DRAWING: Figure 8

Description

本発明は、撮像装置およびその制御装置に関する。   The present invention relates to an imaging device and a control device thereof.

デジタルカメラや、カメラ付の携帯電話、ゲーム機、パーソナルコンピュータ等、撮像機能を有する電子機器では、オートフォーカス（自動焦点検出）機能が実現されているのが一般的である。   In an electronic device having an imaging function, such as a digital camera, a mobile phone with a camera, a game machine, a personal computer, or the like, an autofocus (automatic focus detection) function is generally realized.

特許文献１には、画素に設けられたマイクロレンズの光軸から偏心した開口部を有する遮光膜によって光電変換部に入射する光の範囲を制御した焦点検出用画素を有する撮像素子が開示されている。このような焦点検出用画素は、撮影レンズの射出瞳の一部の領域からの出射光を受光するため、開口部の偏心方向が異なる遮光膜を有する焦点検出用画素から得られる一対の出力波形の位相差から結像光学系のデフォーカス量を得ることができる。このように、個別の焦点検出用センサを用いずに、撮像素子から得られる信号を用いて行う位相差検出方式の自動焦点検出は、撮像面位相差ＡＦとも呼ばれている。   Patent Document 1 discloses an imaging device having a focus detection pixel in which a range of light incident on a photoelectric conversion unit is controlled by a light-shielding film having an opening decentered from the optical axis of a microlens provided in the pixel. Yes. Such a focus detection pixel receives a light emitted from a partial region of the exit pupil of the photographing lens, and thus a pair of output waveforms obtained from the focus detection pixel having a light shielding film having a different eccentric direction of the opening. From this phase difference, the defocus amount of the imaging optical system can be obtained. As described above, the automatic focus detection of the phase difference detection method performed using the signal obtained from the image sensor without using the individual focus detection sensor is also referred to as imaging surface phase difference AF.

また、特許文献１には、連続的に画像の記録を行う連写時に、画像の記録と撮像面位相差ＡＦを両立する方法が開示されている。特許文献１では、露光後に、信号の読み出し、焦点検出に関する演算、レンズ駆動などを行う。撮像装置によっては単位時間当たりの撮影枚数を調節可能であるが、特許文献１の撮像装置では、露光前に待機状態の時間を設けることにより、このような調整が可能となる。   Japanese Patent Application Laid-Open No. H10-228561 discloses a method of achieving both image recording and imaging surface phase difference AF during continuous shooting in which images are continuously recorded. In Patent Document 1, after exposure, signal readout, calculation related to focus detection, lens driving, and the like are performed. Depending on the imaging device, the number of shots per unit time can be adjusted. However, in the imaging device disclosed in Patent Document 1, such adjustment is possible by providing a waiting time before exposure.

特開２００９−１０９６３１号公報JP 2009-109631 A

しかしながら、特許文献１の撮像装置において、連写時の焦点検出の精度は、単位時間当たりの焦点検出の回数だけでなく、焦点検出結果を得てから露光を行うまでのタイムラグに依存する。前述のように単位時間当たりの撮影枚数を調整するために、露光前に待機状態の時間を設けると、焦点検出信号を得る露光と記録画像を得る露光のタイムラグの長くなり、精度の低下が懸念される。   However, in the imaging apparatus of Patent Document 1, the accuracy of focus detection during continuous shooting depends not only on the number of focus detections per unit time but also on the time lag from when the focus detection result is obtained until exposure is performed. As described above, in order to adjust the number of shots per unit time, if a standby time is provided before exposure, the time lag between exposure for obtaining a focus detection signal and exposure for obtaining a recorded image becomes long, and there is a concern that accuracy may be reduced. Is done.

このような課題に対して、露光、信号読み出しを行った後、ライブビュー状態に移行して、焦点検出信号を得ることも考えられる。ライブビュー状態では、出力信号を間引きなどにより減らすことにより、信号読み出し時間を短くすることができ、前述のタイムラグを短くすることができる。しかしながら、記録画像の露光を行うたびに、ライブビュー状態に移行に必要な時間が発生するため、単位時間当たりの撮影枚数は、大幅に減少してしまう。   For such a problem, it may be possible to obtain a focus detection signal by shifting to a live view state after performing exposure and signal readout. In the live view state, by reducing the output signal by thinning out or the like, the signal readout time can be shortened, and the aforementioned time lag can be shortened. However, every time a recorded image is exposed, a time required to shift to the live view state occurs, so the number of shots per unit time is greatly reduced.

そこで本発明は、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供する。   Therefore, the present invention provides a control device, an imaging device, a control method, a program, and a storage medium capable of high-precision focus detection without significantly reducing the number of shots per unit time in continuous shooting. .

本発明の一側面としての制御装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能な制御装置であって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得する信号制御手段とを有する。   A control device according to one aspect of the present invention is a control device capable of focus detection by a phase difference detection method based on a signal output from an image sensor that receives light beams passing through different pupil partial regions of an imaging optical system. In order to acquire the first signal related to the recording image data, the aperture of the imaging optical system is controlled to the first aperture state, and the second signal related to the focus detection data is acquired. And aperture control means for controlling the aperture to the second aperture state, and signal control means for periodically acquiring the first signal and the second signal from the image sensor.

本発明の他の側面としての撮像装置は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得する信号制御手段とを有する。   An image pickup apparatus according to another aspect of the present invention includes an image pickup element in which a plurality of pixels each including a plurality of photoelectric conversion units that receive light beams that pass through different pupil partial regions of an imaging optical system are arranged; The aperture of the imaging optical system is controlled to the first aperture state in order to acquire a first signal related to image data, and the aperture is set to a second aperture in order to acquire a second signal related to focus detection data. A diaphragm control means for controlling the aperture state, and a signal control means for periodically obtaining the first signal and the second signal from the image sensor.

本発明の他の側面としての制御方法は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行う制御方法であって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得するステップとを有する。   According to another aspect of the present invention, there is provided a control method for performing focus detection by a phase difference detection method based on a signal output from an image sensor that receives light beams passing through different pupil partial regions of an imaging optical system. In order to acquire the first signal related to the recording image data, the aperture of the imaging optical system is controlled to the first aperture state, and the second signal related to the focus detection data is acquired. And a step of controlling the diaphragm to the second aperture state, and a step of periodically obtaining the first signal and the second signal from the image sensor.

本発明の他の側面としてのプログラムは、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行うプログラムであって、記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得するステップと、をコンピュータに実行させるように構成されている。   A program according to another aspect of the present invention is a program that performs focus detection by a phase difference detection method based on a signal output from an image sensor that receives light beams passing through different pupil partial regions of the imaging optical system. The aperture of the imaging optical system is controlled to the first aperture state in order to obtain the first signal relating to the recording image data, and the second signal relating to the focus detection data is obtained in order to obtain the second signal relating to the focus detection data. The computer is configured to execute a step of controlling the diaphragm to the second aperture state and a step of periodically acquiring the first signal and the second signal from the image sensor.

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。   A storage medium according to another aspect of the present invention stores the program.

本発明の他の目的及び特徴は、以下の実施形態において説明される。   Other objects and features of the invention are described in the following embodiments.

本発明によれば、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。   According to the present invention, it is possible to provide a control device, an imaging device, a control method, a program, and a storage medium capable of highly accurate focus detection without significantly reducing the number of shots per unit time in continuous shooting. can do.

本実施形態における撮像装置のブロック図である。It is a block diagram of the imaging device in this embodiment. 本実施形態における画素配列を示す図である。It is a figure which shows the pixel arrangement | sequence in this embodiment. 本実施形態における画素構造を示す図である。It is a figure which shows the pixel structure in this embodiment. 本実施形態における撮像素子および瞳分割機能の説明図である。It is explanatory drawing of the image pick-up element and pupil division function in this embodiment. 本実施形態における撮像素子および瞳分割機能の説明図である。It is explanatory drawing of the image pick-up element and pupil division function in this embodiment. 本実施形態におけるデフォーカス量と像ずれ量との関係図である。FIG. 5 is a relationship diagram between a defocus amount and an image shift amount in the present embodiment. 本実施形態における焦点検出領域の例を示す図である。It is a figure which shows the example of the focus detection area | region in this embodiment. 本実施形態における焦点検出動作および撮影動作を示すフローチャートである。It is a flowchart which shows the focus detection operation | movement and imaging | photography operation | movement in this embodiment. 本実施形態における撮影サブルーチンを示すフローチャートである。It is a flowchart which shows the imaging | photography subroutine in this embodiment. 本実施形態における連写中焦点検出サブルーチンを示すフローチャートである。It is a flowchart which shows the continuous focus detection focus subroutine in this embodiment. 本実施形態における撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートである。6 is a timing chart of a shooting subroutine and a continuous shooting focus detection subroutine in the present embodiment. 本実施形態の変形例としての撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートである。10 is a timing chart of an imaging subroutine and a continuous shooting focus detection subroutine as a modification of the present embodiment.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

まず、図１を参照して、本実施形態における撮像装置の概略構成について説明する。図１は、本実施形態における撮像装置１００（カメラ）のブロック図である。撮像装置１００は、カメラ本体とカメラ本体に着脱可能な交換レンズ（結像光学系または撮影光学系）とを備えたデジタルカメラシステムである。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズとが一体的に構成された撮像装置にも適用可能である。   First, with reference to FIG. 1, a schematic configuration of the imaging apparatus according to the present embodiment will be described. FIG. 1 is a block diagram of an imaging apparatus 100 (camera) in the present embodiment. The imaging apparatus 100 is a digital camera system that includes a camera body and an interchangeable lens (imaging optical system or photographing optical system) that can be attached to and detached from the camera body. However, the present embodiment is not limited to this, and can also be applied to an imaging apparatus in which a camera body and a lens are integrally configured.

第１レンズ群１０１は、撮影レンズ（結像光学系）を構成する複数のレンズ群のうち最も前方（被写体側）に配置されており、光軸ＯＡの方向（光軸方向）に進退可能な状態でレンズ鏡筒に保持される。絞り兼用シャッタ１０２（絞り）は、その開口径を調節することで撮影時の光量調節を行うとともに、静止画撮影時には露光時間調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体的に光軸方向に進退し、第１レンズ群１０１の進退動作と連動して変倍動作を行うズーム機能を有する。第３レンズ群１０５は、光軸方向に進退することにより焦点調節（フォーカス動作）を行うフォーカスレンズ群である。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、第３レンズ群１０５、および、光学的ローパスフィルタ１０６は、結像光学系を構成している。   The first lens group 101 is disposed in the forefront (subject side) of the plurality of lens groups constituting the photographing lens (imaging optical system), and can advance and retreat in the direction of the optical axis OA (optical axis direction). The lens barrel is held in a state. The aperture / shutter 102 (aperture) adjusts the aperture to adjust the amount of light during shooting, and also functions as an exposure time adjustment shutter during still image shooting. The second lens group 103 has a zoom function of moving forward and backward in the optical axis direction integrally with the diaphragm / shutter 102 and performing a zooming operation in conjunction with the forward / backward movement of the first lens group 101. The third lens group 105 is a focus lens group that performs focus adjustment (focus operation) by moving back and forth in the optical axis direction. The optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image. The first lens group 101, the diaphragm / shutter 102, the second lens group 103, the third lens group 105, and the optical low-pass filter 106 constitute an imaging optical system.

撮像素子１０７は、結像光学系を介して被写体像（光学像）の光電変換を行い、例えばＣＭＯＳセンサまたはＣＣＤセンサ、および、その周辺回路により構成される。撮像素子１０７としては、例えば、横方向にｍ個の画素、縦方向にｎ個の画素を有する受光ピクセル上にベイヤー配列の原色カラーモザイクフィルタをオンチップで形成した２次元単板カラーセンサが用いられる。   The image sensor 107 performs photoelectric conversion of a subject image (optical image) via an imaging optical system, and includes, for example, a CMOS sensor or a CCD sensor and its peripheral circuits. As the image sensor 107, for example, a two-dimensional single-plate color sensor in which a Bayer array primary color mosaic filter is formed on-chip on a light receiving pixel having m pixels in the horizontal direction and n pixels in the vertical direction is used. It is done.

ズームアクチュエータ１１１は、不図示のカム筒を回動（駆動）することで第１レンズ群１０１、絞り兼用シャッタ１０２、および、第２レンズ群１０３を光軸方向に沿って移動させることにより、変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して光量（撮影光量）を調節するとともに、静止画撮影時の露光時間を制御する。絞りシャッタアクチュエータ１１２は、絞り駆動手段と遮光手段とを兼ねている。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。   The zoom actuator 111 rotates (drives) a cam cylinder (not shown) to move the first lens group 101, the diaphragm shutter 102, and the second lens group 103 along the optical axis direction. Double the operation. The aperture shutter actuator 112 controls the aperture diameter of the aperture / shutter 102 to adjust the amount of light (photographing light amount), and also controls the exposure time during still image shooting. The aperture shutter actuator 112 serves as both aperture drive means and light shielding means. The focus actuator 114 adjusts the focus by moving the third lens group 105 in the optical axis direction.

電子フラッシュ１１５は、被写体を照明するために用いられる照明装置である。電子フラッシュ１１５としては、キセノン管を備えた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して、被写体に投影する。これにより、暗い被写体や低コントラストの被写体に対する焦点検出能力を向上させることができる。   The electronic flash 115 is an illumination device used to illuminate a subject. As the electronic flash 115, a flash illumination device including a xenon tube or an illumination device including an LED (light emitting diode) that continuously emits light is used. The AF auxiliary light unit 116 projects an image of a mask having a predetermined opening pattern onto a subject via a light projection lens. As a result, the focus detection capability for a dark subject or a low-contrast subject can be improved.

ＣＰＵ１２１は、撮像装置１００の種々の制御を司る制御装置（制御手段）である。ＣＰＵ１２１は、絞り制御手段１２１ａ、信号制御手段１２１ｂ、露出制御手段１２１ｃ、デフォーカス量算出手段１２１ｄ、および、フォーカス制御手段１２１ｅを有する。これらの各手段の機能については後述する。またＣＰＵ１２１は、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、および、通信インターフェイス回路などを有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のプログラムを読み出して実行することにより、撮像装置１００の各種回路を駆動し、焦点検出（ＡＦ）、撮影、画像処理、または、記録などの一連の動作を制御する。   The CPU 121 is a control device (control means) that performs various controls of the imaging device 100. The CPU 121 includes an aperture control unit 121a, a signal control unit 121b, an exposure control unit 121c, a defocus amount calculation unit 121d, and a focus control unit 121e. The function of each of these means will be described later. The CPU 121 includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like. The CPU 121 reads and executes a predetermined program stored in the ROM, thereby driving various circuits of the imaging apparatus 100 and controlling a series of operations such as focus detection (AF), shooting, image processing, or recording. To do.

また本実施形態において、ＣＰＵ１２１は、結像光学系の状態に応じた焦点検出用の補正値を記憶している。焦点検出補正値は、第３レンズ群１０５の位置に対応したフォーカス状態、第１レンズ群１０１の位置に対応したズーム状態、および、結像光学系のＦナンバーごとに複数用意されている。そしてＣＰＵ１２１は、撮像素子１０７の出力信号を用いて後述する焦点調節を行う際に、結像光学系の第１レンズ群１０１、第３レンズ群１０５の位置、および、Ｆナンバーに対応した最適な焦点検出補正値を選択する。なお本実施形態において、焦点検出補正値をＣＰＵ１２１（の内部メモリ）に記憶するように構成されているが、これに限定されるものではない。例えば、交換レンズ式の撮像装置においては、結像光学系を有する交換レンズが不揮発性メモリを有し、そのメモリに前述の焦点検出補正値を記憶してもよい。この場合、結像光学系の状態に応じて、焦点検出補正値を撮像装置に送信すればよい。   In the present embodiment, the CPU 121 stores a correction value for focus detection corresponding to the state of the imaging optical system. A plurality of focus detection correction values are prepared for each focus state corresponding to the position of the third lens group 105, zoom state corresponding to the position of the first lens group 101, and F-number of the imaging optical system. When the CPU 121 performs focus adjustment, which will be described later, using the output signal of the image sensor 107, the CPU 121 is optimally adapted to the positions of the first lens group 101 and the third lens group 105 of the imaging optical system and the F number. Select the focus detection correction value. In the present embodiment, the focus detection correction value is stored in the CPU 121 (internal memory thereof), but the present invention is not limited to this. For example, in an interchangeable lens type imaging apparatus, an interchangeable lens having an imaging optical system may have a nonvolatile memory, and the focus detection correction value described above may be stored in the memory. In this case, the focus detection correction value may be transmitted to the imaging device in accordance with the state of the imaging optical system.

電子フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１５の点灯制御を行う。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６の点灯制御を行う。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。   The electronic flash control circuit 122 controls lighting of the electronic flash 115 in synchronization with the photographing operation. The auxiliary light driving circuit 123 performs lighting control of the AF auxiliary light unit 116 in synchronization with the focus detection operation. The image sensor driving circuit 124 controls the image capturing operation of the image sensor 107, A / D converts the acquired image signal, and transmits it to the CPU 121.

画像処理回路１２５は、撮像素子１０７から出力された画像データのγ（ガンマ）変換、カラー補間、または、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮などの処理を行う。   The image processing circuit 125 performs processing such as γ (gamma) conversion, color interpolation, or JPEG (Joint Photographic Experts Group) compression of the image data output from the image sensor 107.

フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に沿って移動させることにより、焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動して、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９（ズーム駆動手段）は、撮影者のズーム操作に応じて、ズームアクチュエータ１１１を駆動する。   The focus drive circuit 126 performs focus adjustment by driving the focus actuator 114 based on the focus detection result and moving the third lens group 105 along the optical axis direction. The aperture shutter drive circuit 128 drives the aperture shutter actuator 112 to control the aperture diameter of the aperture / shutter 102. The zoom drive circuit 129 (zoom drive means) drives the zoom actuator 111 according to the zoom operation of the photographer.

表示器１３１（表示手段）は、例えばＬＣＤ（液晶表示装置）を備えて構成される。表示器１３１は、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、または、焦点検出時の合焦状態表示画像などを表示する。操作部１３２（操作スイッチ群）は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどを備えて構成される。レリーズスイッチは、半押し状態（ＳＷ１がＯＮの状態）、および、全押し状態（ＳＷ２がＯＮの状態）の２段階のスイッチを有する。記録媒体１３３は、例えば撮像装置１００に着脱可能なフラッシュメモリであり、撮影画像（画像データ）を記録する。   The display 131 (display means) includes, for example, an LCD (Liquid Crystal Display). The display 131 displays information related to the shooting mode of the imaging apparatus 100, a preview image before shooting, a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. The operation unit 132 (operation switch group) includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. The release switch has a two-stage switch in a half-pressed state (a state where SW1 is ON) and a full-pressed state (a state where SW2 is ON). The recording medium 133 is, for example, a flash memory that can be attached to and detached from the imaging apparatus 100, and records captured images (image data).

次に、図２および図３を参照して、本実施形態における撮像素子１０７の画素配列および画素構造について説明する。図２は、撮像素子１０７の画素配列を示す図である。図３は、撮像素子１０７の画素構造を示す図であり、図３（ａ）は撮像素子１０７の画素２００Ｇの平面図（＋ｚ方向から見た図）、図３（ｂ）は図３（ａ）中の線ａ−ａの断面図（−ｙ方向から見た図）をそれぞれ示している。   Next, with reference to FIG. 2 and FIG. 3, the pixel arrangement and the pixel structure of the image sensor 107 in this embodiment will be described. FIG. 2 is a diagram illustrating a pixel array of the image sensor 107. 3A and 3B are diagrams illustrating the pixel structure of the image sensor 107. FIG. 3A is a plan view of the pixel 200G of the image sensor 107 (viewed from the + z direction), and FIG. ) Is a sectional view taken along line aa (viewed from the -y direction).

図２は、撮像素子１０７（２次元ＣＭＯＳセンサ）の画素配列（撮影画素の配列）を、４列×４行の範囲で示している。本実施形態において、各々の撮像画素（画素２００Ｒ、２００Ｇ、２００Ｂ）は、２つの焦点検出画素２０１、２０２（副画素）により構成されている。このため、図２には、焦点検出画素の配列が、８列×４行の範囲で示されている。   FIG. 2 shows a pixel array (photographing pixel array) of the image sensor 107 (two-dimensional CMOS sensor) in a range of 4 columns × 4 rows. In the present embodiment, each imaging pixel (pixels 200R, 200G, and 200B) includes two focus detection pixels 201 and 202 (sub-pixels). For this reason, FIG. 2 shows the array of focus detection pixels in a range of 8 columns × 4 rows.

図２に示されるように、２列×２行の画素群２００は、画素２００Ｒ、２００Ｇ、２００Ｂがベイヤー配列で配置されている。すなわち画素群２００のうち、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下にそれぞれ配置されている。各画素２００Ｒ、２００Ｇ、２００Ｂ（各撮像画素）は、２列×１行に配列された焦点検出画素２０１、２０２（副画素）により構成されている。焦点検出画素２０１（第１焦点検出画素）は、結像光学系の第１瞳領域を通過した光束を受光する画素である。焦点検出画素２０２（第２焦点検出画素）は、結像光学系の第２瞳領域を通過した光束を受光する画素である。   As shown in FIG. 2, a pixel group 200 of 2 columns × 2 rows has pixels 200R, 200G, and 200B arranged in a Bayer array. That is, in the pixel group 200, a pixel 200R having a spectral sensitivity of R (red) is at the upper left, a pixel 200G having a spectral sensitivity of G (green) is at the upper right and a lower left, and a pixel 200B having a spectral sensitivity of B (blue). Are located at the bottom right. Each of the pixels 200R, 200G, and 200B (each imaging pixel) is configured by focus detection pixels 201 and 202 (sub-pixels) arranged in 2 columns × 1 row. The focus detection pixel 201 (first focus detection pixel) is a pixel that receives the light beam that has passed through the first pupil region of the imaging optical system. The focus detection pixel 202 (second focus detection pixel) is a pixel that receives the light beam that has passed through the second pupil region of the imaging optical system.

図２に示されるように、撮像素子１０７は、４列×４行の撮像画素（８列×４行の焦点検出画素）を面上に多数配置して構成されており、撮像信号（焦点検出信号または副画素信号）を出力する。本実施形態の撮像素子１０７は、画素（撮像画素）の周期Ｐが４μｍ、画素（撮像画素）の数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素である。また撮像素子１０７は、焦点検出画素の列方向の周期ＰＡＦが２μｍ、焦点検出画素の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万画素である。 As shown in FIG. 2, the image sensor 107 is configured by arranging a large number of 4 columns × 4 rows of imaging pixels (8 columns × 4 rows of focus detection pixels) on the surface, and an imaging signal (focus detection). Signal or sub-pixel signal). In the imaging device 107 of the present embodiment, the period P of pixels (imaging pixels) is 4 μm, and the number N of pixels (imaging pixels) is 5575 columns × 3725 rows = approximately 20.75 million pixels. The imaging element 107, the column direction of the period P AF is 2μm of the focus detection pixel, the number N AF lateral 11150 rows × vertical 3725 lines of focus detection pixels = about 41,500,000 pixels.

図３（ｂ）に示されるように、本実施形態の画素２００Ｇには、画素の受光面側に入射光を集光するためのマイクロレンズ３０５が設けられている。マイクロレンズ３０５は、２次元状に複数配列されており、受光面からｚ軸方向（光軸ＯＡの方向）に所定の距離だけ離れた位置に配置されている。また画素２００Ｇには、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部３０１および光電変換部３０２が形成されている。光電変換部３０１および光電変換部３０２は、それぞれ、焦点検出画素２０１および焦点検出画素２０２に対応する。 As shown in FIG. 3B, the pixel 200G of the present embodiment is provided with a microlens 305 for condensing incident light on the light receiving surface side of the pixel. A plurality of microlenses 305 are two-dimensionally arranged, and are arranged at a position away from the light receiving surface by a predetermined distance in the z-axis direction (the direction of the optical axis OA). Also in the pixel 200G is, N H divided in the x direction (divided into two), N V division (first division) by photoelectric conversion unit 301 and the photoelectric conversion portion 302 is formed in the y-direction. The photoelectric conversion unit 301 and the photoelectric conversion unit 302 correspond to the focus detection pixel 201 and the focus detection pixel 202, respectively.

光電変換部３０１および光電変換部３０２は、それぞれ、ｐ型層とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造のフォトダイオードとして構成される。必要に応じて、イントリンシック層を省略し、ｐｎ接合のフォトダイオードとして構成してもよい。画素２００Ｇ（各画素）には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が設けられる。必要に応じて、焦点検出画素ごとにカラーフィルタ３０６の分光透過率を変えることができ、またはカラーフィルタを省略してもよい。   The photoelectric conversion unit 301 and the photoelectric conversion unit 302 are each configured as a photodiode having a pin structure in which an intrinsic layer is sandwiched between a p-type layer and an n-type layer. If necessary, the intrinsic layer may be omitted and a pn junction photodiode may be configured. In the pixel 200 </ b> G (each pixel), a color filter 306 is provided between the microlens 305, the photoelectric conversion unit 301, and the photoelectric conversion unit 302. If necessary, the spectral transmittance of the color filter 306 can be changed for each focus detection pixel, or the color filter may be omitted.

図３に示されるように、画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部３０１および光電変換部３０２で受光される。光電変換部３０１および光電変換部３０２においては、受光量に応じて電子とホールとの対が生成され、それらが空乏層で分離された後、負電荷の電子はｎ型層に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて、撮像素子１０７の外部へ排出される。光電変換部３０１および光電変換部３０２のｎ型層に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送され、電圧信号に変換される。   As shown in FIG. 3, the light incident on the pixel 200 </ b> G is collected by the microlens 305, dispersed by the color filter 306, and then received by the photoelectric conversion unit 301 and the photoelectric conversion unit 302. In the photoelectric conversion unit 301 and the photoelectric conversion unit 302, pairs of electrons and holes are generated according to the amount of received light, and after they are separated by the depletion layer, negatively charged electrons are accumulated in the n-type layer. On the other hand, the holes are discharged to the outside of the image sensor 107 through a p-type layer connected to a constant voltage source (not shown). The electrons accumulated in the n-type layers of the photoelectric conversion unit 301 and the photoelectric conversion unit 302 are transferred to the electrostatic capacitance unit (FD) through the transfer gate and converted into a voltage signal.

次に、図４を参照して、撮像素子１０７の瞳分割機能について説明する。図４は、撮像素子１０７の瞳分割機能の説明図であり、一つの画素部における瞳分割の様子を示している。図４は、図３（ａ）に示される画素構造のａ−ａ断面を＋ｙ側から見た断面図、および、結像光学系の射出瞳面を示している。図４では、射出瞳面の座標軸と対応を取るため、断面図のｘ軸およびｙ軸を図３のｘ軸およびｙ軸に対してそれぞれ反転させている。   Next, the pupil division function of the image sensor 107 will be described with reference to FIG. FIG. 4 is an explanatory diagram of the pupil division function of the image sensor 107, and shows a state of pupil division in one pixel unit. FIG. 4 shows a cross-sectional view of the pixel structure shown in FIG. 3A as viewed from the + y side, and an exit pupil plane of the imaging optical system. In FIG. 4, in order to correspond to the coordinate axis of the exit pupil plane, the x-axis and y-axis in the cross-sectional view are inverted with respect to the x-axis and y-axis in FIG.

図４において、焦点検出画素２０１（第１焦点検出画素）の瞳部分領域５０１（第１瞳部分領域）は、重心が−ｘ方向に偏心している光電変換部３０１の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０１は、焦点検出画素２０１で受光可能な瞳領域を表している。焦点検出画素２０１の瞳部分領域５０１の重心は、瞳面上で＋ｘ側に偏心している。また、焦点検出画素２０２（第２焦点検出画素）の瞳部分領域５０２（第２瞳部分領域）は、重心が＋ｘ方向に偏心している光電変換部３０２の受光面と、マイクロレンズ３０５を介して略共役関係になっている。このため瞳部分領域５０２は、焦点検出画素２０２で受光可能な瞳領域を表している。焦点検出画素２０２の瞳部分領域５０２の重心は、瞳面上で−ｘ側に偏心している。瞳領域５００は、光電変換部３０１、３０２（焦点検出画素２０１、２０２）を全て合わせた際の画素２００Ｇ全体で受光可能な瞳領域である。   In FIG. 4, a pupil partial region 501 (first pupil partial region) of the focus detection pixel 201 (first focus detection pixel) includes a light receiving surface of the photoelectric conversion unit 301 whose center of gravity is decentered in the −x direction, and a microlens 305. It is in a substantially conjugate relationship via. Therefore, the pupil partial area 501 represents a pupil area that can be received by the focus detection pixel 201. The center of gravity of the pupil partial area 501 of the focus detection pixel 201 is eccentric to the + x side on the pupil plane. Further, the pupil partial region 502 (second pupil partial region) of the focus detection pixel 202 (second focus detection pixel) passes through the light receiving surface of the photoelectric conversion unit 302 whose center of gravity is decentered in the + x direction and the micro lens 305. It is a substantially conjugate relationship. Therefore, the pupil partial area 502 represents a pupil area that can be received by the focus detection pixel 202. The center of gravity of the pupil partial area 502 of the focus detection pixel 202 is eccentric to the −x side on the pupil plane. The pupil region 500 is a pupil region that can receive light in the entire pixel 200G when all of the photoelectric conversion units 301 and 302 (focus detection pixels 201 and 202) are combined.

図５は、撮像素子１０７と瞳分割機能の説明図である。結像光学系の瞳領域のうち互いに異なる瞳部分領域５０１、５０２を通過した光束は、撮像素子１０７の各画素に互いに異なる角度で撮像素子１０７の撮像面８００に入射し、２×１分割された焦点検出画素２０１、２０２で受光される。本実施形態では、瞳領域が水平方向に２つに瞳分割されている例について説明しているが、これに限定されるものではなく、必要に応じて垂直方向に瞳分割を行ってもよい。   FIG. 5 is an explanatory diagram of the image sensor 107 and the pupil division function. Light beams that have passed through different pupil partial regions 501 and 502 in the pupil region of the imaging optical system are incident on the image pickup surface 800 of the image pickup device 107 at different angles from each pixel of the image pickup device 107 and are divided by 2 × 1. The focus detection pixels 201 and 202 receive the light. In this embodiment, an example in which the pupil region is divided into two pupils in the horizontal direction has been described, but the present invention is not limited to this, and pupil division may be performed in the vertical direction as necessary. .

なお本実施形態において、第１焦点検出画素と第２焦点検出画素とから構成された撮像画素が複数配列されているが、本実施形態はこれに限定されるものではない。必要に応じて、撮像画素、第１焦点検出画素、および、第２焦点検出画素を個別の画素構成とし、撮像画素の配列の一部に、第１焦点検出画素と第２焦点検出画素とを部分的に配置する構成としてもよい。   In the present embodiment, a plurality of imaging pixels composed of the first focus detection pixels and the second focus detection pixels are arranged, but the present embodiment is not limited to this. If necessary, the imaging pixel, the first focus detection pixel, and the second focus detection pixel are configured as individual pixels, and the first focus detection pixel and the second focus detection pixel are included in a part of the array of the imaging pixels. It is good also as a structure arrange | positioned partially.

本実施形態において、撮像装置１００は、撮像素子１０７の焦点検出画素２０１の受光信号を集めて第１焦点検出信号を生成し、撮像素子１０７の焦点検出画素２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また撮像装置１００は、撮像素子１０７の画素ごとに、焦点検出画素２０１の信号と焦点検出画素２０２の信号とを加算（合成）することにより、有効画素数Ｎの解像度の撮像信号（撮像画像）を生成する。   In the present embodiment, the imaging apparatus 100 collects the light reception signals of the focus detection pixels 201 of the image sensor 107 to generate a first focus detection signal, collects the light reception signals of the focus detection pixels 202 of the image sensor 107, and collects the second focus. A detection signal is generated to perform focus detection. The imaging apparatus 100 adds (synthesizes) the signal of the focus detection pixel 201 and the signal of the focus detection pixel 202 for each pixel of the image sensor 107, thereby obtaining an imaging signal (captured image) having a resolution of N effective pixels. Is generated.

次に、図６を参照して、撮像素子１０７の焦点検出画素２０１から取得される第１焦点検出信号および焦点検出画素２０２から取得される第２焦点検出信号のデフォーカス量と像ずれ量との関係について説明する。図６は、デフォーカス量と像ずれ量との関係図である。図６において、撮像素子１０７は撮像面８００に配置されており、図４および図５と同様に、結像光学系の射出瞳が瞳部分領域５０１、５０２に２分割されている様子が示されている。   Next, referring to FIG. 6, the defocus amount and the image shift amount of the first focus detection signal acquired from the focus detection pixel 201 of the image sensor 107 and the second focus detection signal acquired from the focus detection pixel 202. The relationship will be described. FIG. 6 is a relationship diagram between the defocus amount and the image shift amount. In FIG. 6, the image sensor 107 is disposed on the imaging surface 800, and the state in which the exit pupil of the imaging optical system is divided into two pupil partial areas 501 and 502 is shown as in FIGS. 4 and 5. ing.

デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を｜ｄ｜、結像位置が撮像面８００よりも被写体側にある前ピン状態を負符号（ｄ＜０）、結像位置が撮像面８００よりも被写体の反対側にある後ピン状態を正符号（ｄ＞０）として定義される。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態において、デフォーカス量ｄ＝０が成立する。図６において、合焦状態（ｄ＝０）である被写体８０１、および、前ピン状態（ｄ＜０）である被写体８０２がそれぞれ示されている。前ピン状態（ｄ＜０）および後ピン状態（ｄ＞０）を併せて、デフォーカス状態（｜ｄ｜＞０）という。   The defocus amount d is the distance from the imaging position of the subject to the imaging surface 800 | d |, the negative pin state where the imaging position is closer to the subject than the imaging surface 800 (d <0), and imaging. A rear pin state in which the position is on the opposite side of the subject from the imaging surface 800 is defined as a positive sign (d> 0). A defocus amount d = 0 is established in a focused state where the imaging position of the subject is on the imaging surface 800 (focus position). In FIG. 6, a subject 801 in a focused state (d = 0) and a subject 802 in a front pin state (d <0) are shown. The front pin state (d <0) and the rear pin state (d> 0) are collectively referred to as a defocus state (| d |> 0).

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、瞳部分領域５０１（または瞳部分領域５０２）を通過した光束は、一度、集光する。その後、光束は、光束の重心位置Ｇ１（Ｇ２）を中心とする幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子１０７に配列された各画素を構成する焦点検出画素２０１（焦点検出画素２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。このため、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた被写体像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加する。後ピン状態（ｄ＞０）に関しても同様であるが、第１焦点検出信号と第２焦点検出信号と間の被写体像の像ずれ方向が前ピン状態と反対となる。   In the front pin state (d <0), the luminous flux that has passed through the pupil partial area 501 (or the pupil partial area 502) out of the luminous flux from the subject 802 is condensed once. Thereafter, the light beam spreads over a width Γ 1 (Γ 2) centered on the gravity center position G 1 (G 2) of the light beam, resulting in a blurred image on the imaging surface 800. The blurred image is received by the focus detection pixels 201 (focus detection pixels 202) constituting the respective pixels arranged in the image sensor 107, and a first focus detection signal (second focus detection signal) is generated. Therefore, the first focus detection signal (second focus detection signal) is recorded as a subject image in which the subject 802 is blurred by the width Γ1 (Γ2) at the gravity center position G1 (G2) on the imaging surface 800. The blur width Γ1 (Γ2) of the subject image increases substantially proportionally as the defocus amount d magnitude | d | increases. Similarly, the magnitude | p | of the subject image displacement amount p (= difference G1-G2 in the center of gravity of the light beam) between the first focus detection signal and the second focus detection signal is also equal to the defocus amount d. As the magnitude | d | increases, it generally increases proportionally. The same applies to the rear pin state (d> 0), but the image shift direction of the subject image between the first focus detection signal and the second focus detection signal is opposite to the front pin state.

このように本実施形態において、第１焦点検出信号と第２焦点検出信号、または、第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号と間の像ずれ量の大きさは増加する。本実施形態において、撮像装置１００は、第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量との関係性を用いて、位相差検出方式の焦点検出を行う。この詳細については、後述する。   As described above, in this embodiment, the magnitude of the defocus amount of the imaging signal obtained by adding the first focus detection signal and the second focus detection signal or the first focus detection signal and the second focus detection signal increases. Accordingly, the amount of image shift between the first focus detection signal and the second focus detection signal increases. In the present embodiment, the imaging apparatus 100 performs phase difference detection type focus detection using the relationship between the defocus amount and the image shift amount of the first focus detection signal and the second focus detection signal. Details of this will be described later.

次に、図７を参照して、第１焦点検出信号および第２焦点検出信号を取得する撮像素子１０７上の領域である焦点検出領域について説明する。図７は、撮像素子１０７の有効画素領域１０００における焦点検出領域と、焦点検出の際に表示器１３１に表示される焦点検出領域を示す指標と、を重ねて示している。本実施形態において、焦点検出領域として、行方向に３つ、および、列方向に３つの計９個の焦点検出領域が設定されている。行方向にｎ番目、列方向にｍ番目の焦点検出領域をＡ（ｎ，ｍ）と表し、この領域内における焦点検出画素２０１（第１焦点検出画素）および焦点検出画素２０２（第２焦点検出画素）の信号を用いて、後述する第１焦点検出および第２焦点検出を行う。同様に、行方向にｎ番目、列方向にｍ番目の焦点検出領域の指標をＩ（ｎ，ｍ）と表す。   Next, a focus detection area that is an area on the image sensor 107 that acquires the first focus detection signal and the second focus detection signal will be described with reference to FIG. FIG. 7 shows a focus detection region in the effective pixel region 1000 of the image sensor 107 and an index indicating the focus detection region displayed on the display 131 at the time of focus detection. In the present embodiment, a total of nine focus detection areas, three in the row direction and three in the column direction, are set as the focus detection areas. The nth focus detection region in the row direction and the mth focus detection region in the column direction is represented as A (n, m), and the focus detection pixel 201 (first focus detection pixel) and the focus detection pixel 202 (second focus detection) in this region. First focus detection and second focus detection described later are performed using the signal of the pixel. Similarly, the index of the nth focus detection region in the row direction and the mth in the column direction is represented as I (n, m).

なお本実施形態において、行方向に３つ、列方向に３つの焦点検出領域を設定した例を示している。しかしながら、前述の撮像素子１０７のように、有効画素領域１０００の内部に設けられたいずれの画素からも第１焦点検出信号および第２焦点検出信号を取得可能な撮像素子においては、焦点検出領域の数、位置、サイズを適宜設定することができる。例えば、撮影者の指定した領域を中心として、所定の範囲を焦点検出領域として設定してもよい。   In the present embodiment, an example is shown in which three focus detection areas are set in the row direction and three in the column direction. However, in the imaging device that can acquire the first focus detection signal and the second focus detection signal from any pixel provided in the effective pixel region 1000 as in the above-described imaging device 107, the focus detection region The number, position, and size can be set as appropriate. For example, a predetermined range may be set as the focus detection area around the area designated by the photographer.

次に、図８を参照して、本実施形態における撮像装置１００の制御方法（焦点検出動作および撮影動作）について説明する。図８は、本実施形態における焦点検出動作および撮影動作を示すフローチャートである。図８は、撮影スタンバイ状態などのライブビュー状態（動画撮影状態）から撮影を行うライブビュー撮影時の動作を示す。図８中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。   Next, with reference to FIG. 8, a control method (focus detection operation and imaging operation) of the imaging apparatus 100 in the present embodiment will be described. FIG. 8 is a flowchart showing a focus detection operation and a photographing operation in the present embodiment. FIG. 8 shows an operation at the time of live view shooting in which shooting is performed from a live view state (moving image shooting state) such as a shooting standby state. Each step in FIG. 8 is executed by the CPU 121 or executed by each unit of the imaging apparatus 100 based on a command from the CPU 121.

まず、ステップＳ１において、ＣＰＵ１２１の制御に従い、撮像素子駆動回路１２４は、撮像素子１０７を駆動し、撮像データを取得する。ここでは、ライブビュー表示用の動画撮影のための駆動動作であるため、ライブビュー表示用のフレームレートに応じた時間の電荷蓄積と読み出しを行う、いわゆる電子シャッタを用いた撮影を行う。ここでのライブビュー表示は、撮影者が撮影範囲や撮影条件を確認するためのものであり、例えば、３０フレーム／秒（撮影間隔３３．３ｍｓ）や６０フレーム／秒（撮影間隔１６．６ｍｓ）である。   First, in step S <b> 1, under the control of the CPU 121, the image sensor driving circuit 124 drives the image sensor 107 and acquires image data. Here, since it is a driving operation for moving image shooting for live view display, shooting is performed using a so-called electronic shutter that performs charge accumulation and readout for a time corresponding to the frame rate for live view display. The live view display here is for the photographer to check the shooting range and shooting conditions. For example, 30 frames / second (shooting interval 33.3 ms) or 60 frames / second (shooting interval 16.6 ms). It is.

続いてステップＳ２において、ＣＰＵ１２１は、ステップＳ１にて得られた撮像データのうち、図７に示される９つの焦点検出領域に含まれる第１焦点検出画素と第２焦点検出画素とから得られる焦点検出データを取得（抽出）する。またＣＰＵ１２１は、第１焦点検出画素からの出力信号と第２焦点検出画素からの出力信号とを加算して撮像信号を生成し、画像処理回路１２５で色補間処理などを適用して得られる画像データを取得（抽出）する。このように、１回の撮影により、画像データと焦点検出データとを取得することができる。なお本実施形態において、撮像画素、第１焦点検出画素、および、第２焦点検出画素を、個別の画素構成とした場合、焦点検出画素の補完処理などを行って画像データを取得すればよい。   Subsequently, in step S2, the CPU 121 determines the focus obtained from the first focus detection pixels and the second focus detection pixels included in the nine focus detection areas shown in FIG. 7 among the imaging data obtained in step S1. Obtain (extract) detection data. Further, the CPU 121 generates an imaging signal by adding the output signal from the first focus detection pixel and the output signal from the second focus detection pixel, and an image obtained by applying color interpolation processing or the like in the image processing circuit 125. Acquire (extract) data. Thus, image data and focus detection data can be acquired by one imaging. In the present embodiment, when the imaging pixel, the first focus detection pixel, and the second focus detection pixel have individual pixel configurations, image data may be acquired by performing a complementation process of the focus detection pixel or the like.

続いてステップＳ３において、ＣＰＵ１２１は、ステップＳ２にて得られた画像データに基づいて、画像処理回路１２５を用いてライブビュー表示用の画像を生成し、表示器１３１に表示する。なお、ライブビュー表示用の画像は、例えば表示器１３１の解像度に合わせた縮小画像であり、ステップＳ２にて画像データを生成する際に画像処理回路１２５を用いて縮小処理を実施することもできる。この場合、ＣＰＵ１２１は、ステップＳ２にて取得した画像データを表示器１３１に表示させる。前述のとおり、ライブビュー表示中において、所定のフレームレートで撮影と表示が行われる。このため撮影者は、表示器１３１を通じて、撮影時の構図や露出条件の調整などを行うことができる。   Subsequently, in step S3, the CPU 121 generates an image for live view display using the image processing circuit 125 based on the image data obtained in step S2, and displays the image on the display 131. The live view display image is, for example, a reduced image that matches the resolution of the display 131, and the image processing circuit 125 can be used to reduce the image data when generating image data in step S2. . In this case, the CPU 121 causes the display 131 to display the image data acquired in step S2. As described above, shooting and display are performed at a predetermined frame rate during live view display. For this reason, the photographer can adjust the composition at the time of photographing and the exposure condition through the display 131.

続いてステップＳ４において、ＣＰＵ１２１は、ステップＳ２にて取得した９つの焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態において、ＣＰＵ１２１は、焦点検出用の像信号（焦点検出信号）の生成、焦点検出信号のずれ量（位相差）の算出、および、算出したずれ量からデフォーカス量と方向を求める処理を実施する。続いてステップＳ５において、ＣＰＵ１２１は、撮影準備開始を示すスイッチＳｗ１のオン／オフを検出する。操作部１３２の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出可能である。前述のスイッチＳｗ１のオン／オフは、レリーズ（撮影トリガ）スイッチの１段階目のオン／オフに相当する。ステップＳ５にてスイッチＳｗ１のオンが検出されない（あるいはオフが検出された）場合、ステップＳ１１へ進む。そしてステップＳ１１において、ＣＰＵ１２１は、操作部１３２に含まれるメインスイッチがオフされたか否かを判定する。   Subsequently, in step S4, the CPU 121 obtains the defocus amount and direction for each focus detection area using the focus detection data corresponding to the nine focus detection areas acquired in step S2. In this embodiment, the CPU 121 generates a focus detection image signal (focus detection signal), calculates a shift amount (phase difference) of the focus detection signal, and obtains a defocus amount and a direction from the calculated shift amount. To implement. Subsequently, in step S5, the CPU 121 detects ON / OFF of the switch Sw1 indicating the start of shooting preparation. A release (shooting trigger) switch, which is one of the operation units 132, can detect two-stage on / off according to the amount of pressing. The above-described on / off of the switch Sw1 corresponds to the on / off of the first stage of the release (shooting trigger) switch. If it is not detected that the switch Sw1 is turned on (or off is detected) in step S5, the process proceeds to step S11. In step S11, the CPU 121 determines whether the main switch included in the operation unit 132 has been turned off.

一方、ステップＳ５にてスイッチＳｗ１のオンが検出されると、ステップＳ６へ進む。そしてステップＳ６において、ＣＰＵ１２１は、合焦させる焦点検出領域を設定（選択）する。ここでは、撮影者により指示された焦点検出領域としてもよいし、ステップＳ４にて取得した９つの焦点検出領域のデフォーカス量の情報や焦点検出領域の撮影範囲中心からの距離の情報を用いて、ＣＰＵ１２１が自動的に設定してもよい。一般に、撮影者の意図する被写体は、撮影距離の短い位置に存在する確率が高く、また撮影範囲の中央付近に存在する確率が高い。このため、ＣＰＵ１２１は、例えば複数の被写体が存在する場合、これらの条件を考慮して適切と考えられる焦点検出領域を選択する。またＣＰＵ１２１は、例えば、被写体が１つであって、他は背景と考えられる場合、被写体が存在する焦点領域を選択する。   On the other hand, if the switch Sw1 is detected to be on in step S5, the process proceeds to step S6. In step S6, the CPU 121 sets (selects) a focus detection area to be focused. Here, the focus detection area specified by the photographer may be used, or the information on the defocus amount of the nine focus detection areas and the distance information from the center of the shooting range of the focus detection area acquired in step S4 are used. The CPU 121 may set automatically. In general, the subject intended by the photographer has a high probability of being present at a position where the photographing distance is short, and is likely to be present near the center of the photographing range. For this reason, for example, when there are a plurality of subjects, the CPU 121 selects a focus detection region that is considered appropriate in consideration of these conditions. For example, when there is one subject and the other is considered to be the background, the CPU 121 selects a focal region where the subject exists.

続いてステップＳ７において、ＣＰＵ１２１は、選択した焦点検出領域にて検出されたデフォーカス量に基づいて、フォーカス駆動回路１２６およびフォーカスアクチュエータ１１４を用いてレンズ駆動を行う。検出されたデフォーカス量が所定値よりも小さい場合、必ずしもレンズ駆動を行う必要はない。   Subsequently, in step S <b> 7, the CPU 121 performs lens driving using the focus driving circuit 126 and the focus actuator 114 based on the defocus amount detected in the selected focus detection region. When the detected defocus amount is smaller than a predetermined value, it is not always necessary to drive the lens.

続いてステップＳ８において、ＣＰＵ１２１は、ステップＳ１、Ｓ４と同様に、撮像データの取得、および、焦点検出処理を行う。ステップＳ８にて実行される処理は、ステップＳ７のレンズ駆動中に、並列的に行ってもよい。焦点検出処理を終えると、ステップＳ９へ進む。そしてステップＳ９において、ＣＰＵ１２１は、撮影開始指示を示すスイッチＳｗ２のオン／オフを検出する。操作部１３２の一つであるレリーズ（撮影トリガ）スイッチは、押し込み量に応じて、２段階のオン／オフを検出可能であり、前述のスイッチＳｗ２は、レリーズ（撮影トリガ）スイッチの２段階目のオン／オフに相当する。ＣＰＵ１２１は、ステップＳ９にてスイッチＳｗ２のオンが検出されない場合、ステップＳ５へ戻り、スイッチＳｗ１のオン／オフを検出する。   Subsequently, in step S8, the CPU 121 performs acquisition of imaging data and focus detection processing as in steps S1 and S4. The processing executed in step S8 may be performed in parallel during lens driving in step S7. When the focus detection process ends, the process proceeds to step S9. In step S9, the CPU 121 detects the on / off state of the switch Sw2 indicating a shooting start instruction. A release (shooting trigger) switch, which is one of the operation units 132, can detect two-stage on / off according to the amount of pressing, and the aforementioned switch Sw2 is the second stage of the release (shooting trigger) switch. This corresponds to turning on / off. If it is not detected that the switch Sw2 is turned on in step S9, the CPU 121 returns to step S5 and detects the on / off of the switch Sw1.

一方、ステップＳ９にてスイッチＳｗ２のオンが検出されると、ステップＳ１０へ進む。そしてステップＳ１０において、ＣＰＵ１２１は、画像記録を行うか否かを判定する。本実施形態において、ＣＰＵ１２１は、連写中（連写撮影中）の画像処理を、記録画像用と焦点検出用とで周期的に切り替える。この周期的な切り替えは、交互でもよいし、例えば、３回に１回焦点検出を行うなどのように設定してもよい。これにより、単位時間当たりの撮影枚数を、大幅に減らすことなく、高精度な焦点検出を行うことができる。   On the other hand, if it is detected in step S9 that the switch Sw2 is turned on, the process proceeds to step S10. In step S10, the CPU 121 determines whether or not to perform image recording. In the present embodiment, the CPU 121 periodically switches image processing during continuous shooting (during continuous shooting) between a recorded image and a focus detection. This periodic switching may be alternated, or may be set such that, for example, focus detection is performed once every three times. Thereby, highly accurate focus detection can be performed without significantly reducing the number of shots per unit time.

ステップＳ１０にて画像記録を行うと判定された場合、ステップＳ３００へ進む。ステップＳ３００において、ＣＰＵ１２１は、撮影サブルーチンを実行する。なお、撮影サブルーチンの詳細については後述する。ステップＳ３００にて撮影サブルーチンが実行されると、ステップＳ９に戻る。そしてＣＰＵ１２１は、スイッチＳｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。   If it is determined in step S10 that image recording is to be performed, the process proceeds to step S300. In step S300, the CPU 121 executes a shooting subroutine. Details of the shooting subroutine will be described later. When the shooting subroutine is executed in step S300, the process returns to step S9. Then, the CPU 121 determines whether or not the switch Sw2 has been turned on, that is, whether or not a continuous shooting instruction has been issued.

一方、ステップＳ１０にて焦点検出を行うと判定された場合、ステップＳ４００へ進む。ステップＳ４００において、ＣＰＵ１２１は、連写撮影中の焦点検出サブルーチンを実行する。なお、連写中の焦点検出サブルーチンの詳細については後述する。ステップＳ４００にて連写中の焦点検出サブルーチンが実行されると、ステップＳ９へ戻る。そしてＣＰＵ１２１は、スイッチＳｗ２のオンが検出されたか否か、すなわち連写指示がされているか否かを判定する。   On the other hand, if it is determined in step S10 that focus detection is to be performed, the process proceeds to step S400. In step S400, the CPU 121 executes a focus detection subroutine during continuous shooting. Details of the focus detection subroutine during continuous shooting will be described later. When the focus detection subroutine during continuous shooting is executed in step S400, the process returns to step S9. Then, the CPU 121 determines whether or not the switch Sw2 has been turned on, that is, whether or not a continuous shooting instruction has been issued.

ステップＳ５でスイッチＳｗ１のオンが検出されず（または、スイッチＳｗ１のオフが検出され）、かつ、ステップＳ１１にてメインスイッチのオフが検出されると、ＣＰＵ１２１は、焦点検出および撮影動作を終了する。一方、ステップＳ１１にてメインスイッチのオフが検出されない場合、ステップＳ２へ戻り、画像データおよび焦点検出データの取得を行う。   If it is not detected that the switch Sw1 is turned on in step S5 (or if the switch Sw1 is turned off), and if the main switch is turned off in step S11, the CPU 121 ends the focus detection and photographing operation. . On the other hand, if the main switch is not turned off in step S11, the process returns to step S2 to acquire image data and focus detection data.

次に、図９を参照して、図８のステップＳ３００にて実行される撮影サブルーチンについて詳述する。図９は、撮影サブルーチン（ステップＳ３００）を示すフローチャートである。図９中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。   Next, the photographing subroutine executed in step S300 in FIG. 8 will be described in detail with reference to FIG. FIG. 9 is a flowchart showing the photographing subroutine (step S300). Each step in FIG. 9 is executed by the CPU 121, or executed by each unit of the imaging apparatus 100 based on a command from the CPU 121.

まず、ステップＳ３０１において、ＣＰＵ１２１（露出制御手段１２１ｃ）は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度など）を決定する。露出制御処理は、ＣＰＵ１２１が画像データの輝度情報に基づいて行うが、任意の公知技術を用いて実行することができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細については後述する。またステップＳ３０１において、ＣＰＵ１２１（絞り制御手段１２１ａ）は、決定した絞り値とシャッタ速度とを、絞りシャッタ駆動回路１２８を介して、絞りシャッタアクチュエータ１１２に送信し、絞り兼用シャッタ１０２の動作を制御する。またＣＰＵ１２１は、撮像素子駆動回路１２４を用いて、絞り兼用シャッタ１０２を介して撮像素子１０７が露光される期間、電荷蓄積を行わせる。   First, in step S301, the CPU 121 (exposure control means 121c) executes exposure control processing and determines shooting conditions (such as shutter speed, aperture value, and shooting sensitivity). The exposure control process is performed by the CPU 121 based on the luminance information of the image data, but can be executed using any known technique. In this embodiment, details such as timing for obtaining image data used when performing exposure control processing will be described later. In step S301, the CPU 121 (aperture control means 121a) transmits the determined aperture value and shutter speed to the aperture shutter actuator 112 via the aperture shutter drive circuit 128 to control the operation of the aperture / shutter 102. . Further, the CPU 121 uses the image sensor driving circuit 124 to perform charge accumulation during a period in which the image sensor 107 is exposed via the aperture / shutter 102.

露光期間が終了すると、ステップＳ３０２へ進む。ステップＳ３０２において、ＣＰＵ１２１（信号制御手段１２１ｃ）は、撮像素子駆動回路１２４を用いて、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。続いてステップＳ３０３において、ＣＰＵ１２１は、読み出された画像データに対して、画像処理回路１２５を用いて欠陥画素の補正処理（欠陥画素の補間）を行う。続いてステップＳ３０４において、ＣＰＵ１２１は、欠陥画素を補正した後の画像データに対して、画像処理回路１２５を用いて所定の画像処理（変換処理）を行う。所定の画像処理とは、例えば、デモザイク（色補間）処理、ホワイトバランス処理、γ補正（階調補正）処理、色変換処理、および、エッジ強調処理などの画像処理、並びに、符号化処理である。続いてステップＳ３０５において、ＣＰＵ１２１は、画像データファイル（画像信号）を記録媒体１３３（フラッシュメモリなどの記録手段）に記録する。   When the exposure period ends, the process proceeds to step S302. In step S <b> 302, the CPU 121 (signal control unit 121 c) uses the image sensor driving circuit 124 to perform image readout for high-pixel still image shooting, that is, readout of all pixels. In step S303, the CPU 121 performs defect pixel correction processing (defective pixel interpolation) on the read image data using the image processing circuit 125. Subsequently, in step S304, the CPU 121 performs predetermined image processing (conversion processing) using the image processing circuit 125 on the image data after correcting the defective pixel. The predetermined image processing is, for example, image processing such as demosaic (color interpolation) processing, white balance processing, γ correction (gradation correction) processing, color conversion processing, and edge enhancement processing, and encoding processing. . Subsequently, in step S305, the CPU 121 records the image data file (image signal) on the recording medium 133 (recording means such as a flash memory).

続いてステップＳ３０６において、ＣＰＵ１２１は、ステップＳ３０５にて記録した撮影画像に対応させて、撮像装置１００の本体（カメラ本体）の特性情報を記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。カメラ本体の特性情報は、撮影条件（絞り値、シャッタ速度、撮影感度など）、画像処理回路１２５により適用される画像処理に関する情報、撮像素子１０７の撮像画素および焦点検出画素の受光感度分布情報などを含むことができる。また、カメラ本体の特性情報は、カメラ本体内での撮影光束のケラレ情報、カメラ本体とレンズユニットとの取り付け面から撮像素子１０７までの距離情報、および、製造誤差情報などを含んでもよい。なお、撮像素子１０７の撮像画素および焦点検出画素の受光感度分布情報は、オンチップマイクロレンズＭＬと光電変換部ＰＤに依存する情報であるため、これらの部材に関する情報を記録してもよい。   Subsequently, in step S306, the CPU 121 records the characteristic information of the main body (camera main body) of the imaging apparatus 100 in the recording medium 133 and the memory (internal memory) in the CPU 121 in association with the captured image recorded in step S305. . The characteristic information of the camera body includes shooting conditions (aperture value, shutter speed, shooting sensitivity, etc.), information related to image processing applied by the image processing circuit 125, received light sensitivity distribution information of the imaging pixels and focus detection pixels of the image sensor 107, and the like. Can be included. Further, the characteristic information of the camera body may include vignetting information of the photographing light beam in the camera body, distance information from the mounting surface between the camera body and the lens unit to the image sensor 107, manufacturing error information, and the like. In addition, since the light receiving sensitivity distribution information of the imaging pixel and the focus detection pixel of the imaging element 107 is information depending on the on-chip microlens ML and the photoelectric conversion unit PD, information on these members may be recorded.

続いてステップＳ３０７において、ＣＰＵ１２１は、ステップＳ３０５にて記録した撮影画像に対応させて、レンズユニットの特性情報を記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。レンズユニットの特性情報は、射出瞳の情報、枠情報、撮影時の焦点距離やＦナンバー情報、収差情報、製造誤差情報などを含むことができる。   Subsequently, in step S307, the CPU 121 records lens unit characteristic information in the recording medium 133 and the memory (internal memory) in the CPU 121 in correspondence with the captured image recorded in step S305. The lens unit characteristic information may include exit pupil information, frame information, focal length and F number information at the time of photographing, aberration information, manufacturing error information, and the like.

続いてステップＳ３０８において、ＣＰＵ１２１は、撮影した画像に関する画像関連情報を、記録媒体１３３およびＣＰＵ１２１内のメモリ（内部メモリ）に記録する。画像関連情報は、撮影前の焦点検出動作に関する情報、被写体移動情報、焦点検出動作の精度に関わる情報などを含むことができる。   Subsequently, in step S <b> 308, the CPU 121 records image-related information regarding the captured image in the recording medium 133 and the memory (internal memory) in the CPU 121. The image-related information can include information related to the focus detection operation before shooting, subject movement information, information related to the accuracy of the focus detection operation, and the like.

続いてステップＳ３０９において、ＣＰＵ１２１は、表示器１３１を用いて、撮影画像のプレビュー表示を行う。これにより撮影者は、撮影画像の簡易的な確認を行うことができる。ステップＳ３０９にて行うプレビュー表示に用いられる画像は、画像の簡易的な確認が目的であるため、ステップＳ３０３やステップＳ３０４にて行われる各種処理を行わなくてもよい。これらの各種処理を行わない場合、ステップＳ３０３以降の処理と並列して、ステップＳ３０９のプレビュー表示を行うことにより、露光から表示までのタイムラグをより低減することができる。ステップＳ３０９の処理が終わると、ＣＰＵ１２１は、ステップＳ３００の撮影サブルーチンを終了し、メインルーチンのステップＳ９へ進む。   Subsequently, in step S <b> 309, the CPU 121 performs a preview display of the captured image using the display device 131. As a result, the photographer can simply check the captured image. Since the image used for the preview display performed in step S309 is for simple confirmation of the image, various processes performed in step S303 and step S304 may not be performed. When these various processes are not performed, the time lag from exposure to display can be further reduced by performing the preview display in step S309 in parallel with the processes in and after step S303. When the process of step S309 ends, the CPU 121 ends the shooting subroutine of step S300 and proceeds to step S9 of the main routine.

次に、図１０を参照して、図８のステップＳ４００にて実行される連写中焦点検出サブルーチンについて詳述する。図１０は、連写中焦点検出サブルーチン（ステップＳ４００）を示すフローチャートである。図１０中の各ステップは、ＣＰＵ１２１により実行されるか、または、ＣＰＵ１２１の指令に基づいて撮像装置１００の各部により実行される。   Next, a continuous shooting focus detection subroutine executed in step S400 of FIG. 8 will be described in detail with reference to FIG. FIG. 10 is a flowchart showing a continuous shooting focus detection subroutine (step S400). Each step in FIG. 10 is executed by the CPU 121 or executed by each unit of the imaging apparatus 100 based on a command from the CPU 121.

まず、ステップＳ４０１において、ＣＰＵ１２１（露出制御手段１２１ｃ）は、露出制御処理を実行し、撮影条件（シャッタ速度、絞り値、撮影感度など）を決定する。露出制御処理は、ＣＰＵ１２１が画像データの輝度情報に基づいて行うが、任意の公知技術を用いて実行することができる。本実施形態において、露出制御処理を行う際に用いる画像データを得るタイミングなどの詳細については後述する。またステップＳ４０１において、ＣＰＵ１２１は、焦点検出のための露光を行うため、焦点検出に適した絞り値を決定する。そしてＣＰＵ１２１は、決定した絞り値に応じて、シャッタ速度および撮影感度を設定する。またステップＳ４０１において、ＣＰＵ１２１（絞り制御手段１２１ａ）は、決定した絞り値とシャッタ速度とを、絞りシャッタ駆動回路１２８を介して、絞りシャッタアクチュエータ１１２に送信し、絞り兼用シャッタ１０２の動作を制御する。またＣＰＵ１２１は、撮像素子駆動回路１２４を用いて、絞り兼用シャッタ１０２を介して撮像素子１０７が露光される期間、電荷蓄積を行わせる。   First, in step S401, the CPU 121 (exposure control means 121c) executes an exposure control process to determine shooting conditions (such as shutter speed, aperture value, and shooting sensitivity). The exposure control process is performed by the CPU 121 based on the luminance information of the image data, but can be executed using any known technique. In this embodiment, details such as timing for obtaining image data used when performing exposure control processing will be described later. In step S401, the CPU 121 determines an aperture value suitable for focus detection in order to perform exposure for focus detection. Then, the CPU 121 sets the shutter speed and the shooting sensitivity according to the determined aperture value. In step S401, the CPU 121 (aperture control means 121a) transmits the determined aperture value and shutter speed to the aperture shutter actuator 112 via the aperture shutter drive circuit 128 to control the operation of the aperture / shutter 102. . Further, the CPU 121 uses the image sensor driving circuit 124 to perform charge accumulation during a period in which the image sensor 107 is exposed via the aperture / shutter 102.

露光期間が終了すると、ステップＳ４０２へ進む。ステップＳ４０２において、ＣＰＵ１２１（信号制御手段１２１ｂ）は、撮像素子駆動回路１２４を用いて、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行う。図８のステップＳ４にて行われる焦点検出の際には、ライブビュー用に水平方向の画素出力を加算および間引きなどの処理を行った信号を用いるが、ステップＳ４０２においては、全画素の信号を読み出して用いる。これにより、撮像素子１０７の駆動を、撮影とライブビューとの間で切り替える必要がないため、切り替え時間を必要とせずに、焦点検出信号を得ることができる。また、ステップＳ４０２にて得られる信号は、焦点検出用に用いるための信号（焦点検出用のデータ）であり、記録画像用の信号（記録用の画像データ）ではない。このため、焦点検出領域の信号のみを読み出せばよい。記録画像に対して焦点検出領域が小さい場合、焦点検出領域の信号のみを読み出すことにより、本サブルーチンの処理を高速化することができる。本実施形態においては、図８のステップＳ６にて選択された焦点検出領域と対応する領域の信号が読み出せればよい。ステップＳ６にて選択された焦点検出領域が移動している場合、被写体検出処理などを併用することにより、焦点検出領域の位置を変更して設定すればよい。   When the exposure period ends, the process proceeds to step S402. In step S <b> 402, the CPU 121 (signal control unit 121 b) performs image reading for high-pixel still image shooting, that is, reading of all pixels, using the image sensor driving circuit 124. In the focus detection performed in step S4 of FIG. 8, a signal obtained by performing processing such as addition and thinning of the pixel output in the horizontal direction for live view is used. In step S402, the signals of all pixels are used. Read and use. Thereby, since it is not necessary to switch the drive of the image pick-up element 107 between imaging | photography and live view, a focus detection signal can be obtained, without requiring switching time. In addition, the signal obtained in step S402 is a signal for use in focus detection (focus detection data), not a recorded image signal (recording image data). For this reason, only the signal in the focus detection area needs to be read. When the focus detection area is small with respect to the recorded image, the processing of this subroutine can be speeded up by reading out only the signal of the focus detection area. In the present embodiment, it is only necessary to read a signal in an area corresponding to the focus detection area selected in step S6 in FIG. When the focus detection area selected in step S6 is moving, the position of the focus detection area may be changed and set by using subject detection processing or the like together.

続いてステップＳ４０３において、ＣＰＵ１２１は、読み出された画像データに対して、画像処理回路１２５を用いて欠陥画素の補正処理（欠陥画素の補間）を行う。続いてステップＳ４０４において、ＣＰＵ１２１（デフォーカス量算出手段１２１ｄ）は、ステップＳ６にて設定した焦点検出領域に対応する焦点検出データを用いて、デフォーカス量および方向を焦点検出領域ごとに求める。本実施形態において、ＣＰＵ１２１は、焦点検出用の像信号の生成、焦点検出用信号のずれ量（位相差）の算出、および、算出したずれ量からデフォーカス量と方向を求める処理を実施する。   In step S <b> 403, the CPU 121 performs defect pixel correction processing (defective pixel interpolation) on the read image data using the image processing circuit 125. Subsequently, in step S404, the CPU 121 (defocus amount calculation unit 121d) obtains the defocus amount and direction for each focus detection region using the focus detection data corresponding to the focus detection region set in step S6. In the present embodiment, the CPU 121 performs processing for generating a focus detection image signal, calculating a shift amount (phase difference) of the focus detection signal, and obtaining a defocus amount and direction from the calculated shift amount.

続いてステップＳ４０５において、ＣＰＵ１２１（フォーカス制御手段１２１ｅ）は、選択した焦点検出領域において検出されたデフォーカス量に基づいて、レンズ駆動を行う。検出されたデフォーカス量が所定値よりも小さい場合、必ずしもレンズ駆動を行う必要はない。ステップＳ４０５の処理が終わると、ＣＰＵ１２１は、ステップＳ４００の連写中焦点検出サブルーチンを終了し、メインルーチンのステップＳ９へ進む。   Subsequently, in step S405, the CPU 121 (focus control unit 121e) performs lens driving based on the defocus amount detected in the selected focus detection area. When the detected defocus amount is smaller than a predetermined value, it is not always necessary to drive the lens. When the process of step S405 is completed, the CPU 121 ends the continuous shooting focus detection subroutine of step S400, and proceeds to step S9 of the main routine.

次に、図１１を参照して、図９に示される撮影サブルーチン（Ｓ３００）、および、図１０に示される連写中焦点検出サブルーチン（Ｓ４００）について詳述する。図１１は、撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートであり、Ｖ同期信号、撮像素子、露出制御、絞り駆動、焦点検出、レンズ駆動、被写体検出の各処理のタイミングチャートを示している。図１１において、横軸は時間を示し、Ｖ１〜Ｖ５は各時間におけるＶ同期信号のタイミングを示している。   Next, the photographing subroutine (S300) shown in FIG. 9 and the continuous shooting focus detection subroutine (S400) shown in FIG. 10 will be described in detail with reference to FIG. FIG. 11 is a timing chart of an imaging subroutine and a continuous shooting focus detection subroutine, and shows timing charts of processes of V synchronization signal, image sensor, exposure control, aperture drive, focus detection, lens drive, and subject detection. . In FIG. 11, the horizontal axis indicates time, and V1 to V5 indicate the timing of the V synchronization signal at each time.

撮像素子に関しては、タイミングＶ１において、蓄積Ｅ１を終えた信号の読み出し処理Ｒ１が行われ、タイミングＶ２以降、同様に蓄積Ｅ２〜Ｅ５と読み出し処理Ｒ２〜Ｒ５とを繰り返し行う。本実施形態において、蓄積Ｅ１、Ｅ３、Ｅ５は、記録画像用（画像データ用）の蓄積であり、蓄積Ｅ２、Ｅ４は、焦点検出用（焦点検出データ用）の蓄積である。このため、読み出し処理Ｒ１、Ｒ３、Ｒ５においては、記録画像用として、焦点検出画素２０１の出力と焦点検出画素２０２の出力とを加算した状態で読み出せばよい。一方、読み出し処理Ｒ２、Ｒ４においては、焦点検出用として、焦点検出画素２０１の出力と焦点検出画素２０２の出力とを別々に読み出せばよい。焦点検出用の読み出しの際において、２つの焦点検出画素の出力の加算値と、一方の焦点検出画素の出力信号を読み出し、２つの出力の差分から、他方の焦点検出画素の出力信号に相当する信号を取得してもよい。   With respect to the image sensor, readout processing R1 of signals after completion of the accumulation E1 is performed at timing V1, and accumulation E2 to E5 and readout processing R2 to R5 are similarly repeated after timing V2. In this embodiment, accumulations E1, E3, and E5 are accumulations for recording images (for image data), and accumulations E2 and E4 are accumulations for focus detection (for focus detection data). For this reason, in the read processing R1, R3, and R5, it is only necessary to read in the state in which the output of the focus detection pixel 201 and the output of the focus detection pixel 202 are added for a recorded image. On the other hand, in the read processing R2 and R4, the output of the focus detection pixel 201 and the output of the focus detection pixel 202 may be read separately for focus detection. At the time of readout for focus detection, the added value of the outputs of the two focus detection pixels and the output signal of one focus detection pixel are read and correspond to the output signal of the other focus detection pixel from the difference between the two outputs. A signal may be acquired.

露出制御に関しては、ＣＰＵ１２１（露出制御手段１２１ｃ）は、蓄積Ｅ１で得られた信号（第１のタイミングにおいて取得される第１の信号）を用いて、露出制御処理ＡＥ２を行い、蓄積Ｅ２で得られた信号を用いて露出制御処理ＡＥ３を行う。蓄積Ｅ１から記録画像用の信号が得られるため、露出制御処理ＡＥ２では、次の記録画像用の蓄積Ｅ３の撮影条件を決定するための露出制御処理を行う（第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する）。一方、蓄積Ｅ２から焦点検出用の信号が得られるため、露出制御処理ＡＥ３では、次の焦点検出用の蓄積Ｅ４の撮影条件を決定するための露出制御を行う。前述のとおり、焦点検出用の撮影条件においては、絞り値が焦点検出に適した値に設定され、絞り値に応じて、シャッタ秒時や撮影感度などが決定される。露出制御処理ＡＥ４以降も、同様に、記録画像用、焦点検出用に交互に露出制御処理を行う。記録画像用、焦点検出用の蓄積を行うに当たり、事前に露出制御結果がない場合、事前のライブビューで得られた結果を用いて撮影条件を設定する。   Regarding exposure control, the CPU 121 (exposure control means 121c) performs exposure control processing AE2 using the signal obtained at the accumulation E1 (first signal acquired at the first timing), and obtains it at the accumulation E2. The exposure control process AE3 is performed using the received signal. Since a signal for a recorded image is obtained from the accumulation E1, the exposure control process AE2 performs an exposure control process for determining the shooting condition of the accumulation E3 for the next recorded image (the second after the first timing). The exposure at the time of acquiring the first signal at the timing of (1) is controlled. On the other hand, since a focus detection signal is obtained from the accumulation E2, the exposure control process AE3 performs exposure control for determining the imaging conditions of the next focus detection accumulation E4. As described above, in the shooting conditions for focus detection, the aperture value is set to a value suitable for focus detection, and the shutter speed, shooting sensitivity, and the like are determined according to the aperture value. Similarly, after the exposure control process AE4, the exposure control process is alternately performed for the recorded image and the focus detection. When there is no exposure control result in advance for accumulation for recorded images and focus detection, shooting conditions are set using results obtained in advance live view.

絞り制御に関しては、蓄積Ｅ１を行った後、焦点検出に適した絞り値に設定するため、ＣＰＵ１２１（絞り制御手段１２１ａ）は絞りを開放する。一般的に、絞り込みすぎると焦点検出の際に検出される位相差が小さくなり、または、一対の像信号の光量差が大きくなるため、焦点検出精度が低下する。本実施形態において、絞り制御手段１２１ａは、絞りの開放動作ＦＯ１を行うことにより、焦点検出に適した絞り設定とする。しかしながら、絞りを最大口径となるまで開放する必要はなく、絞り開放動作に要する時間や焦点検出精度や撮影状態に応じて設定すればよい。一方、蓄積Ｅ２で焦点検出用の蓄積を終えた後、蓄積Ｅ３を行う前に、絞り制御手段１２１ａは絞りの絞り込み動作ＦＣ１を行う。すなわち、撮影者が設定した絞り値や、事前の露出制御結果に応じて決定される絞り値となるように、絞り込み動作を行う。絞り込み動作ＦＣ１を行う際に、露出制御結果を用いる場合、露出制御処理ＡＥ２の結果を用いて、絞り込みを行う。露出制御処理ＡＥ２の結果は、蓄積Ｅ１の結果に基づいた露出制御であるため、蓄積Ｅ２の読み出しを待つことなく結果を得ることができ、単位時間当たりの撮影回数を増やすことができる。図１１において、絞り制御は、蓄積が記録画像用、焦点検出用が交互に行われるため、それに合わせて、絞り開放動作と絞り込み動作とを交互に行う。   Regarding the aperture control, after performing the accumulation E1, the CPU 121 (aperture control means 121a) opens the aperture to set an aperture value suitable for focus detection. Generally, if the aperture is narrowed down too much, the phase difference detected at the time of focus detection becomes small, or the light amount difference between a pair of image signals becomes large, so that the focus detection accuracy is lowered. In the present embodiment, the aperture controller 121a performs aperture opening operation FO1, thereby setting the aperture setting suitable for focus detection. However, it is not necessary to open the aperture until the maximum aperture is reached, and it may be set according to the time required for the aperture opening operation, the focus detection accuracy, and the photographing state. On the other hand, after the accumulation for focus detection is completed in the accumulation E2, before the accumulation E3 is performed, the aperture control means 121a performs the aperture narrowing operation FC1. That is, the aperture operation is performed so that the aperture value set by the photographer and the aperture value determined according to the previous exposure control result are obtained. When using the exposure control result when performing the narrowing-down operation FC1, narrowing is performed using the result of the exposure control process AE2. Since the result of the exposure control process AE2 is exposure control based on the result of the accumulation E1, the result can be obtained without waiting for the readout of the accumulation E2, and the number of photographings per unit time can be increased. In FIG. 11, since the aperture control is alternately performed for recording image and focus detection, the aperture opening operation and the aperture operation are alternately performed accordingly.

焦点検出とレンズ駆動に関しては、蓄積Ｅ２を終えて、焦点検出領域内の信号が行ごとに読み出されると、ＣＰＵ１２１（デフォーカス量算出手段１２１ｄ）は、順次、焦点検出処理ＡＦ１を行う。焦点検出処理ＡＦ１を終えると、その結果に基づき、ＣＰＵ１２１（フォーカス制御手段１２１ｅ）は、レンズ駆動Ｌ１を行う。焦点検出およびレンズ駆動は、焦点検出用の蓄積が得られた場合に行うため、２回のＶ同期信号につき１回行われる。焦点検出に用いる蓄積Ｅ２で読み出される信号は、全画面の信号でもよいし、焦点検出領域に対応する部分のみでもよい。全画面の信号を読み出すことにより、露出制御や後述する被写体検出などにも信号を使用することができ、それぞれの検出精度を向上させることが可能である。一方、焦点検出領域に対応する部分のみを読み出すことにより、高速に読み出しを終えることができ、単位時間当たりの撮影回数を増加させることが可能である。   Regarding focus detection and lens driving, when the signal in the focus detection area is read for each row after completing the accumulation E2, the CPU 121 (defocus amount calculation means 121d) sequentially performs focus detection processing AF1. When the focus detection process AF1 is finished, based on the result, the CPU 121 (focus control means 121e) performs lens driving L1. Since focus detection and lens driving are performed when accumulation for focus detection is obtained, the focus detection and lens driving are performed once for every two V synchronization signals. The signal read out by the storage E2 used for focus detection may be a full-screen signal or only a portion corresponding to the focus detection area. By reading out the signals of the entire screen, the signals can be used for exposure control and subject detection described later, and the detection accuracy of each can be improved. On the other hand, by reading only the portion corresponding to the focus detection area, the reading can be completed at a high speed, and the number of photographings per unit time can be increased.

被写体検出に関しては、本実施形態において、記録画像用の蓄積Ｅ１を用いて、検出処理Ｄ１を行う。被写体検出した結果、人物の顔など被写体の有無、位置、サイズなどを検出し、その情報を、露出条件を決定する際の評価範囲、焦点検出領域の設定などに用いる。検出処理Ｄ１で得られた結果は、露出制御処理ＡＥ２や焦点検出処理ＡＦ１に用いることができる。   Regarding subject detection, in the present embodiment, detection processing D1 is performed using the accumulated E1 for recorded images. As a result of subject detection, the presence / absence, position, size, etc. of a subject such as a person's face is detected, and the information is used for setting an evaluation range and a focus detection region when determining exposure conditions. The result obtained in the detection process D1 can be used for the exposure control process AE2 and the focus detection process AF1.

以上のような構成により、連写時の単位時間当たりの撮影枚数を大幅に減らすことなく、精度の良い焦点検出結果を得ることができる。すなわち、単位時間当たりの撮影回数の調整の際に、不要な待機時間を設けるのではなく、焦点検出用の信号取得を設ける。この結果、焦点検出から記録画像用の信号取得までのタイムラグを短縮することができ、高精度な焦点検出が可能となる。   With the above configuration, it is possible to obtain an accurate focus detection result without significantly reducing the number of shots per unit time during continuous shooting. That is, when adjusting the number of times of photographing per unit time, an unnecessary standby time is not provided, but signal acquisition for focus detection is provided. As a result, the time lag from focus detection to recording image signal acquisition can be shortened, and high-precision focus detection is possible.

本実施形態では、記録画像用と焦点検出用のいずれの画像を取得する際にも、シャッタによる遮光動作（ステップＳ３０１、Ｓ４０１）を行うように説明した。ただし、焦点検出用の信号を得る際には、シャッタを必ずしも動作させなくてもよい。例えば、ローリングシャッタ動作により、蓄積を制御してもよい。これにより、シャッタ動作の際に発生する音や振動と、実際に記録する画像の数をそろえることができ、撮影者にとって違和感の少ない撮影を行うことができる。   In the present embodiment, it has been described that the light shielding operation by the shutter (steps S301 and S401) is performed when either the recording image or the focus detection image is acquired. However, when obtaining a focus detection signal, the shutter does not necessarily have to be operated. For example, accumulation may be controlled by a rolling shutter operation. This makes it possible to align the sound and vibration generated during the shutter operation with the number of images actually recorded, and to perform shooting with less sense of discomfort for the photographer.

また、本実施形態では、記録画像用と焦点検出とで、水平方向の出力画素数をそろえることにより撮像素子の駆動モードを切り替えることなく、信号の読み出しを行っている。これにより、撮像素子の駆動モードの切り替えに必要となる時間を低減し、単位時間当たりの撮影枚数を増加させることができる。ただし、撮像素子の駆動モードの切り替えに時間を要しない場合、水平方向の出力画素数をそろえる必要はない。焦点検出用の出力画素を加算や間引き処理で圧縮することにより、焦点検出に必要な時間を短縮することができる。   In the present embodiment, signals are read without switching the drive mode of the image sensor by aligning the number of output pixels in the horizontal direction for recording images and focus detection. Thereby, the time required for switching the drive mode of the image sensor can be reduced, and the number of shots per unit time can be increased. However, when it does not take time to switch the drive mode of the image sensor, it is not necessary to align the number of output pixels in the horizontal direction. The time required for focus detection can be shortened by compressing the output pixels for focus detection by addition or thinning processing.

また、本実施形態では、焦点検出を行った直後のみ、レンズ駆動を行うように構成しているが、レンズ駆動のタイミングはこれに限定されるものではない。焦点検出後のレンズ駆動で、所定量のレンズ駆動が行うために十分な時間が足りない場合などは、記録画像用の蓄積（例えば、蓄積Ｅ３）が終了した後に、次の蓄積（Ｅ４）が開始される前に、レンズ駆動を行ってもよい。   In this embodiment, the lens driving is performed only immediately after focus detection is performed, but the lens driving timing is not limited to this. If the lens drive after focus detection does not have enough time for a predetermined amount of lens drive, the next storage (E4) is performed after the recording image storage (for example, storage E3) is completed. Lens drive may be performed before it is started.

また、記録画像用の絞り状態と、焦点検出用の絞り状態が同じでよい場合、蓄積の度に、記録画像用と焦点検出用の両方の信号を読み出し、画像記録、焦点検出の両方を行ってもよい。本実施形態で説明した記録画像用と焦点検出用の信号を交互に取得する場合と、状況によって切り替えてもよい。   If the aperture state for the recorded image and the aperture state for the focus detection may be the same, both the recorded image signal and the focus detection signal are read out for each accumulation, and both image recording and focus detection are performed. May be. The recording image and focus detection signals described in the present embodiment may be switched alternately depending on the situation.

また、本実施形態では、焦点検出用の画像は記録しない信号として説明しているが、焦点検出用の画像も記録してもよい。焦点検出用信号からは、撮影範囲内のデフォーカス状態（デフォーカスマップ）が得られるため、焦点検出用信号を、加算、間引き処理などを行って圧縮し、記録してもよい。記録の際は、画像信号として記録してもよいし、距離情報やデフォーカス情報として記録してもよい。   In this embodiment, the focus detection image is described as a signal that is not recorded. However, a focus detection image may also be recorded. Since the defocus state (defocus map) within the imaging range is obtained from the focus detection signal, the focus detection signal may be compressed and recorded by performing addition, thinning processing, or the like. When recording, it may be recorded as an image signal, or as distance information or defocus information.

次に、本実施形態における変形例について説明する。前述の実施形態では、図１１において、蓄積Ｅ３を行う際の露出制御結果ＡＥ２は、蓄積Ｅ１で得られる信号を用いて行われる。このため、露出制御結果については、Ｖ同期信号２回分のタイムラグが存在する。露出制御の精度を向上させるには、タイムラグの低減が必要である。そこで変形例として、図１２を参照して、露出制御と蓄積のタイムラグを低減する例について説明する。図１２は、図１１と同様に、撮影サブルーチンおよび連写中焦点検出サブルーチンのタイミングチャートであり、Ｖ同期信号、撮像素子、露出制御、絞り駆動、焦点検出、レンズ駆動、被写体検出の各処理のタイミングチャートを示している。図１２において、横軸は時間を示し、Ｖ１〜Ｖ５は各時間におけるＶ同期信号のタイミングを示している。   Next, a modified example in the present embodiment will be described. In the above-described embodiment, in FIG. 11, the exposure control result AE2 when performing the accumulation E3 is performed using a signal obtained by the accumulation E1. For this reason, the exposure control result has a time lag corresponding to two V synchronization signals. In order to improve the accuracy of exposure control, it is necessary to reduce the time lag. Therefore, as a modification, an example of reducing the time lag between exposure control and accumulation will be described with reference to FIG. FIG. 12 is a timing chart of the shooting subroutine and the continuous shooting focus detection subroutine, similar to FIG. 11, and shows the processing of each of the V synchronization signal, image sensor, exposure control, aperture drive, focus detection, lens drive, and subject detection. A timing chart is shown. In FIG. 12, the horizontal axis indicates time, and V1 to V5 indicate the timing of the V synchronization signal at each time.

図１２に示される本変形例は、図１１と比較して、露出制御のタイミングが異なる。図１２では、直前の蓄積で得られた信号を用いて露出制御を行う。例えば、蓄積Ｅ１で得られた信号を読み出し処理Ｒ１で読み出し、その結果を用いて、露出制御ＡＥ１を行う。図１１の場合と比較して、単位時間当たりの撮影回数は減少するが、直前の蓄積結果を用いて露出制御が行われるため、露出制御の精度は向上する。なお本変形例において、絞り駆動、焦点検出、レンズ駆動、被写体検出は、図１１と同様であるため、それらの説明は省略する。   The modified example shown in FIG. 12 is different in exposure control timing compared to FIG. In FIG. 12, exposure control is performed using the signal obtained in the previous accumulation. For example, the signal obtained in the accumulation E1 is read out in the reading process R1, and the exposure control AE1 is performed using the result. Compared with the case of FIG. 11, the number of photographings per unit time is reduced, but the exposure control is performed using the previous accumulation result, so the accuracy of the exposure control is improved. In this modification, diaphragm drive, focus detection, lens drive, and subject detection are the same as those in FIG.

このように本実施形態において、制御装置（ＣＰＵ１２１）は、結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能である。制御装置は、絞り制御手段１２１ａおよび信号制御手段１２１ｂを有する。絞り制御手段１２１ａは、記録用の画像データに関する第１の信号（撮像信号）を取得するために結像光学系の絞り（絞り兼用シャッタ１０２）を第１の開口状態に制御する。また絞り制御手段１２１ａは、焦点検出用のデータに関する第２の信号（焦点検出信号）を取得するために絞りを第２の開口状態に制御する。信号制御手段１２１ｂは、第１の信号と第２の信号とを撮像素子から周期的に取得する。   As described above, in this embodiment, the control device (CPU 121) performs focus detection by the phase difference detection method based on the signal output from the image sensor that receives the light beams passing through different pupil partial regions of the imaging optical system. Is possible. The control device includes a diaphragm control unit 121a and a signal control unit 121b. The diaphragm control unit 121a controls the diaphragm (a diaphragm / shutter 102) of the imaging optical system to the first aperture state in order to obtain a first signal (imaging signal) relating to recording image data. The diaphragm control unit 121a controls the diaphragm to the second opening state in order to obtain a second signal (focus detection signal) related to the focus detection data. The signal control unit 121b periodically acquires the first signal and the second signal from the image sensor.

好ましくは、信号制御手段１２１ｂは、第１の信号と第２の信号とを交互に取得する。また好ましくは、信号制御手段１２１ｂは、第１の信号を複数のタイミングで連続して取得し、第２の信号を複数のタイミングの後の所定のタイミングで取得する（例えば、第１の信号を３回連続で取得した後に第２の信号を１回取得することを周期的に繰り返す）。より好ましくは、信号制御手段１２１ｂは、連写撮影中において、第１の信号と第２の信号とを周期的に取得する。   Preferably, the signal control unit 121b acquires the first signal and the second signal alternately. Preferably, the signal control unit 121b continuously acquires the first signal at a plurality of timings, and acquires the second signal at a predetermined timing after the plurality of timings (for example, the first signal is acquired). (Acquisition of the second signal once after three consecutive acquisitions is periodically repeated). More preferably, the signal control unit 121b periodically acquires the first signal and the second signal during continuous shooting.

好ましくは、絞り制御手段１２１ａは、絞りの絞り込み動作（ＦＣ１）を行って第１の開口状態に制御し、絞りの開放動作（ＦＯ１）を行って第２の開口状態に制御する。また好ましくは、制御装置は、第１のタイミングにおいて取得される第１の信号を用いて、第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する露出制御手段１２１ｃを有する。   Preferably, the diaphragm control means 121a performs the diaphragm aperture operation (FC1) to control the first opening state, and performs the diaphragm opening operation (FO1) to control the second opening state. Further preferably, the control device uses the first signal acquired at the first timing to perform exposure for controlling exposure when acquiring the first signal at the second timing next to the first timing. Control means 121c is provided.

好ましくは、信号制御手段１２１ｂは、第１の開口状態と第２の開口状態とが互いに等しい場合、第１の信号および第２の信号のそれぞれを、記録用の画像データおよび焦点検出用のデータとして用いる。また好ましくは、信号制御手段１２１ｂは、第２の信号の少なくとも一部を記録手段（記録媒体１３３）に記録する。また好ましくは、制御装置は、第２の信号に基づいて結像光学系のデフォーカス量を算出するデフォーカス量算出手段１２１ｄと、デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段１２１ｅを有する。   Preferably, when the first opening state and the second opening state are equal to each other, the signal control unit 121b converts the first signal and the second signal into image data for recording and data for focus detection, respectively. Used as Also preferably, the signal control means 121b records at least a part of the second signal in the recording means (recording medium 133). Preferably, the control device includes a defocus amount calculation unit 121d that calculates a defocus amount of the imaging optical system based on the second signal, and a focus control unit 121e that performs focus control based on the defocus amount. .

好ましくは、撮像装置１００は、撮像素子１０７を遮光する遮光手段（絞り兼用シャッタ１０２）を有する。第１の信号は遮光手段を用いて取得され、第２の信号は遮光手段を用いずに取得される。また好ましくは、撮像装置１００は、第１の信号を表示し、第２の信号を表示しない表示手段（表示器１３１）を有する。また好ましくは、第１の信号は撮像素子１０７の第１の領域（例えば、略全領域）から得られ、第２の信号は撮像素子１０７の第１の領域よりも小さい第２の領域（焦点検出領域）から得られる。また好ましくは、第１の信号は複数の光電変換部のうち一つの光電変換部の信号から生成され、第２の信号は複数の光電変換部の複数の信号を合成して生成される。また好ましくは、撮像素子１０７は、一つのマイクロレンズに対して複数の光電変換部を有し、マイクロレンズが２次元状に配列されている。   Preferably, the imaging apparatus 100 includes light shielding means (a diaphragm / shutter 102) that shields the image sensor 107 from light. The first signal is obtained using the light shielding means, and the second signal is obtained without using the light shielding means. Further, preferably, the imaging apparatus 100 includes display means (display 131) that displays the first signal and does not display the second signal. Preferably, the first signal is obtained from a first region (for example, substantially the entire region) of the image sensor 107, and the second signal is a second region (focal point) smaller than the first region of the image sensor 107. (Detection area). Preferably, the first signal is generated from a signal of one photoelectric conversion unit among the plurality of photoelectric conversion units, and the second signal is generated by combining a plurality of signals of the plurality of photoelectric conversion units. Preferably, the image sensor 107 has a plurality of photoelectric conversion units for one microlens, and the microlenses are arranged in a two-dimensional manner.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

本実施形態によれば、連写撮影の際における単位時間当たりの撮影枚数を大幅に減らすことなく、高精度な焦点検出が可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。   According to the present embodiment, a control device, an imaging device, a control method, a program, and a storage medium capable of performing high-precision focus detection without significantly reducing the number of shots per unit time in continuous shooting Can be provided.

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。   As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.

１２１ ＣＰＵ（制御装置）
１２１ａ 絞り制御手段
１２１ｂ 信号制御手段 121 CPU (control device)
121a Aperture control means 121b Signal control means

Claims (18)

結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出が可能な制御装置であって、
記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、
前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得する信号制御手段と、を有することを特徴とする制御装置。 A control device capable of focus detection by a phase difference detection method based on a signal output from an image sensor that receives light beams passing through different pupil partial regions of an imaging optical system,
The aperture of the imaging optical system is controlled to the first aperture state in order to obtain a first signal related to image data for recording, and the aperture is used to acquire a second signal related to data for focus detection. Aperture control means for controlling to the second opening state;
A control apparatus comprising: signal control means for periodically acquiring the first signal and the second signal from the imaging device. 前記信号制御手段は、前記第１の信号と前記第２の信号とを交互に取得することを特徴とする請求項１に記載の制御装置。   The control device according to claim 1, wherein the signal control unit acquires the first signal and the second signal alternately. 前記信号制御手段は、前記第１の信号を複数のタイミングで連続して取得し、前記第２の信号を該複数のタイミングの後の所定のタイミングで取得することを特徴とする請求項１に記載の制御装置。   2. The signal control unit according to claim 1, wherein the signal control unit acquires the first signal continuously at a plurality of timings, and acquires the second signal at a predetermined timing after the plurality of timings. The control device described. 前記信号制御手段は、連写撮影中において、前記第１の信号と前記第２の信号とを周期的に取得することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。   4. The control device according to claim 1, wherein the signal control unit periodically acquires the first signal and the second signal during continuous shooting. 5. . 前記絞り制御手段は、
前記絞りの絞り込み動作を行って、前記第１の開口状態に制御し、
前記絞りの開放動作を行って、前記第２の開口状態に制御する、ことを特徴とする請求項１乃至４のいずれか１項に記載の制御装置。 The aperture control means includes
Performing the aperture operation of the diaphragm to control to the first opening state;
5. The control device according to claim 1, wherein the aperture is opened to control the second opening state. 6. 第１のタイミングにおいて取得される第１の信号を用いて、該第１のタイミングの次の第２のタイミングにおいて第１の信号を取得する際の露出を制御する露出制御手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。   It further comprises exposure control means for controlling exposure when acquiring the first signal at the second timing next to the first timing using the first signal acquired at the first timing. The control apparatus according to claim 1, wherein the control apparatus is characterized in that: 前記信号制御手段は、前記第１の開口状態と前記第２の開口状態とが互いに等しい場合、前記第１の信号および前記第２の信号のそれぞれを、前記記録用の画像データおよび前記焦点検出用のデータとして用いることを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。   When the first opening state and the second opening state are equal to each other, the signal control means converts the first signal and the second signal into the image data for recording and the focus detection, respectively. The control device according to claim 1, wherein the control device is used as data for use. 前記信号制御手段は、前記第２の信号の少なくとも一部を記録手段に記録することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。   The control device according to claim 1, wherein the signal control unit records at least a part of the second signal in a recording unit. 前記第２の信号に基づいて前記結像光学系のデフォーカス量を算出するデフォーカス量算出手段と、
前記デフォーカス量に基づいてフォーカス制御を行うフォーカス制御手段と、を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の制御装置。 Defocus amount calculating means for calculating a defocus amount of the imaging optical system based on the second signal;
The control apparatus according to claim 1, further comprising a focus control unit that performs focus control based on the defocus amount. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する複数の光電変換部から構成される画素を複数配列した撮像素子と、
記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御する絞り制御手段と、
前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得する信号制御手段と、を有することを特徴とする撮像装置。 An imaging device in which a plurality of pixels each composed of a plurality of photoelectric conversion units that receive light beams passing through different pupil partial regions of the imaging optical system are arranged;
The aperture of the imaging optical system is controlled to the first aperture state in order to obtain a first signal related to image data for recording, and the aperture is used to acquire a second signal related to data for focus detection. Aperture control means for controlling to the second opening state;
An image pickup apparatus comprising: signal control means for periodically obtaining the first signal and the second signal from the image pickup element. 前記撮像素子を遮光する遮光手段を更に有し、
前記第１の信号は、前記遮光手段を用いて取得され、
前記第２の信号は、前記遮光手段を用いずに取得される、ことを特徴とする請求項１０に記載の撮像装置。 A light shielding means for shielding the image sensor;
The first signal is acquired using the light shielding means,
The imaging apparatus according to claim 10, wherein the second signal is acquired without using the light shielding unit. 前記第１の信号を表示し、前記第２の信号を表示しない表示手段を更に有することを特徴とする請求項１０または１１に記載の撮像装置。   The imaging apparatus according to claim 10, further comprising display means for displaying the first signal and not displaying the second signal. 前記第１の信号は、前記撮像素子の第１の領域から得られ、
前記第２の信号は、前記撮像素子の前記第１の領域よりも小さい第２の領域から得られる、ことを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。 The first signal is obtained from a first region of the image sensor;
The imaging apparatus according to claim 10, wherein the second signal is obtained from a second region that is smaller than the first region of the imaging element. 前記第１の信号は、前記複数の光電変換部のうち一つの光電変換部の信号から生成され、
前記第２の信号は、前記複数の光電変換部の複数の信号を合成して生成される、ことを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。 The first signal is generated from a signal of one photoelectric conversion unit among the plurality of photoelectric conversion units,
The imaging apparatus according to claim 10, wherein the second signal is generated by combining a plurality of signals of the plurality of photoelectric conversion units. 前記撮像素子は、一つのマイクロレンズに対して前記複数の光電変換部を有し、該マイクロレンズが２次元状に配列されていることを特徴とする請求項１０乃至１４のいずれか１項に記載の撮像装置。   15. The image pickup device according to claim 10, wherein the image pickup device includes the plurality of photoelectric conversion units with respect to one microlens, and the microlenses are two-dimensionally arranged. The imaging device described. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行う制御方法であって、
記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、
前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得するステップと、を有することを特徴とする制御方法。 A control method for performing focus detection by a phase difference detection method based on a signal output from an image sensor that receives light beams passing through different pupil partial regions of an imaging optical system,
The aperture of the imaging optical system is controlled to the first aperture state in order to obtain a first signal related to image data for recording, and the aperture is used to acquire a second signal related to data for focus detection. Controlling to a second open state;
A step of periodically obtaining the first signal and the second signal from the imaging device. 結像光学系の互いに異なる瞳部分領域を通過する光束を受光する撮像素子から出力される信号に基づいて位相差検出方式の焦点検出を行うプログラムであって、
記録用の画像データに関する第１の信号を取得するために前記結像光学系の絞りを第１の開口状態に制御し、焦点検出用のデータに関する第２の信号を取得するために該絞りを第２の開口状態に制御するステップと、
前記第１の信号と前記第２の信号とを前記撮像素子から周期的に取得するステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。 A program for performing focus detection by a phase difference detection method based on a signal output from an image sensor that receives a light beam passing through different pupil partial regions of an imaging optical system,
The aperture of the imaging optical system is controlled to the first aperture state in order to obtain a first signal related to image data for recording, and the aperture is used to acquire a second signal related to data for focus detection. Controlling to a second open state;
A program configured to cause a computer to execute the step of periodically obtaining the first signal and the second signal from the imaging device. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。   A storage medium storing the program according to claim 17.
JP2015115389A 2015-06-08 2015-06-08 Control device, imaging device, control method, program, and storage medium Active JP6671868B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015115389A JP6671868B2 (en) 2015-06-08 2015-06-08 Control device, imaging device, control method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015115389A JP6671868B2 (en) 2015-06-08 2015-06-08 Control device, imaging device, control method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2017003674A true JP2017003674A (en) 2017-01-05
JP6671868B2 JP6671868B2 (en) 2020-03-25

Family

ID=57752774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015115389A Active JP6671868B2 (en) 2015-06-08 2015-06-08 Control device, imaging device, control method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP6671868B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021004989A (en) * 2019-06-26 2021-01-14 オリンパス株式会社 Focus adjustment device and focus adjustment method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009109631A (en) * 2007-10-29 2009-05-21 Sony Corp Imaging device
JP2009130707A (en) * 2007-11-26 2009-06-11 Sony Corp Focus control apparatus, and focus control method
JP2011090048A (en) * 2009-10-20 2011-05-06 Olympus Imaging Corp Automatic focus regulator for camera
JP2013009316A (en) * 2011-05-24 2013-01-10 Canon Inc Imaging apparatus performing exposure control, control method of imaging apparatus, program, and recording medium
JP2013050691A (en) * 2011-08-04 2013-03-14 Nikon Corp Imaging apparatus
US20130293769A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co., Ltd. Focus detecting apparatus
JP2014048591A (en) * 2012-09-03 2014-03-17 Canon Inc Image capturing device
JP2014074855A (en) * 2012-10-05 2014-04-24 Nikon Corp Focus adjustment device and imaging device
JP2014115674A (en) * 2007-02-19 2014-06-26 Canon Inc Camera, photographic lens, and camera system
JP2015087450A (en) * 2013-10-29 2015-05-07 株式会社ニコン Imaging device and imaging processing program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014115674A (en) * 2007-02-19 2014-06-26 Canon Inc Camera, photographic lens, and camera system
JP2009109631A (en) * 2007-10-29 2009-05-21 Sony Corp Imaging device
JP2009130707A (en) * 2007-11-26 2009-06-11 Sony Corp Focus control apparatus, and focus control method
JP2011090048A (en) * 2009-10-20 2011-05-06 Olympus Imaging Corp Automatic focus regulator for camera
JP2013009316A (en) * 2011-05-24 2013-01-10 Canon Inc Imaging apparatus performing exposure control, control method of imaging apparatus, program, and recording medium
JP2013050691A (en) * 2011-08-04 2013-03-14 Nikon Corp Imaging apparatus
US20130293769A1 (en) * 2012-05-04 2013-11-07 Samsung Electronics Co., Ltd. Focus detecting apparatus
JP2014048591A (en) * 2012-09-03 2014-03-17 Canon Inc Image capturing device
JP2014074855A (en) * 2012-10-05 2014-04-24 Nikon Corp Focus adjustment device and imaging device
JP2015087450A (en) * 2013-10-29 2015-05-07 株式会社ニコン Imaging device and imaging processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021004989A (en) * 2019-06-26 2021-01-14 オリンパス株式会社 Focus adjustment device and focus adjustment method
JP7277284B2 (en) 2019-06-26 2023-05-18 オリンパス株式会社 Focus adjustment device and focus adjustment method

Also Published As

Publication number Publication date
JP6671868B2 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
US8817165B2 (en) Image capturing apparatus
JP5161702B2 (en) Imaging apparatus, imaging system, and focus detection method
JP5489641B2 (en) Focus detection apparatus and control method thereof
JP6249825B2 (en) Imaging device, control method thereof, and control program
US20120138773A1 (en) Image capture apparatus
EP2304486A1 (en) Image-capturing apparatus
JP6381266B2 (en) IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2014222291A (en) Imaging apparatus and control method thereof
JP6486149B2 (en) Image processing apparatus, imaging apparatus, image processing method, program, and storage medium
JP6238578B2 (en) Imaging apparatus and control method thereof
JP2017032646A (en) Image-capturing device and method for controlling the same
JP6207293B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2012220790A (en) Imaging apparatus
JP2014130231A (en) Imaging apparatus, method for controlling the same, and control program
JP7019337B2 (en) Image stabilization device, lens device and their control method
JP6671868B2 (en) Control device, imaging device, control method, program, and storage medium
JP5735784B2 (en) Imaging device and control method thereof, lens device and control method thereof
JP6845912B2 (en) Imaging device and its control method
JP2017219782A (en) Control device, imaging device, control method, program, and storage medium
JP2017032978A (en) Control device, imaging device, control method, program, and storage medium
JP2020171050A (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium
JP2017054052A (en) Control device, imaging device, control method, program, and storage medium
JP2018116267A (en) Focus detection device and method, and imaging device
JP2017219786A (en) Control device, imaging device, control method, program, and storage medium
JP2018019348A (en) Imaging device, image processing method, image processing system, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200304

R151 Written notification of patent or utility model registration

Ref document number: 6671868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151