JP2016045322A - Imaging device and method for controlling the same - Google Patents

Imaging device and method for controlling the same Download PDF

Info

Publication number
JP2016045322A
JP2016045322A JP2014168766A JP2014168766A JP2016045322A JP 2016045322 A JP2016045322 A JP 2016045322A JP 2014168766 A JP2014168766 A JP 2014168766A JP 2014168766 A JP2014168766 A JP 2014168766A JP 2016045322 A JP2016045322 A JP 2016045322A
Authority
JP
Japan
Prior art keywords
focus detection
pixel
imaging
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014168766A
Other languages
Japanese (ja)
Inventor
暁彦 上田
Akihiko Ueda
暁彦 上田
英之 浜野
Hideyuki Hamano
英之 浜野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014168766A priority Critical patent/JP2016045322A/en
Publication of JP2016045322A publication Critical patent/JP2016045322A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To establish highly accurate focus detection and the suppression of deterioration in image quality in an imaging device using an imaging element having focus detection pixels.SOLUTION: The imaging device is configured to calculate a first correction value for correcting an image deviation amount between the output signals of focus detection pixels on the basis of a plurality of image deviation amounts to be obtained on the basis of the output signals of imaging pixels positioned at a periphery of the focus detection pixels, and to calculate the defocus amount of an imaging optical system on the basis of the image deviation amount corrected by the first correction value.SELECTED DRAWING: Figure 12

Description

本発明は撮像装置及びその制御方法に関し、特には焦点検出画素を有する撮像素子を用いる撮像装置及びその制御方法に関する。   The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus using an imaging element having a focus detection pixel and a control method thereof.

撮像素子を構成する画素群の一部を焦点検出画素とし、焦点検出画素から得られる被写体像の位相差を用いることで、個別の位相差検出センサなしに位相差検出方式の自動焦点検出(位相差AF)を実現する技術が知られている(特許文献1,2)。   A part of the pixel group constituting the image sensor is used as a focus detection pixel, and by using the phase difference of the subject image obtained from the focus detection pixel, automatic focus detection (phase difference detection method) without using an individual phase difference detection sensor. A technique for realizing (phase difference AF) is known (Patent Documents 1 and 2).

特開2000−156823号公報JP 2000-156823 A 特開2007−279312号公報JP 2007-279312 A

焦点検出画素の出力に基づく焦点検出の精度を向上させるには、焦点検出画素の配置密度が高い方が有利である。そのため、特許文献2には、焦点検出画素を連続して配置する構成が開示されている。   In order to improve the accuracy of focus detection based on the output of the focus detection pixels, it is advantageous that the arrangement density of the focus detection pixels is high. Therefore, Patent Document 2 discloses a configuration in which focus detection pixels are continuously arranged.

一方、焦点検出画素の出力は撮像画像の生成に用いることができないため、焦点検出画素の位置における画像信号は、周辺の撮像画素の出力から求めるのが一般的である。従って、画質の点からは、焦点検出画素の配置密度は低い方が有利である。   On the other hand, since the output of the focus detection pixel cannot be used to generate a captured image, the image signal at the position of the focus detection pixel is generally obtained from the output of the surrounding image capture pixels. Therefore, in terms of image quality, it is advantageous that the arrangement density of focus detection pixels is low.

本発明はこのような従来技術の課題に鑑みなされたもので、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることを特徴する。   The present invention has been made in view of the above-described problems of the prior art. In an image pickup apparatus using an image pickup device having a focus detection pixel and a control method thereof, it is possible to achieve both high-precision focus detection and suppression of image quality deterioration. Characterize.

上述の目的は、撮像画素と、焦点検出画素とを有する撮像素子と、焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、デフォーカス量算出手段が、焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出手段と、焦点検出画素の出力信号の像ずれ量を第1の補正値によって補正する補正手段と、補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出手段と、を有することを特徴とする撮像装置によって達成される。   The above-described object includes an image pickup device having an image pickup pixel and a focus detection pixel, and a defocus amount calculation means for calculating a defocus amount of the image pickup optical system based on an output signal of the focus detection pixel. A focus amount calculation unit corrects the image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on the output signals of the imaging pixels located around the focus detection pixel. A first calculating means for calculating the correction value of the image, a correcting means for correcting the image shift amount of the output signal of the focus detection pixel with the first correction value, and calculating the defocus amount based on the corrected image shift amount. And a second calculating means. This is achieved by an imaging device.

このように本発明によれば、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることができる。   Thus, according to the present invention, it is possible to achieve both high-precision focus detection and suppression of image quality degradation in an imaging apparatus using an imaging element having focus detection pixels and a control method thereof.

本実施形態における撮像装置の構成図である。It is a block diagram of the imaging device in this embodiment. 本実施形態における撮像素子(固体撮像素子)のブロック図である。It is a block diagram of the image sensor (solid-state image sensor) in this embodiment. 本実施形態における撮像素子の撮像画素の平面図と断面図である。It is the top view and sectional view of an image pick-up pixel of an image sensor in this embodiment. 本実施形態における撮像素子の焦点検出画素の平面図と断面図である。It is the top view and sectional view of a focus detection pixel of an image sensor in this embodiment. 本実施形態において、焦点検出画素のケラレおよび焦点検出光束の重心間隔の説明図ある。In this embodiment, it is explanatory drawing of the vignetting of a focus detection pixel, and the gravity center space | interval of a focus detection light beam. 本実施形態における撮像素子の撮像画素および焦点検出画素の配置例を示す図である。It is a figure which shows the example of arrangement | positioning of the imaging pixel and focus detection pixel of the image pick-up element in this embodiment. 本実施形態における撮像素子上に結像する光学像の様子を示す図である。It is a figure which shows the mode of the optical image imaged on the image pick-up element in this embodiment. 本実施形態における焦点検出画素の出力信号の例を示す図である。It is a figure which shows the example of the output signal of the focus detection pixel in this embodiment. 本実施形態における相関評価値と補正値を説明する図である。It is a figure explaining the correlation evaluation value and correction value in this embodiment. 本実施形態における補正値を示す図である。It is a figure which shows the correction value in this embodiment. 本実施形態における撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the imaging device in this embodiment. 第1の実施形態における撮像装置の焦点検出動作を示すフローチャートである。3 is a flowchart illustrating a focus detection operation of the imaging apparatus according to the first embodiment. 本実施形態における撮像装置の撮影動作を示すフローチャートである。It is a flowchart which shows the imaging | photography operation | movement of the imaging device in this embodiment.

以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ100(以下、単にカメラ100という)の機能構成例を示す図である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating a functional configuration example of a digital still camera 100 (hereinafter simply referred to as a camera 100) as an example of an imaging apparatus according to an embodiment of the present invention.

第1レンズ群101は撮像光学系の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ102は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ102の背面(撮像素子側)に配置された第2レンズ群103は、シャッタ102と一体となって光軸に沿って前後に可能であり、第1レンズ群101とともにズーム機能を実現する。   The first lens group 101 is disposed at the tip of the imaging optical system and is held so as to be movable back and forth along the optical axis. The shutter 102 functions not only as a shutter for controlling the exposure time at the time of still image shooting, but also as an aperture for adjusting the amount of light at the time of shooting by adjusting the aperture diameter. The second lens group 103 disposed on the back surface (on the imaging element side) of the shutter 102 can be moved back and forth along the optical axis integrally with the shutter 102, and realizes a zoom function together with the first lens group 101.

第3レンズ群105はフォーカスレンズであり、光軸に沿って前後に移動可能である。第3レンズ群105の位置により、撮像光学系の焦点位置が調節される。光学ローパスフィルタ106は、撮像素子107の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子107は2次元CMOS撮像素子とその周辺回路で構成される。本実施形態において、撮像素子107は、横方向にm個、縦方向にn個の複数の受光素子が2次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラー撮像素子である。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。   The third lens group 105 is a focus lens and can move back and forth along the optical axis. The focal position of the imaging optical system is adjusted by the position of the third lens group 105. The optical low-pass filter 106 is disposed in front of the image sensor 107 and reduces false colors and moire generated in the captured image. The image sensor 107 includes a two-dimensional CMOS image sensor and its peripheral circuits. In this embodiment, the image sensor 107 has a two-dimensional array of a plurality of light receiving elements of m in the horizontal direction and n in the vertical direction, and a Bayer array primary color mosaic filter is formed on-chip thereon. This is a two-dimensional single-plate color image sensor. The color filter limits the wavelength of transmitted light incident on the light receiving element in units of pixels.

ズームアクチュエータ111は、ズーム駆動回路129の制御に従い、不図示のカム筒を回動して第1レンズ群101と第3レンズ群105の少なくとも一方を光軸に沿って駆動して、ズーム(変倍)機能を実現する。シャッタアクチュエータ112は、シャッタ駆動回路128の制御に従い、シャッタ102開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。   Under the control of the zoom drive circuit 129, the zoom actuator 111 rotates a cam cylinder (not shown) to drive at least one of the first lens group 101 and the third lens group 105 along the optical axis to zoom (change). Double) to realize the function. The shutter actuator 112 adjusts the amount of imaged light by controlling the aperture diameter of the shutter 102 according to the control of the shutter drive circuit 128, and also controls the exposure time during still image capturing.

フォーカスアクチュエータ114は、フォーカス駆動回路126の制御に従い、第3レンズ群105を光軸に沿って駆動する。
なお、本実施形態のカメラ100は、撮像光学系が撮像装置本体と一体に形成されている構成を有するが、撮像光学系が着脱可能な構成であってもよい。
The focus actuator 114 drives the third lens group 105 along the optical axis according to the control of the focus drive circuit 126.
Note that the camera 100 of the present embodiment has a configuration in which the imaging optical system is formed integrally with the imaging apparatus main body, but the imaging optical system may be detachable.

フラッシュ115は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するLEDを備えた照明装置であってもよい。AF補助光出力部116は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。   The flash 115 is preferably a flash illumination device using a xenon tube, but may be an illumination device including LEDs that emit light continuously. The AF auxiliary light output unit 116 projects an image of a mask having a predetermined aperture pattern onto a subject field via a posting lens, and improves the focus detection capability for a low-luminance subject or a low-contrast subject.

CPU121は、カメラ100全体の動作を制御し、図示しない演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、不図示の不揮発性記録媒体(例えばROM)に記憶されたプログラムを実行して、カメラ100が有する各種回路を制御し、AF、AE、画像処理、記録等、カメラ100の機能を実現する。   The CPU 121 controls the operation of the entire camera 100, and includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like (not shown). The CPU 121 executes a program stored in a non-illustrated non-volatile recording medium (for example, a ROM) and controls various circuits of the camera 100 to realize functions of the camera 100 such as AF, AE, image processing, and recording. To do.

フラッシュ制御回路122は、撮像動作に同期してフラッシュ115を点灯制御する。補助光駆動制御回路123は、焦点検出動作時にAF補助光出力部116を点灯制御する。撮像素子駆動回路124は、撮像素子107の動作を制御するとともに、撮像素子107から読み出した画像信号をA/D変換してCPU121に出力する。画像処理回路125は、画像信号に対してγ変換、色補間、JPEG符号化などの画像処理を適用する。   The flash control circuit 122 controls the lighting of the flash 115 in synchronization with the imaging operation. The auxiliary light drive control circuit 123 controls lighting of the AF auxiliary light output unit 116 during the focus detection operation. The image sensor driving circuit 124 controls the operation of the image sensor 107 and A / D converts the image signal read from the image sensor 107 and outputs the image signal to the CPU 121. The image processing circuit 125 applies image processing such as γ conversion, color interpolation, and JPEG encoding to the image signal.

フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動することにより第3レンズ群105を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路128は、シャッタアクチュエータ112を駆動してシャッタ102の開口径及び開閉タイミングを制御する。ズーム駆動回路129は、例えば操作スイッチ群132に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ111を駆動する。   The focus drive circuit 126 moves the third lens group 105 along the optical axis by driving the focus actuator 114 based on the focus detection result, and performs focus adjustment. The shutter drive circuit 128 controls the opening diameter and opening / closing timing of the shutter 102 by driving the shutter actuator 112. The zoom drive circuit 129 drives the zoom actuator 111 according to a zoom operation input from the photographer by pressing a zoom operation switch included in the operation switch group 132, for example.

表示器131はLCD等であり、カメラ100の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体133は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。   The display 131 is an LCD or the like, and displays information related to the imaging mode of the camera 100, a preview image before imaging and a confirmation image after imaging, information on a focusing state at the time of focus detection, and the like. The operation switch group 132 includes a power switch, a release (imaging trigger) switch, a zoom operation switch, an imaging mode selection switch, and the like. The recording medium 133 is a detachable semiconductor memory card, for example, and records captured images.

(撮像素子の構成)
次に、撮像素子107、及び撮像素子107を構成する撮像画素と焦点検出画素について説明する。
図2は、撮像素子107の一部の構成例を示すブロック図である。なお、図2では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部201は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子107にX方向にm個、Y方向n個の光電変換部201が二次元配置されているものとし、光電変換部201の各々を特定する場合には、PDmnと表記する。ここでm=0,1・・・,m−1、n=0,1・・・,n−1である。なお、図2では、図が煩雑にならないよう、一部の光電変換部201にのみアドレスを示している。
(Configuration of image sensor)
Next, the image sensor 107 and the imaging pixels and focus detection pixels constituting the image sensor 107 will be described.
FIG. 2 is a block diagram illustrating a configuration example of a part of the image sensor 107. Note that FIG. 2 shows a minimum configuration that can explain the reading operation, and a pixel reset signal and the like are omitted. The photoelectric conversion unit 201 includes a photodiode, a pixel amplifier, a reset switch, and the like. In the following description, m photoelectric conversion units 201 in the X direction and n photoelectric conversion units 201 in the X direction are assumed to be two-dimensionally arranged on the image sensor 107, and when each of the photoelectric conversion units 201 is specified, PD Indicated as mn . Here, m = 0, 1..., M−1, n = 0, 1. In FIG. 2, addresses are shown only for some of the photoelectric conversion units 201 so that the drawing is not complicated.

スイッチ202は、光電変換部201ごとに設けられ、光電変換部201の出力を選択する。スイッチ202は、垂直走査回路208により、一行ごとに選択される。
ラインメモリ203は、光電変換部201の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。
The switch 202 is provided for each photoelectric conversion unit 201 and selects the output of the photoelectric conversion unit 201. The switch 202 is selected for each row by the vertical scanning circuit 208.
The line memory 203 is for temporarily storing the output of the photoelectric conversion unit 201, and stores the output of the photoelectric conversion unit for one row selected by the vertical scanning circuit. Usually, a capacitor is used.
The switch 204 is connected to the horizontal output line and is a switch for resetting the horizontal output line to a predetermined potential VHRST, and is controlled by a signal HRST.

ラインメモリ203のm個の出力の各々にはスイッチ205(H0〜Hm-1)が設けられている。後述する水平走査回路206によってスイッチ205をH0から順次走査することで、スイッチ205を通じてラインメモリ203に記憶された光電変換部201の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。 Each of the m outputs of the line memory 203 is provided with a switch 205 (H 0 to H m-1 ). By sequentially scanning the switch 205 from H 0 by a horizontal scanning circuit 206 described later, the output of the photoelectric conversion unit 201 stored in the line memory 203 through the switch 205 is sequentially output to the horizontal output line, and the photoelectric conversion output for one row Is read out.

水平走査回路206は、スイッチ205を順次オンにして、ラインメモリ203に記憶された光電変換部201の出力を順次、水平出力線に出力させる。信号PHSTはデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる。水平走査回路206のPH1、PH2にシフトクロックを入力してPHSTを順次シフトさせることにより、スイッチ205をH0からHm-1の順で順次オンすることができる。SKIPは、水平走査回路206に間引き読み出しの設定を行うための制御端子入力である。SKIPにHレベルの信号を入力することにより、水平走査回路206の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。 The horizontal scanning circuit 206 sequentially turns on the switch 205 to sequentially output the output of the photoelectric conversion unit 201 stored in the line memory 203 to the horizontal output line. The signal PHST is a data input, and PH1 and PH2 are shift clock inputs. Data is set when PH1 = H, and data is latched at PH2. By inputting a shift clock to PH1 and PH2 of the horizontal scanning circuit 206 and sequentially shifting PHST, the switch 205 can be sequentially turned on in the order of H 0 to H m−1 . SKIP is a control terminal input for setting the thinning readout to the horizontal scanning circuit 206. By inputting an H level signal to SKIP, scanning by the horizontal scanning circuit 206 can be skipped at predetermined intervals, thereby realizing thinning readout.

垂直走査回路208はV0からVn-1を順次出力することにより、光電変換部201に接続されたスイッチ202をラインごとに選択する。垂直走査回路208においても、水平走査回路206と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。制御入力に対する動作は水平走査回路206と同様であるので詳細説明は省略する。 The vertical scanning circuit 208 selects the switch 202 connected to the photoelectric conversion unit 201 for each line by sequentially outputting V 0 to V n−1 . Similarly to the horizontal scanning circuit 206, the vertical scanning circuit 208 is controlled by the data input PVST, the shift clocks PV1 and PV2, and the thinning reading setting SKIP. Since the operation for the control input is the same as that of the horizontal scanning circuit 206, a detailed description thereof is omitted.

(画素の構造)
図3及び図4は、撮像画素と焦点検出画素の構造例を示す図である。本実施形態の撮像素子107は、2行×2列の4画素を1単位として、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出画素としている。焦点検出画素は、離散的に配置される。
(Pixel structure)
3 and 4 are diagrams illustrating examples of structures of the imaging pixels and the focus detection pixels. In the image sensor 107 of the present embodiment, four pixels of 2 rows × 2 columns are set as one unit, pixels having a spectral sensitivity of G (green) are arranged in two diagonal pixels, and R (red) is arranged in the other two pixels. A pixel arrangement of a Bayer arrangement in which one pixel each having a spectral sensitivity of B and B (blue) is arranged is employed. A part of the pixels in the Bayer array pixel group is used as a focus detection pixel. The focus detection pixels are arranged discretely.

図3(a)は2行×2列の撮像画素の平面図である。上述の通り、ベイヤー配列では対角方向に2つのG画素が、他の2画素にRとBの画素が配置される。そしてこのような2行×2列の配列が撮像素子107の全体にわたって繰り返される。   FIG. 3A is a plan view of 2 × 2 imaging pixels. As described above, in the Bayer array, two G pixels are arranged in the diagonal direction, and R and B pixels are arranged in the other two pixels. Such an array of 2 rows × 2 columns is repeated over the entire image sensor 107.

図3(b)は、図3(a)のA−A断面と、撮像光学系からの光路を示す図である。
MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFはR(Red)のカラーフィルタ、CFはG(Green)のカラーフィルタである。PDは画素の光電変換部201を模式的に示したもの、CLはCMOS撮像素子内の各種信号を伝達する信号線を形成するための配線層である。TLは撮像光学系を模式的に示したものである。
FIG. 3B is a diagram illustrating an AA cross section of FIG. 3A and an optical path from the imaging optical system.
ML denotes an on-chip microlens arranged in front of each pixel, CF R is a color filter, CF G of R (Red) is a color filter of G (Green). PD schematically shows the photoelectric conversion unit 201 of the pixel, and CL is a wiring layer for forming signal lines for transmitting various signals in the CMOS image sensor. TL schematically shows the imaging optical system.

ここで、撮像画素のオンチップマイクロレンズMLと光電変換部PDは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積に設計される。また、図3(b)ではR画素の入射光束について図示したが、G画素及びB(Blue)画素も同一の構造を有する。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。   Here, the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light flux that has passed through the imaging optical system TL as effectively as possible. In other words, the exit pupil EP of the imaging optical system TL and the photoelectric conversion unit PD are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit PD is designed to be large. 3B illustrates the incident light beam of the R pixel, the G pixel and the B (Blue) pixel also have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB pixels for imaging has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.

図4(a)は、撮像光学系の水平方向(横方向)に瞳分割を行うための焦点検出画素対S及びSの平面図である。ここでは便宜上、1対の焦点検出画素が水平方向に隣接している状態を示しているが、後述するように、本実施形態では、対をなす焦点検出画素SとSとを水平方向に離間して配置している。焦点検出画素SとSに設けられた配線層CLの開口部OPとOPがマイクロレンズの中心線に対して一方向に偏心するように配置されている。
なお、ここで水平方向(横方向)とは、撮像光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向である。
FIG. 4A is a plan view of the focus detection pixel pair S A and S B for performing pupil division in the horizontal direction (lateral direction) of the imaging optical system. For convenience, although shows a state in which a focus detection pixel in a pair are adjacent in the horizontal direction, as described later, in the present embodiment, the focus detection pixels S A and S B paired horizontal Are spaced apart from each other. The openings OP A and OP B of the wiring layer CL provided in the focus detection pixels S A and S B are arranged so as to be eccentric in one direction with respect to the center line of the microlens.
Here, the horizontal direction (lateral direction) is a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the imaging optical system is horizontal.

記録もしくは表示用の画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちR画素もしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像画素として残し、R画素とB画素の位置に焦点検出画素対S及びSを配置している。 When obtaining an image signal for recording or display, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are missing. On the other hand, pixels of colors other than green, that is, R pixels or B pixels are pixels that acquire color information (color difference information). However, since human image recognition characteristics are insensitive to color information, color information is acquired. Pixels are less likely to notice image quality degradation even if some defects occur. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the focus detection pixel pairs S A and S B are arranged at the positions of the R pixel and the B pixel.

図4(b)は、図4(a)のA−A断面(すなわち、焦点検出画素対の断面)と、撮像光学系からの光路を示す図である。
マイクロレンズMLと、光電変換部PDは図3(b)に示した撮像画素と同一構造である。本実施形態においては、焦点検出画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタCF(White)が配置される。また、画素で瞳分割を行なうため、配線層CLの開口部OPとOPはマイクロレンズMLの中心線に対して一方向に偏心している。すなわち、焦点検出画素対を構成する焦点検出画素Sと焦点検出画素Sの開口部OPとOPは、画素の中心から、瞳分割方向で逆向きに偏心している。
FIG. 4B is a diagram illustrating an AA cross section (that is, a cross section of the focus detection pixel pair) in FIG. 4A and an optical path from the imaging optical system.
The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In the present embodiment, since the signal of the focus detection pixel is not used as an image signal, a colorless and transparent filter CF W (White) is arranged instead of the color separation color filter. Further, in order to perform pupil division at the pixel, the openings OP A and OP B of the wiring layer CL are decentered in one direction with respect to the center line of the microlens ML. That is, the openings OP A and OP B of the focus detection pixel S A and the focus detection pixel S B constituting the focus detection pixel pair are decentered in the opposite direction in the pupil division direction from the center of the pixel.

具体的には、焦点検出画素S及の開口部OPは画素中心から右側に偏心しているため、撮像光学系TLの左側の射出瞳EPを通過した光束を受光する。同様に、焦点検出画素Sの開口部OPは画素中心から左側に偏心しているため、撮像光学系TLの右側の射出瞳EPを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出画素Sで取得した輝度波形をA像波形(第1の像波形)とする。また、水平方向に規則的に配列した複数の焦点検出画素Sで取得した輝度波形をB像波形(第2の像波形)とする。これらA像波形とB像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量(デフォーカス量)を算出できる。 Specifically, the opening OP A focus detection pixels S A及because eccentric from the pixel center to the right and receives a light flux passing through the exit pupil EP A on the left side of the imaging optical system TL. Similarly, since the opening OP B of the focus detection pixel S B is decentered to the left from the pixel center, the light beam that has passed through the right exit pupil EP B of the imaging optical system TL is received. A luminance waveform acquired by a plurality of focus detection pixels SA regularly arranged in the horizontal direction is defined as an A image waveform (first image waveform). Further, the luminance waveform acquired by a plurality of focus detection pixels S B periodically arrayed in the horizontal direction and B image waveform (second image waveform). By detecting the relative positions of the A image waveform and the B image waveform and multiplying the image shift amount by a conversion coefficient, the focus shift amount (defocus amount) of the subject image can be calculated.

像ずれ量からデフォーカス量を算出するための変換係数は、撮像光学系の口径情報および焦点検出画素の感度分布に基づいて算出することができる。撮像素子107には、撮像光学系TLのレンズ保持枠や、シャッタ102が絞りとして機能する際の開口部などによって制限された光束が入射する。   The conversion coefficient for calculating the defocus amount from the image shift amount can be calculated based on the aperture information of the imaging optical system and the sensitivity distribution of the focus detection pixels. A light beam limited by a lens holding frame of the imaging optical system TL, an opening when the shutter 102 functions as a diaphragm, or the like is incident on the imaging element 107.

図5は、撮像素子503の中央に位置する画素に入射する光束の範囲を、光軸を通る鉛直断面で示した模式図である。ここでは、撮像素子503に最も近い側にあるレンズ保持枠530と、射出瞳面501の位置にある撮像光学系のシャッタ102が実現する絞り502と、被写体に最も近い側にあるレンズ保持枠531によって入射光束が制限されている状態を示している。図5(a)において、撮像素子503は、予定結像面位置における状態を示し、位置506は光軸505と撮像素子503との交点である。光束507、508は絞り502が解放でない第1の絞り値の場合において、開口部を通じて入射可能な光束の範囲を示している。また、光束509、510は、絞り502が開放状態の場合に入射可能な光束の範囲を示している。   FIG. 5 is a schematic diagram showing a range of a light beam incident on a pixel located at the center of the image sensor 503 as a vertical section passing through the optical axis. Here, a lens holding frame 530 that is closest to the image sensor 503, a diaphragm 502 that is realized by the shutter 102 of the imaging optical system at the position of the exit pupil plane 501, and a lens holding frame 531 that is closest to the subject. Shows a state in which the incident light flux is limited. In FIG. 5A, the image sensor 503 shows a state at the planned image plane position, and the position 506 is an intersection of the optical axis 505 and the image sensor 503. Light beams 507 and 508 indicate the range of light beams that can be incident through the aperture when the diaphragm 502 has the first aperture value that is not released. Light beams 509 and 510 indicate the range of light beams that can be incident when the diaphragm 502 is in an open state.

光束507、508で示される入射範囲の場合には、重心位置515、516を有する焦点検出用光束511、512が焦点検出画素に入射する。また、光束509、510で示される入射範囲の場合には重心位置517、518を有する焦点検出用光束513、514が焦点検出画素に入射する。   In the case of the incident range indicated by the light beams 507 and 508, focus detection light beams 511 and 512 having centroid positions 515 and 516 enter the focus detection pixels. In the case of the incident range indicated by the light beams 509 and 510, focus detection light beams 513 and 514 having the gravity center positions 517 and 518 enter the focus detection pixels.

図5(b)は、図5(a)に示した、撮像素子503の中央に位置する焦点検出画素に入射する光束の範囲を、光軸上の被写体側の位置から見た図である。焦点検出画素S、Sには、絞り502が第1の絞り値の場合には瞳領域523、絞り502が開放の場合には瞳領域524の内側を透過した光束が入射角特性525、526で示される感度分布で入射する。このため、瞳領域523、524の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、第1の絞り値の場合と絞りが開放の場合における重心間隔を算出することができる。そしてこれらの重心間隔から、絞り値に対応する基線長を求めることができる。焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。 FIG. 5B is a diagram of the light flux range incident on the focus detection pixel located at the center of the image sensor 503 shown in FIG. 5A as viewed from the position on the subject side on the optical axis. In the focus detection pixels S A and S B , when the diaphragm 502 has the first diaphragm value, the pupil region 523 is incident, and when the diaphragm 502 is open, the light beam transmitted through the inside of the pupil region 524 has an incident angle characteristic 525. Incident light is incident with a sensitivity distribution indicated by 526. Therefore, by obtaining the distribution centroids of the focus detection light fluxes that have passed through the inside of the pupil regions 523 and 524, the centroid distance between the first aperture value and the open aperture can be calculated. Then, the baseline length corresponding to the aperture value can be obtained from the distance between the centers of gravity. By storing the sensitivity distribution information of the focus detection pixel and the information of the imaging optical system in advance, a conversion coefficient for calculating the defocus amount from the image shift amount can be obtained.

図5(a)において、デフォーカス量519をDEF、撮像素子503から射出瞳面501までの距離520をLとする。また、第1の絞り値と開放絞りに対応する基線長(感度分布の重心間隔)をそれぞれG1(重心位置515、516間距離)、G2(重心位置517、518間距離)とする。また、像ずれ量521、522をそれぞれPRED1、PRED2、像ずれ量521、522のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)の関係がある。
DEF=K1×PRED1=K2×PRED2 … (1)
In FIG. 5A, the defocus amount 519 is DEF, and the distance 520 from the image sensor 503 to the exit pupil plane 501 is L. Further, the base line lengths (sensitivity distribution center-of-gravity intervals) corresponding to the first aperture value and the open aperture are G1 (distance between the center of gravity positions 515 and 516) and G2 (distance between the center of gravity positions 517 and 518), respectively. Also, conversion coefficients for converting the image shift amounts 521 and 522 into PRED1 and PRED2 and the image shift amounts 521 and 522 into the defocus amount DEF are K1 and K2, respectively. At this time, there is a relationship of the following formula (1).
DEF = K1 × PRED1 = K2 × PRED2 (1)

また、像ずれ量521(PRED1)、522(PRED2)をデフォーカス量DEFに変換する変換係数K1、K2と、距離520(L)とは、それぞれ以下の式(2)、(3)の関係がある。
K1=L/G1 … (2)
K2=L/G2 … (3)
ここで、G1<G2であるため、K1>K2である。このため、第1の絞り値の場合のほうが開放絞り値の場合に対し、像ずれ量の誤差がデフォーカス量の誤差に与える影響がK1/K2倍大きくなる。
The conversion coefficients K1 and K2 for converting the image shift amounts 521 (PRED1) and 522 (PRED2) into the defocus amount DEF and the distance 520 (L) are respectively expressed by the following expressions (2) and (3). There is.
K1 = L / G1 (2)
K2 = L / G2 (3)
Here, since G1 <G2, K1> K2. For this reason, the influence of the error of the image shift amount on the error of the defocus amount is K1 / K2 times larger than that in the case of the first aperture value being the open aperture value.

図5(c)は、図5(b)における感度分布の断面A−Aを示す断面図である。図5(c)において、左は開放絞り、右は第1の絞り値に絞られている場合の焦点検出画素S530、S531、および、撮像画素532の感度分布を示している。図5(c)の両図において、横軸は光入射角度、縦軸は感度分布をそれぞれ示す。両図を比較すると、開放絞りに対応する基線長G2が第1の絞り値に対応する基線長G1より長く、広範囲の入射角度で感度を有する。同一デフォーカス量に対するA像波形とB像波形の像ずれ量は基線長の長さと比例関係にあるため、基線長が長いほどデフォーカス変化に対する像ずれ量の敏感度が高くなる。また、感度を持つ入射角度幅が大きくなると、デフォーカスが大きい場合のA像波形、B像波形のボケ量や像ケラレが大きくなる。一般的に、A像波形およびB像波形には、広範囲のデフォーカスに対して、像ずれ量の敏感度が高く、ボケ量および像ケラレが小さいことが望まれる。 FIG.5 (c) is sectional drawing which shows the cross section AA of the sensitivity distribution in FIG.5 (b). In FIG. 5C, the left shows the sensitivity distribution of the focus detection pixels S A 530, S B 531 and the imaging pixel 532 when the aperture is closed to the full aperture and the right is set to the first aperture value. 5C, the horizontal axis indicates the light incident angle, and the vertical axis indicates the sensitivity distribution. Comparing the two figures, the baseline length G2 corresponding to the open aperture is longer than the baseline length G1 corresponding to the first aperture value, and the sensitivity is obtained in a wide range of incident angles. Since the image shift amount of the A image waveform and the B image waveform with respect to the same defocus amount is proportional to the length of the base line length, the sensitivity of the image shift amount to the defocus change increases as the base line length increases. Further, when the incident angle width having sensitivity is increased, the blur amount and image vignetting of the A image waveform and the B image waveform when the defocus is large are increased. In general, it is desired that the A image waveform and the B image waveform have a high sensitivity of the image shift amount and a small amount of blur and image vignetting with respect to a wide range of defocus.

図6は、撮像素子107における撮像画素および焦点検出画素の配置例を示す図である。図6において、G、Ga〜Gfは、緑のカラーフィルタを有する緑色画素(G画素)、Rは、赤のカラーフィルタを有する赤色画素(R画素)、Bは、青のカラーフィルタを有する青色画素(B画素)である。図6中のSA、BSは、上述した焦点検出画素S、Sである。以下の説明では、Sを基準画素群、Sを参照画素群と呼ぶことがある。図中、白抜き部分は、焦点検出画素の開口部の偏倚方向(瞳分割方向)を模式的に示している。また、焦点検出画素S,Sが配置されている水平画素ラインをAFラインと呼ぶ。 FIG. 6 is a diagram illustrating an arrangement example of imaging pixels and focus detection pixels in the imaging element 107. In FIG. 6, G and Ga to Gf are green pixels (G pixels) having a green color filter, R is a red pixel (R pixel) having a red color filter, and B is a blue color having a blue color filter. This is a pixel (B pixel). SA and BS in FIG. 6 are the focus detection pixels S A and S B described above. In the following description, S A a reference pixel group, may be referred to as a reference pixel group S B. In the drawing, the white portions schematically show the deviation direction (pupil dividing direction) of the opening of the focus detection pixel. A horizontal pixel line in which the focus detection pixels S A and S B are arranged is referred to as an AF line.

図6(a)に示した例において、焦点検出画素S、Sは、補間による画質劣化が認識され難いB画素の位置に配置されている。また、図6(b)の例では、焦点検出画素S、Sが、RやB画素の2倍多く存在し、補間精度が低下しにくいG画素の位置に配置されている。また、焦点検出精度を考慮して、焦点検出画素S、SをBまたはG画素の位置で、かつ水平方向および垂直方向のそれぞれで4画素ごとに配置した例を示している。なお、本発明において、焦点検出処理及び、焦点検出結果の補正処理に用いる焦点検出画素S、Sの配置は、図6の例に限定されない。 In the example shown in FIG. 6A, the focus detection pixels S A and S B are arranged at the position of the B pixel where image quality deterioration due to interpolation is difficult to be recognized. In the example of FIG. 6B, the focus detection pixels S A and S B are twice as many as the R and B pixels, and are arranged at the G pixel positions where the interpolation accuracy is difficult to decrease. Further, in consideration of focus detection accuracy, an example is shown in which focus detection pixels S A and S B are arranged at positions of B or G pixels and every four pixels in the horizontal and vertical directions. In the present invention, the arrangement of the focus detection pixels S A and S B used for the focus detection process and the correction process of the focus detection result is not limited to the example of FIG.

また、図6(a),(b)において、焦点検出画素の周辺に位置し、瞳分割方向(ここでは水平方向)における位置が異なる撮像画素のうち、焦点検出画素と同じ周期(ピッチ)で存在する同色画素(ここではいずれもG画素)をGa〜Gfとする。また、以下では焦点検出画素S群を第1の画素群、S群を第2の画素群とし、画素Ga〜Gf群を第3〜第8の画素群と呼ぶ。 In FIGS. 6A and 6B, among imaging pixels located around the focus detection pixel and having different positions in the pupil division direction (here, the horizontal direction), at the same cycle (pitch) as the focus detection pixel. Existing pixels of the same color (here, all G pixels) are designated Ga to Gf. Further, in the following the focus detection pixels S A group of the first pixel group, the S B group and second pixel group, referred to as third to pixel groups of 8 pixels Ga~Gf group.

後述するように、
・第3の画素群(Ga)の出力波形と第5の画素群(Gc)の出力波形
・第4の画素群(Gb)の出力波形と第6の画素群(Gd)の出力波形
・第7の画素群(Ge)の出力波形と第8の画素群(Gf)の出力波形
について、それぞれ、前者を基準波形とした像ずれ量(位相差)を求め、第1の画素群(S)の出力波形(A像波形)と第2の画素群(S)の出力波形(B像波形)との像ずれ量の補正に用いる。
As described below,
The output waveform of the third pixel group (Ga) and the output waveform of the fifth pixel group (Gc) The output waveform of the fourth pixel group (Gb) and the output waveform of the sixth pixel group (Gd) the output waveform of the 7 groups of pixels output waveform and pixel groups of the eighth (Ge) (Gf), respectively, calculated image shift amount on the basis waveform former (phase difference), the first pixel group (S a ) Output waveform (A image waveform) and the output waveform (B image waveform) of the second pixel group (S B ).

ここで、図6(a)、(b)の各配置について、焦点検出画素の配置が原因で発生する焦点検出誤差について説明する。図7は、瞳分割方向と直交する白部と黒部とのエッジ(白黒境界部)が、撮像素子のAFライン1上に光学像として結像している様子を模式的に示している。図7では図6(a)の配置を示しているが、図6(b)の配置の場合も同様である。図7で示している焦点検出画素は、焦点検出領域内の焦点検出画素群の一部である。   Here, with respect to each arrangement of FIGS. 6A and 6B, a focus detection error caused by the arrangement of the focus detection pixels will be described. FIG. 7 schematically shows a state in which an edge (monochrome boundary) between a white portion and a black portion orthogonal to the pupil division direction is formed as an optical image on the AF line 1 of the image sensor. 7 shows the arrangement of FIG. 6 (a), the same applies to the arrangement of FIG. 6 (b). The focus detection pixels shown in FIG. 7 are a part of the focus detection pixel group in the focus detection region.

焦点検出画素SとSの一方について見ると、8画素ごとに配置されている。そのため、被写体の白黒境界部が瞳分割方向(図7の水平方向)に移動した場合、それを検出できない場合がある。 When one of the focus detection pixels S A and S B is viewed, it is arranged every eight pixels. Therefore, when the monochrome boundary of the subject moves in the pupil division direction (horizontal direction in FIG. 7), it may not be detected.

領域A1の範囲に被写体の白黒境界部がある場合、白黒境界部の水平方向の移動に伴い、近傍に存在する焦点検出画素Sの出力信号に変化が現れるため、領域A1の範囲での白黒境界部の水平移動は検出可能である。一方で、領域A2には焦点検出画素Sが存在しないため、領域A2での白黒境界部の水平移動を焦点検出画素Sの出力から検出することは不可能である。なお、領域A1が、焦点検出画素1画素の幅より若干長いのは、光学ローパスフィルタ106の効果により、白黒境界部が幅を有するためである。 If there is a black and white boundaries of the subject in a range of area A1, because with the movement of the horizontal black and white boundaries, a change in the output signal of the focus detection pixels S A existing near appear black and white in a range of area A1 The horizontal movement of the boundary can be detected. On the other hand, in the region A2 due to the absence of the focus detection pixels S A, it is impossible to detect the horizontal movement of the black and white boundaries in the region A2 from the output of the focus detection pixels S A. The reason why the area A1 is slightly longer than the width of one focus detection pixel is that the black-and-white boundary has a width due to the effect of the optical low-pass filter 106.

同様の理由で、焦点検出画素Sの出力から、領域B1における白黒境界部の水平移動は検出できるが、領域B2における白黒境界部の水平移動は検出できない。このように、焦点検出画素SとSは、それぞれ、白黒境界部の移動を検出できる領域A1、B1が異なるため、白黒境界部の位置によって、焦点検出誤差が生じる。 For the same reason, from the output of the focus detection pixels S B, it can detect the horizontal movement of the white border portion in the region B1, undetectable horizontal movement of the white border portion in the region B2. As described above, the focus detection pixels S A and S B have different areas A1 and B1 in which the movement of the black-and-white boundary portion can be detected. Therefore, a focus detection error occurs depending on the position of the black-and-white boundary portion.

図8を用いて、白黒境界部の位置による焦点検出誤差について説明する。図8は、合焦時における、あるAFラインにおける焦点検出画素SおよびSの出力信号の一例を示した図である。縦軸は、焦点検出画素から得られる出力信号のレベル(値)を、横軸は画素位置を示し、AFラインに存在する撮像画素の出力信号は省略している。また、焦点検出画素SとSはそれぞれ8画素ごとに、4画素ずれた位置に配置されている。そのため、焦点検出画素S(黒丸)と焦点検出画素S(白丸)の出力を、横軸方向に4画素間隔で交互に示している。 The focus detection error due to the position of the black and white boundary will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of output signals of the focus detection pixels S A and S B in a certain AF line at the time of focusing. The vertical axis indicates the level (value) of the output signal obtained from the focus detection pixel, the horizontal axis indicates the pixel position, and the output signal of the imaging pixel existing in the AF line is omitted. In addition, the focus detection pixels S A and S B are arranged at positions shifted by 4 pixels for every 8 pixels. Therefore, the outputs of the focus detection pixels S A (black circles) and the focus detection pixels S B (white circles) are alternately shown at intervals of 4 pixels in the horizontal axis direction.

合焦時の出力信号は、焦点検出画素Sの出力から構成されるA像波形とSの出力から構成されるB像波形とのずれ(位相差)がないのが理想的であり、像ずれ量は焦点検出誤差である。
図8(a)は、図7の領域A1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(b)は、領域A1と領域B1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。
図8(c)は、領域B1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(d)は、領域B1と領域A1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SとSの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。また、焦点検出画素SとSの出力信号に生じるずれの方向が、図8(b)と反対方向になっている。そのため、焦点検出誤差の符号が、図8(b)の場合の反対となる。
Output signal when focusing is ideally no deviation (phase difference) between the B image waveform and an output of the A image waveform and S B and an output of the focus detection pixels S A, The image shift amount is a focus detection error.
FIG. 8A shows an output signal when a black-and-white boundary exists near the center of the area A1 in FIG. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8B shows an output signal when a black and white boundary exists between the area A1 and the area B1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs.
FIG. 8C shows an output signal when a black-and-white boundary exists near the center of the region B1. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8D shows an output signal when a black-and-white boundary exists between the area B1 and the area A1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs. In addition, the direction of deviation generated in the output signals of the focus detection pixels S A and S B is opposite to that in FIG. Therefore, the sign of the focus detection error is opposite to that in the case of FIG.

図9は、図8で説明した白黒境界部の位置と焦点検出誤差の大きさとの関係を示している。横軸は白黒境界部の位置を、縦軸は発生する焦点検出誤差の量を示している。図8で説明した通り、焦点検出誤差の発生量は、同種の焦点検出画素のピッチ(8画素)を周期として変化する。   FIG. 9 shows the relationship between the position of the black-and-white boundary described in FIG. 8 and the magnitude of the focus detection error. The horizontal axis indicates the position of the black and white border, and the vertical axis indicates the amount of focus detection error that occurs. As described with reference to FIG. 8, the generation amount of the focus detection error changes with the pitch (8 pixels) of the same kind of focus detection pixels as a cycle.

図9の、n画素目に白黒境界部が存在する場合が、図8(a)の状況と対応している。同様に、n+1画素目からn+3画素目に白黒境界部が存在する場合が図8(b)の状況に、n+4画素目に白黒境界部が存在する場合が図8(c)の状況に、n+5画素目からn+7画素目に白黒境界部が存在する場合が、図8(d)の状況に、それぞれ対応する。   The case where a black and white boundary portion exists in the nth pixel in FIG. 9 corresponds to the situation in FIG. Similarly, the case where a black and white boundary exists from the (n + 1) th pixel to the (n + 3) th pixel is shown in FIG. 8B, and the case where a black / white boundary exists at the (n + 4) th pixel is shown in FIG. The case where a black and white boundary exists from the pixel to the (n + 7) th pixel corresponds to the situation in FIG.

本実施形態では、このような焦点検出誤差の量を、焦点検出画素の周囲の撮像画素の出力信号を用いて判定し、焦点検出結果を補正する。具体的には、上述した、AFラインおよび隣接ラインに含まれるG画素の出力波形の像ずれ量から、焦点検出画素の出力波形の像ずれ量に含まれる誤差を推定し、補正値とする。   In this embodiment, the amount of such focus detection error is determined using the output signals of the imaging pixels around the focus detection pixel, and the focus detection result is corrected. Specifically, the error included in the image shift amount of the output waveform of the focus detection pixel is estimated from the image shift amount of the output waveform of the G pixel included in the AF line and the adjacent line, and is used as a correction value.

図9において、n画素目と(n+8)画素目が焦点検出画素S、(n+4)画素目が焦点検出画素Sである。そして、白丸(○)は、焦点検出画素Sと水平方向の座標が1画素左に存在する第3の画素群(Ga)の出力波形に対する、焦点検出画素Sと水平方向の座標が1画素左に存在する第5の画素群(Gc)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第2の像ずれ量とする。2つの画素群の出力波形間の像ずれ量は、出力波形の差が最も小さくなるずれ量として算出することができる。像ずれ量の具体的な算出方法については後述する。 In FIG. 9, the nth pixel and the (n + 8) th pixel are focus detection pixels S A , and the (n + 4) th pixel is a focus detection pixel S B. The open circles (○) is for the output waveform of the third pixel group focus detection pixels S A and horizontal coordinate is present in one pixel left (Ga), the focus detection pixels S B and horizontal coordinates 1 A position where an image shift amount between output waveforms of the fifth pixel group (Gc) existing on the left side of the pixel is obtained is shown. This image shift amount is set as a second image shift amount. The image shift amount between the output waveforms of the two pixel groups can be calculated as a shift amount that minimizes the difference between the output waveforms. A specific method for calculating the image shift amount will be described later.

また、三角(△)は、焦点検出画素Sと水平方向の座標が1画素右に存在する第4の画素群(Gb)の出力波形に対する、焦点検出画素Sと水平方向の座標が1画素右に存在する第6の画素群(Gd)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第3の像ずれ量とする。 Further, the triangular (△) is for the output waveform of the fourth pixel groups focus detection pixels S A and horizontal coordinate is present in one pixel right (Gb), the focus detection pixels S B and horizontal coordinates 1 A position where an image shift amount between output waveforms of the sixth pixel group (Gd) existing on the right side of the pixel is obtained is shown. This image shift amount is taken as a third image shift amount.

また、四角(□)は、焦点検出画素Sと水平方向の座標が2画素右(左)に存在する第7の画素群(Ge)の出力波形に対する、焦点検出画素Sと水平方向の座標が2画素右(左)に存在する第8の画素群(Gf)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第4の像ずれ量とする。 Further, a square (□) is for the output waveform of the focus detection pixels S A and horizontal coordinate 2 pixels right seventh pixel group existing in the (left) (Ge), the focus detection pixels S B and the horizontal direction The position at which the image shift amount between the output waveforms of the eighth pixel group (Gf) whose coordinates are on the right (left) of two pixels is obtained. This image shift amount is set as a fourth image shift amount.

本実施形態では焦点検出画素S、Sの周辺に位置する撮像画素のうち、焦点検出画素と同様の周期で配置された撮像画素群の出力波形間の像ずれ量を、AFラインおよび隣接ラインにおいて複数算出する。算出した複数の像ずれ量(ここでは第2〜第4の像ずれ量)と、基準となる画素位置とから、焦点検出画素の出力波形間の像ずれ量に含まれる焦点検出誤差を、例えば補間計算により推定する。 In the present embodiment, among image pickup pixels located around the focus detection pixels S A and S B , an image shift amount between output waveforms of an image pickup pixel group arranged at the same cycle as the focus detection pixels is used as an AF line and an adjacent one. Multiple calculations are performed on the line. The focus detection error included in the image shift amount between the output waveforms of the focus detection pixels is calculated from the calculated plurality of image shift amounts (here, the second to fourth image shift amounts) and the reference pixel position, for example, Estimated by interpolation calculation.

例えば、焦点検出画素の位置を挟んだ位置における第2の像ずれ量と第3の像ずれ量と、画素位置(焦点検出画素の1画素左および右)とを用いて補間計算を行うことで、焦点検出画素S、Sがある位置の第1の像ずれ量(黒丸(●))を求める。この像ずれ量は、A像波形とB像波形の像ずれ量に含まれる焦点検出誤差の推定値であり、補正値に相当する。本実施形態では、第2の像ずれ量と第3の像ずれ量を1次補間して補正値を算出しているが、第4の像ずれ量をさらに用いた高次補間など、第2〜第4の像ずれ量の任意の2つ以上を用いた補間により補正値を算出することができる。このようにして、焦点検出画素の周辺に位置し、瞳分割方向における位置が異なる、焦点検出画素と同一周期の撮像画素群の出力波形の像ずれ量から得られる補正値を、第1の補正値と呼ぶ。 For example, by performing the interpolation calculation using the second image shift amount and the third image shift amount at the position sandwiching the position of the focus detection pixel, and the pixel position (one pixel left and right of the focus detection pixel). The first image shift amount (black circle (●)) at the position where the focus detection pixels S A and S B are located is obtained. This image shift amount is an estimated value of a focus detection error included in the image shift amounts of the A image waveform and the B image waveform, and corresponds to a correction value. In this embodiment, the correction value is calculated by first-order interpolation of the second image shift amount and the third image shift amount. However, the second value such as higher-order interpolation further using the fourth image shift amount is used. The correction value can be calculated by interpolation using any two or more of the fourth image shift amounts. Thus, the correction value obtained from the image shift amount of the output waveform of the imaging pixel group having the same period as the focus detection pixel, which is located around the focus detection pixel and has a different position in the pupil division direction, is the first correction. Called value.

第1の補正値を用いても焦点検出精度を向上させることができるが、本実施形態ではさらに、第1の補正値の精度をより向上させた第2の補正値を求め、第2の補正値を用いて焦点検出誤差を補正することで、一層の精度向上を実現する。   Although the focus detection accuracy can be improved by using the first correction value, the second correction value in which the accuracy of the first correction value is further improved is obtained in the present embodiment, and the second correction is performed. The accuracy is further improved by correcting the focus detection error using the value.

第2の補正値の算出方法について、図10をさらに用いて説明する。
図10は、合焦時における白黒境界部位置[画素](横軸)と焦点検出誤差[画素](縦軸)との関係を示す。本実施形態では、同一種類の焦点検出画素は瞳分割方向に8画素ごとに設けられているため、焦点検出誤差および補正値は8画素を1周期として変化する。図10において点線は、第1の画素群(S)の出力波形であるA像波形と、第2の画素群(S)の出力波形であるB像波形の像ずれ量(第1の像ずれ量)、実線は上述した第1の補正値である。上述の通り、第1の像ずれ量ならびに第1の補正値はいずれも焦点検出誤差に相当する。
A method of calculating the second correction value will be described with further reference to FIG.
FIG. 10 shows the relationship between the black / white boundary position [pixel] (horizontal axis) and the focus detection error [pixel] (vertical axis) at the time of focusing. In the present embodiment, since the same type of focus detection pixels are provided for every 8 pixels in the pupil division direction, the focus detection error and the correction value change with 8 pixels as one cycle. In FIG. 10, the dotted line indicates the image shift amount (first image) between the A image waveform that is the output waveform of the first pixel group (S A ) and the B image waveform that is the output waveform of the second pixel group (S B ). The image shift amount) and the solid line are the first correction values described above. As described above, both the first image shift amount and the first correction value correspond to the focus detection error.

第1の像ずれ量と第1の補正値の1周期の変化をみると、最大値は等しいが、変化の位相が異なっている。これは、焦点検出画素と、第1の補正値の算出に用いた撮像画素とでは、瞳分割方向に直交するエッジとなる白黒境界部を捕捉できる画素位置が異なるためである。本実施形態では第1の像ずれ量から第1の補正値を減算することで焦点検出誤差を低減させるものであるが、第1の像ずれ量と第1の補正値とは位相が異なる箇所が存在するため、焦点検出誤差の低減効果が減少する部分が存在する。   Looking at the change of the first image shift amount and the first correction value in one cycle, the maximum values are the same, but the phase of the change is different. This is because the focus detection pixel and the imaging pixel used for calculating the first correction value have different pixel positions at which a black and white boundary portion that is an edge orthogonal to the pupil division direction can be captured. In the present embodiment, the focus correction error is reduced by subtracting the first correction value from the first image shift amount, but the first image shift amount and the first correction value have different phases. Therefore, there is a portion where the effect of reducing the focus detection error is reduced.

そこで、本実施形態では、第1の補正値に係数を適用して第1の像ずれ量との位相の差を低減した第2の補正値を算出し、第2の補正値を第1の像ずれ量から減算して焦点検出誤差の低減効果の減少を抑制する。図10において、第2の補正値は、第1の像ずれ量と一致しているため、第1の補正値を用いる場合よりも焦点検出誤差の低減効果が高い。   Therefore, in the present embodiment, a coefficient is applied to the first correction value to calculate a second correction value in which the phase difference from the first image shift amount is reduced, and the second correction value is set to the first correction value. By subtracting from the image shift amount, the reduction in the effect of reducing the focus detection error is suppressed. In FIG. 10, since the second correction value matches the first image shift amount, the effect of reducing the focus detection error is higher than when the first correction value is used.

第1の補正値から第2の補正値を得るための係数は、焦点検出誤差の変化割合から求めることができる。第1の像ずれ量は、1画素の焦点検出画素で検出されるのに対し、第1の補正値は、焦点検出画素と水平方向で1画素ずつ位置がずれた2つの撮像画素(左右/右上および左上/右下および左下の撮像画素)で検出される。従って、焦点検出誤差の変化領域においては、第1の像ずれ量が第1の補正値の2倍の傾きで変化する。そこで、本実施形態では係数2.0を第1の補正値に適用することで、第1の像ずれ量との差が小さい第2の補正値を求め、焦点検出誤差の低減効果を高めることができる。   The coefficient for obtaining the second correction value from the first correction value can be obtained from the change rate of the focus detection error. The first image shift amount is detected by one focus detection pixel, whereas the first correction value is obtained by two imaging pixels (left / right / left / right) whose positions are shifted by one pixel in the horizontal direction from the focus detection pixel. Upper right and upper left / lower right and lower left imaging pixels). Accordingly, in the focus detection error changing region, the first image shift amount changes with a gradient twice the first correction value. Therefore, in the present embodiment, by applying the coefficient 2.0 to the first correction value, a second correction value having a small difference from the first image shift amount is obtained, and the effect of reducing the focus detection error is enhanced. Can do.

なお、第1の補正値に係数を適用した結果が焦点検出誤差の最大値を超える場合は最大値を、最小値を下回る場合は最小値を第2の補正値とする(すなわち、第2の補正値を焦点検出誤差の最大値および最小値でクリッピングする)。焦点検出誤差の最大絶対値は、焦点検出画素のピッチに応じて定まり、具体的にはピッチの約半分となる。本実施形態では焦点検出画素のピッチが8画素であるため、最大値は+4画素、最小値は−4画素であり、第2の補正値は±4画素の範囲にクリッピングされる。   When the result of applying the coefficient to the first correction value exceeds the maximum value of the focus detection error, the maximum value is set as the second correction value. Clip the correction value with the maximum and minimum focus detection errors). The maximum absolute value of the focus detection error is determined according to the pitch of the focus detection pixels, and is specifically about half of the pitch. In this embodiment, since the focus detection pixel pitch is 8 pixels, the maximum value is +4 pixels, the minimum value is −4 pixels, and the second correction value is clipped to a range of ± 4 pixels.

ここでは、説明及び理解を容易にするため、光学ローパスフィルタの影響について考慮しない場合の係数の決定方法の例を述べた。しかし、焦点検出誤差の変化部分の傾きが光学ローパスフィルタの影響で減少する場合には、その減少を考慮した係数とすることができる。上述の例では、係数2.0の代わりに、例えば1.3〜1.5程度の係数とすることができる。光学ローパスフィルタの影響を考慮する場合、考慮しない場合の係数に対してどの程度低減した係数にするかは、使用する光学ローパスフィルタの特性を考慮して決定することができる。   Here, for ease of explanation and understanding, an example of a coefficient determination method when the influence of the optical low-pass filter is not considered has been described. However, when the inclination of the changing portion of the focus detection error decreases due to the influence of the optical low-pass filter, the coefficient can be set in consideration of the decrease. In the above example, a coefficient of about 1.3 to 1.5 can be used instead of the coefficient 2.0, for example. When the influence of the optical low-pass filter is taken into consideration, the degree of reduction of the coefficient with respect to the coefficient not taken into consideration can be determined in consideration of the characteristics of the optical low-pass filter to be used.

続いて、図11から図13を参照して、本実施形態におけるカメラ100の動作について説明する。図11は、カメラ100の電源投入時から撮影までの動作を示すフローチャートである。
S901において、撮影者がカメラ100の操作スイッチ群132に含まれる電源スイッチ(メインスイッチ)をオンにすると、電源がカメラ100の各部に供給されるとともに、CPU121は起動動作を開始する。
Subsequently, the operation of the camera 100 in the present embodiment will be described with reference to FIGS. 11 to 13. FIG. 11 is a flowchart showing the operation from the time when the camera 100 is turned on until photographing.
In S <b> 901, when the photographer turns on a power switch (main switch) included in the operation switch group 132 of the camera 100, power is supplied to each part of the camera 100 and the CPU 121 starts an activation operation.

S902においてCPU121は、起動動作の一部として、カメラ100の各アクチュエータや撮像素子107の動作確認を行う。またCPU121は、メモリ内容や実行プログラムの初期化を行うとともに、撮影スタンバイ動作を開始する。   In step S <b> 902, the CPU 121 confirms the operation of each actuator of the camera 100 and the image sensor 107 as part of the activation operation. In addition, the CPU 121 initializes the memory contents and the execution program and starts a shooting standby operation.

S903においてCPU121は、ライブビュー表示に用いる動画像の撮影動作を開始し、撮影された動画像の各フレームに対して公知の現像処理などを適用し、S904で表示器131に順次表示する。なお、動画像の撮影中、CPU121はTV−AF方式などを用いて撮影光学系を例えば画面の中央部に存在する被写体に継続して合焦させる。撮影者は、表示器131に表示されるライブビュー画像を見ながら撮影時の構図を決定することができる。   In step S903, the CPU 121 starts shooting a moving image used for live view display, applies a known development process to each frame of the shot moving image, and sequentially displays the image on the display 131 in step S904. Note that during shooting of a moving image, the CPU 121 continues to focus the shooting optical system on, for example, a subject existing in the center of the screen using the TV-AF method or the like. The photographer can determine the composition at the time of shooting while viewing the live view image displayed on the display 131.

例えば操作スイッチ群132に含まれるレリーズスイッチが半押しされるなどの撮影準備動作の開始指示が与えられると、S905においてCPU121は、焦点検出領域を決定する。焦点検出領域の決定は例えば顔検出結果や撮影者による位置の指定などに基づいて行うことができる。   For example, when an instruction to start a shooting preparation operation such as half-pressing a release switch included in the operation switch group 132 is given, the CPU 121 determines a focus detection area in S905. The focus detection area can be determined based on, for example, a face detection result or a position designation by a photographer.

焦点検出領域を決定するとS1001において、デフォーカス量算出手段としてのCPU121は、焦点検出サブルーチンを実行する。焦点検出サブルーチンの詳細については後述する。   When the focus detection area is determined, in S1001, the CPU 121 as the defocus amount calculation means executes a focus detection subroutine. Details of the focus detection subroutine will be described later.

S907においてCPU121は、焦点検出サブルーチンでの検出デフォーカス量が許容値以下である否か、すなわち合焦状態であるか否かを判定する。検出デフォーカス量が許容値よりも大きい場合、CPU121は非合焦状態と判定し、S908において、フォーカス駆動回路126およびフォーカスアクチュエータ114を通じて第3レンズ群105(フォーカスレンズ)を検出デフォーカス量に従って駆動する。その後、CPU121は、S907で合焦状態であると判定されるまでS1001およびS907を繰り返し実行する。また、CPU121は、例えばライブビュー表示用に撮影された画像に基づいて露出条件を決定する。   In step S907, the CPU 121 determines whether or not the detected defocus amount in the focus detection subroutine is equal to or smaller than an allowable value, that is, whether or not the in-focus state. If the detected defocus amount is larger than the allowable value, the CPU 121 determines that the in-focus state is not achieved, and drives the third lens group 105 (focus lens) according to the detected defocus amount through the focus drive circuit 126 and the focus actuator 114 in S908. To do. Thereafter, the CPU 121 repeatedly executes S1001 and S907 until it is determined in S907 that the focus state is achieved. Further, the CPU 121 determines an exposure condition based on an image photographed for live view display, for example.

一方、S907にて合焦状態と判定されると、S909においてCPU121は、表示器131に合焦表示を行う。続いてS910においてCPU121は、例えばレリーズスイッチの全押しでオンになる撮影開始スイッチがオンか否かを判定する。撮影開始スイッチがオンでなければ、CPU121はS910を繰り返し、撮影待機状態を維持する。なお、撮影待機状態でレリーズボタンの半押しが解除されるなど、撮影準備動作の解除指示が与えられた場合には撮影スタンバイ状態に戻ってよい。   On the other hand, if it is determined that the in-focus state is obtained in S907, the CPU 121 performs in-focus display on the display 131 in S909. In step S910, the CPU 121 determines whether a shooting start switch that is turned on when the release switch is fully pressed is turned on. If the shooting start switch is not on, the CPU 121 repeats S910 and maintains the shooting standby state. Note that when an instruction to cancel the shooting preparation operation is given, such as when the release button is half-pressed in the shooting standby state, the shooting standby state may be returned.

一方、S910にて撮影開始スイッチがオン操作されると、S1101に移行し、CPU121は撮影サブルーチンを実行し、処理を終了する。ここで、S1101で実行される撮影サブルーチンについて、図13に示すフローチャートを用いて説明する。   On the other hand, when the shooting start switch is turned on in S910, the process proceeds to S1101, and the CPU 121 executes a shooting subroutine and ends the process. Here, the photographing subroutine executed in S1101 will be described with reference to the flowchart shown in FIG.

撮影開始スイッチがオンになると、S1102においてCPU121は、決定した露出条件に基づいて、絞りシャッタ駆動回路128および絞りシャッタアクチュエータ112を通じて絞り機能を有するシャッタ102を駆動制御し、撮像素子107を露光する。   When the photographing start switch is turned on, in S1102, the CPU 121 drives and controls the shutter 102 having an aperture function through the aperture shutter drive circuit 128 and the aperture shutter actuator 112 based on the determined exposure condition, and exposes the image sensor 107.

S1103においてCPU121は、撮像素子駆動回路124を通じて、撮像素子107から画像を読み出す。なお、ここで読み出しされる画像は、ライブビュー表示に用いるための画像よりも画素数が多いのが一般的であるが、設定に依存する。   In step S <b> 1103, the CPU 121 reads an image from the image sensor 107 through the image sensor drive circuit 124. The image read out here generally has a larger number of pixels than the image used for live view display, but it depends on the setting.

S1104においてCPU121は、読み出された画像信号の欠損画素補間を行う。なお、製造時や経時劣化で生じた撮像画素の欠陥画素の位置における画像信号の補間に加え、焦点検出画素の位置における画像信号の補間もここで行う。補間方法に特に制限は無く、周辺画素値を用いた公知の方法を用いることができる。   In step S1104, the CPU 121 performs defective pixel interpolation of the read image signal. Note that in addition to the interpolation of the image signal at the position of the defective pixel of the image pickup pixel that has occurred during manufacturing or due to deterioration over time, the interpolation of the image signal at the position of the focus detection pixel is also performed here. There is no particular limitation on the interpolation method, and a known method using peripheral pixel values can be used.

S1105においてCPU121は、欠陥画素補間後の画像信号に対し、画像処理回路125を用いてγ補正やエッジ強調、符号化などの画像処理を適用する。そしてS1106においてCPU121は、記録媒体133に撮影画像を記録する。またS1107において、CPU121は表示器131に撮影済み画像を表示する。そしてS1108において、図11のメインフローにリターンし、S912において、一連の撮影動作が終了する。なお、撮影サブルーチンの終了後、処理をS904に戻して撮影スタンバイ状態の動作を継続してもよい。   In step S <b> 1105, the CPU 121 applies image processing such as γ correction, edge enhancement, and encoding to the image signal after defective pixel interpolation using the image processing circuit 125. In step S <b> 1106, the CPU 121 records the captured image on the recording medium 133. In step S <b> 1107, the CPU 121 displays a captured image on the display 131. Then, in S1108, the process returns to the main flow of FIG. 11, and in S912, a series of photographing operations is completed. Note that after the shooting subroutine is completed, the process may return to S904 to continue the operation in the shooting standby state.

次に、図11のS1001で、デフォーカス量算出手段としてのCPU121が実施する焦点検出サブルーチンについて、図12に示すフローチャートを用いて説明する。
まずS1002において、CPU121は、S905で決定した焦点検出領域に含まれる1つのAFラインについての焦点検出に必要な範囲の画素信号を、撮像素子駆動回路124を通じて読み出す。ここで読み出す画素信号には、焦点検出画素群(第1〜第2の画素群S、S)および、上述した第3〜第8の画素群Ga〜Gfが含まれる。なお、焦点検出画素の位置は予め記憶されている。
Next, a focus detection subroutine executed by the CPU 121 as the defocus amount calculation means in S1001 of FIG. 11 will be described using the flowchart shown in FIG.
First, in step S <b> 1002, the CPU 121 reads out a pixel signal in a range necessary for focus detection for one AF line included in the focus detection area determined in step S <b> 905 through the image sensor driving circuit 124. The pixel signal read out here includes the focus detection pixel group (first to second pixel groups S A and S B ) and the above-described third to eighth pixel groups Ga to Gf. The position of the focus detection pixel is stored in advance.

続いてS1003においてCPU121は、第1の画素群SからA像波形を、第2の画素群SからB像波形を生成する。そして、CPU121は、一方(ここではA像波形とする)に対して他方を相対的に画素単位でずらしながら両者の相関量を表す相関評価値を算出する。
具体的には、A像波形を構成するサンプルをa1〜an、B像波形を構成するサンプルをb1〜bn(nはデータ数)とすると、CPU121は以下の式(4)に従って相関量Corr(l)を算出する。

Figure 2016045322
式(4)において、lは像ずらし量(整数)である。 Subsequently, in S1003, the CPU 121 generates an A image waveform from the first pixel group S A and a B image waveform from the second pixel group S B. Then, the CPU 121 calculates a correlation evaluation value representing the correlation amount between the two (here, the A image waveform) while relatively shifting the other in pixel units.
Specifically, if the samples constituting the A image waveform are a1 to an and the samples constituting the B image waveform are b1 to bn (n is the number of data), the CPU 121 calculates the correlation amount Corr ( l) is calculated.
Figure 2016045322
In Expression (4), l is an image shift amount (integer).

CPU121はさらに、式(4)で算出される相関量Corr(l)は、A像波形とB像波形との相関が最も高い場合に極小となる。CPU121は相関量Corr(l)が極小となるずらし量m(整数)と、mの近傍のずらし量で得られた相関量Corr(l)を用いて、3点内挿の手法を用いて、相関量Corr(l)を最小とするずらし量dを画素未満の単位で求める。ずらし量dはA像波形とB像波形の像ずれ量(第1の像ずれ量)である。   Further, the CPU 121 minimizes the correlation amount Corr (l) calculated by the equation (4) when the correlation between the A image waveform and the B image waveform is the highest. The CPU 121 uses a shift amount m (integer) that minimizes the correlation amount Corr (l) and a correlation amount Corr (l) obtained by a shift amount near m, using a three-point interpolation method, A shift amount d that minimizes the correlation amount Corr (l) is obtained in units of less than pixels. The shift amount d is an image shift amount (first image shift amount) between the A image waveform and the B image waveform.

S1004においてCPU121は、S1003で求めた像ずれ量(ずらし量d)の信頼性を評価する。デフォーカス量が大きい場合、A像波形とB像波形の非対称性が大きくなるため、相関量Corr(d)は大きくなる。逆に、デフォーカス量が小さいほど、相関量Corr(d)は低くなる。従って、像ずれ量に対応する相関量Corr(d)が第1の閾値以下であれば信頼性は高いと判定することができる。   In S1004, the CPU 121 evaluates the reliability of the image shift amount (shift amount d) obtained in S1003. When the defocus amount is large, the asymmetry between the A image waveform and the B image waveform increases, and the correlation amount Corr (d) increases. Conversely, the smaller the defocus amount, the lower the correlation amount Corr (d). Therefore, if the correlation amount Corr (d) corresponding to the image shift amount is equal to or less than the first threshold value, it can be determined that the reliability is high.

次にS1005でCPU121は、上述した第2〜第4の像ずれ量を算出する。すなわち、
・第3の画素群(Ga)の出力波形と第5の画素群(Gc)の出力波形
・第4の画素群(Gb)の出力波形と第6の画素群(Gd)の出力波形
・第7の画素群(Ge)の出力波形と第8の画素群(Gf)の出力波形
の各組み合わせについて、前者をS1004における第1の画素群S、後者をS1003における第2の画素群Sとして、第2〜第4の像ずれ量を算出する。そしてS1006においてCPU121は、第2〜第4の像ずれ量の信頼度を、S1004と同様にして判定する。
In step S1005, the CPU 121 calculates the second to fourth image shift amounts described above. That is,
The output waveform of the third pixel group (Ga) and the output waveform of the fifth pixel group (Gc) The output waveform of the fourth pixel group (Gb) and the output waveform of the sixth pixel group (Gd) For each combination of the output waveform of the seventh pixel group (Ge) and the output waveform of the eighth pixel group (Gf), the former is the first pixel group S A in S1004 and the latter is the second pixel group S B in S1003. As a result, the second to fourth image shift amounts are calculated. In step S1006, the CPU 121 determines the reliability of the second to fourth image shift amounts in the same manner as in step S1004.

S1007において第1の算出手段としてのCPU121は、第2〜第4の像ずれ量の任意の2つ以上を用いて、第1の像ずれ量に対する補正値(第1の補正値)を算出する。なお、この算出に用いる像ずれ量として、3つの像ずれ量のうち信頼度の高い順に2つを選択したり、信頼度のもっとも低いものを除外するなど、S1006で算出した信頼度を考慮することもできる。上述の通り、像ずれ量の算出に用いられた画素群の位置と、焦点検出画素群との位置との差(距離)を考慮して、焦点検出画素群の位置における推定像ずれ量を第1の補正値として求めればよい。   In S1007, the CPU 121 as the first calculation unit calculates a correction value (first correction value) for the first image shift amount using any two or more of the second to fourth image shift amounts. . Note that the reliability calculated in S1006 is taken into consideration, such as selecting two of the three image shift amounts in descending order of reliability as the image shift amount used for this calculation, or excluding the one with the lowest reliability. You can also. As described above, the estimated image shift amount at the position of the focus detection pixel group is calculated in consideration of the difference (distance) between the position of the pixel group used for calculating the image shift amount and the position of the focus detection pixel group. What is necessary is just to obtain | require as 1 correction value.

次に、S1008で第3の算出手段としてのCPU121は、第1の補正値に係数を乗じて第2の補正値を算出する。この際、CPU121は第2の補正値の絶対値を焦点検出画素のピッチ(8画素)の半分(4画素)でクリッピングする。そして、S1009でCPU121は、焦点検出結果である第1の像ずれ量(A像波形とB像波形の像ずれ量)を、第2の補正値で補正する。   In step S <b> 1008, the CPU 121 serving as the third calculation unit multiplies the first correction value by a coefficient to calculate a second correction value. At this time, the CPU 121 clips the absolute value of the second correction value at half (4 pixels) of the focus detection pixel pitch (8 pixels). In step S <b> 1009, the CPU 121 corrects the first image shift amount (image shift amount between the A image waveform and the B image waveform), which is the focus detection result, with the second correction value.

S1010でCPU121は、S1009で得られた補正後の像ずれ量に、所定のデフォーカス換算係数を乗ずることにより、デフォーカス量に変換する。上述の通り、デフォーカス変換係数は、絞り値に対応する基線長と、焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、撮影時の絞り値に応じて求めることができる。   In step S1010, the CPU 121 converts the corrected image shift amount obtained in step S1009 by a predetermined defocus conversion coefficient into a defocus amount. As described above, the defocus conversion coefficient is obtained according to the aperture value at the time of shooting by storing in advance the baseline length corresponding to the aperture value, the sensitivity distribution information of the focus detection pixels, and the information of the imaging optical system. be able to.

S1011においてCPU121は、焦点検出領域内の全AFラインに対してデフォーカス量の算出が終了しているか否かを判定し、デフォーカス量が算出されていないAFラインがあれば、残りのAFラインについてS1002以降の処理を繰り返す。   In S1011, the CPU 121 determines whether or not the defocus amount calculation has been completed for all the AF lines in the focus detection area. If there is an AF line for which the defocus amount has not been calculated, the remaining AF lines are determined. The processing from S1002 onward is repeated.

一方、焦点検出領域内の全AFラインに対するデフォーカス量の算出が終了している場合、第2の算出手段としてのCPU121は処理をS1012に進め、最終的なデフォーカス量(検出デフォーカス量)を決定する。例えばCPU121は、第1の像ずれ量の信頼度と、第1の補正値の算出に用いられた像ずれ量(第2〜第4の像ずれ量の2つ以上)の信頼度が、いずれも高いAFラインについて算出されたデフォーカス量を優先的に用いて、検出デフォーカス量を決定する。例えば、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量の平均値としたり、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量に、信頼度の平均値が高いほど大きな重みを与えた加重平均値としたりすることができる。このようにして決定した検出デフォーカス量は、上述したS907以降の処理で用いられる。   On the other hand, when the calculation of the defocus amount for all the AF lines in the focus detection area has been completed, the CPU 121 as the second calculation unit advances the processing to S1012 to determine the final defocus amount (detected defocus amount). To decide. For example, the CPU 121 determines which of the reliability of the first image shift amount and the reliability of the image shift amount (two or more of the second to fourth image shift amounts) used for calculating the first correction value. The detected defocus amount is determined by preferentially using the defocus amount calculated for the higher AF line. For example, the average value of the defocus amounts calculated for the AF lines whose reliability is equal to or greater than the threshold value, or the average value of the reliability is included in the defocus amounts calculated for the AF lines whose reliability is equal to or greater than the threshold value. The higher the value, the higher the weighted average value. The detected defocus amount determined in this way is used in the processing after S907 described above.

以上説明したように、本実施形態においては、焦点検出画素群の出力信号の像ずれ量を、焦点検出画素の周辺に存在する撮像画素群の出力信号の像ずれ量に基づいて得られる補正値で補正し、補正後の像ずれ量に基づいてデフォーカス量を算出する。周辺の撮像画素群は、焦点検出画素と同じ画素ラインか近隣の画素ラインに存在し、焦点検出画素と同じピッチで焦点検出画素の瞳分割方向に配置され、かつ、焦点検出画素と瞳分割方向における位置が異なる。   As described above, in the present embodiment, the image shift amount of the output signal of the focus detection pixel group is obtained based on the image shift amount of the output signal of the imaging pixel group existing around the focus detection pixel. And the defocus amount is calculated based on the corrected image shift amount. The peripheral imaging pixel group exists in the same pixel line as the focus detection pixel or a neighboring pixel line, is arranged in the pupil division direction of the focus detection pixel at the same pitch as the focus detection pixel, and the focus detection pixel and the pupil division direction The position in is different.

このような構成により、焦点検出画素が離間していることで生じる焦点検出誤差を良好に補正することができる。そのため、焦点検出画素を瞳分割方向に連続して配置するなど、密に配置しなくても良好な焦点検出結果を得ることができ、焦点検出領域の画質低下の抑制と、良好な焦点検出精度が両立できる。   With such a configuration, it is possible to satisfactorily correct a focus detection error caused by the focus detection pixels being separated. For this reason, it is possible to obtain a good focus detection result without arranging the focus detection pixels continuously in the pupil division direction, for example, to suppress deterioration in the image quality of the focus detection area, and to improve the focus detection accuracy. Can be compatible.

(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.
As mentioned above, although exemplary embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range prescribed | regulated by a claim.

100…カメラ、102…シャッタ、107…撮像素子、121…CPU DESCRIPTION OF SYMBOLS 100 ... Camera, 102 ... Shutter, 107 ... Image sensor, 121 ... CPU

Claims (11)

撮像画素と、焦点検出画素とを有する撮像素子と、
前記焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、
前記デフォーカス量算出手段が、
前記焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出手段と、
前記焦点検出画素の出力信号の像ずれ量を前記第1の補正値によって補正する補正手段と、
前記補正された像ずれ量に基づいて前記デフォーカス量を算出する第2の算出手段と、
を有することを特徴とする撮像装置。
An imaging device having an imaging pixel and a focus detection pixel;
Defocus amount calculation means for calculating a defocus amount of the imaging optical system based on an output signal of the focus detection pixel,
The defocus amount calculating means
A first correction value for correcting an image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on an output signal of an imaging pixel located around the focus detection pixel. First calculating means for calculating;
Correction means for correcting an image shift amount of an output signal of the focus detection pixel by the first correction value;
Second calculating means for calculating the defocus amount based on the corrected image shift amount;
An imaging device comprising:
前記焦点検出画素が瞳分割方向に予め定められた周期で配置され、
前記複数の像ずれ量の算出に用いられる撮像画素の位置の前記瞳分割方向における周期が、前記予め定められた周期に等しい
ことを特徴とする請求項1に記載の撮像装置。
The focus detection pixels are arranged in a predetermined cycle in the pupil division direction,
The imaging apparatus according to claim 1, wherein a period in the pupil division direction of a position of an imaging pixel used for calculating the plurality of image shift amounts is equal to the predetermined period.
前記複数の像ずれ量の算出に用いられる撮像画素の前記瞳分割方向における位置が、前記焦点検出画素の前記瞳分割方向における位置と異なる
ことを特徴とする請求項2に記載の撮像装置。
The imaging apparatus according to claim 2, wherein a position of the imaging pixel used for calculating the plurality of image shift amounts in the pupil division direction is different from a position of the focus detection pixel in the pupil division direction.
前記複数の像ずれ量が、前記瞳分割方向において前記焦点検出画素を挟んで位置する撮像画素から得られたものであることを特徴とする請求項2または3に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the plurality of image shift amounts are obtained from imaging pixels located with the focus detection pixel in between in the pupil division direction. 前記デフォーカス量算出手段が、前記第1の補正値に係数を適用して第2の補正値を算出する第3の算出手段をさらに有し、
前記補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記第2の補正値によって補正し、
前記係数が、前記瞳分割方向と直交するエッジの前記瞳分割方向における位置の変化に対する、前記第1の補正値の変化と前記焦点検出画素の出力信号の像ずれ量の変化との位相差を減少させる係数である
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。
The defocus amount calculating means further includes third calculating means for calculating a second correction value by applying a coefficient to the first correction value;
The correction means corrects an image shift amount of an output signal of the focus detection pixel by the second correction value;
The coefficient is a phase difference between a change in the first correction value and a change in the image shift amount of the output signal of the focus detection pixel with respect to a change in the position in the pupil division direction of an edge orthogonal to the pupil division direction. The imaging device according to claim 2, wherein the imaging device is a coefficient to be reduced.
前記第3の算出手段は、前記第2の補正値を、前記予め定められた周期に基づいて定まる最大値でクリッピングすることを特徴とする請求項5に記載の撮像装置。   The imaging apparatus according to claim 5, wherein the third calculation unit clips the second correction value with a maximum value determined based on the predetermined period. 前記複数の像ずれ量の算出に用いられる撮像画素が、同色画素であることを特徴とする請求項1から6のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the imaging pixels used for calculating the plurality of image shift amounts are the same color pixels. 前記撮像素子がベイヤー配列のカラーフィルタを有し、前記複数の像ずれ量の算出に用いられる撮像画素が緑色の画素であることを特徴とする請求項7に記載の撮像装置。   The image pickup apparatus according to claim 7, wherein the image pickup element includes a Bayer array color filter, and the plurality of image pickup pixels used for calculating the image shift amounts are green pixels. 前記焦点検出画素が、緑色または青色の画素の位置に配置されることを特徴とする請求項7または8に記載の撮像装置。   The imaging apparatus according to claim 7, wherein the focus detection pixel is disposed at a position of a green or blue pixel. 撮像画素と、焦点検出画素とを有する撮像素子を備えた撮像装置の制御方法であって、
第1の算出手段が、前記焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出工程と、
補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記第1の補正値によって補正する補正工程と、
第2の算出手段が、前記補正された像ずれ量に基づいて撮像光学系のデフォーカス量を算出する第2の算出工程と、
を有することを特徴とする撮像装置の制御方法。
A method for controlling an imaging apparatus including an imaging element having an imaging pixel and a focus detection pixel,
The first calculation means corrects the image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on the output signals of the imaging pixels located around the focus detection pixel. A first calculation step of calculating a first correction value of
A correcting step in which a correcting unit corrects an image shift amount of an output signal of the focus detection pixel by the first correction value;
A second calculating unit that calculates a defocus amount of the imaging optical system based on the corrected image shift amount;
A method for controlling an imaging apparatus, comprising:
撮像画素と、焦点検出画素とを有する撮像素子を備えた撮像装置が有するコンピュータを、請求項1から9のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。   The program for functioning the computer which an imaging device provided with the imaging device which has an imaging pixel and a focus detection pixel as each means of the imaging device of any one of Claim 1 to 9.
JP2014168766A 2014-08-21 2014-08-21 Imaging device and method for controlling the same Pending JP2016045322A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014168766A JP2016045322A (en) 2014-08-21 2014-08-21 Imaging device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014168766A JP2016045322A (en) 2014-08-21 2014-08-21 Imaging device and method for controlling the same

Publications (1)

Publication Number Publication Date
JP2016045322A true JP2016045322A (en) 2016-04-04

Family

ID=55635948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014168766A Pending JP2016045322A (en) 2014-08-21 2014-08-21 Imaging device and method for controlling the same

Country Status (1)

Country Link
JP (1) JP2016045322A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215578A (en) * 2016-05-12 2017-12-07 キヤノン株式会社 Focus detection device and control method of the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017215578A (en) * 2016-05-12 2017-12-07 キヤノン株式会社 Focus detection device and control method of the same

Similar Documents

Publication Publication Date Title
JP5662667B2 (en) Imaging device
JP5552214B2 (en) Focus detection device
JP5473977B2 (en) Imaging apparatus and camera system
JP5361535B2 (en) Imaging device
JP5595014B2 (en) Imaging device
JP5563283B2 (en) Image processing device
JP6305006B2 (en) IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US9160918B2 (en) Focus control apparatus and method for performing focus control by phase difference detection, and image capturing apparatus
JP2009060597A (en) Imaging apparatus
JP2009105682A (en) Image sensor and imaging apparatus
JP2014206564A (en) Imaging apparatus and control method therefor
JP5954933B2 (en) Imaging device and lens device
JP5911252B2 (en) Imaging apparatus and image processing method
JP2012147045A (en) Imaging apparatus
JP6238578B2 (en) Imaging apparatus and control method thereof
JP6486041B2 (en) Imaging apparatus and control method thereof
JP5990008B2 (en) Imaging apparatus and control method thereof
JP2012220790A (en) Imaging apparatus
JP2014110619A (en) Image processing device and method of controlling the same, and imaging device and method of controlling the same
JP2016057402A (en) Imaging device and method for controlling the same
JP2016018033A (en) Imaging device, control method of the same, program and recording medium
JP5407314B2 (en) Focus detection apparatus and imaging apparatus
JP2016045322A (en) Imaging device and method for controlling the same
JP5864989B2 (en) Imaging device and imaging apparatus
JP2016018034A (en) Imaging device, control method of the same, program and recording medium