JP2016045322A - Imaging device and method for controlling the same - Google Patents
Imaging device and method for controlling the same Download PDFInfo
- Publication number
- JP2016045322A JP2016045322A JP2014168766A JP2014168766A JP2016045322A JP 2016045322 A JP2016045322 A JP 2016045322A JP 2014168766 A JP2014168766 A JP 2014168766A JP 2014168766 A JP2014168766 A JP 2014168766A JP 2016045322 A JP2016045322 A JP 2016045322A
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- pixel
- imaging
- image
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置及びその制御方法に関し、特には焦点検出画素を有する撮像素子を用いる撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus using an imaging element having a focus detection pixel and a control method thereof.
撮像素子を構成する画素群の一部を焦点検出画素とし、焦点検出画素から得られる被写体像の位相差を用いることで、個別の位相差検出センサなしに位相差検出方式の自動焦点検出(位相差AF)を実現する技術が知られている(特許文献1,2)。
A part of the pixel group constituting the image sensor is used as a focus detection pixel, and by using the phase difference of the subject image obtained from the focus detection pixel, automatic focus detection (phase difference detection method) without using an individual phase difference detection sensor. A technique for realizing (phase difference AF) is known (
焦点検出画素の出力に基づく焦点検出の精度を向上させるには、焦点検出画素の配置密度が高い方が有利である。そのため、特許文献2には、焦点検出画素を連続して配置する構成が開示されている。
In order to improve the accuracy of focus detection based on the output of the focus detection pixels, it is advantageous that the arrangement density of the focus detection pixels is high. Therefore,
一方、焦点検出画素の出力は撮像画像の生成に用いることができないため、焦点検出画素の位置における画像信号は、周辺の撮像画素の出力から求めるのが一般的である。従って、画質の点からは、焦点検出画素の配置密度は低い方が有利である。 On the other hand, since the output of the focus detection pixel cannot be used to generate a captured image, the image signal at the position of the focus detection pixel is generally obtained from the output of the surrounding image capture pixels. Therefore, in terms of image quality, it is advantageous that the arrangement density of focus detection pixels is low.
本発明はこのような従来技術の課題に鑑みなされたもので、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることを特徴する。 The present invention has been made in view of the above-described problems of the prior art. In an image pickup apparatus using an image pickup device having a focus detection pixel and a control method thereof, it is possible to achieve both high-precision focus detection and suppression of image quality deterioration. Characterize.
上述の目的は、撮像画素と、焦点検出画素とを有する撮像素子と、焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、デフォーカス量算出手段が、焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出手段と、焦点検出画素の出力信号の像ずれ量を第1の補正値によって補正する補正手段と、補正された像ずれ量に基づいてデフォーカス量を算出する第2の算出手段と、を有することを特徴とする撮像装置によって達成される。 The above-described object includes an image pickup device having an image pickup pixel and a focus detection pixel, and a defocus amount calculation means for calculating a defocus amount of the image pickup optical system based on an output signal of the focus detection pixel. A focus amount calculation unit corrects the image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on the output signals of the imaging pixels located around the focus detection pixel. A first calculating means for calculating the correction value of the image, a correcting means for correcting the image shift amount of the output signal of the focus detection pixel with the first correction value, and calculating the defocus amount based on the corrected image shift amount. And a second calculating means. This is achieved by an imaging device.
このように本発明によれば、焦点検出画素を有する撮像素子を用いる撮像装置およびその制御方法において、高精度な焦点検出と画質劣化の抑制とを両立させることができる。 Thus, according to the present invention, it is possible to achieve both high-precision focus detection and suppression of image quality degradation in an imaging apparatus using an imaging element having focus detection pixels and a control method thereof.
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。
図1は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ100(以下、単にカメラ100という)の機能構成例を示す図である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a diagram illustrating a functional configuration example of a digital still camera 100 (hereinafter simply referred to as a camera 100) as an example of an imaging apparatus according to an embodiment of the present invention.
第1レンズ群101は撮像光学系の先端に配置され、光軸に沿って前後に移動可能に保持される。シャッタ102は、静止画撮像時の露光時間を制御するためのシャッタとしてだけでなく、開口径を調節することで撮像時の光量調節を行なう絞りとしても機能する。シャッタ102の背面(撮像素子側)に配置された第2レンズ群103は、シャッタ102と一体となって光軸に沿って前後に可能であり、第1レンズ群101とともにズーム機能を実現する。
The
第3レンズ群105はフォーカスレンズであり、光軸に沿って前後に移動可能である。第3レンズ群105の位置により、撮像光学系の焦点位置が調節される。光学ローパスフィルタ106は、撮像素子107の前方に配置され、撮像画像に発生する偽色やモアレを軽減する。撮像素子107は2次元CMOS撮像素子とその周辺回路で構成される。本実施形態において、撮像素子107は、横方向にm個、縦方向にn個の複数の受光素子が2次元配列され、その上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラー撮像素子である。カラーフィルタは受光素子に入射する透過光の波長を画素単位で制限する。
The
ズームアクチュエータ111は、ズーム駆動回路129の制御に従い、不図示のカム筒を回動して第1レンズ群101と第3レンズ群105の少なくとも一方を光軸に沿って駆動して、ズーム(変倍)機能を実現する。シャッタアクチュエータ112は、シャッタ駆動回路128の制御に従い、シャッタ102開口径を制御して撮像光量を調節すると共に、静止画撮像時の露光時間を制御する。
Under the control of the
フォーカスアクチュエータ114は、フォーカス駆動回路126の制御に従い、第3レンズ群105を光軸に沿って駆動する。
なお、本実施形態のカメラ100は、撮像光学系が撮像装置本体と一体に形成されている構成を有するが、撮像光学系が着脱可能な構成であってもよい。
The
Note that the
フラッシュ115は、好ましくはキセノン管を用いた閃光照明装置であるが、連続発光するLEDを備えた照明装置であってもよい。AF補助光出力部116は、所定の開口パターンを有するマスクの像を投稿レンズを介して被写界に投影し、低輝度の被写体や低コントラストの被写体に対する焦点検出能力を向上させる。
The
CPU121は、カメラ100全体の動作を制御し、図示しない演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121は、不図示の不揮発性記録媒体(例えばROM)に記憶されたプログラムを実行して、カメラ100が有する各種回路を制御し、AF、AE、画像処理、記録等、カメラ100の機能を実現する。
The
フラッシュ制御回路122は、撮像動作に同期してフラッシュ115を点灯制御する。補助光駆動制御回路123は、焦点検出動作時にAF補助光出力部116を点灯制御する。撮像素子駆動回路124は、撮像素子107の動作を制御するとともに、撮像素子107から読み出した画像信号をA/D変換してCPU121に出力する。画像処理回路125は、画像信号に対してγ変換、色補間、JPEG符号化などの画像処理を適用する。
The
フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動することにより第3レンズ群105を光軸に沿って移動させ、焦点調節を行なう。シャッタ駆動回路128は、シャッタアクチュエータ112を駆動してシャッタ102の開口径及び開閉タイミングを制御する。ズーム駆動回路129は、例えば操作スイッチ群132に含まれるズーム操作スイッチの押下によって撮像者から入力されるズーム操作に応じてズームアクチュエータ111を駆動する。
The
表示器131はLCD等であり、カメラ100の撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、焦点検出時の合焦状態の情報等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等を含む。記録媒体133は例えば着脱可能な半導体メモリカードであり、撮像画像を記録する。
The
(撮像素子の構成)
次に、撮像素子107、及び撮像素子107を構成する撮像画素と焦点検出画素について説明する。
図2は、撮像素子107の一部の構成例を示すブロック図である。なお、図2では、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。光電変換部201は、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下の説明では、撮像素子107にX方向にm個、Y方向n個の光電変換部201が二次元配置されているものとし、光電変換部201の各々を特定する場合には、PDmnと表記する。ここでm=0,1・・・,m−1、n=0,1・・・,n−1である。なお、図2では、図が煩雑にならないよう、一部の光電変換部201にのみアドレスを示している。
(Configuration of image sensor)
Next, the
FIG. 2 is a block diagram illustrating a configuration example of a part of the
スイッチ202は、光電変換部201ごとに設けられ、光電変換部201の出力を選択する。スイッチ202は、垂直走査回路208により、一行ごとに選択される。
ラインメモリ203は、光電変換部201の出力を一時的に記憶するためのであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
スイッチ204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。
The
The
The
ラインメモリ203のm個の出力の各々にはスイッチ205(H0〜Hm-1)が設けられている。後述する水平走査回路206によってスイッチ205をH0から順次走査することで、スイッチ205を通じてラインメモリ203に記憶された光電変換部201の出力が水平出力線に順次出力され、一行分の光電変換出力が読み出される。
Each of the m outputs of the
水平走査回路206は、スイッチ205を順次オンにして、ラインメモリ203に記憶された光電変換部201の出力を順次、水平出力線に出力させる。信号PHSTはデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる。水平走査回路206のPH1、PH2にシフトクロックを入力してPHSTを順次シフトさせることにより、スイッチ205をH0からHm-1の順で順次オンすることができる。SKIPは、水平走査回路206に間引き読み出しの設定を行うための制御端子入力である。SKIPにHレベルの信号を入力することにより、水平走査回路206の走査を所定間隔でスキップさせることが可能であり、それによって間引き読み出しを実現する。
The
垂直走査回路208はV0からVn-1を順次出力することにより、光電変換部201に接続されたスイッチ202をラインごとに選択する。垂直走査回路208においても、水平走査回路206と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。制御入力に対する動作は水平走査回路206と同様であるので詳細説明は省略する。
The
(画素の構造)
図3及び図4は、撮像画素と焦点検出画素の構造例を示す図である。本実施形態の撮像素子107は、2行×2列の4画素を1単位として、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列の画素配置が採用されている。そして、このようなベイヤー配列の画素群の一部の画素を、焦点検出画素としている。焦点検出画素は、離散的に配置される。
(Pixel structure)
3 and 4 are diagrams illustrating examples of structures of the imaging pixels and the focus detection pixels. In the
図3(a)は2行×2列の撮像画素の平面図である。上述の通り、ベイヤー配列では対角方向に2つのG画素が、他の2画素にRとBの画素が配置される。そしてこのような2行×2列の配列が撮像素子107の全体にわたって繰り返される。
FIG. 3A is a plan view of 2 × 2 imaging pixels. As described above, in the Bayer array, two G pixels are arranged in the diagonal direction, and R and B pixels are arranged in the other two pixels. Such an array of 2 rows × 2 columns is repeated over the
図3(b)は、図3(a)のA−A断面と、撮像光学系からの光路を示す図である。
MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDは画素の光電変換部201を模式的に示したもの、CLはCMOS撮像素子内の各種信号を伝達する信号線を形成するための配線層である。TLは撮像光学系を模式的に示したものである。
FIG. 3B is a diagram illustrating an AA cross section of FIG. 3A and an optical path from the imaging optical system.
ML denotes an on-chip microlens arranged in front of each pixel, CF R is a color filter, CF G of R (Red) is a color filter of G (Green). PD schematically shows the
ここで、撮像画素のオンチップマイクロレンズMLと光電変換部PDは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮像光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積に設計される。また、図3(b)ではR画素の入射光束について図示したが、G画素及びB(Blue)画素も同一の構造を有する。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。 Here, the on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light flux that has passed through the imaging optical system TL as effectively as possible. In other words, the exit pupil EP of the imaging optical system TL and the photoelectric conversion unit PD are in a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit PD is designed to be large. 3B illustrates the incident light beam of the R pixel, the G pixel and the B (Blue) pixel also have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB pixels for imaging has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.
図4(a)は、撮像光学系の水平方向(横方向)に瞳分割を行うための焦点検出画素対SA及びSBの平面図である。ここでは便宜上、1対の焦点検出画素が水平方向に隣接している状態を示しているが、後述するように、本実施形態では、対をなす焦点検出画素SAとSBとを水平方向に離間して配置している。焦点検出画素SAとSBに設けられた配線層CLの開口部OPAとOPBがマイクロレンズの中心線に対して一方向に偏心するように配置されている。
なお、ここで水平方向(横方向)とは、撮像光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向である。
FIG. 4A is a plan view of the focus detection pixel pair S A and S B for performing pupil division in the horizontal direction (lateral direction) of the imaging optical system. For convenience, although shows a state in which a focus detection pixel in a pair are adjacent in the horizontal direction, as described later, in the present embodiment, the focus detection pixels S A and S B paired horizontal Are spaced apart from each other. The openings OP A and OP B of the wiring layer CL provided in the focus detection pixels S A and S B are arranged so as to be eccentric in one direction with respect to the center line of the microlens.
Here, the horizontal direction (lateral direction) is a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the imaging optical system is horizontal.
記録もしくは表示用の画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方で緑色以外の色の画素、すなわちR画素もしくはB画素は、色情報(色差情報)を取得する画素であるが、人間の画像認識特性は色情報に鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像画素として残し、R画素とB画素の位置に焦点検出画素対SA及びSBを配置している。 When obtaining an image signal for recording or display, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are missing. On the other hand, pixels of colors other than green, that is, R pixels or B pixels are pixels that acquire color information (color difference information). However, since human image recognition characteristics are insensitive to color information, color information is acquired. Pixels are less likely to notice image quality degradation even if some defects occur. Therefore, in the present embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the focus detection pixel pairs S A and S B are arranged at the positions of the R pixel and the B pixel.
図4(b)は、図4(a)のA−A断面(すなわち、焦点検出画素対の断面)と、撮像光学系からの光路を示す図である。
マイクロレンズMLと、光電変換部PDは図3(b)に示した撮像画素と同一構造である。本実施形態においては、焦点検出画素の信号は画像信号として利用しないため、色分離用カラーフィルタの代わりに無色透明なフィルタCFW(White)が配置される。また、画素で瞳分割を行なうため、配線層CLの開口部OPAとOPBはマイクロレンズMLの中心線に対して一方向に偏心している。すなわち、焦点検出画素対を構成する焦点検出画素SAと焦点検出画素SBの開口部OPAとOPBは、画素の中心から、瞳分割方向で逆向きに偏心している。
FIG. 4B is a diagram illustrating an AA cross section (that is, a cross section of the focus detection pixel pair) in FIG. 4A and an optical path from the imaging optical system.
The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In the present embodiment, since the signal of the focus detection pixel is not used as an image signal, a colorless and transparent filter CF W (White) is arranged instead of the color separation color filter. Further, in order to perform pupil division at the pixel, the openings OP A and OP B of the wiring layer CL are decentered in one direction with respect to the center line of the microlens ML. That is, the openings OP A and OP B of the focus detection pixel S A and the focus detection pixel S B constituting the focus detection pixel pair are decentered in the opposite direction in the pupil division direction from the center of the pixel.
具体的には、焦点検出画素SA及の開口部OPAは画素中心から右側に偏心しているため、撮像光学系TLの左側の射出瞳EPAを通過した光束を受光する。同様に、焦点検出画素SBの開口部OPBは画素中心から左側に偏心しているため、撮像光学系TLの右側の射出瞳EPBを通過した光束を受光する。水平方向に規則的に配列した複数の焦点検出画素SAで取得した輝度波形をA像波形(第1の像波形)とする。また、水平方向に規則的に配列した複数の焦点検出画素SBで取得した輝度波形をB像波形(第2の像波形)とする。これらA像波形とB像波形の相対位置を検出し、像のずれ量に対して変換係数を乗じることで被写体像のピントずれ量(デフォーカス量)を算出できる。 Specifically, the opening OP A focus detection pixels S A及because eccentric from the pixel center to the right and receives a light flux passing through the exit pupil EP A on the left side of the imaging optical system TL. Similarly, since the opening OP B of the focus detection pixel S B is decentered to the left from the pixel center, the light beam that has passed through the right exit pupil EP B of the imaging optical system TL is received. A luminance waveform acquired by a plurality of focus detection pixels SA regularly arranged in the horizontal direction is defined as an A image waveform (first image waveform). Further, the luminance waveform acquired by a plurality of focus detection pixels S B periodically arrayed in the horizontal direction and B image waveform (second image waveform). By detecting the relative positions of the A image waveform and the B image waveform and multiplying the image shift amount by a conversion coefficient, the focus shift amount (defocus amount) of the subject image can be calculated.
像ずれ量からデフォーカス量を算出するための変換係数は、撮像光学系の口径情報および焦点検出画素の感度分布に基づいて算出することができる。撮像素子107には、撮像光学系TLのレンズ保持枠や、シャッタ102が絞りとして機能する際の開口部などによって制限された光束が入射する。
The conversion coefficient for calculating the defocus amount from the image shift amount can be calculated based on the aperture information of the imaging optical system and the sensitivity distribution of the focus detection pixels. A light beam limited by a lens holding frame of the imaging optical system TL, an opening when the
図5は、撮像素子503の中央に位置する画素に入射する光束の範囲を、光軸を通る鉛直断面で示した模式図である。ここでは、撮像素子503に最も近い側にあるレンズ保持枠530と、射出瞳面501の位置にある撮像光学系のシャッタ102が実現する絞り502と、被写体に最も近い側にあるレンズ保持枠531によって入射光束が制限されている状態を示している。図5(a)において、撮像素子503は、予定結像面位置における状態を示し、位置506は光軸505と撮像素子503との交点である。光束507、508は絞り502が解放でない第1の絞り値の場合において、開口部を通じて入射可能な光束の範囲を示している。また、光束509、510は、絞り502が開放状態の場合に入射可能な光束の範囲を示している。
FIG. 5 is a schematic diagram showing a range of a light beam incident on a pixel located at the center of the
光束507、508で示される入射範囲の場合には、重心位置515、516を有する焦点検出用光束511、512が焦点検出画素に入射する。また、光束509、510で示される入射範囲の場合には重心位置517、518を有する焦点検出用光束513、514が焦点検出画素に入射する。
In the case of the incident range indicated by the light beams 507 and 508, focus detection light beams 511 and 512 having
図5(b)は、図5(a)に示した、撮像素子503の中央に位置する焦点検出画素に入射する光束の範囲を、光軸上の被写体側の位置から見た図である。焦点検出画素SA、SBには、絞り502が第1の絞り値の場合には瞳領域523、絞り502が開放の場合には瞳領域524の内側を透過した光束が入射角特性525、526で示される感度分布で入射する。このため、瞳領域523、524の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、第1の絞り値の場合と絞りが開放の場合における重心間隔を算出することができる。そしてこれらの重心間隔から、絞り値に対応する基線長を求めることができる。焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。
FIG. 5B is a diagram of the light flux range incident on the focus detection pixel located at the center of the
図5(a)において、デフォーカス量519をDEF、撮像素子503から射出瞳面501までの距離520をLとする。また、第1の絞り値と開放絞りに対応する基線長(感度分布の重心間隔)をそれぞれG1(重心位置515、516間距離)、G2(重心位置517、518間距離)とする。また、像ずれ量521、522をそれぞれPRED1、PRED2、像ずれ量521、522のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)の関係がある。
DEF=K1×PRED1=K2×PRED2 … (1)
In FIG. 5A, the
DEF = K1 × PRED1 = K2 × PRED2 (1)
また、像ずれ量521(PRED1)、522(PRED2)をデフォーカス量DEFに変換する変換係数K1、K2と、距離520(L)とは、それぞれ以下の式(2)、(3)の関係がある。
K1=L/G1 … (2)
K2=L/G2 … (3)
ここで、G1<G2であるため、K1>K2である。このため、第1の絞り値の場合のほうが開放絞り値の場合に対し、像ずれ量の誤差がデフォーカス量の誤差に与える影響がK1/K2倍大きくなる。
The conversion coefficients K1 and K2 for converting the image shift amounts 521 (PRED1) and 522 (PRED2) into the defocus amount DEF and the distance 520 (L) are respectively expressed by the following expressions (2) and (3). There is.
K1 = L / G1 (2)
K2 = L / G2 (3)
Here, since G1 <G2, K1> K2. For this reason, the influence of the error of the image shift amount on the error of the defocus amount is K1 / K2 times larger than that in the case of the first aperture value being the open aperture value.
図5(c)は、図5(b)における感度分布の断面A−Aを示す断面図である。図5(c)において、左は開放絞り、右は第1の絞り値に絞られている場合の焦点検出画素SA530、SB531、および、撮像画素532の感度分布を示している。図5(c)の両図において、横軸は光入射角度、縦軸は感度分布をそれぞれ示す。両図を比較すると、開放絞りに対応する基線長G2が第1の絞り値に対応する基線長G1より長く、広範囲の入射角度で感度を有する。同一デフォーカス量に対するA像波形とB像波形の像ずれ量は基線長の長さと比例関係にあるため、基線長が長いほどデフォーカス変化に対する像ずれ量の敏感度が高くなる。また、感度を持つ入射角度幅が大きくなると、デフォーカスが大きい場合のA像波形、B像波形のボケ量や像ケラレが大きくなる。一般的に、A像波形およびB像波形には、広範囲のデフォーカスに対して、像ずれ量の敏感度が高く、ボケ量および像ケラレが小さいことが望まれる。
FIG.5 (c) is sectional drawing which shows the cross section AA of the sensitivity distribution in FIG.5 (b). In FIG. 5C, the left shows the sensitivity distribution of the focus detection pixels S A 530,
図6は、撮像素子107における撮像画素および焦点検出画素の配置例を示す図である。図6において、G、Ga〜Gfは、緑のカラーフィルタを有する緑色画素(G画素)、Rは、赤のカラーフィルタを有する赤色画素(R画素)、Bは、青のカラーフィルタを有する青色画素(B画素)である。図6中のSA、BSは、上述した焦点検出画素SA、SBである。以下の説明では、SAを基準画素群、SBを参照画素群と呼ぶことがある。図中、白抜き部分は、焦点検出画素の開口部の偏倚方向(瞳分割方向)を模式的に示している。また、焦点検出画素SA,SBが配置されている水平画素ラインをAFラインと呼ぶ。
FIG. 6 is a diagram illustrating an arrangement example of imaging pixels and focus detection pixels in the
図6(a)に示した例において、焦点検出画素SA、SBは、補間による画質劣化が認識され難いB画素の位置に配置されている。また、図6(b)の例では、焦点検出画素SA、SBが、RやB画素の2倍多く存在し、補間精度が低下しにくいG画素の位置に配置されている。また、焦点検出精度を考慮して、焦点検出画素SA、SBをBまたはG画素の位置で、かつ水平方向および垂直方向のそれぞれで4画素ごとに配置した例を示している。なお、本発明において、焦点検出処理及び、焦点検出結果の補正処理に用いる焦点検出画素SA、SBの配置は、図6の例に限定されない。 In the example shown in FIG. 6A, the focus detection pixels S A and S B are arranged at the position of the B pixel where image quality deterioration due to interpolation is difficult to be recognized. In the example of FIG. 6B, the focus detection pixels S A and S B are twice as many as the R and B pixels, and are arranged at the G pixel positions where the interpolation accuracy is difficult to decrease. Further, in consideration of focus detection accuracy, an example is shown in which focus detection pixels S A and S B are arranged at positions of B or G pixels and every four pixels in the horizontal and vertical directions. In the present invention, the arrangement of the focus detection pixels S A and S B used for the focus detection process and the correction process of the focus detection result is not limited to the example of FIG.
また、図6(a),(b)において、焦点検出画素の周辺に位置し、瞳分割方向(ここでは水平方向)における位置が異なる撮像画素のうち、焦点検出画素と同じ周期(ピッチ)で存在する同色画素(ここではいずれもG画素)をGa〜Gfとする。また、以下では焦点検出画素SA群を第1の画素群、SB群を第2の画素群とし、画素Ga〜Gf群を第3〜第8の画素群と呼ぶ。 In FIGS. 6A and 6B, among imaging pixels located around the focus detection pixel and having different positions in the pupil division direction (here, the horizontal direction), at the same cycle (pitch) as the focus detection pixel. Existing pixels of the same color (here, all G pixels) are designated Ga to Gf. Further, in the following the focus detection pixels S A group of the first pixel group, the S B group and second pixel group, referred to as third to pixel groups of 8 pixels Ga~Gf group.
後述するように、
・第3の画素群(Ga)の出力波形と第5の画素群(Gc)の出力波形
・第4の画素群(Gb)の出力波形と第6の画素群(Gd)の出力波形
・第7の画素群(Ge)の出力波形と第8の画素群(Gf)の出力波形
について、それぞれ、前者を基準波形とした像ずれ量(位相差)を求め、第1の画素群(SA)の出力波形(A像波形)と第2の画素群(SB)の出力波形(B像波形)との像ずれ量の補正に用いる。
As described below,
The output waveform of the third pixel group (Ga) and the output waveform of the fifth pixel group (Gc) The output waveform of the fourth pixel group (Gb) and the output waveform of the sixth pixel group (Gd) the output waveform of the 7 groups of pixels output waveform and pixel groups of the eighth (Ge) (Gf), respectively, calculated image shift amount on the basis waveform former (phase difference), the first pixel group (S a ) Output waveform (A image waveform) and the output waveform (B image waveform) of the second pixel group (S B ).
ここで、図6(a)、(b)の各配置について、焦点検出画素の配置が原因で発生する焦点検出誤差について説明する。図7は、瞳分割方向と直交する白部と黒部とのエッジ(白黒境界部)が、撮像素子のAFライン1上に光学像として結像している様子を模式的に示している。図7では図6(a)の配置を示しているが、図6(b)の配置の場合も同様である。図7で示している焦点検出画素は、焦点検出領域内の焦点検出画素群の一部である。
Here, with respect to each arrangement of FIGS. 6A and 6B, a focus detection error caused by the arrangement of the focus detection pixels will be described. FIG. 7 schematically shows a state in which an edge (monochrome boundary) between a white portion and a black portion orthogonal to the pupil division direction is formed as an optical image on the
焦点検出画素SAとSBの一方について見ると、8画素ごとに配置されている。そのため、被写体の白黒境界部が瞳分割方向(図7の水平方向)に移動した場合、それを検出できない場合がある。 When one of the focus detection pixels S A and S B is viewed, it is arranged every eight pixels. Therefore, when the monochrome boundary of the subject moves in the pupil division direction (horizontal direction in FIG. 7), it may not be detected.
領域A1の範囲に被写体の白黒境界部がある場合、白黒境界部の水平方向の移動に伴い、近傍に存在する焦点検出画素SAの出力信号に変化が現れるため、領域A1の範囲での白黒境界部の水平移動は検出可能である。一方で、領域A2には焦点検出画素SAが存在しないため、領域A2での白黒境界部の水平移動を焦点検出画素SAの出力から検出することは不可能である。なお、領域A1が、焦点検出画素1画素の幅より若干長いのは、光学ローパスフィルタ106の効果により、白黒境界部が幅を有するためである。
If there is a black and white boundaries of the subject in a range of area A1, because with the movement of the horizontal black and white boundaries, a change in the output signal of the focus detection pixels S A existing near appear black and white in a range of area A1 The horizontal movement of the boundary can be detected. On the other hand, in the region A2 due to the absence of the focus detection pixels S A, it is impossible to detect the horizontal movement of the black and white boundaries in the region A2 from the output of the focus detection pixels S A. The reason why the area A1 is slightly longer than the width of one focus detection pixel is that the black-and-white boundary has a width due to the effect of the optical low-
同様の理由で、焦点検出画素SBの出力から、領域B1における白黒境界部の水平移動は検出できるが、領域B2における白黒境界部の水平移動は検出できない。このように、焦点検出画素SAとSBは、それぞれ、白黒境界部の移動を検出できる領域A1、B1が異なるため、白黒境界部の位置によって、焦点検出誤差が生じる。 For the same reason, from the output of the focus detection pixels S B, it can detect the horizontal movement of the white border portion in the region B1, undetectable horizontal movement of the white border portion in the region B2. As described above, the focus detection pixels S A and S B have different areas A1 and B1 in which the movement of the black-and-white boundary portion can be detected. Therefore, a focus detection error occurs depending on the position of the black-and-white boundary portion.
図8を用いて、白黒境界部の位置による焦点検出誤差について説明する。図8は、合焦時における、あるAFラインにおける焦点検出画素SAおよびSBの出力信号の一例を示した図である。縦軸は、焦点検出画素から得られる出力信号のレベル(値)を、横軸は画素位置を示し、AFラインに存在する撮像画素の出力信号は省略している。また、焦点検出画素SAとSBはそれぞれ8画素ごとに、4画素ずれた位置に配置されている。そのため、焦点検出画素SA(黒丸)と焦点検出画素SB(白丸)の出力を、横軸方向に4画素間隔で交互に示している。 The focus detection error due to the position of the black and white boundary will be described with reference to FIG. FIG. 8 is a diagram illustrating an example of output signals of the focus detection pixels S A and S B in a certain AF line at the time of focusing. The vertical axis indicates the level (value) of the output signal obtained from the focus detection pixel, the horizontal axis indicates the pixel position, and the output signal of the imaging pixel existing in the AF line is omitted. In addition, the focus detection pixels S A and S B are arranged at positions shifted by 4 pixels for every 8 pixels. Therefore, the outputs of the focus detection pixels S A (black circles) and the focus detection pixels S B (white circles) are alternately shown at intervals of 4 pixels in the horizontal axis direction.
合焦時の出力信号は、焦点検出画素SAの出力から構成されるA像波形とSBの出力から構成されるB像波形とのずれ(位相差)がないのが理想的であり、像ずれ量は焦点検出誤差である。
図8(a)は、図7の領域A1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(b)は、領域A1と領域B1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。
図8(c)は、領域B1の中心近傍に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号にずれ(位相差)は生じておらず、焦点検出誤差はない。
図8(d)は、領域B1と領域A1との間に白黒境界部が存在する場合の出力信号を示している。この場合、焦点検出画素SAとSBの出力信号に、同種の焦点検出画素のピッチ(8画素)の約半分(4画素分)の焦点検出誤差が発生している。また、焦点検出画素SAとSBの出力信号に生じるずれの方向が、図8(b)と反対方向になっている。そのため、焦点検出誤差の符号が、図8(b)の場合の反対となる。
Output signal when focusing is ideally no deviation (phase difference) between the B image waveform and an output of the A image waveform and S B and an output of the focus detection pixels S A, The image shift amount is a focus detection error.
FIG. 8A shows an output signal when a black-and-white boundary exists near the center of the area A1 in FIG. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8B shows an output signal when a black and white boundary exists between the area A1 and the area B1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs.
FIG. 8C shows an output signal when a black-and-white boundary exists near the center of the region B1. In this case, the deviation in the output signal of the focus detection pixels S A and S B (phase difference) is not occurring, no focus detection error.
FIG. 8D shows an output signal when a black-and-white boundary exists between the area B1 and the area A1. In this case, in the output signals of the focus detection pixels S A and S B , a focus detection error that is about half (4 pixels) of the pitch (8 pixels) of the same type of focus detection pixels occurs. In addition, the direction of deviation generated in the output signals of the focus detection pixels S A and S B is opposite to that in FIG. Therefore, the sign of the focus detection error is opposite to that in the case of FIG.
図9は、図8で説明した白黒境界部の位置と焦点検出誤差の大きさとの関係を示している。横軸は白黒境界部の位置を、縦軸は発生する焦点検出誤差の量を示している。図8で説明した通り、焦点検出誤差の発生量は、同種の焦点検出画素のピッチ(8画素)を周期として変化する。 FIG. 9 shows the relationship between the position of the black-and-white boundary described in FIG. 8 and the magnitude of the focus detection error. The horizontal axis indicates the position of the black and white border, and the vertical axis indicates the amount of focus detection error that occurs. As described with reference to FIG. 8, the generation amount of the focus detection error changes with the pitch (8 pixels) of the same kind of focus detection pixels as a cycle.
図9の、n画素目に白黒境界部が存在する場合が、図8(a)の状況と対応している。同様に、n+1画素目からn+3画素目に白黒境界部が存在する場合が図8(b)の状況に、n+4画素目に白黒境界部が存在する場合が図8(c)の状況に、n+5画素目からn+7画素目に白黒境界部が存在する場合が、図8(d)の状況に、それぞれ対応する。 The case where a black and white boundary portion exists in the nth pixel in FIG. 9 corresponds to the situation in FIG. Similarly, the case where a black and white boundary exists from the (n + 1) th pixel to the (n + 3) th pixel is shown in FIG. 8B, and the case where a black / white boundary exists at the (n + 4) th pixel is shown in FIG. The case where a black and white boundary exists from the pixel to the (n + 7) th pixel corresponds to the situation in FIG.
本実施形態では、このような焦点検出誤差の量を、焦点検出画素の周囲の撮像画素の出力信号を用いて判定し、焦点検出結果を補正する。具体的には、上述した、AFラインおよび隣接ラインに含まれるG画素の出力波形の像ずれ量から、焦点検出画素の出力波形の像ずれ量に含まれる誤差を推定し、補正値とする。 In this embodiment, the amount of such focus detection error is determined using the output signals of the imaging pixels around the focus detection pixel, and the focus detection result is corrected. Specifically, the error included in the image shift amount of the output waveform of the focus detection pixel is estimated from the image shift amount of the output waveform of the G pixel included in the AF line and the adjacent line, and is used as a correction value.
図9において、n画素目と(n+8)画素目が焦点検出画素SA、(n+4)画素目が焦点検出画素SBである。そして、白丸(○)は、焦点検出画素SAと水平方向の座標が1画素左に存在する第3の画素群(Ga)の出力波形に対する、焦点検出画素SBと水平方向の座標が1画素左に存在する第5の画素群(Gc)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第2の像ずれ量とする。2つの画素群の出力波形間の像ずれ量は、出力波形の差が最も小さくなるずれ量として算出することができる。像ずれ量の具体的な算出方法については後述する。 In FIG. 9, the nth pixel and the (n + 8) th pixel are focus detection pixels S A , and the (n + 4) th pixel is a focus detection pixel S B. The open circles (○) is for the output waveform of the third pixel group focus detection pixels S A and horizontal coordinate is present in one pixel left (Ga), the focus detection pixels S B and horizontal coordinates 1 A position where an image shift amount between output waveforms of the fifth pixel group (Gc) existing on the left side of the pixel is obtained is shown. This image shift amount is set as a second image shift amount. The image shift amount between the output waveforms of the two pixel groups can be calculated as a shift amount that minimizes the difference between the output waveforms. A specific method for calculating the image shift amount will be described later.
また、三角(△)は、焦点検出画素SAと水平方向の座標が1画素右に存在する第4の画素群(Gb)の出力波形に対する、焦点検出画素SBと水平方向の座標が1画素右に存在する第6の画素群(Gd)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第3の像ずれ量とする。 Further, the triangular (△) is for the output waveform of the fourth pixel groups focus detection pixels S A and horizontal coordinate is present in one pixel right (Gb), the focus detection pixels S B and horizontal coordinates 1 A position where an image shift amount between output waveforms of the sixth pixel group (Gd) existing on the right side of the pixel is obtained is shown. This image shift amount is taken as a third image shift amount.
また、四角(□)は、焦点検出画素SAと水平方向の座標が2画素右(左)に存在する第7の画素群(Ge)の出力波形に対する、焦点検出画素SBと水平方向の座標が2画素右(左)に存在する第8の画素群(Gf)の出力波形間の像ずれ量が得られる位置を示す。この像ずれ量を、第4の像ずれ量とする。 Further, a square (□) is for the output waveform of the focus detection pixels S A and horizontal coordinate 2 pixels right seventh pixel group existing in the (left) (Ge), the focus detection pixels S B and the horizontal direction The position at which the image shift amount between the output waveforms of the eighth pixel group (Gf) whose coordinates are on the right (left) of two pixels is obtained. This image shift amount is set as a fourth image shift amount.
本実施形態では焦点検出画素SA、SBの周辺に位置する撮像画素のうち、焦点検出画素と同様の周期で配置された撮像画素群の出力波形間の像ずれ量を、AFラインおよび隣接ラインにおいて複数算出する。算出した複数の像ずれ量(ここでは第2〜第4の像ずれ量)と、基準となる画素位置とから、焦点検出画素の出力波形間の像ずれ量に含まれる焦点検出誤差を、例えば補間計算により推定する。 In the present embodiment, among image pickup pixels located around the focus detection pixels S A and S B , an image shift amount between output waveforms of an image pickup pixel group arranged at the same cycle as the focus detection pixels is used as an AF line and an adjacent one. Multiple calculations are performed on the line. The focus detection error included in the image shift amount between the output waveforms of the focus detection pixels is calculated from the calculated plurality of image shift amounts (here, the second to fourth image shift amounts) and the reference pixel position, for example, Estimated by interpolation calculation.
例えば、焦点検出画素の位置を挟んだ位置における第2の像ずれ量と第3の像ずれ量と、画素位置(焦点検出画素の1画素左および右)とを用いて補間計算を行うことで、焦点検出画素SA、SBがある位置の第1の像ずれ量(黒丸(●))を求める。この像ずれ量は、A像波形とB像波形の像ずれ量に含まれる焦点検出誤差の推定値であり、補正値に相当する。本実施形態では、第2の像ずれ量と第3の像ずれ量を1次補間して補正値を算出しているが、第4の像ずれ量をさらに用いた高次補間など、第2〜第4の像ずれ量の任意の2つ以上を用いた補間により補正値を算出することができる。このようにして、焦点検出画素の周辺に位置し、瞳分割方向における位置が異なる、焦点検出画素と同一周期の撮像画素群の出力波形の像ずれ量から得られる補正値を、第1の補正値と呼ぶ。 For example, by performing the interpolation calculation using the second image shift amount and the third image shift amount at the position sandwiching the position of the focus detection pixel, and the pixel position (one pixel left and right of the focus detection pixel). The first image shift amount (black circle (●)) at the position where the focus detection pixels S A and S B are located is obtained. This image shift amount is an estimated value of a focus detection error included in the image shift amounts of the A image waveform and the B image waveform, and corresponds to a correction value. In this embodiment, the correction value is calculated by first-order interpolation of the second image shift amount and the third image shift amount. However, the second value such as higher-order interpolation further using the fourth image shift amount is used. The correction value can be calculated by interpolation using any two or more of the fourth image shift amounts. Thus, the correction value obtained from the image shift amount of the output waveform of the imaging pixel group having the same period as the focus detection pixel, which is located around the focus detection pixel and has a different position in the pupil division direction, is the first correction. Called value.
第1の補正値を用いても焦点検出精度を向上させることができるが、本実施形態ではさらに、第1の補正値の精度をより向上させた第2の補正値を求め、第2の補正値を用いて焦点検出誤差を補正することで、一層の精度向上を実現する。 Although the focus detection accuracy can be improved by using the first correction value, the second correction value in which the accuracy of the first correction value is further improved is obtained in the present embodiment, and the second correction is performed. The accuracy is further improved by correcting the focus detection error using the value.
第2の補正値の算出方法について、図10をさらに用いて説明する。
図10は、合焦時における白黒境界部位置[画素](横軸)と焦点検出誤差[画素](縦軸)との関係を示す。本実施形態では、同一種類の焦点検出画素は瞳分割方向に8画素ごとに設けられているため、焦点検出誤差および補正値は8画素を1周期として変化する。図10において点線は、第1の画素群(SA)の出力波形であるA像波形と、第2の画素群(SB)の出力波形であるB像波形の像ずれ量(第1の像ずれ量)、実線は上述した第1の補正値である。上述の通り、第1の像ずれ量ならびに第1の補正値はいずれも焦点検出誤差に相当する。
A method of calculating the second correction value will be described with further reference to FIG.
FIG. 10 shows the relationship between the black / white boundary position [pixel] (horizontal axis) and the focus detection error [pixel] (vertical axis) at the time of focusing. In the present embodiment, since the same type of focus detection pixels are provided for every 8 pixels in the pupil division direction, the focus detection error and the correction value change with 8 pixels as one cycle. In FIG. 10, the dotted line indicates the image shift amount (first image) between the A image waveform that is the output waveform of the first pixel group (S A ) and the B image waveform that is the output waveform of the second pixel group (S B ). The image shift amount) and the solid line are the first correction values described above. As described above, both the first image shift amount and the first correction value correspond to the focus detection error.
第1の像ずれ量と第1の補正値の1周期の変化をみると、最大値は等しいが、変化の位相が異なっている。これは、焦点検出画素と、第1の補正値の算出に用いた撮像画素とでは、瞳分割方向に直交するエッジとなる白黒境界部を捕捉できる画素位置が異なるためである。本実施形態では第1の像ずれ量から第1の補正値を減算することで焦点検出誤差を低減させるものであるが、第1の像ずれ量と第1の補正値とは位相が異なる箇所が存在するため、焦点検出誤差の低減効果が減少する部分が存在する。 Looking at the change of the first image shift amount and the first correction value in one cycle, the maximum values are the same, but the phase of the change is different. This is because the focus detection pixel and the imaging pixel used for calculating the first correction value have different pixel positions at which a black and white boundary portion that is an edge orthogonal to the pupil division direction can be captured. In the present embodiment, the focus correction error is reduced by subtracting the first correction value from the first image shift amount, but the first image shift amount and the first correction value have different phases. Therefore, there is a portion where the effect of reducing the focus detection error is reduced.
そこで、本実施形態では、第1の補正値に係数を適用して第1の像ずれ量との位相の差を低減した第2の補正値を算出し、第2の補正値を第1の像ずれ量から減算して焦点検出誤差の低減効果の減少を抑制する。図10において、第2の補正値は、第1の像ずれ量と一致しているため、第1の補正値を用いる場合よりも焦点検出誤差の低減効果が高い。 Therefore, in the present embodiment, a coefficient is applied to the first correction value to calculate a second correction value in which the phase difference from the first image shift amount is reduced, and the second correction value is set to the first correction value. By subtracting from the image shift amount, the reduction in the effect of reducing the focus detection error is suppressed. In FIG. 10, since the second correction value matches the first image shift amount, the effect of reducing the focus detection error is higher than when the first correction value is used.
第1の補正値から第2の補正値を得るための係数は、焦点検出誤差の変化割合から求めることができる。第1の像ずれ量は、1画素の焦点検出画素で検出されるのに対し、第1の補正値は、焦点検出画素と水平方向で1画素ずつ位置がずれた2つの撮像画素(左右/右上および左上/右下および左下の撮像画素)で検出される。従って、焦点検出誤差の変化領域においては、第1の像ずれ量が第1の補正値の2倍の傾きで変化する。そこで、本実施形態では係数2.0を第1の補正値に適用することで、第1の像ずれ量との差が小さい第2の補正値を求め、焦点検出誤差の低減効果を高めることができる。 The coefficient for obtaining the second correction value from the first correction value can be obtained from the change rate of the focus detection error. The first image shift amount is detected by one focus detection pixel, whereas the first correction value is obtained by two imaging pixels (left / right / left / right) whose positions are shifted by one pixel in the horizontal direction from the focus detection pixel. Upper right and upper left / lower right and lower left imaging pixels). Accordingly, in the focus detection error changing region, the first image shift amount changes with a gradient twice the first correction value. Therefore, in the present embodiment, by applying the coefficient 2.0 to the first correction value, a second correction value having a small difference from the first image shift amount is obtained, and the effect of reducing the focus detection error is enhanced. Can do.
なお、第1の補正値に係数を適用した結果が焦点検出誤差の最大値を超える場合は最大値を、最小値を下回る場合は最小値を第2の補正値とする(すなわち、第2の補正値を焦点検出誤差の最大値および最小値でクリッピングする)。焦点検出誤差の最大絶対値は、焦点検出画素のピッチに応じて定まり、具体的にはピッチの約半分となる。本実施形態では焦点検出画素のピッチが8画素であるため、最大値は+4画素、最小値は−4画素であり、第2の補正値は±4画素の範囲にクリッピングされる。 When the result of applying the coefficient to the first correction value exceeds the maximum value of the focus detection error, the maximum value is set as the second correction value. Clip the correction value with the maximum and minimum focus detection errors). The maximum absolute value of the focus detection error is determined according to the pitch of the focus detection pixels, and is specifically about half of the pitch. In this embodiment, since the focus detection pixel pitch is 8 pixels, the maximum value is +4 pixels, the minimum value is −4 pixels, and the second correction value is clipped to a range of ± 4 pixels.
ここでは、説明及び理解を容易にするため、光学ローパスフィルタの影響について考慮しない場合の係数の決定方法の例を述べた。しかし、焦点検出誤差の変化部分の傾きが光学ローパスフィルタの影響で減少する場合には、その減少を考慮した係数とすることができる。上述の例では、係数2.0の代わりに、例えば1.3〜1.5程度の係数とすることができる。光学ローパスフィルタの影響を考慮する場合、考慮しない場合の係数に対してどの程度低減した係数にするかは、使用する光学ローパスフィルタの特性を考慮して決定することができる。 Here, for ease of explanation and understanding, an example of a coefficient determination method when the influence of the optical low-pass filter is not considered has been described. However, when the inclination of the changing portion of the focus detection error decreases due to the influence of the optical low-pass filter, the coefficient can be set in consideration of the decrease. In the above example, a coefficient of about 1.3 to 1.5 can be used instead of the coefficient 2.0, for example. When the influence of the optical low-pass filter is taken into consideration, the degree of reduction of the coefficient with respect to the coefficient not taken into consideration can be determined in consideration of the characteristics of the optical low-pass filter to be used.
続いて、図11から図13を参照して、本実施形態におけるカメラ100の動作について説明する。図11は、カメラ100の電源投入時から撮影までの動作を示すフローチャートである。
S901において、撮影者がカメラ100の操作スイッチ群132に含まれる電源スイッチ(メインスイッチ)をオンにすると、電源がカメラ100の各部に供給されるとともに、CPU121は起動動作を開始する。
Subsequently, the operation of the
In S <b> 901, when the photographer turns on a power switch (main switch) included in the
S902においてCPU121は、起動動作の一部として、カメラ100の各アクチュエータや撮像素子107の動作確認を行う。またCPU121は、メモリ内容や実行プログラムの初期化を行うとともに、撮影スタンバイ動作を開始する。
In step S <b> 902, the
S903においてCPU121は、ライブビュー表示に用いる動画像の撮影動作を開始し、撮影された動画像の各フレームに対して公知の現像処理などを適用し、S904で表示器131に順次表示する。なお、動画像の撮影中、CPU121はTV−AF方式などを用いて撮影光学系を例えば画面の中央部に存在する被写体に継続して合焦させる。撮影者は、表示器131に表示されるライブビュー画像を見ながら撮影時の構図を決定することができる。
In step S903, the
例えば操作スイッチ群132に含まれるレリーズスイッチが半押しされるなどの撮影準備動作の開始指示が与えられると、S905においてCPU121は、焦点検出領域を決定する。焦点検出領域の決定は例えば顔検出結果や撮影者による位置の指定などに基づいて行うことができる。
For example, when an instruction to start a shooting preparation operation such as half-pressing a release switch included in the
焦点検出領域を決定するとS1001において、デフォーカス量算出手段としてのCPU121は、焦点検出サブルーチンを実行する。焦点検出サブルーチンの詳細については後述する。
When the focus detection area is determined, in S1001, the
S907においてCPU121は、焦点検出サブルーチンでの検出デフォーカス量が許容値以下である否か、すなわち合焦状態であるか否かを判定する。検出デフォーカス量が許容値よりも大きい場合、CPU121は非合焦状態と判定し、S908において、フォーカス駆動回路126およびフォーカスアクチュエータ114を通じて第3レンズ群105(フォーカスレンズ)を検出デフォーカス量に従って駆動する。その後、CPU121は、S907で合焦状態であると判定されるまでS1001およびS907を繰り返し実行する。また、CPU121は、例えばライブビュー表示用に撮影された画像に基づいて露出条件を決定する。
In step S907, the
一方、S907にて合焦状態と判定されると、S909においてCPU121は、表示器131に合焦表示を行う。続いてS910においてCPU121は、例えばレリーズスイッチの全押しでオンになる撮影開始スイッチがオンか否かを判定する。撮影開始スイッチがオンでなければ、CPU121はS910を繰り返し、撮影待機状態を維持する。なお、撮影待機状態でレリーズボタンの半押しが解除されるなど、撮影準備動作の解除指示が与えられた場合には撮影スタンバイ状態に戻ってよい。
On the other hand, if it is determined that the in-focus state is obtained in S907, the
一方、S910にて撮影開始スイッチがオン操作されると、S1101に移行し、CPU121は撮影サブルーチンを実行し、処理を終了する。ここで、S1101で実行される撮影サブルーチンについて、図13に示すフローチャートを用いて説明する。
On the other hand, when the shooting start switch is turned on in S910, the process proceeds to S1101, and the
撮影開始スイッチがオンになると、S1102においてCPU121は、決定した露出条件に基づいて、絞りシャッタ駆動回路128および絞りシャッタアクチュエータ112を通じて絞り機能を有するシャッタ102を駆動制御し、撮像素子107を露光する。
When the photographing start switch is turned on, in S1102, the
S1103においてCPU121は、撮像素子駆動回路124を通じて、撮像素子107から画像を読み出す。なお、ここで読み出しされる画像は、ライブビュー表示に用いるための画像よりも画素数が多いのが一般的であるが、設定に依存する。
In step S <b> 1103, the
S1104においてCPU121は、読み出された画像信号の欠損画素補間を行う。なお、製造時や経時劣化で生じた撮像画素の欠陥画素の位置における画像信号の補間に加え、焦点検出画素の位置における画像信号の補間もここで行う。補間方法に特に制限は無く、周辺画素値を用いた公知の方法を用いることができる。
In step S1104, the
S1105においてCPU121は、欠陥画素補間後の画像信号に対し、画像処理回路125を用いてγ補正やエッジ強調、符号化などの画像処理を適用する。そしてS1106においてCPU121は、記録媒体133に撮影画像を記録する。またS1107において、CPU121は表示器131に撮影済み画像を表示する。そしてS1108において、図11のメインフローにリターンし、S912において、一連の撮影動作が終了する。なお、撮影サブルーチンの終了後、処理をS904に戻して撮影スタンバイ状態の動作を継続してもよい。
In step S <b> 1105, the
次に、図11のS1001で、デフォーカス量算出手段としてのCPU121が実施する焦点検出サブルーチンについて、図12に示すフローチャートを用いて説明する。
まずS1002において、CPU121は、S905で決定した焦点検出領域に含まれる1つのAFラインについての焦点検出に必要な範囲の画素信号を、撮像素子駆動回路124を通じて読み出す。ここで読み出す画素信号には、焦点検出画素群(第1〜第2の画素群SA、SB)および、上述した第3〜第8の画素群Ga〜Gfが含まれる。なお、焦点検出画素の位置は予め記憶されている。
Next, a focus detection subroutine executed by the
First, in step S <b> 1002, the
続いてS1003においてCPU121は、第1の画素群SAからA像波形を、第2の画素群SBからB像波形を生成する。そして、CPU121は、一方(ここではA像波形とする)に対して他方を相対的に画素単位でずらしながら両者の相関量を表す相関評価値を算出する。
具体的には、A像波形を構成するサンプルをa1〜an、B像波形を構成するサンプルをb1〜bn(nはデータ数)とすると、CPU121は以下の式(4)に従って相関量Corr(l)を算出する。
Specifically, if the samples constituting the A image waveform are a1 to an and the samples constituting the B image waveform are b1 to bn (n is the number of data), the
CPU121はさらに、式(4)で算出される相関量Corr(l)は、A像波形とB像波形との相関が最も高い場合に極小となる。CPU121は相関量Corr(l)が極小となるずらし量m(整数)と、mの近傍のずらし量で得られた相関量Corr(l)を用いて、3点内挿の手法を用いて、相関量Corr(l)を最小とするずらし量dを画素未満の単位で求める。ずらし量dはA像波形とB像波形の像ずれ量(第1の像ずれ量)である。
Further, the
S1004においてCPU121は、S1003で求めた像ずれ量(ずらし量d)の信頼性を評価する。デフォーカス量が大きい場合、A像波形とB像波形の非対称性が大きくなるため、相関量Corr(d)は大きくなる。逆に、デフォーカス量が小さいほど、相関量Corr(d)は低くなる。従って、像ずれ量に対応する相関量Corr(d)が第1の閾値以下であれば信頼性は高いと判定することができる。
In S1004, the
次にS1005でCPU121は、上述した第2〜第4の像ずれ量を算出する。すなわち、
・第3の画素群(Ga)の出力波形と第5の画素群(Gc)の出力波形
・第4の画素群(Gb)の出力波形と第6の画素群(Gd)の出力波形
・第7の画素群(Ge)の出力波形と第8の画素群(Gf)の出力波形
の各組み合わせについて、前者をS1004における第1の画素群SA、後者をS1003における第2の画素群SBとして、第2〜第4の像ずれ量を算出する。そしてS1006においてCPU121は、第2〜第4の像ずれ量の信頼度を、S1004と同様にして判定する。
In step S1005, the
The output waveform of the third pixel group (Ga) and the output waveform of the fifth pixel group (Gc) The output waveform of the fourth pixel group (Gb) and the output waveform of the sixth pixel group (Gd) For each combination of the output waveform of the seventh pixel group (Ge) and the output waveform of the eighth pixel group (Gf), the former is the first pixel group S A in S1004 and the latter is the second pixel group S B in S1003. As a result, the second to fourth image shift amounts are calculated. In step S1006, the
S1007において第1の算出手段としてのCPU121は、第2〜第4の像ずれ量の任意の2つ以上を用いて、第1の像ずれ量に対する補正値(第1の補正値)を算出する。なお、この算出に用いる像ずれ量として、3つの像ずれ量のうち信頼度の高い順に2つを選択したり、信頼度のもっとも低いものを除外するなど、S1006で算出した信頼度を考慮することもできる。上述の通り、像ずれ量の算出に用いられた画素群の位置と、焦点検出画素群との位置との差(距離)を考慮して、焦点検出画素群の位置における推定像ずれ量を第1の補正値として求めればよい。
In S1007, the
次に、S1008で第3の算出手段としてのCPU121は、第1の補正値に係数を乗じて第2の補正値を算出する。この際、CPU121は第2の補正値の絶対値を焦点検出画素のピッチ(8画素)の半分(4画素)でクリッピングする。そして、S1009でCPU121は、焦点検出結果である第1の像ずれ量(A像波形とB像波形の像ずれ量)を、第2の補正値で補正する。
In step S <b> 1008, the
S1010でCPU121は、S1009で得られた補正後の像ずれ量に、所定のデフォーカス換算係数を乗ずることにより、デフォーカス量に変換する。上述の通り、デフォーカス変換係数は、絞り値に対応する基線長と、焦点検出画素の感度分布情報および撮像光学系の情報を予め記憶しておくことで、撮影時の絞り値に応じて求めることができる。
In step S1010, the
S1011においてCPU121は、焦点検出領域内の全AFラインに対してデフォーカス量の算出が終了しているか否かを判定し、デフォーカス量が算出されていないAFラインがあれば、残りのAFラインについてS1002以降の処理を繰り返す。
In S1011, the
一方、焦点検出領域内の全AFラインに対するデフォーカス量の算出が終了している場合、第2の算出手段としてのCPU121は処理をS1012に進め、最終的なデフォーカス量(検出デフォーカス量)を決定する。例えばCPU121は、第1の像ずれ量の信頼度と、第1の補正値の算出に用いられた像ずれ量(第2〜第4の像ずれ量の2つ以上)の信頼度が、いずれも高いAFラインについて算出されたデフォーカス量を優先的に用いて、検出デフォーカス量を決定する。例えば、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量の平均値としたり、全ての信頼度が閾値以上のAFラインについて算出されたデフォーカス量に、信頼度の平均値が高いほど大きな重みを与えた加重平均値としたりすることができる。このようにして決定した検出デフォーカス量は、上述したS907以降の処理で用いられる。
On the other hand, when the calculation of the defocus amount for all the AF lines in the focus detection area has been completed, the
以上説明したように、本実施形態においては、焦点検出画素群の出力信号の像ずれ量を、焦点検出画素の周辺に存在する撮像画素群の出力信号の像ずれ量に基づいて得られる補正値で補正し、補正後の像ずれ量に基づいてデフォーカス量を算出する。周辺の撮像画素群は、焦点検出画素と同じ画素ラインか近隣の画素ラインに存在し、焦点検出画素と同じピッチで焦点検出画素の瞳分割方向に配置され、かつ、焦点検出画素と瞳分割方向における位置が異なる。 As described above, in the present embodiment, the image shift amount of the output signal of the focus detection pixel group is obtained based on the image shift amount of the output signal of the imaging pixel group existing around the focus detection pixel. And the defocus amount is calculated based on the corrected image shift amount. The peripheral imaging pixel group exists in the same pixel line as the focus detection pixel or a neighboring pixel line, is arranged in the pupil division direction of the focus detection pixel at the same pitch as the focus detection pixel, and the focus detection pixel and the pupil division direction The position in is different.
このような構成により、焦点検出画素が離間していることで生じる焦点検出誤差を良好に補正することができる。そのため、焦点検出画素を瞳分割方向に連続して配置するなど、密に配置しなくても良好な焦点検出結果を得ることができ、焦点検出領域の画質低下の抑制と、良好な焦点検出精度が両立できる。 With such a configuration, it is possible to satisfactorily correct a focus detection error caused by the focus detection pixels being separated. For this reason, it is possible to obtain a good focus detection result without arranging the focus detection pixels continuously in the pupil division direction, for example, to suppress deterioration in the image quality of the focus detection area, and to improve the focus detection accuracy. Can be compatible.
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に規定される範囲内で種々の変形及び変更が可能である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed. In this case, a computer-executable program describing the procedure of the imaging apparatus control method and a storage medium storing the program constitute the present invention.
As mentioned above, although exemplary embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range prescribed | regulated by a claim.
100…カメラ、102…シャッタ、107…撮像素子、121…CPU
DESCRIPTION OF
Claims (11)
前記焦点検出画素の出力信号に基づいて撮像光学系のデフォーカス量を算出するデフォーカス量算出手段と、を有し、
前記デフォーカス量算出手段が、
前記焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出手段と、
前記焦点検出画素の出力信号の像ずれ量を前記第1の補正値によって補正する補正手段と、
前記補正された像ずれ量に基づいて前記デフォーカス量を算出する第2の算出手段と、
を有することを特徴とする撮像装置。 An imaging device having an imaging pixel and a focus detection pixel;
Defocus amount calculation means for calculating a defocus amount of the imaging optical system based on an output signal of the focus detection pixel,
The defocus amount calculating means
A first correction value for correcting an image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on an output signal of an imaging pixel located around the focus detection pixel. First calculating means for calculating;
Correction means for correcting an image shift amount of an output signal of the focus detection pixel by the first correction value;
Second calculating means for calculating the defocus amount based on the corrected image shift amount;
An imaging device comprising:
前記複数の像ずれ量の算出に用いられる撮像画素の位置の前記瞳分割方向における周期が、前記予め定められた周期に等しい
ことを特徴とする請求項1に記載の撮像装置。 The focus detection pixels are arranged in a predetermined cycle in the pupil division direction,
The imaging apparatus according to claim 1, wherein a period in the pupil division direction of a position of an imaging pixel used for calculating the plurality of image shift amounts is equal to the predetermined period.
ことを特徴とする請求項2に記載の撮像装置。 The imaging apparatus according to claim 2, wherein a position of the imaging pixel used for calculating the plurality of image shift amounts in the pupil division direction is different from a position of the focus detection pixel in the pupil division direction.
前記補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記第2の補正値によって補正し、
前記係数が、前記瞳分割方向と直交するエッジの前記瞳分割方向における位置の変化に対する、前記第1の補正値の変化と前記焦点検出画素の出力信号の像ずれ量の変化との位相差を減少させる係数である
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。 The defocus amount calculating means further includes third calculating means for calculating a second correction value by applying a coefficient to the first correction value;
The correction means corrects an image shift amount of an output signal of the focus detection pixel by the second correction value;
The coefficient is a phase difference between a change in the first correction value and a change in the image shift amount of the output signal of the focus detection pixel with respect to a change in the position in the pupil division direction of an edge orthogonal to the pupil division direction. The imaging device according to claim 2, wherein the imaging device is a coefficient to be reduced.
第1の算出手段が、前記焦点検出画素の周辺に位置する撮像画素の出力信号に基づいて得られる複数の像ずれ量に基づいて、前記焦点検出画素の出力信号の像ずれ量を補正するための第1の補正値を算出する第1の算出工程と、
補正手段が、前記焦点検出画素の出力信号の像ずれ量を前記第1の補正値によって補正する補正工程と、
第2の算出手段が、前記補正された像ずれ量に基づいて撮像光学系のデフォーカス量を算出する第2の算出工程と、
を有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus including an imaging element having an imaging pixel and a focus detection pixel,
The first calculation means corrects the image shift amount of the output signal of the focus detection pixel based on a plurality of image shift amounts obtained based on the output signals of the imaging pixels located around the focus detection pixel. A first calculation step of calculating a first correction value of
A correcting step in which a correcting unit corrects an image shift amount of an output signal of the focus detection pixel by the first correction value;
A second calculating unit that calculates a defocus amount of the imaging optical system based on the corrected image shift amount;
A method for controlling an imaging apparatus, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014168766A JP2016045322A (en) | 2014-08-21 | 2014-08-21 | Imaging device and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014168766A JP2016045322A (en) | 2014-08-21 | 2014-08-21 | Imaging device and method for controlling the same |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016045322A true JP2016045322A (en) | 2016-04-04 |
Family
ID=55635948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014168766A Pending JP2016045322A (en) | 2014-08-21 | 2014-08-21 | Imaging device and method for controlling the same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016045322A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215578A (en) * | 2016-05-12 | 2017-12-07 | キヤノン株式会社 | Focus detection device and control method of the same |
-
2014
- 2014-08-21 JP JP2014168766A patent/JP2016045322A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017215578A (en) * | 2016-05-12 | 2017-12-07 | キヤノン株式会社 | Focus detection device and control method of the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5662667B2 (en) | Imaging device | |
JP5552214B2 (en) | Focus detection device | |
JP5473977B2 (en) | Imaging apparatus and camera system | |
JP5361535B2 (en) | Imaging device | |
JP5595014B2 (en) | Imaging device | |
JP5563283B2 (en) | Image processing device | |
JP6305006B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
US9160918B2 (en) | Focus control apparatus and method for performing focus control by phase difference detection, and image capturing apparatus | |
JP2009060597A (en) | Imaging apparatus | |
JP2009105682A (en) | Image sensor and imaging apparatus | |
JP2014206564A (en) | Imaging apparatus and control method therefor | |
JP5954933B2 (en) | Imaging device and lens device | |
JP5911252B2 (en) | Imaging apparatus and image processing method | |
JP2012147045A (en) | Imaging apparatus | |
JP6238578B2 (en) | Imaging apparatus and control method thereof | |
JP6486041B2 (en) | Imaging apparatus and control method thereof | |
JP5990008B2 (en) | Imaging apparatus and control method thereof | |
JP2012220790A (en) | Imaging apparatus | |
JP2014110619A (en) | Image processing device and method of controlling the same, and imaging device and method of controlling the same | |
JP2016057402A (en) | Imaging device and method for controlling the same | |
JP2016018033A (en) | Imaging device, control method of the same, program and recording medium | |
JP5407314B2 (en) | Focus detection apparatus and imaging apparatus | |
JP2016045322A (en) | Imaging device and method for controlling the same | |
JP5864989B2 (en) | Imaging device and imaging apparatus | |
JP2016018034A (en) | Imaging device, control method of the same, program and recording medium |