JP2014078025A - Imaging apparatus and camera system - Google Patents
Imaging apparatus and camera systemInfo
- Publication number
- JP2014078025A JP2014078025A JP2013248948A JP2013248948A JP2014078025A JP 2014078025 A JP2014078025 A JP 2014078025A JP 2013248948 A JP2013248948 A JP 2013248948A JP 2013248948 A JP2013248948 A JP 2013248948A JP 2014078025 A JP2014078025 A JP 2014078025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus detection
- pair
- conversion coefficient
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、デジタルカメラやビデオカメラ等の撮像装置に関する。 The present invention relates to an imaging apparatus such as a digital camera or a video camera.
従来から、撮像素子に被写体像の位相差検出機能を付与し、専用のAFセンサを必要とせずに高速の位相差AFを実現させるための撮像素子がある。特許文献1には、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与した撮像素子の画素が開示されている。これらの画素を焦点検出用画素とし、撮像用画素の間に所定の間隔で配置することで位相差式焦点検出を行う。また特許文献2には、短周期のリフレッシュ動作および低輝度被写体に対する焦点検出を両立させるため、過去の複数回の読み出しで記憶した焦点検出画素の画像データを加算して焦点検出演算を行う撮像装置が開示されている。 2. Description of the Related Art Conventionally, there has been an image sensor for providing a phase difference detection function of a subject image to an image sensor and realizing high-speed phase difference AF without requiring a dedicated AF sensor. Patent Document 1 discloses a pixel of an image sensor to which a pupil division function is provided by decentering a sensitivity region of a light receiving unit with respect to an optical axis of an on-chip microlens. These pixels are used as focus detection pixels, and phase difference type focus detection is performed by disposing them at a predetermined interval between the imaging pixels. Patent Document 2 discloses an imaging apparatus that performs focus detection calculation by adding image data of focus detection pixels stored in a plurality of past readings in order to achieve both a short-cycle refresh operation and focus detection for a low-luminance subject. Is disclosed.
特許文献2の撮像装置は、各フレームで焦点検出画素の画像データを記憶し、過去の複数回の読み出しで記憶した焦点検出画素の画像データを加算した画像データに基づいて焦点検出演算を行う。しかしながら、焦点検出画素の画像データを取得している間に絞り値や焦点距離などが変化すると、像ずれ量から変換されるデフォーカス量にずれが生じる。 The imaging apparatus of Patent Literature 2 stores image data of focus detection pixels in each frame, and performs focus detection calculation based on image data obtained by adding the image data of focus detection pixels stored in a plurality of past readings. However, if the aperture value, the focal length, or the like changes while acquiring the image data of the focus detection pixels, a shift occurs in the defocus amount converted from the image shift amount.
そこで本発明は、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供する。 Therefore, the present invention provides an imaging apparatus and a camera system that improve the calculation accuracy of the defocus amount.
本発明の一側面としての撮像装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段を有し、前記加算手段は、時系列的に連続した前記光学情報が変化した場合に前記フレームの複数の信号の加算を止め、該光学情報の変化後にフレームの複数の信号を加算し始める。 An imaging apparatus according to one aspect of the present invention includes an imaging pixel that includes an imaging pixel and a focus detection pixel, photoelectrically converts a subject image, a reading unit that reads a pair of image signals from the focus detection pixel at a predetermined period, and the reading Storage means for storing the pair of image signals read by the means and optical information of the pair of image signals, and addition means for adding signals of frames that are continuous in time series among the pair of image signals; Conversion coefficient determining means for determining a conversion coefficient for converting an image shift amount of the pair of image signals obtained by the adding means into a defocus amount; and multiplying the image shift amount of the pair of image signals by the conversion coefficient. And a focus detection unit that calculates the defocus amount according to the above, and the addition unit stops adding a plurality of signals of the frame when the optical information continuously changed in time series changes. Begins to adding a plurality of signals of the frame after the change of the optical information.
本発明の他の側面としての撮像装置は、撮像画素および焦点検出画素を備え、被写体像を光電変換する撮像素子と、前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段とを有し、前記加算手段は、絞りが変化した場合に前記フレームの複数の信号の加算を止め、該絞りの変化後にフレームの複数の信号を加算し始める。 An imaging apparatus according to another aspect of the present invention includes an imaging pixel and a focus detection pixel, an image sensor that photoelectrically converts a subject image, a reading unit that reads a pair of image signals from the focus detection pixel at a predetermined period, and Storage means for storing the pair of image signals read by the reading means and optical information of the pair of image signals; and addition means for adding signals of frames that are continuous in time series among the pair of image signals; Conversion coefficient determining means for determining a conversion coefficient for converting an image shift amount of the pair of image signals obtained by the adding means into a defocus amount; and multiplying the image shift amount of the pair of image signals by the conversion coefficient. Focus detecting means for calculating the defocus amount, and the adding means stops the addition of a plurality of signals of the frame when the aperture changes, and the focus is changed after the aperture changes. Begin to adding a plurality of signals of over-time.
本発明の他の側面としてのカメラシステムは、レンズを備えて被写体像を形成するレンズ装置と、前記撮像装置とを有する。 A camera system according to another aspect of the present invention includes a lens device that includes a lens and forms a subject image, and the imaging device.
本発明の他の目的及び特徴は、以下の実施例において説明される。 Other objects and features of the present invention are illustrated in the following examples.
本発明によれば、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device and camera system which improved the calculation precision of the defocus amount can be provided.
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In each figure, the same members are denoted by the same reference numerals, and redundant description is omitted.
図1は本発明の実施例1におけるカメラの構成図であり、撮像素子を有するカメラ本体(撮像装置)と撮影光学系(レンズ装置)とが一体的に構成されたカメラ100を示している。ただし本実施例はこれに限定されるものではなく、撮影光学系(レンズ装置)がカメラ本体(撮像装置)に対して着脱可能に構成されたカメラシステムについても適用可能である。 FIG. 1 is a configuration diagram of a camera in Embodiment 1 of the present invention, and shows a camera 100 in which a camera body (imaging device) having an imaging element and a photographing optical system (lens device) are integrally configured. However, the present embodiment is not limited to this, and can be applied to a camera system in which a photographing optical system (lens device) is configured to be detachable from a camera body (imaging device).
図1において、101は、被写体像を形成する撮影光学系の先端に配置された第1レンズ群であり、光軸方向に進退可能に保持される。102は絞り兼用シャッタであり、その開口径を調節することで撮影時の光量調節を行い、また静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は第2レンズ群である。絞り兼用シャッタ102及び第2レンズ群103は一体的に光軸方向に進退可能に構成され、第1レンズ群101の進退動作と連動して変倍作用(ズーム機能)をなす。 In FIG. 1, reference numeral 101 denotes a first lens group disposed at the tip of a photographing optical system that forms a subject image, and is held so as to be able to advance and retract in the optical axis direction. Reference numeral 102 denotes an aperture / shutter, which adjusts the light amount at the time of shooting by adjusting the aperture diameter, and also has a function as an exposure time adjustment shutter at the time of still image shooting. Reference numeral 103 denotes a second lens group. The diaphragm / shutter 102 and the second lens group 103 are configured so as to be integrally movable in the optical axis direction, and perform a zooming function (zoom function) in conjunction with the forward / backward movement of the first lens group 101.
105は第3レンズ群であり、光軸方向の進退動作により焦点調節を行う。106は光学的ローパスフィルタであり、撮影画像の偽色やモアレを軽減するための光学素子である。107は、C−MOSセンサとその周辺回路で構成された撮像素子である。撮像素子107としては、例えば、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサが用いられる。後述のように、撮像素子107は、撮像画素および焦点検出画素を備え、被写体像を光電変換する。 Reference numeral 105 denotes a third lens group, which performs focus adjustment by advancing and retracting in the optical axis direction. Reference numeral 106 denotes an optical low-pass filter, which is an optical element for reducing false colors and moire in a captured image. Reference numeral 107 denotes an image sensor composed of a C-MOS sensor and its peripheral circuits. As the image sensor 107, for example, a two-dimensional single-plate color sensor in which a Bayer array primary color mosaic filter is formed on-chip on light receiving pixels of m pixels in the horizontal direction and n pixels in the vertical direction is used. As will be described later, the image sensor 107 includes an imaging pixel and a focus detection pixel, and photoelectrically converts a subject image.
111はズームアクチュエータであり、不図示のカム筒を回動することで、第1レンズ群101乃至第3レンズ群103を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータであり、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。114はフォーカスアクチュエータであり、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。 Reference numeral 111 denotes a zoom actuator, which rotates a cam cylinder (not shown) to drive the first lens group 101 to the third lens group 103 forward and backward in the optical axis direction to perform a zooming operation. Reference numeral 112 denotes an aperture shutter actuator, which controls the aperture diameter of the aperture / shutter 102 to adjust the amount of photographing light and controls the exposure time during still image photographing. Reference numeral 114 denotes a focus actuator, which performs focus adjustment by driving the third lens group 105 back and forth in the optical axis direction.
115は撮影時の被写体照明用電子フラッシュであり、キセノン管を用いた閃光照明装置が適して用いられるが、これに限定されるものではなく、例えば連続発光するLEDを備えた照明装置を用いてもよい。116はAF補助光手段であり、所定の開口パターンを有するマスクの像を、投光レンズを介して被写界に投影し、暗い被写体又は低コントラスト被写体に対する焦点検出能力を向上させる。 Reference numeral 115 denotes an electronic flash for illuminating a subject at the time of photographing. A flash illumination device using a xenon tube is suitably used, but is not limited to this. For example, an illumination device including an LED that emits light continuously is used. Also good. Reference numeral 116 denotes an AF auxiliary light unit that projects an image of a mask having a predetermined aperture pattern onto a subject field via a projection lens, thereby improving the focus detection capability for a dark subject or a low-contrast subject.
121はCPU(カメラ制御部)であり、カメラ本体の種々の制御を司るカメラ内CPUである。CPU121は、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有し、ROMに記憶された所定のプログラムに基づいて、カメラ100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。 Reference numeral 121 denotes a CPU (camera control unit), which is an in-camera CPU that performs various controls of the camera body. The CPU 121 includes a calculation unit, a ROM, a RAM, an A / D converter, a D / A converter, a communication interface circuit, and the like, and drives various circuits of the camera 100 based on predetermined programs stored in the ROM. A series of operations such as shooting, image processing, and recording are executed.
122は電子フラッシュ制御回路であり、撮影動作に同期して照明手段115を点灯制御する。123は補助光駆動回路であり、焦点検出動作に同期してAF補助光手段116を点灯制御する。124は撮像素子駆動回路であり、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路であり、撮像素子107により取得された画像のγ変換、カラー補間、JPEG圧縮等の処理を行う。 An electronic flash control circuit 122 controls lighting of the illumination unit 115 in synchronization with the photographing operation. Reference numeral 123 denotes an auxiliary light driving circuit, which controls lighting of the AF auxiliary light unit 116 in synchronization with the focus detection operation. Reference numeral 124 denotes an image sensor drive circuit that controls the image capturing operation of the image sensor 107 and A / D-converts the acquired image signal and transmits it to the CPU 121. An image processing circuit 125 performs processing such as γ conversion, color interpolation, and JPEG compression of an image acquired by the image sensor 107.
126はフォーカス駆動回路であり、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路であり、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路であり、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。 A focus driving circuit 126 controls the focus actuator 114 based on the focus detection result, and performs focus adjustment by driving the third lens group 105 back and forth in the optical axis direction. Reference numeral 128 denotes an aperture shutter drive circuit which controls the aperture shutter actuator 112 to control the aperture of the aperture / shutter 102. Reference numeral 129 denotes a zoom drive circuit that drives the zoom actuator 111 in accordance with the zoom operation of the photographer.
131はLCD等の表示器であり、カメラ100の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群であり、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリであり、撮影済み画像を記録する。 Reference numeral 131 denotes a display such as an LCD, which displays information related to the shooting mode of the camera 100, a preview image before shooting and a confirmation image after shooting, a focus state display image at the time of focus detection, and the like. An operation switch group 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. Reference numeral 133 denotes a detachable flash memory that records a photographed image.
図2は、撮像素子107のブロック図を示している。なお、図2のブロック図は、画像信号の読み出し動作の説明に必要な最低限の構成を示し、画素リセット信号などが省略されている。図2において、201は、光電変換部(以下、「PDmn」ともいう。mは、X方向アドレスであり、m=0、1、…、m−1、nは、Y方向アドレスであり、n=0、1、…、n−1である。)であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施例の撮像素子107は、m×nの光電変換部を2次元上に配置して構成されている。符号は、煩雑になるため、左上の光電変換部PD00付近のみに付記している。 FIG. 2 shows a block diagram of the image sensor 107. Note that the block diagram of FIG. 2 shows the minimum configuration necessary for the description of the image signal readout operation, and a pixel reset signal and the like are omitted. 2, 201 is also referred to as a photoelectric conversion unit (hereinafter referred to as “PD mn ”. M is an X-direction address, m = 0, 1,..., M−1, and n are Y-direction addresses. n = 0, 1,..., n−1), and includes a photodiode, a pixel amplifier, a reset switch, and the like. Further, the image sensor 107 of the present embodiment is configured by arranging m × n photoelectric conversion units in a two-dimensional manner. Code, to become complicated, and appended only near the top left of the photoelectric conversion unit PD 00.
202は、光電変換部201(PDmn)の出力を選択するスイッチであり、垂直走査回路208により、一行ごとに選択される。203は、光電変換部201(PDmn)の出力を一時的に記憶するためのラインメモリ(MEM)であり、垂直走査回路208により選択された、一行分の光電変換部201(PDmn)の出力を記憶する。ラインメモリ203としては、通常、コンデンサが用いられる。 Reference numeral 202 denotes a switch for selecting the output of the photoelectric conversion unit 201 (PD mn ), which is selected for each row by the vertical scanning circuit 208. Reference numeral 203 denotes a line memory (MEM) for temporarily storing the output of the photoelectric conversion unit 201 (PD mn ), and one line of the photoelectric conversion unit 201 (PD mn ) selected by the vertical scanning circuit 208. Remember the output. As the line memory 203, a capacitor is usually used.
204は、水平出力線に接続されて、水平出力線を所定の電位VHRSTにリセットするためのスイッチであり、信号HRSTにより制御される。205は、ラインメモリ203に記憶された光電変換部201(PDmn)の出力を水平出力線に順次出力するためのスイッチ(H0〜Hm−1)である。スイッチ205(H0〜Hm−1)を後述の水平走査回路206で順次走査することにより、一行分の光電変換の出力が読み出される。 A switch 204 is connected to the horizontal output line to reset the horizontal output line to a predetermined potential VHRST, and is controlled by a signal HRST. Reference numeral 205 denotes a switch (H 0 to H m−1 ) for sequentially outputting the output of the photoelectric conversion unit 201 (PD mn ) stored in the line memory 203 to the horizontal output line. By sequentially scanning the switches 205 (H 0 to H m−1 ) by a horizontal scanning circuit 206 described later, the output of photoelectric conversion for one row is read out.
206は水平走査回路であり、ラインメモリ203に記憶された光電変換部201の出力を順次操作して、水平出力線に出力させる。信号PHSTは、水平走査回路206のデータ入力、PH1、PH2はシフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる構成となっている。シフトクロック入力PH1、PH2にシフトクロックを入力することにより、信号PHSTを順次シフトさせて、スイッチ205(H0〜Hm−1)を順次オンさせることができる。信号SKIPは、間引き読み出し時に設定を行わせる制御入力信号である。信号SKIPをHレベルに設定することにより、水平走査回路206を所定間隔でスキップさせることが可能になる。207は水平出力線の信号を増幅して端子VOUTに出力する増幅器AMPである。 A horizontal scanning circuit 206 sequentially operates the outputs of the photoelectric conversion unit 201 stored in the line memory 203 and outputs them to the horizontal output line. The signal PHST is a data input of the horizontal scanning circuit 206, PH1 and PH2 are shift clock inputs, and data is set when PH1 = H, and data is latched at PH2. By inputting the shift clock to the shift clock inputs PH1 and PH2, the signal PHST can be sequentially shifted and the switches 205 (H 0 to H m−1 ) can be sequentially turned on. The signal SKIP is a control input signal for performing setting during thinning readout. By setting the signal SKIP to H level, the horizontal scanning circuit 206 can be skipped at predetermined intervals. Reference numeral 207 denotes an amplifier AMP that amplifies the signal of the horizontal output line and outputs the amplified signal to the terminal VOUT.
208は垂直走査回路であり、順次走査して、制御信号V0〜Vn−1を出力することにより、光電変換部201(PDmn)の選択スイッチ202を選択することができる。制御信号は、水平走査回路206の場合と同様に、データ入力である信号PVST、シフトクロックPV1、PV2、及び、間引き読み設定を行う信号SKIPにより制御される。動作の詳細は、水平走査回路206と同様であるため、その説明は省略する。 A vertical scanning circuit 208 sequentially selects and outputs control signals V 0 to V n−1 to select the selection switch 202 of the photoelectric conversion unit 201 (PD mn ). As in the case of the horizontal scanning circuit 206, the control signal is controlled by the signal PVST, the shift clocks PV1 and PV2, which are data inputs, and the signal SKIP for setting thinning-out reading. Since the details of the operation are the same as those of the horizontal scanning circuit 206, the description thereof is omitted.
図3乃至図5は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、2×2の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そしてベイヤー配列の間に、後述する構造を有する焦点検出用画素が所定の規則で分散配置されている。 3 to 5 are diagrams illustrating the structure of the imaging pixel and the focus detection pixel. In this embodiment, out of 4 pixels of 2 × 2, pixels having a spectral sensitivity of G (green) are arranged in two diagonal pixels, and R (red) and B (blue) spectra are arranged in the other two pixels. A Bayer arrangement in which one pixel having sensitivity is arranged is employed. Further, focus detection pixels having a structure to be described later are distributed and arranged in a predetermined rule between the Bayer arrays.
図3は、撮像用画素の配置および構造を示す。図3(a)は、2行×2列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置されている。そして、この2行×2列の構造が繰り返し配置される。 FIG. 3 shows the arrangement and structure of the imaging pixels. FIG. 3A is a plan view of 2 × 2 imaging pixels. As is well known, in the Bayer array, G pixels are arranged diagonally, and R and B pixels are arranged in the other two pixels. The 2 rows × 2 columns structure is repeatedly arranged.
図3(b)は、図3(a)の断面A−Aを示す断面図である。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDはC−MOSセンサの光電変換部を模式的に示したものであり、CLはC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは、撮影光学系を模式的に示したものである。 FIG.3 (b) is sectional drawing which shows the cross section AA of Fig.3 (a). ML is an on-chip microlens disposed on the forefront of each pixel, CFR is an R (Red) color filter, and CFG is a G (Green) color filter. PD schematically shows a photoelectric conversion unit of the C-MOS sensor, and CL is a wiring layer for forming signal lines for transmitting various signals in the C-MOS sensor. TL schematically shows a photographing optical system.
撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部PDの有効面積は大面積であるように設計される。また、図3(b)ではG画素の入射光束について説明したが、R画素及びB(Blue)画素も同一の構造を有する。従って、RGBの各々の撮像用画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込むことで画像信号のS/Nを向上させている。 The on-chip microlens ML and the photoelectric conversion unit PD of the imaging pixel are configured to capture the light beam that has passed through the photographing optical system TL as effectively as possible. In other words, the exit pupil EP of the photographic optical system TL and the photoelectric conversion unit PD are designed to have a conjugate relationship by the microlens ML, and the effective area of the photoelectric conversion unit PD is large. Further, although the incident light beam of the G pixel has been described in FIG. 3B, the R pixel and the B (Blue) pixel also have the same structure. Accordingly, the exit pupil EP corresponding to each of the RGB imaging pixels has a large diameter, and the S / N of the image signal is improved by efficiently capturing the light flux from the subject.
図4は、撮影光学系の水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで水平方向(横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図4(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認知されやすい。一方、R画素、B画素は、色情報(色差情報)を取得する画素であるが、人間の視覚特性は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化は認識され難い。そこで本実施例においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素を焦点検出用画素に置き換える。これを図4(a)においてSHA及びSHBで示す。 FIG. 4 shows the arrangement and structure of focus detection pixels for performing pupil division in the horizontal direction (lateral direction) of the photographing optical system. Here, the horizontal direction (lateral direction) refers to a direction along a straight line that is orthogonal to the optical axis and extends in the horizontal direction when the camera is held so that the optical axis of the photographing optical system is horizontal. FIG. 4A is a plan view of pixels of 2 rows × 2 columns including focus detection pixels. When obtaining an image signal for recording or viewing, the main component of luminance information is acquired by G pixels. Since human image recognition characteristics are sensitive to luminance information, image quality degradation is easily perceived when G pixels are missing. On the other hand, the R pixel and the B pixel are pixels that acquire color information (color difference information). However, since human visual characteristics are insensitive to color information, the pixels that acquire color information are somewhat deficient. However, image quality degradation is difficult to recognize. Therefore, in this embodiment, among the pixels of 2 rows × 2 columns, the G pixel is left as an imaging pixel, and the R and B pixels are replaced with focus detection pixels. This is indicated by SHA and SHB in FIG.
図4(b)は、図4(a)における断面A−Aを示す断面図である。マイクロレンズMLと光電変換部PDは、図3(b)に示される撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像創生に用いられないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SHAの開口部OPHAは右側に偏倚しているため、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SHBの開口部OPHBは左側に偏倚しているため、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とする。そしてA像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)を検出することができる。 FIG. 4B is a cross-sectional view showing a cross section AA in FIG. The microlens ML and the photoelectric conversion unit PD have the same structure as the imaging pixel shown in FIG. In this embodiment, since the signal of the focus detection pixel is not used for image creation, a transparent film CFW (White) is disposed instead of the color filter for color separation. Moreover, since pupil division is performed by the image sensor, the opening of the wiring layer CL is biased in one direction with respect to the center line of the microlens ML. Specifically, since the opening OPHA of the pixel SHA is biased to the right side, the light beam that has passed through the left exit pupil EPHA of the imaging optical system TL is received. Similarly, since the opening OPHB of the pixel SHB is biased to the left side, the light beam that has passed through the right exit pupil EPHB of the imaging optical system TL is received. The pixels SHA are regularly arranged in the horizontal direction, and a subject image acquired by these pixel groups is defined as an A image. The pixels SHB are also regularly arranged in the horizontal direction, and the subject image acquired by these pixel groups is defined as a B image. By detecting the relative positions of the A and B images, the amount of defocus (defocus amount) of the subject image can be detected.
なお、画素SHA及びSHBでは、撮影画面の横方向に輝度分布を有する被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線に対しては焦点検出不能である。そこで本実施例では、後者についても焦点検出できるように、撮影光学系の垂直方向(縦方向)に瞳分割を行う画素も備えている。 In addition, in the pixels SHA and SHB, focus detection is possible for an object having a luminance distribution in the horizontal direction of the shooting screen, for example, a vertical line, but focus detection is not possible for a horizontal line having a luminance distribution in the vertical direction. is there. Therefore, in this embodiment, a pixel that performs pupil division in the vertical direction (longitudinal direction) of the photographing optical system is also provided so that the focus can be detected in the latter case.
図5は、撮影光学系の垂直方向(換言すると上下方向(縦方向))に瞳分割を行うための焦点検出用画素の配置と構造を示す。ここで垂直方向(上下方向あるいは縦横方向)とは、撮影光学系の光軸が水平となるようにカメラを構えたとき、光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図5(a)は、焦点検出用画素を含む2行×2列の画素の平面図であり、図4(a)と同様に、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素としている。これを図4(a)においてSVC及びSVDで示す。 FIG. 5 shows the arrangement and structure of focus detection pixels for performing pupil division in the vertical direction (in other words, the vertical direction (vertical direction)) of the photographing optical system. Here, the vertical direction (vertical direction or vertical and horizontal directions) refers to a direction along a straight line that is orthogonal to the optical axis and extends in the vertical direction when the camera is held so that the optical axis of the photographing optical system is horizontal. FIG. 5A is a plan view of pixels of 2 rows × 2 columns including focus detection pixels. As in FIG. 4A, G pixels are left as imaging pixels, and R pixels and B pixels are used. Focus detection pixels are used. This is indicated by SVC and SVD in FIG.
図5(b)は、図5(a)の断面A−Aを示す断面図である。図4(b)の画素が横方向に瞳分離させる構造であるのに対して、図5(b)の画素は瞳分離方向が縦方向になっている。図5(b)のそれ以外の画素構造は図4(b)の構造と同様である。すなわち、画素SVCの開口部OPVCは下側に偏倚しているため、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは上側に偏倚しているため、撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光する。画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。また、画素SVDも垂直方向規則的に配列し、これらの画素群で取得した被写体像をD像とする。そしてC像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)を検出することができる。 FIG.5 (b) is sectional drawing which shows the cross section AA of Fig.5 (a). While the pixel in FIG. 4B has a structure in which the pupil is separated in the horizontal direction, the pixel in FIG. 5B has a vertical pupil separation direction. The other pixel structure in FIG. 5B is the same as the structure in FIG. That is, since the opening OPVC of the pixel SVC is biased downward, the light beam that has passed through the upper exit pupil EPVC of the imaging optical system TL is received. Similarly, since the opening OPVD of the pixel SVD is biased upward, the light beam that has passed through the lower exit pupil EPVD of the imaging optical system TL is received. Pixels SVC are regularly arranged in the vertical direction, and a subject image acquired by these pixel groups is defined as a C image. The pixels SVD are also regularly arranged in the vertical direction, and the subject image acquired by these pixel groups is defined as a D image. Then, by detecting the relative positions of the C image and the D image, it is possible to detect the focus shift amount (defocus amount) of the subject image having the luminance distribution in the vertical direction.
続いて、像ずれ量からデフォーカス量を算出するための変換係数を得る方法について説明する。変換係数は、結像光学系の口径情報及び焦点検出画素の感度分布に基づいて算出される。イメージセンサ(撮像素子107)には、撮影レンズTLのレンズ保持枠や絞り102などのいくつかの構成部材によって制限された光束が入射する。図6および図7は、撮影光学系のケラレにより、焦点検出用の光束が制限されている様子を示す図である。図6は、イメージセンサの中央近傍の画素に対して、射出瞳面601の位置にある結像光学系の絞り602によって光束が制限されている様子を示している。図6(a)において、603、604はイメージセンサ(603は、予定結像面位置におけるイメージセンサ)、605は光軸、606はイメージセンサ603上での光軸の位置である。607、608は絞り602によって光束が限定された場合の光束、609、610は絞り602により制限されていない光束である。611、612はそれぞれ、光束607、608に対する焦点検出用光束である。615、616はそれぞれ、焦点検出用光束611、612の重心位置である。同様に、613、614はそれぞれ、光束609、610に対する焦点検出用光束である。617、618はそれぞれ、焦点検出用光束613、614の重心位置である。630はイメージセンサに最も近い側にあるレンズ保持枠、631は被写体に最も近い側にあるレンズ保持枠である。 Next, a method for obtaining a conversion coefficient for calculating the defocus amount from the image shift amount will be described. The conversion coefficient is calculated based on the aperture information of the imaging optical system and the sensitivity distribution of the focus detection pixels. The image sensor (imaging device 107) is incident with a light beam limited by several components such as the lens holding frame of the photographing lens TL and the diaphragm 102. 6 and 7 are diagrams illustrating a state in which the focus detection light beam is limited by the vignetting of the photographing optical system. FIG. 6 shows a state in which the light beam is limited by the stop 602 of the imaging optical system at the position of the exit pupil plane 601 with respect to the pixel near the center of the image sensor. In FIG. 6A, 603 and 604 are image sensors (603 is an image sensor at a planned imaging plane position), 605 is an optical axis, and 606 is the position of the optical axis on the image sensor 603. Reference numerals 607 and 608 denote light beams when the light beam is limited by the diaphragm 602, and reference numerals 609 and 610 denote light beams that are not limited by the diaphragm 602. Reference numerals 611 and 612 denote focus detection light beams for the light beams 607 and 608, respectively. Reference numerals 615 and 616 denote the gravity center positions of the focus detection light beams 611 and 612, respectively. Similarly, 613 and 614 are focus detection light beams for the light beams 609 and 610, respectively. Reference numerals 617 and 618 denote barycentric positions of the focus detection light beams 613 and 614, respectively. Reference numeral 630 denotes a lens holding frame on the side closest to the image sensor, and 631 denotes a lens holding frame on the side closest to the subject.
図6(b)は、イメージセンサの中央の焦点検出用画素の射出瞳面601でのケラレによる重心位置の変化を説明する図である。図6(b)において、623、624はそれぞれ、イメージセンサ604の中央の画素に対して制限された光束607、608、および、制限されていない光束609、610の瞳領域を示す。625、626はそれぞれ、焦点検出用画素SHA、SHBの入射角特性を示す。焦点検出用画素SHA、SHBには、瞳領域623、624の内側を透過した光束が入射角特性625、626で示される感度分布で入射する。このため、瞳領域623、624の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束が制限されている場合と、制限されていない場合の重心間隔を算出することができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。 FIG. 6B is a diagram for explaining a change in the center of gravity due to vignetting on the exit pupil plane 601 of the focus detection pixel at the center of the image sensor. In FIG. 6B, reference numerals 623 and 624 denote pupil regions of light beams 607 and 608 restricted with respect to the center pixel of the image sensor 604 and light beams 609 and 610 that are not restricted, respectively. Reference numerals 625 and 626 denote incident angle characteristics of the focus detection pixels S HA and S HB , respectively. Light beams that have passed through the inside of the pupil regions 623 and 624 are incident on the focus detection pixels S HA and S HB with sensitivity distributions indicated by incident angle characteristics 625 and 626. For this reason, by calculating the distribution centroids of the focus detection light fluxes that have passed through the inside of the pupil regions 623 and 624, the centroid distance between when the focus detection light flux is restricted and when it is not restricted is calculated. Can do. By obtaining the sensitivity distribution information of the focus detection pixel and the aperture information of the imaging optical system from measurement and calculation and storing them in advance, a conversion coefficient for calculating the defocus amount from the image shift amount can be obtained. .
図6(a)において、デフォーカス量619をDEF、イメージセンサ603から射出瞳面601までの距離620をLとする。また、焦点検出用光束が制限されている場合と制限されていない場合の重心間隔をそれぞれG1(重心位置615、616間距離)、G2(重心位置617、618間距離)とする。また、像ずれ量621、622をそれぞれPRED1、PRED2、像ずれ量621、622のそれぞれをデフォーカス量DEFに変換する変換係数をK1、K2とする。このとき、以下の式(1)によりデフォーカス量DEFを求めることができる。 In FIG. 6A, the defocus amount 619 is DEF, and the distance 620 from the image sensor 603 to the exit pupil plane 601 is L. The center-of-gravity intervals when the focus detection light flux is restricted and when it is not restricted are G1 (distance between centroid positions 615 and 616) and G2 (distance between centroid positions 617 and 618), respectively. Also, conversion coefficients for converting the image shift amounts 621 and 622 into PRED1 and PRED2 and the image shift amounts 621 and 622 into the defocus amount DEF are K1 and K2, respectively. At this time, the defocus amount DEF can be obtained by the following equation (1).
DEF=K1×PRED1=K2×PRED2 … (1)
また、像ずれ量621、622をデフォーカス量DEFに変換する変換係数K1、K2は、それぞれ以下の式(2−a)、(2−b)により求められる。
DEF = K1 × PRED1 = K2 × PRED2 (1)
Also, conversion coefficients K1 and K2 for converting the image shift amounts 621 and 622 into the defocus amount DEF are obtained by the following equations (2-a) and (2-b), respectively.
K1=L/G1 … (2−a)
K2=L/G2 … (2−b)
焦点検出位置が光軸近傍にない場合、射出瞳面601以外の位置にある絞りの射出瞳や、絞りの射出瞳よりF値が明るい場合でも結像光学系の絞り以外のレンズの保持枠に対応した射出瞳により、焦点検出用光束のケラレが発生する。
K1 = L / G1 (2-a)
K2 = L / G2 (2-b)
When the focus detection position is not in the vicinity of the optical axis, the exit pupil of the stop at a position other than the exit pupil plane 601 or the holding frame of the lens other than the stop of the imaging optical system even when the F value is brighter than the exit pupil of the stop The corresponding exit pupil causes vignetting of the focus detection light beam.
図7は、イメージセンサの中央から像高を有する位置の画素に対して、レンズ保持枠によって光束が制限されている様子を示している。図7(a)において、703、704はイメージセンサ(703は、予定結像面位置におけるイメージセンサ)、705は光軸、706はイメージセンサ上での光軸位置である。707、708はイメージセンサに最も近い側にあるレンズ保持枠730と、被写体に最も近い側にあるレンズ保持枠731により制限された光束である。711、712はそれぞれ、光束707、708に対する焦点検出用光束、715、716はそれぞれ、焦点検出用光束711、712の重心位置である。 FIG. 7 shows a state in which the light beam is limited by the lens holding frame with respect to the pixel at the position having the image height from the center of the image sensor. In FIG. 7A, 703 and 704 are image sensors (703 is an image sensor at a planned imaging plane position), 705 is an optical axis, and 706 is an optical axis position on the image sensor. Reference numerals 707 and 708 denote light beams limited by the lens holding frame 730 that is closest to the image sensor and the lens holding frame 731 that is closest to the subject. Reference numerals 711 and 712 denote focus detection light fluxes with respect to the light fluxes 707 and 708, and reference numerals 715 and 716 denote gravity center positions of the focus detection light fluxes 711 and 712, respectively.
図7(b)は、イメージセンサの中央から像高を有する位置の焦点検出用画素の射出瞳面701において、ケラレによる重心位置を示す図である。図7(b)において、723はイメージセンサ704の中央から像高を有する画素に対して、制限された光束707、708の瞳領域である。725、726は、焦点検出用画素SHA、SHBの入射角特性である。焦点検出用画素SHA、SHBには、瞳領域723の内側を透過した光束が入射角特性725、726の感度分布で入射する。このため、瞳領域723の内側を透過した焦点検出用光束の分布重心をそれぞれ求めることで、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔を求めることができる。焦点検出用画素の感度分布情報および結像光学系の口径情報を測定及び計算から求めて予め記憶しておくことで、像ずれ量からデフォーカス量を算出するための変換係数を求めることができる。 FIG. 7B is a diagram illustrating the position of the center of gravity due to vignetting on the exit pupil plane 701 of the focus detection pixel at a position having an image height from the center of the image sensor. In FIG. 7B, reference numeral 723 denotes a pupil region of light beams 707 and 708 restricted with respect to a pixel having an image height from the center of the image sensor 704. Reference numerals 725 and 726 denote incident angle characteristics of the focus detection pixels S HA and S HB . The light flux that has passed through the inside of the pupil region 723 is incident on the focus detection pixels S HA and S HB with the sensitivity distribution of the incident angle characteristics 725 and 726. Therefore, by obtaining the distribution centroids of the focus detection light fluxes that have passed through the inside of the pupil region 723, the centroid distance when the focus detection light flux is limited by the lens holding frame can be obtained. By obtaining the sensitivity distribution information of the focus detection pixel and the aperture information of the imaging optical system from measurement and calculation and storing them in advance, a conversion coefficient for calculating the defocus amount from the image shift amount can be obtained. .
図7(a)において、デフォーカス量719をDEF、イメージセンサ703から射出瞳面701までの距離720をL、焦点検出用光束がレンズ保持枠によって制限されている場合の重心間隔をG3(重心位置715、716間距離)とする。また、像ずれ量721をPRED3、像ずれ量PRED3をデフォーカス量DEFに変換する変換係数をK3とする。このとき、以下の式(3)によりデフォーカス量DEFを求めることができる。 In FIG. 7A, the defocus amount 719 is DEF, the distance 720 from the image sensor 703 to the exit pupil plane 701 is L, and the center-of-gravity interval when the focus detection light beam is limited by the lens holding frame is G3 (center of gravity). Distance between positions 715 and 716). Also, the conversion coefficient for converting the image shift amount 721 into PRED3 and the image shift amount PRED3 into the defocus amount DEF is K3. At this time, the defocus amount DEF can be obtained by the following equation (3).
DEF=K3×PRED3 … (3)
像ずれ量PRED3をデフォーカス量DEFに変換する変換係数K3は、以下の式(4)により求められる。
DEF = K3 × PRED3 (3)
A conversion coefficient K3 for converting the image shift amount PRED3 into the defocus amount DEF is obtained by the following equation (4).
K3=L/G3 … (4)
本実施例では、イメージセンサ上での焦点検出領域の位置に応じて、レンズ保持枠で光束が制限される様子を示しているが、他にも各レンズ群101、102、103の進退動作に伴う変倍操作やフォーカス位置の変化によっても光束が制限される位置は変化する。光束が制限される位置の変化に伴い、像ずれ量をデフォーカス量に変換する変換係数は変化する。
K3 = L / G3 (4)
In this embodiment, the light beam is limited by the lens holding frame in accordance with the position of the focus detection area on the image sensor. However, the lens groups 101, 102, and 103 can be moved back and forth. The position where the luminous flux is restricted also changes depending on the accompanying zooming operation or change in the focus position. The conversion coefficient for converting the image shift amount into the defocus amount changes with a change in the position where the light beam is limited.
図8は、撮像用画素および焦点検出用画素の配置図である。図6において、Gは緑フィルターを塗布した画素、Rは赤フィルターを塗布した画素、Bは青フィルターを塗布した画素である。図6中のSHAは、画素部の開口を水平方向に偏倚させて形成された焦点検出用画素であり、後述のSHB画素群との水平方向の像ずれ量を検出するための基準画素群である。またSHBは、画素の開口部をSHA画素と逆方向に偏倚させて形成された画素であり、SHA画素群との水平方向の像ずれ量を検出するための参照画素群である。SHA、SHB画素の白抜き部分は、偏倚した画素の開口位置を示している。 FIG. 8 is an arrangement diagram of imaging pixels and focus detection pixels. In FIG. 6, G is a pixel applied with a green filter, R is a pixel applied with a red filter, and B is a pixel applied with a blue filter. SHA in FIG. 6 is a focus detection pixel formed by shifting the opening of the pixel portion in the horizontal direction, and is a reference pixel group for detecting an image shift amount in the horizontal direction from the SHB pixel group described later. is there. In addition, SHB is a pixel formed by biasing the opening of the pixel in a direction opposite to that of the SHA pixel, and is a reference pixel group for detecting a horizontal image shift amount from the SHA pixel group. The white portions of the SHA and SHB pixels indicate the opening positions of the biased pixels.
図9は、撮像画面上の焦点検出領域の一例である。図9において、焦点検出領域は図8に示される画素の配置となっている。本実施例では、焦点検出領域を撮像画面上の中央に設定しているが、焦点検出領域を複数領域配置し、それぞれの領域で結像された被写体像から焦点検出画素で像をサンプリングするように構成してもよい。 FIG. 9 is an example of a focus detection area on the imaging screen. In FIG. 9, the focus detection area has the pixel arrangement shown in FIG. In this embodiment, the focus detection area is set at the center on the imaging screen. However, a plurality of focus detection areas are arranged, and an image is sampled with focus detection pixels from the subject image formed in each area. You may comprise.
図10乃至図12は、カメラの焦点調節及び撮影工程を説明するためのフローチャートである。前述の各図も参照しながら、図10乃至図12の制御フローについて説明する。これらの制御は、カメラのCPU121の指令に基づいて実行される。 FIG. 10 to FIG. 12 are flowcharts for explaining camera focus adjustment and photographing steps. The control flow of FIGS. 10 to 12 will be described with reference to the above-described drawings. These controls are executed based on commands from the CPU 121 of the camera.
図10は、ライブビューから動画撮影を行う際のカメラのメインフローである。まずステップS1001において、撮影者はカメラの電源スイッチをオン操作する。この操作により、CPU121はステップS1002において、カメラ内の各アクチュエータや撮像素子の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する(初期状態検出)。続いてCPU121は、ステップS1003において撮像素子を駆動し、ステップS1004においてライブビューモードにセットすることで撮像素子に周期的な撮像動作を開始させ、表示器131へのライブビュー動画の表示を行う。このとき、CPU121(読み出し手段)は、撮像素子107の焦点検出画素から所定周期で画像信号(一対の像信号)を読み出す。 FIG. 10 is a main flow of the camera when shooting a moving image from the live view. First, in step S1001, the photographer turns on the power switch of the camera. By this operation, in step S1002, the CPU 121 checks the operation of each actuator and image sensor in the camera, initializes the memory contents and the execution program, and executes the shooting preparation operation (initial state detection). Subsequently, the CPU 121 drives the image sensor in step S1003, sets the live view mode in step S1004, causes the image sensor to start a periodic imaging operation, and displays a live view moving image on the display 131. At this time, the CPU 121 (reading unit) reads image signals (a pair of image signals) from the focus detection pixels of the image sensor 107 at a predetermined period.
ステップS1005では、測光センサ(不図示)により測光した被写界輝度に応じて自動的に決定された表示用絞り値、すなわち周期的に画像信号を読み出した場合に画像信号が表示に適したレベルになる絞り値に応じた絞り制御情報をCPU121へ送る。又は、操作部材(不図示)により撮影者が手動で設定した撮影絞り値に応じた絞り制御情報をCPU121へ送るように構成してもよい。この制御情報に基づいて、絞り開口径を撮影絞り値に設定する。また露光時間を適切に設定する。続いてステップS1006では、焦点検出スイッチがオンされたか否かを判定し、オンされていなければ待機し、オンされた場合はステップS1101でライブビュー中の焦点検出動作に関するサブルーチンにジャンプする。 In step S1005, a display aperture value automatically determined according to the field luminance measured by a photometric sensor (not shown), that is, a level suitable for display when the image signal is periodically read out. The aperture control information corresponding to the aperture value to be sent is sent to the CPU 121. Or you may comprise so that aperture control information according to the imaging aperture value manually set by the photographer with an operation member (not shown) may be sent to the CPU 121. Based on this control information, the aperture diameter is set to the photographing aperture value. Also, the exposure time is set appropriately. In step S1006, it is determined whether or not the focus detection switch is turned on. If it is not turned on, the process waits. If it is turned on, the process jumps to a subroutine related to the focus detection operation during live view in step S1101.
図11は、ライブビュー中の焦点検出のフローを示す。ステップS1102において、CPU121は、現フレームにおける焦点検出画素データ(読み出し手段により読み出された画像信号)および焦点検出画素データの光学情報を内部メモリ(記憶手段)に記憶する。ここで光学情報とは、後述のように、例えばフレームごとの変換係数である。また、光学情報として撮像光学系(絞り、レンズ枠)の口径、焦点距離、フォーカス位置、又は、結像像高位置を内部メモリに記憶してもよい。この場合、後述の変換係数決定手段は、このような光学情報からフレームごとの変換係数を算出する。続いてステップS1103において、CPU121(加算手段)は、内部メモリから焦点検出画素の画像データ(画像信号)を読み出して加算処理を行う。すなわちCPU121は、画像信号のうち時系列的に連続したフレームの複数の信号を加算する。 FIG. 11 shows a flow of focus detection during live view. In step S1102, the CPU 121 stores the focus detection pixel data (image signal read by the reading unit) and the optical information of the focus detection pixel data in the current frame in the internal memory (storage unit). Here, the optical information is, for example, a conversion coefficient for each frame as described later. Further, the aperture, focal length, focus position, or image formation image height position of the imaging optical system (aperture, lens frame) may be stored in the internal memory as optical information. In this case, the conversion coefficient determination means described later calculates a conversion coefficient for each frame from such optical information. Subsequently, in step S1103, the CPU 121 (adding unit) reads the image data (image signal) of the focus detection pixel from the internal memory and performs an addition process. That is, the CPU 121 adds a plurality of signals of frames that are continuous in time series among the image signals.
ここで、焦点検出画素の画像データ(画像信号)の加算処理について、図13を参照して説明する。本実施例では、レンズが合焦位置に移動する間もオーバーラップして焦点検出動作を行うことができるものとして、時間が経過するごとにレンズが合焦位置に近づく様子を示している。図13において、最上部に画像信号の読出しの時間経過が示されている。画像信号の読出しの所定周期をTs、現フレームの読み出しサイクルをnと表し、現フレームの時刻をnTsとしている。各フレームで読み出された最新の画像データにより、表示はリフレッシュされる。各フレームで読み出された焦点検出画素の画像データは、内部メモリにスタックして記憶される。画像信号の読出しn回目に読み出された焦点検出画素の画像信号は、焦点検出画素信号a(n)として記憶される。 Here, the addition processing of the image data (image signal) of the focus detection pixel will be described with reference to FIG. In this embodiment, it is assumed that the focus detection operation can be performed while the lens moves to the in-focus position, and the lens approaches the in-focus position as time elapses. In FIG. 13, the elapsed time of reading the image signal is shown at the top. The predetermined period for reading the image signal is Ts, the current frame read cycle is n, and the current frame time is nTs. The display is refreshed by the latest image data read in each frame. The image data of the focus detection pixels read out in each frame is stored in a stack in the internal memory. The image signal of the focus detection pixel read out at the nth read-out of the image signal is stored as the focus detection pixel signal a (n).
加算処理の方法としては、まず、現フレームの焦点検出画素の画像データの最大値と最小値の差分(ピーク−ボトム値:以下「PB値」と称す)としきい値PBthを比較し、PB値がしきい値PBthを超えている場合には焦点検出画素信号を加算画素信号とする。図13においては、時刻nTsで示されており、焦点検出画素信号a(n)のPB値がしきい値PBthを超えているため、a(n)を加算画素信号A(n)としている。 As a method of addition processing, first, the difference between the maximum value and the minimum value of the image data of the focus detection pixel in the current frame (peak-bottom value: hereinafter referred to as “PB value”) is compared with the threshold value PBth, and the PB value is determined. When the value exceeds the threshold value PBth, the focus detection pixel signal is set as the addition pixel signal. In FIG. 13, it is indicated at time nTs, and since the PB value of the focus detection pixel signal a (n) exceeds the threshold value PBth, a (n) is used as the addition pixel signal A (n).
また、最新フレームの焦点検出画素信号がしきい値PBthを超えていない場合、過去フレームで取得した焦点検出画素の画像データを順に加算し、加算画素信号のPB値がしきい値PBthを超えた時点で加算処理を終了し、加算結果を加算画素信号とする。図13においては、時刻(n−2)Tsで示されている。時刻(n−1)Tsでは、焦点検出画素信号b(n−1)のPB値がしきい値PBthを超えておらず、前フレームで取得した焦点検出画素信号c(n−2)をb(n−1)に加算すると、加算画素信号のPB値はしきい値PBthを超える。このため、b(n−1)+c(n−2)を加算画素信号B(n−1)としている。 When the focus detection pixel signal of the latest frame does not exceed the threshold value PBth, the image data of the focus detection pixels acquired in the past frame is added in order, and the PB value of the addition pixel signal exceeds the threshold value PBth At the time, the addition process is terminated, and the addition result is set as an addition pixel signal. In FIG. 13, the time (n-2) Ts is indicated. At time (n−1) Ts, the PB value of the focus detection pixel signal b (n−1) does not exceed the threshold value PBth, and the focus detection pixel signal c (n−2) acquired in the previous frame is b. When added to (n-1), the PB value of the added pixel signal exceeds the threshold value PBth. For this reason, b (n−1) + c (n−2) is used as the addition pixel signal B (n−1).
このように、CPU121(加算手段)は、所定のフレームにおける画像信号の最大値と最小値との差分が所定のしきい値を超えていない場合、所定のフレームにおける画像信号に直前のフレームにおける画像信号を加算することにより加算結果を算出する。一方、この差分が所定のしきい値以上である場合、所定のフレームにおける画像信号を加算結果とする。 As described above, when the difference between the maximum value and the minimum value of the image signal in the predetermined frame does not exceed the predetermined threshold value, the CPU 121 (adding unit) adds the image in the immediately preceding frame to the image signal in the predetermined frame. The addition result is calculated by adding the signals. On the other hand, if this difference is greater than or equal to a predetermined threshold value, an image signal in a predetermined frame is set as the addition result.
また、現フレームの画像データに加算する過去フレームの画像データの数(以下、「フレーム加算数」という。)には上限が設けられ、上限以上を必要とする場合には上限までの加算データを加算画素信号とする。図13においては、フレーム加算数の上限を3としており、時刻(n−2)Tsで示されている。以上が、加算処理の方法である。 An upper limit is provided for the number of past frame image data to be added to the current frame image data (hereinafter referred to as “frame addition number”). Let it be an addition pixel signal. In FIG. 13, the upper limit of the number of frame additions is 3, which is indicated by time (n−2) Ts. The above is the method of addition processing.
次に、CPU121(変換係数決定手段)は、図11中のステップS1104において、加算手段により得られた加算フレームの一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を算出する。このときCPU121は、時系列的に連続した光学情報に基づいて加算フレームの変換係数を決定する。この変換係数決定方法については後述する。またステップ1105において、CPU121は、ステップS1103で加算された画像データに基づいて相関演算処理を行い、ステップS1106において相関の信頼性判定を行う。続いてCPU121(焦点検出手段)は、ステップS1107において相関演算処理により得られた像ずれ量に変換係数を乗じることで、デフォーカス量を算出する。このように焦点検出手段としてのCPU121は、加算手段による加算結果に基づいて焦点検出を行う。 Next, in step S1104 in FIG. 11, the CPU 121 (conversion coefficient determination unit) calculates a conversion coefficient for converting the image shift amount of the pair of image signals of the addition frame obtained by the addition unit into a defocus amount. At this time, the CPU 121 determines the conversion coefficient of the addition frame based on the optical information continuous in time series. This conversion coefficient determination method will be described later. In step 1105, the CPU 121 performs correlation calculation processing based on the image data added in step S1103, and performs correlation reliability determination in step S1106. Subsequently, the CPU 121 (focus detection means) calculates the defocus amount by multiplying the image shift amount obtained by the correlation calculation processing in step S1107 by the conversion coefficient. Thus, the CPU 121 as the focus detection unit performs focus detection based on the addition result by the addition unit.
ここで、焦点検出画素の画像データに時系列的な加算処理を施す場合の変換係数の算出方法について説明する。1フレームの焦点検出画素の画像データからデフォーカス量を算出する場合の変換係数の算出方法に関しては前述のとおりである。以下、本実施例に好適な処理として、焦点検出画素の画像データを時系列的に加算している途中で絞りが変更された場合など、加算フレームごとに変換係数が変化した場合の変換係数算出処理について説明する。 Here, a method for calculating the conversion coefficient when performing time-series addition processing on the image data of the focus detection pixels will be described. The calculation method of the conversion coefficient when calculating the defocus amount from the image data of the focus detection pixels of one frame is as described above. Hereinafter, as a process suitable for the present embodiment, conversion coefficient calculation when the conversion coefficient changes for each addition frame, such as when the aperture is changed during the time series addition of image data of focus detection pixels. Processing will be described.
一例として、時刻mTs、フレーム加算数3で加算処理を施した1対の画像データのうち、片方の画像データをX(m)とする。そして、X(m)を構成する画像信号のうち、現フレームの画像データをx(m)、1つ前のフレームで取得した画像データをy(m−1)、2つ前のフレームで取得した画像データをz(m−2)とした場合を考える。画像データx(m)、y(m−1)、z(m−2)を取得したタイミングではそれぞれ異なる絞りで撮影されるものとして、それぞれのフレームにおける変換係数をKm、Km−1、Km−2とする。この場合、加算処理を施した1対の画像データに対する変換係数として、時刻mTsにおける変換係数Kmを用いると、変換係数の異なる時刻mTs以外のタイミングで得られた画像データを加算することで算出されるデフォーカス量には、誤差が生じる。このため、時刻mTsで使用する変換係数Km’(加算フレームの変換係数)として、以下の式(5)で表されるように、フレームごとの変換係数の平均値を用いる。このように加算フレームの変換係数を決定することで、デフォーカス量の誤差は改善される。 As an example, let X (m) be one image data out of a pair of image data subjected to addition processing at time mTs and the number of frame additions of 3. Then, among the image signals constituting X (m), the image data of the current frame is acquired by x (m), the image data acquired by the previous frame is y (m−1), and is acquired by the second previous frame. Let us consider a case where the obtained image data is z (m−2). Assuming that the image data x (m), y (m−1), and z (m−2) are acquired at different timings, the conversion coefficients in the respective frames are set to K m , K m−1 , K m−2 . In this case, when the conversion coefficient K m at the time mTs is used as the conversion coefficient for the pair of image data subjected to the addition processing, the calculation is performed by adding the image data obtained at timings other than the time mTs having different conversion coefficients. An error occurs in the amount of defocusing. For this reason, the average value of the conversion coefficients for each frame is used as the conversion coefficient K m ′ (conversion coefficient of the addition frame) used at time mTs, as represented by the following equation (5). Thus, by determining the conversion coefficient of the addition frame, the error of the defocus amount is improved.
Km’=(Km+Km−1+Km−2)/3 … (5)
本実施例においては、周期的に読み出される焦点検出用画素の画像データと変換係数をフレーム毎にそれぞれ記憶しておき、像ずれ量をデフォーカス量に変換する際に、加算画像データ(加算フレーム)に対応した変換係数を算出する。なお本実施例において、加算画像データの変換係数を算出するために周期的に記憶される値(光学情報)として、フレーム毎の変換係数の代わりに、フレーム毎の焦点検出瞳の重心間隔またはレンズの口径情報を用い、後で変換係数を算出するように構成してもよい。また、画像データX(m)を構成する各フレームの画像データの像ずれ量への寄与率を考慮して所定の重み付けを行ってもよい。画像データx(m)、y(m−1)、z(m−2)のPB値をそれぞれPBx、PBy、PBzとした場合、変換係数Km’は以下の式(6)を用いて算出される。
K m ′ = (K m + K m−1 + K m−2 ) / 3 (5)
In this embodiment, image data and conversion coefficients of focus detection pixels that are periodically read out are stored for each frame, and added image data (addition frame) is converted when an image shift amount is converted into a defocus amount. ) Is calculated. In this embodiment, as a value (optical information) that is periodically stored to calculate the conversion coefficient of the added image data, instead of the conversion coefficient for each frame, the center-of-gravity interval of the focus detection pupil for each frame or the lens The aperture coefficient information may be used to calculate the conversion coefficient later. Further, predetermined weighting may be performed in consideration of a contribution ratio to the image shift amount of the image data of each frame constituting the image data X (m). When the PB values of the image data x (m), y (m−1), and z (m−2) are PB x , PB y , and PB z , respectively, the conversion coefficient K m ′ is expressed by the following equation (6). Is used to calculate.
Km’=(Km×PBx+Km−1×PBy+Km−2×PBz)/(PBx+PBy+PBz) … (6)
本実施例では、フレーム加算数を3とした場合を例として説明したが、これに限定されるものではなく、フレーム加算数に応じて同様の処理を施すことで変換係数を算出することができる。また本実施例では、絞り(撮像光学系の口径)の変化に応じて変換係数を変更することを説明しているが、これに限定されるものではない。前述のとおり、変換係数は、絞りの変化以外にも変換係数が変化する場合に対して同様の処理を施すことで算出可能である。
K m '= (K m × PB x + K m-1 × PB y + K m-2 × PB z) / (PB x + PB y + PB z) ... (6)
In this embodiment, the case where the number of frame additions is 3 has been described as an example. However, the present invention is not limited to this, and the conversion coefficient can be calculated by performing the same processing according to the number of frame additions. . In the present embodiment, the conversion coefficient is changed in accordance with the change in the aperture (the aperture of the imaging optical system), but the present invention is not limited to this. As described above, the conversion coefficient can be calculated by applying the same process to the case where the conversion coefficient changes in addition to the change in the aperture.
図11中のステップS1107において、CPU121は、合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを判定する。合焦近傍でないと判定された場合にはステップS1109へ進み、CPU121(レンズ制御手段)は、フォーカスレンズ駆動を行う。具体的には、レンズ制御手段としてのCPU121は、加算手段による加算回数および焦点検出手段の結果に基づいてレンズ(第3レンズ群105)の駆動速度(フォーカス駆動回路126、フォーカスアクチュエータ114の動作)を制御しながらレンズを駆動する。レンズ制御手段は、後述のように、加算回数が増加した場合にレンズの駆動速度を減少させるように制御する。一方、ステップS1108において合焦近傍であると判定された場合にはステップS1110に進み、合焦表示を行い、リターンする(ステップS1111)。 In step S <b> 1107 in FIG. 11, the CPU 121 determines whether or not it is close to focusing, that is, whether or not the calculated absolute value of the defocus amount is within a predetermined value. If it is determined that it is not near the in-focus state, the process advances to step S1109, and the CPU 121 (lens control means) performs focus lens driving. Specifically, the CPU 121 as the lens control unit drives the driving speed of the lens (third lens group 105) based on the number of additions by the addition unit and the result of the focus detection unit (operations of the focus driving circuit 126 and the focus actuator 114). The lens is driven while controlling. As will be described later, the lens control unit controls the lens driving speed to decrease when the number of additions increases. On the other hand, if it is determined in step S1108 that the focus is close to the focus, the process proceeds to step S1110, a focus display is performed, and the process returns (step S1111).
次に図10において、ステップS1007に進み、動画撮影開始スイッチがオンされたか否かを判定する。オンされていない場合にはステップS1101に戻り、再度焦点検出サブルーチン(ステップS1101)にジャンプする。動画撮影開始スイッチがオンされた場合にはステップS1201に進み、動画撮影サブルーチンにジャンプする。 Next, in FIG. 10, it progresses to step S1007 and it is determined whether the moving image shooting start switch was turned on. If it is not turned on, the process returns to step S1101 and jumps to the focus detection subroutine (step S1101) again. If the moving image shooting start switch is turned on, the process advances to step S1201 to jump to the moving image shooting subroutine.
図12は動画撮影のフローを示す。ステップS1201にて動画撮影シーケンスが開始されると、ステップS1202において撮像素子107から画像読み出しが行われる。続いてステップS1101に進み、焦点検出サブルーチンが実行される。次にステップS1203において、測光処理、及び、絞り、露光時間の制御が行われる。測光処理等の終了後、ステップS1204において、記憶しているフォーカスレンズ位置が更新される。続いてステップS1205にて、ステップS1202で撮像素子107から読み出された画像において、焦点検出画素位置の画像データを周辺の撮像画素から補間した後、現像処理を行う。次にステップS1206にて、動画記録処理が行われる。 FIG. 12 shows a flow of moving image shooting. When the moving image shooting sequence is started in step S1201, image reading from the image sensor 107 is performed in step S1202. In step S1101, a focus detection subroutine is executed. Next, in step S1203, photometric processing, aperture control, and exposure time control are performed. After the photometric process or the like is completed, the stored focus lens position is updated in step S1204. Subsequently, in step S1205, in the image read from the image sensor 107 in step S1202, image data at the focus detection pixel position is interpolated from surrounding imaging pixels, and then development processing is performed. In step S1206, a moving image recording process is performed.
次に、ステップS1207に進み、動画記録が終了したか否かを判定する。その結果、動画記録が終了していない場合には、ステップS1202に戻り、画像読み出しが再び行われる。またステップS1207にて動画記録が終了した場合にはステップS1208に進み、動画撮影シーケンスが終了し、リターンする。その後、図10のメインフローに戻り、ステップS1008にて一連の撮影動作を終了する。 Next, proceeding to step S1207, it is determined whether the moving image recording has ended. As a result, if the moving image recording has not ended, the process returns to step S1202, and image reading is performed again. If the moving image recording is completed in step S1207, the process proceeds to step S1208, where the moving image shooting sequence ends and the process returns. Thereafter, the process returns to the main flow of FIG. 10, and a series of photographing operations is terminated in step S1008.
本実施例によれば、フレームごとの光学情報(変換係数)に基づいて加算フレームの変換係数が適切に決定されるため、デフォーカス量の演算精度を向上させた撮像装置およびカメラシステムを提供することができる。 According to the present embodiment, since the conversion coefficient of the addition frame is appropriately determined based on the optical information (conversion coefficient) for each frame, an imaging apparatus and a camera system with improved defocus amount calculation accuracy are provided. be able to.
次に、本発明の実施例2について説明する。実施例1におけるステップS1104(図11)では、加算された焦点検出用画素の画像データを構成する各フレームの変換係数の平均値または像ずれ量への寄与率を加味した加重加算により、変換係数を算出している。本実施例では、変換係数の算出処理をより簡単にするため、フレームごとの変換係数の最小値を加算フレームの変換係数として用いる。 Next, Example 2 of the present invention will be described. In step S1104 (FIG. 11) in the first embodiment, the conversion coefficient is calculated by weighted addition that takes into account the average value of the conversion coefficient of each frame constituting the added focus detection pixel image data or the contribution rate to the image shift amount. Is calculated. In this embodiment, in order to simplify the conversion coefficient calculation process, the minimum value of the conversion coefficient for each frame is used as the conversion coefficient of the addition frame.
一例として、時刻mTs、フレーム加算数3で加算処理を施した1対の画像データのうち、片方の画像データをX(m)とする。そして、画像データX(m)を構成する画像信号のうち現フレームの画像データをx(m)、1つ前のフレームで取得した画像データをy(m−1)、2つ前のフレームで取得した画像データをz(m−2)とした場合を考える。画像データx(m)、y(m−1)、z(m−2)を取得したタイミングではそれぞれ異なる絞りで撮影されているものとして、それぞれのフレームにおける変換係数をKm、Km−1、Km−2とする。この場合、時刻mTsにおける加算処理を施した1対の画像データに対する変換係数Km’として変換係数Kmを用いると、変換係数の異なるmTs以外のタイミングで得られた画像データを加算することで算出されるデフォーカス量に誤差が生じる。しかし、変換係数Km、Km−1、Km−2のうち最小の変換係数を用いると、算出されるデフォーカス量に誤差は生じるものの、本来のデフォーカス量と比較し小さく算出される。 As an example, let X (m) be one image data out of a pair of image data subjected to addition processing at time mTs and the number of frame additions of 3. Of the image signals constituting the image data X (m), the image data of the current frame is x (m), the image data acquired in the previous frame is y (m−1), and the previous frame is used. Consider the case where the acquired image data is z (m−2). Assuming that the image data x (m), y (m−1), and z (m−2) are captured at different timings, the conversion coefficients in the respective frames are set to K m and K m−1. , K m−2 . In this case, the time when using a conversion factor K m as the conversion coefficient K m 'for the image data of the pair which has been subjected to the addition processing in mTs, by adding the image data obtained at the timing other than the different transform coefficients mTs An error occurs in the calculated defocus amount. However, if the minimum conversion coefficient is used among the conversion coefficients K m , K m−1 , and K m−2 , an error occurs in the calculated defocus amount, but it is calculated smaller than the original defocus amount. .
このため、本実施例によれば、レンズ駆動の際に予定結像面に対してオーバーランすることがなく、フォーカスレンズを焦点位置に移動させる間に焦点検出動作をオーバーラップで行うことで撮影動画の見栄えの劣化を抑制できる。 For this reason, according to the present embodiment, the lens is not overrun with respect to the planned imaging plane when driving the lens, and the focus detection operation is performed in an overlapping manner while the focus lens is moved to the focal position. Degradation of the appearance of the video can be suppressed.
次に、本発明の実施例3について説明する。本実施例では、フレーム加算が行われている際に変換係数が変化した場合、変換係数の変化の途中ではフレーム加算を行わないようにする。すなわち、CPU121(加算手段)は、時系列的に連続した光学情報が変化した場合にフレームの複数の信号の加算を止め、光学情報の変化後にフレームの複数の信号を加算し始める。 Next, Embodiment 3 of the present invention will be described. In this embodiment, when the transform coefficient changes while frame addition is being performed, the frame addition is not performed during the change of the transform coefficient. That is, the CPU 121 (adding means) stops adding a plurality of signals in a frame when optical information continuous in time series changes, and starts adding a plurality of signals in the frame after the change in optical information.
変換係数が変化する要因となる、カム筒の回転による変倍操作や絞り値の変化など設定が変更された場合、設定変更の開始前のフレームまでフレーム加算した画像データに基づいて相関演算処理を行う。そして、設定変更中は1フレームで得られる焦点検出用画素の画像データに基づいて相関演算処理を行う。以下、実施例1、2で参照した図11の焦点検出サブルーチンに代えて、図14の焦点検出サブルーチンを参照して本実施例の焦点検出動作について説明する。 When settings are changed, such as a scaling operation due to cam barrel rotation or a change in aperture value, which causes the conversion coefficient to change, correlation calculation processing is performed based on the image data that has been frame-added up to the frame before the start of the setting change. Do. During the setting change, correlation calculation processing is performed based on image data of focus detection pixels obtained in one frame. Hereinafter, the focus detection operation of this embodiment will be described with reference to the focus detection subroutine of FIG. 14 instead of the focus detection subroutine of FIG. 11 referred to in the first and second embodiments.
図14は、ライブビュー中の焦点検出のフローを示す。まずステップS1401において、焦点検出サブルーチンを開始する。続いてステップS1402において、CPU121は、現フレームにおける焦点検出画素データ(読み出し手段により読み出された画像信号)および撮影時(この画像信号の読み出し時)の光学情報を内部メモリ(記憶手段)に記憶する。そしてステップS1403において、CPU121は、内部メモリに記憶された光学情報から現フレームと過去フレームにおける撮影時の光学情報の差異の有無(光学情報の変化)を判定する。光学情報に差異がない場合、ステップS1404に進み、CPU121(加算手段)は、内部メモリから焦点検出画素の画像データ(画像信号)を読み出して加算処理を行う。 FIG. 14 shows a flow of focus detection during live view. First, in step S1401, a focus detection subroutine is started. In step S1402, the CPU 121 stores the focus detection pixel data in the current frame (image signal read by the reading unit) and optical information at the time of shooting (when reading this image signal) in the internal memory (storage unit). To do. In step S1403, the CPU 121 determines whether or not there is a difference in optical information between the current frame and the past frame at the time of shooting from the optical information stored in the internal memory (change in optical information). If there is no difference in the optical information, the process proceeds to step S1404, and the CPU 121 (adding means) reads the image data (image signal) of the focus detection pixel from the internal memory and performs an addition process.
次にCPU121は、ステップS1405において、フレーム加算信号に対応した光学情報に基づいて、像ずれ量をデフォーカス量に変換するために用いられる変換係数を算出する。変換係数の算出方法は前述の実施例と同様であるため、その説明を省略する。 Next, in step S1405, the CPU 121 calculates a conversion coefficient used for converting the image shift amount into the defocus amount based on the optical information corresponding to the frame addition signal. Since the calculation method of the conversion coefficient is the same as that of the above-mentioned Example, the description is abbreviate | omitted.
一方、ステップS1403において、現フレームと過去フレームで光学情報が変化している場合、ステップS1406に進む。ステップS1406において、CPU121は、内部メモリに記憶された焦点検出画素データおよび光学情報を消去し(または使用不可であるとし)、現フレームの焦点検出画素データおよび光学情報に基づいて焦点検出演算を行う。続いてS1407において、CPU121は、現フレームの光学情報から像ずれ量をデフォーカスに変換するために用いられる変換係数を算出する。またステップS1408において、CPU121は、生成された焦点検出画素の画像データから相関演算を行い、像ずれ量を算出する。続いてステップS1409において、CPU121は、相関信頼性の判定を行う。 On the other hand, if the optical information has changed between the current frame and the past frame in step S1403, the process proceeds to step S1406. In step S1406, the CPU 121 deletes (or cannot use) the focus detection pixel data and optical information stored in the internal memory, and performs focus detection calculation based on the focus detection pixel data and optical information of the current frame. . In step S1407, the CPU 121 calculates a conversion coefficient used for converting the image shift amount into defocus from the optical information of the current frame. In step S1408, the CPU 121 performs a correlation calculation from the generated image data of the focus detection pixels to calculate an image shift amount. In step S1409, the CPU 121 determines correlation reliability.
次にステップS1410において、CPU121は、ステップS1405又はステップS1407で算出された変換係数を用いて、像ずれ量をデフォーカス量に変換する。続いてステップS1411において、CPU121は、算出されたデフォーカス量が合焦範囲内か否かの判定を行い、合焦範囲外と判定した場合、ステップS1412に進む。ステップS1412において、CPU121は、算出されたデフォーカス量を目標位置としてフォーカスレンズを駆動する。一方、ステップS1411にてデフォーカス量が合焦範囲内であると判定された場合、ステップS1413において合焦表示を行う。そしてステップS1414に進み、カメラの撮影動作のメインフローにリターンする。 In step S1410, the CPU 121 converts the image shift amount into a defocus amount using the conversion coefficient calculated in step S1405 or step S1407. Subsequently, in step S1411, the CPU 121 determines whether or not the calculated defocus amount is within the in-focus range. If it is determined that it is outside the in-focus range, the process proceeds to step S1412. In step S1412, the CPU 121 drives the focus lens using the calculated defocus amount as the target position. On the other hand, if it is determined in step S1411 that the defocus amount is within the focus range, focus display is performed in step S1413. Then, the process proceeds to step S1414, and the process returns to the main flow of the shooting operation of the camera.
本実施例によれば、焦点検出用の画像データに対して、フレーム加算処理によるS/Nの改善は見込めないものの、焦点検出用の画像データに応じた変換係数でデフォーカス量を算出することができる。 According to the present embodiment, although the S / N improvement due to the frame addition process cannot be expected with respect to the image data for focus detection, the defocus amount is calculated with the conversion coefficient corresponding to the image data for focus detection. Can do.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
100 カメラ
107 撮像素子
121 CPU
100 Camera 107 Image Sensor 121 CPU
Claims (3)
前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、
前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、
前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、
前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段と、を有し、
前記加算手段は、時系列的に連続した前記光学情報が変化した場合に前記フレームの複数の信号の加算を止め、該光学情報の変化後にフレームの複数の信号を加算し始めることを特徴とする撮像装置。 An image pickup device including an image pickup pixel and a focus detection pixel and photoelectrically converting a subject image;
Reading means for reading a pair of image signals from the focus detection pixels at a predetermined period;
Storage means for storing the pair of image signals read by the reading means and optical information of the pair of image signals;
Adding means for adding signals of frames that are continuous in time series among the pair of image signals;
Conversion coefficient determining means for determining a conversion coefficient for converting an image shift amount of the pair of image signals obtained by the adding means into a defocus amount;
Focus detection means for calculating the defocus amount by multiplying the image shift amount of the pair of image signals by the conversion coefficient, and
The adding means stops adding a plurality of signals of the frame when the optical information continuous in time series changes, and starts adding a plurality of signals of the frame after the change of the optical information. Imaging device.
前記焦点検出画素から所定周期で一対の像信号を読み出す読み出し手段と、
前記読み出し手段により読み出された前記一対の像信号および該一対の像信号の光学情報を記憶する記憶手段と、
前記一対の像信号のうち時系列的に連続したフレームの信号を加算する加算手段と、
前記加算手段により得られた一対の像信号の像ずれ量をデフォーカス量に変換する変換係数を決定する変換係数決定手段と、
前記一対の像信号の前記像ずれ量に前記変換係数を乗じることにより前記デフォーカス量を算出する焦点検出手段と、を有し、
前記加算手段は、絞りが変化した場合に前記フレームの複数の信号の加算を止め、該絞りの変化後にフレームの複数の信号を加算し始めることを特徴とする撮像装置。 An image pickup device including an image pickup pixel and a focus detection pixel and photoelectrically converting a subject image;
Reading means for reading a pair of image signals from the focus detection pixels at a predetermined period;
Storage means for storing the pair of image signals read by the reading means and optical information of the pair of image signals;
Adding means for adding signals of frames that are continuous in time series among the pair of image signals;
Conversion coefficient determining means for determining a conversion coefficient for converting an image shift amount of the pair of image signals obtained by the adding means into a defocus amount;
Focus detection means for calculating the defocus amount by multiplying the image shift amount of the pair of image signals by the conversion coefficient, and
The image pickup apparatus, wherein the adding unit stops adding a plurality of signals of the frame when the diaphragm changes, and starts adding a plurality of signals of the frame after the change of the diaphragm.
請求項1または2に記載の撮像装置と、を有することを特徴とするカメラシステム。
A lens device that includes a lens to form a subject image;
A camera system comprising: the imaging device according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248948A JP5748826B2 (en) | 2013-12-02 | 2013-12-02 | Imaging apparatus and camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013248948A JP5748826B2 (en) | 2013-12-02 | 2013-12-02 | Imaging apparatus and camera system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011090045A Division JP5473977B2 (en) | 2011-04-14 | 2011-04-14 | Imaging apparatus and camera system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014078025A true JP2014078025A (en) | 2014-05-01 |
JP5748826B2 JP5748826B2 (en) | 2015-07-15 |
Family
ID=50783316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013248948A Active JP5748826B2 (en) | 2013-12-02 | 2013-12-02 | Imaging apparatus and camera system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5748826B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016099609A (en) * | 2014-11-26 | 2016-05-30 | 株式会社ニコン | Imaging device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008085738A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Imaging apparatus |
JP2008306297A (en) * | 2007-06-05 | 2008-12-18 | Canon Inc | Imaging apparatus and imaging method |
-
2013
- 2013-12-02 JP JP2013248948A patent/JP5748826B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008085738A (en) * | 2006-09-28 | 2008-04-10 | Nikon Corp | Imaging apparatus |
JP2008306297A (en) * | 2007-06-05 | 2008-12-18 | Canon Inc | Imaging apparatus and imaging method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016099609A (en) * | 2014-11-26 | 2016-05-30 | 株式会社ニコン | Imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP5748826B2 (en) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5473977B2 (en) | Imaging apparatus and camera system | |
JP5180717B2 (en) | Imaging device | |
US8654227B2 (en) | Focus detection apparatus, focus detection method, and image sensing apparatus | |
JP5662667B2 (en) | Imaging device | |
JP5595014B2 (en) | Imaging device | |
JP5183565B2 (en) | Imaging device | |
KR101310105B1 (en) | Focus detection apparatus | |
JP5276374B2 (en) | Focus detection device | |
JP5954933B2 (en) | Imaging device and lens device | |
JP6305006B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP5159520B2 (en) | Imaging apparatus, automatic focus detection apparatus, and control method thereof | |
JP6238578B2 (en) | Imaging apparatus and control method thereof | |
JP6486041B2 (en) | Imaging apparatus and control method thereof | |
JP5609232B2 (en) | Imaging device | |
JP2013171257A (en) | Imaging device and control method thereof | |
JP2014110619A (en) | Image processing device and method of controlling the same, and imaging device and method of controlling the same | |
JP2016018033A (en) | Imaging device, control method of the same, program and recording medium | |
JP5748826B2 (en) | Imaging apparatus and camera system | |
JP2011227388A (en) | Imaging device | |
JP2015191046A (en) | Focus detection device and control method of the same, and imaging device | |
JP2016018034A (en) | Imaging device, control method of the same, program and recording medium | |
JP2016057402A (en) | Imaging device and method for controlling the same | |
JP2016045322A (en) | Imaging device and method for controlling the same | |
JP6305180B2 (en) | IMAGING DEVICE, CONTROL DEVICE, CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP6254780B2 (en) | Focus detection apparatus and method, and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150512 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5748826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |