JP2020141347A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2020141347A JP2020141347A JP2019037075A JP2019037075A JP2020141347A JP 2020141347 A JP2020141347 A JP 2020141347A JP 2019037075 A JP2019037075 A JP 2019037075A JP 2019037075 A JP2019037075 A JP 2019037075A JP 2020141347 A JP2020141347 A JP 2020141347A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- region
- mode
- reading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、撮像装置における撮像素子の駆動技術に関する。 The present invention relates to a technique for driving an image sensor in an image pickup device.
現在、デジタルカメラなどの撮像装置においては、撮像素子から得られた情報に基づいて種々の演算処理が行われている。特に、撮像素子から得られる被写体の位相差情報を用いてオートフォーカス(AF)を行う技術はよく知られている。その際に精度の高い焦点検出を可能にする読み出しと、低消費電力かつ高速な読み出しの両立を実現するために、撮像素子の読み出しに関して種々の手法が提案されている。 Currently, in an image pickup device such as a digital camera, various arithmetic processes are performed based on the information obtained from the image sensor. In particular, a technique for performing autofocus (AF) using the phase difference information of a subject obtained from an image sensor is well known. At that time, various methods have been proposed for the readout of the image sensor in order to realize both the readout that enables highly accurate focus detection and the readout that enables low power consumption and high-speed readout.
特許文献1には、単一画素に複数の光電変換部を配置し、全画素の中の一部の画素で複数の光電変換部の信号を独立に取得できるように読み出し、残りの画素では単一画素の光電変換部の信号を合成してから読み出す方法が提案されている。このように読み出すことによって、取得に時間がかかる位相差情報は必要な領域のみで読み出されることとなり、動作時間の短縮、消費電力の削減を図ることができる。 In Patent Document 1, a plurality of photoelectric conversion units are arranged in a single pixel, and some pixels in all the pixels are read out so that signals of the plurality of photoelectric conversion units can be independently acquired, and the remaining pixels are single. A method has been proposed in which the signals of the photoelectric conversion unit of one pixel are combined and then read out. By reading in this way, the phase difference information that takes a long time to acquire is read only in the necessary area, and the operation time can be shortened and the power consumption can be reduced.
特許文献2には、撮像素子を複数の領域に分割し、焦点検出を行う必要がある第1の領域では位相差情報を取得する読み出し方を行うことが開示されている。そして、第2の領域では消費電力を削減するために第1の領域における読み出しよりも、間引き率を大きくして読み出す。このような制御を行うことによって、消費電力を抑制することができる。 Patent Document 2 discloses that the image sensor is divided into a plurality of regions, and in the first region where focus detection needs to be performed, a reading method for acquiring phase difference information is performed. Then, in the second region, in order to reduce power consumption, the thinning rate is made larger than that in the first region. By performing such control, power consumption can be suppressed.
特許文献3には、被写体の空間周波数に基づいて読み出し方法を切り替える手法が開示されている。このような制御を行うことで、高周波被写体に対しては精密なピント合わせが可能になるとともに、低周波被写体の撮影時は消費電力を抑制することができる。 Patent Document 3 discloses a method of switching the reading method based on the spatial frequency of the subject. By performing such control, precise focusing can be performed on a high-frequency subject, and power consumption can be suppressed when shooting a low-frequency subject.
しかしながら、上記の従来技術では、高速移動している被写体をスリットローリングシャッター駆動で撮像した場合、画素全体の中の一部の画素群から位相差情報を取得する画素と、位相差情報を取得しない画素との読み出し時間差によって画像全体のローリング歪が不均一になるという問題が生じる。また、AF性能向上のためAFを行う領域に合わせて位相差情報を取得する画素を集中させて読み出しを行う場合、位相差情報を取得する画素を集中させた部分のローリング歪が大きくなってしまい、特にライブビュー撮影や動画撮影の場合にローリング歪の不均一性が顕著に見えてしまうという問題がある。 However, in the above-mentioned conventional technique, when a subject moving at high speed is imaged by a slit rolling shutter drive, the pixels that acquire the phase difference information from a part of the pixel groups in the entire pixel and the pixels that acquire the phase difference information are not acquired. There arises a problem that the rolling distortion of the entire image becomes non-uniform due to the difference in reading time from the pixels. In addition, when reading out by concentrating the pixels that acquire the phase difference information according to the area where AF is performed in order to improve the AF performance, the rolling distortion of the portion where the pixels that acquire the phase difference information are concentrated becomes large. In particular, there is a problem that the non-uniformity of rolling distortion becomes noticeable in live view shooting and movie shooting.
本発明は、上述した課題に鑑みてなされたものであり、その目的は、撮影モードに応じたローリング歪の不均一性の抑制とAF性能向上を最適に制御することができる撮像装置を提供することにある。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an imaging device capable of optimally controlling the suppression of non-uniformity of rolling distortion and the improvement of AF performance according to a shooting mode. There is.
上記の目的を達成するために、本発明に係る撮像装置は、
1つのマイクロレンズ(202)と、該1つのマイクロレンズ(202)に対応して配置された複数の光電変換部(203a、203b)とを有する単位画素(201)が行列状に複数配置された画素領域(200)を有する撮像素子(106)と、前記画素領域(200)を複数の領域に分割する分割手段(109)と、前記複数の領域のそれぞれの画素について、前記複数の光電変換部(203a、203b)の信号を第1の数にグループ分けして信号を読み出す第1のモードで信号を読み出す第1の画素とするか、前記複数の光電変換部を前記第1の数よりも多い第2の数にグループ分けして信号を読み出す第2のモードで信号を読み出す第2の画素とするかを設定する設定手段(204)と、を備え、前記画素領域(200)の画素は、前記行列状の配列の行単位で前記第1の画素または前記第2の画素に設定され、前記第2の画素に設定される行の周期が前記複数の領域ごとに異なり、第1の領域(702)は、前記画素領域(200)の全体に対応し、第2の領域(703)は、前記画素領域(200)の一部に対応し、第1の電荷蓄積手段、及び第2の電荷蓄積手段と、第1のリセット手段、及び第2のリセット手段と、を有し、前記第1の電荷蓄積手段、または前記第3の電荷蓄積手段、かつ前記第1のリセット手段を用いる場合、焦点検出枠(701)で指定される部分について前記第2の領域(703)に設定して前記第2のモードで読み出す第1の撮像モードを持ち、前記第2の電荷蓄積手段、かつ前記第2のリセット手段を用いる場合、前記第1の領域(702)について前記第2のモードで読み出す第2の撮像モードを持つことを特徴とする。
In order to achieve the above object, the imaging device according to the present invention is
A plurality of unit pixels (201) having one microlens (202) and a plurality of photoelectric conversion units (203a, 203b) arranged corresponding to the one microlens (202) are arranged in a matrix. An image pickup element (106) having a pixel region (200), a dividing means (109) for dividing the pixel region (200) into a plurality of regions, and a plurality of photoelectric conversion units for each pixel of the plurality of regions. The signals of (203a, 203b) are grouped into a first number and used as the first pixel for reading the signal in the first mode of reading the signal, or the plurality of photoelectric conversion units are set to be larger than the first number. A setting means (204) for setting whether to use a second pixel for reading a signal in a second mode for grouping into a large number of second numbers and reading a signal is provided, and the pixels in the pixel area (200) are provided. , The row unit set in the first pixel or the second pixel in the matrix-like arrangement, and the period of the row set in the second pixel is different for each of the plurality of regions, and the first region (702) corresponds to the entire pixel region (200), the second region (703) corresponds to a part of the pixel region (200), the first charge storage means, and the second. When a charge storage means, a first reset means, and a second reset means are provided, and the first charge storage means, the third charge storage means, and the first reset means are used. The portion designated by the focus detection frame (701) has a first imaging mode set in the second region (703) and read out in the second mode, the second charge storage means, and the said. When the second reset means is used, it is characterized by having a second imaging mode in which the first region (702) is read out in the second mode.
本発明によれば、撮影モードに応じたローリング歪の不均一性の抑制とAF性能向上を最適に制御することができる撮像装置の提供を実現できる。 According to the present invention, it is possible to provide an image pickup apparatus capable of suppressing non-uniformity of rolling distortion according to a shooting mode and optimally controlling improvement of AF performance.
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。 FIG. 1 is a block diagram showing a configuration of an image pickup apparatus according to a first embodiment of the present invention.
図1において、第1レンズ100は撮影光学系120の先端に配置されている。絞り101は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ102、第3レンズ103は、後述のフォーカスアクチュエータ116によって駆動され、光軸方向に進退することにより、撮影光学系120の焦点を調節する。 In FIG. 1, the first lens 100 is arranged at the tip of the photographing optical system 120. The aperture 101 adjusts the amount of light at the time of photographing by adjusting the aperture diameter thereof. The second lens 102 and the third lens 103 are driven by the focus actuator 116 described later, and move back and forth in the optical axis direction to adjust the focus of the photographing optical system 120.
フォーカルプレーンシャッター104は、静止画撮影時に露光秒時を調節する。本実施形態ではフォーカルプレーンシャッター104により、撮像素子106の露光秒時を調節する構成である。これに限らず、撮像素子106が電子シャッター機能を有し、制御パルスで露光秒時を調節する構成でもよい。光学的ローパスフィルタ105は撮影画像の偽色やモアレを低減するために用いられる。撮像素子106は、撮影光学系120で形成された被写体の光学像を電気信号に光電変換する。撮像素子106は、後述するCPU109によって制御される。 The focal plane shutter 104 adjusts the exposure seconds when shooting a still image. In the present embodiment, the focal plane shutter 104 adjusts the exposure seconds of the image sensor 106. Not limited to this, the image sensor 106 may have an electronic shutter function and the exposure seconds may be adjusted by a control pulse. The optical low-pass filter 105 is used to reduce false colors and moire in captured images. The image sensor 106 photoelectrically converts the optical image of the subject formed by the photographing optical system 120 into an electric signal. The image sensor 106 is controlled by the CPU 109 described later.
DSP(Digital Signal Processor)107は画像処理を行う。DSP107は撮像素子106で撮影された画像データの、補正・圧縮等の処理を行う。また、後述するA像データとB像データの分離機能や、画像信号を用いた相関演算を行う相関演算機能を有する。RAM108は、撮像素子106からの出力データを保持する信号保持手段の機能と、DSP107で処理された画像データを記憶する画像データ記憶手段の機能と、後述のCPU109が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能をRAM108を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、RAM108は、DSP107、CPU109の外部に配置されているが、その一部または全部の機能をDSP107やCPU109に内蔵する構成であってもよい。 The DSP (Digital Signal Processor) 107 performs image processing. The DSP 107 performs processing such as correction and compression of the image data captured by the image sensor 106. Further, it has a function of separating A image data and B image data, which will be described later, and a correlation calculation function of performing a correlation calculation using an image signal. The RAM 108 has a function of a signal holding means for holding the output data from the image sensor 106, a function of an image data storing means for storing the image data processed by the DSP 107, and a work memory when the CPU 109 described later operates. Combines functions. In the present embodiment, these functions are realized by using the RAM 108, but other types of memory may be used as long as the access speed is sufficiently high and there is no problem in operation. It is possible. Further, in the present embodiment, the RAM 108 is arranged outside the DSP 107 and the CPU 109, but a part or all of the functions thereof may be built in the DSP 107 and the CPU 109.
CPU109は、撮像装置の動作を統括的に制御する。CPU109は撮像装置の各部を制御するためのプログラムを実行する。また、DSP107から出力される相関演算の結果を用いて、後述のフォーカス駆動回路115を制御し、撮影光学系120の焦点を調節する機能も有する。表示部110は、撮影した静止画像や動画像、及びメニュー等の表示を行う。操作部111は、撮影命令や撮影条件等の設定をCPU109に対して行う。記録媒体112は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ROM113は、CPU109が各部の動作を制御するためにロードして実行するプログラムを格納する。 The CPU 109 comprehensively controls the operation of the image pickup apparatus. The CPU 109 executes a program for controlling each part of the image pickup apparatus. It also has a function of controlling the focus drive circuit 115, which will be described later, and adjusting the focus of the photographing optical system 120 by using the result of the correlation calculation output from the DSP 107. The display unit 110 displays captured still images, moving images, menus, and the like. The operation unit 111 sets shooting commands, shooting conditions, and the like to the CPU 109. The recording medium 112 is a removable recording medium for recording still image data and moving image data. The ROM 113 stores a program that the CPU 109 loads and executes in order to control the operation of each part.
シャッター駆動回路114は、フォーカルプレーンシャッター104を駆動制御する。フォーカス駆動回路115は、撮影光学系120の焦点位置を変更する焦点位置変更手段であり、CPU109の出力に基づいてフォーカスアクチュエータ116を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路117は、絞りアクチュエータ118を制御して絞り101の開口を制御する。 The shutter drive circuit 114 drives and controls the focal plane shutter 104. The focus drive circuit 115 is a focus position changing means for changing the focal position of the photographing optical system 120, controls the focus actuator 116 based on the output of the CPU 109, and moves the second lens 102 and the third lens 103 in the optical axis direction. The focus is adjusted by driving forward and backward. The diaphragm drive circuit 117 controls the diaphragm actuator 118 to control the opening of the diaphragm 101.
次に、撮像素子106の構成について、図2を参照しながら説明する。撮像素子106の単位画素が行列状に配列された画素アレイ(画素領域)を図2の(a)に示す。 Next, the configuration of the image pickup device 106 will be described with reference to FIG. A pixel array (pixel area) in which the unit pixels of the image sensor 106 are arranged in a matrix is shown in FIG. 2A.
図2の(a)において、画素アレイ200には、単位画素201が行列方向に複数配置されている。それぞれの単位画素201は、マイクロレンズ202を有する。それぞれの単位画素201は、単一のマイクロレンズ202下に、光電変換手段としての2つのフォトダイオード(PD)203a,203bを有する。この構成をとることによってPD203a,203bは瞳分割構成を取ることになり、この2つのPD203a,203bには、同一被写体の、位相差を持った別々の像が入射されることになる。この同一被写体の、位相差を持った別々の2像をA像、B像と呼ぶことにし、PD203aはA像用光電変換部、PD203bはB像用光電変換部を構成するものとする。 In FIG. 2A, a plurality of unit pixels 201 are arranged in the matrix direction in the pixel array 200. Each unit pixel 201 has a microlens 202. Each unit pixel 201 has two photodiodes (PD) 203a, 203b as photoelectric conversion means under a single microlens 202. By adopting this configuration, the PD203a and 203b have a pupil division configuration, and different images of the same subject with a phase difference are incident on the two PD203a and 203b. Two separate images of the same subject having a phase difference are referred to as an A image and a B image, PD203a constitutes an A image photoelectric conversion unit, and PD203b constitutes a B image photoelectric conversion unit.
次に撮像素子106の回路構成を、図2の(b)を参照して説明する。 Next, the circuit configuration of the image sensor 106 will be described with reference to FIG. 2B.
画素アレイ200には、水平方向に(m+1)個、垂直方向に(n+1)個の複数の単位画素201が配置されている。垂直走査方式保持部204は、205aで示されている第1の走査方式及び205bで示されている第2の走査方式の設定値を保持することができる。垂直走査回路206は、画素にパルスを送ることで画素信号を転送する。垂直走査方式保持部204は、CPU109によりプログラムされた読み出し設定を保持し、垂直走査回路206を制御する設定値として使用される。タイミングジェネレータ(TG)207は、CPU109によってプログラムされた設定に従って、各回路ブロックに読み出しに必要な制御パルスを供給する。なお、本実施形態では、TG207は撮像素子106に内蔵されているが、撮像素子106の外部に配置される構成でも構わない。 In the pixel array 200, a plurality of unit pixels 201 (m + 1) in the horizontal direction and (n + 1) in the vertical direction are arranged. The vertical scanning method holding unit 204 can hold the set values of the first scanning method shown by 205a and the second scanning method shown by 205b. The vertical scanning circuit 206 transfers a pixel signal by sending a pulse to the pixel. The vertical scanning method holding unit 204 holds the read setting programmed by the CPU 109 and is used as a setting value for controlling the vertical scanning circuit 206. The timing generator (TG) 207 supplies each circuit block with the control pulses required for reading according to the settings programmed by the CPU 109. In the present embodiment, the TG 207 is built in the image sensor 106, but it may be arranged outside the image sensor 106.
各単位画素201で光電変換された画素信号は、前述のように垂直走査回路206から供給される駆動信号によって、垂直出力線208へと行毎に出力される。ある行の画素信号の取得に際して、垂直走査回路206が後述する第1の駆動モード、または第2の駆動モードのどちらで画素信号を読み出すかは、垂直走査方式保持部204に保持された設定値よって決定される。定電流源209は、後述する画素アンプ用トランジスタ303と組み合わされてソースフォロワ回路を形成する。読み出し回路210は、各列の垂直出力線208からの出力を増幅する機能を有する。AD変換回路(ADC)211は、読み出し回路210の出力をデジタル信号へ変換する。ADC211によって変換された画像信号は、水平走査回路212によって順に選択されて、出力部213で後述する処理を施され撮像素子106の外部へデジタル信号として出力される。 The pixel signal photoelectrically converted by each unit pixel 201 is output line by line to the vertical output line 208 by the drive signal supplied from the vertical scanning circuit 206 as described above. When acquiring the pixel signal of a certain line, whether the vertical scanning circuit 206 reads the pixel signal in the first drive mode or the second drive mode, which will be described later, is a set value held in the vertical scanning method holding unit 204. Therefore, it is decided. The constant current source 209 is combined with the pixel amplifier transistor 303 described later to form a source follower circuit. The readout circuit 210 has a function of amplifying the output from the vertical output line 208 of each column. The AD conversion circuit (ADC) 211 converts the output of the read circuit 210 into a digital signal. The image signals converted by the ADC 211 are sequentially selected by the horizontal scanning circuit 212, subjected to the processing described later by the output unit 213, and output as a digital signal to the outside of the image sensor 106.
図3の(a)は、単位画素201の詳細な回路構成を説明する図である。 FIG. 3A is a diagram illustrating a detailed circuit configuration of the unit pixel 201.
図3の(a)において、PD203aとPD203bは前述した同一マイクロレンズ下で単位画素201を構成するPDである。A像用の転送スイッチTxA(300a)は信号φtxaによって制御され、B像用の転送スイッチTxB(300b)は信号φtxbによって制御される。この信号φtxa、φtxbをHigh(以下HighをHと記す)にすることによって、光電変換部に蓄積された電荷をフローティングディフュージョン部(FD)301に転送することができる。この転送スイッチのON/OFFは独立に制御することができるため、A像用の信号とB像用の信号は独立に転送することができる。リセットスイッチ302はFD301を初期化するためのスイッチであり、信号φpresによって制御される。画素アンプ用トランジスタ303は、セレクトスイッチ304、及び垂直出力線208を介して定電流源209に接続されている。セレクトスイッチ304の入力信号φselがHになると、画素アンプ用トランジスタ303は定電流源209と接続され、画素アンプを形成する。FD301はこの画素アンプに接続されているため、PD203a、PD203bからFD301に転送された電荷は、この画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線208に画素信号として出力されることになる。 In FIG. 3A, PD203a and PD203b are PDs constituting the unit pixel 201 under the same microlens described above. The transfer switch TxA (300a) for the A image is controlled by the signal φtxa, and the transfer switch TxB (300b) for the B image is controlled by the signal φtxb. By setting the signals φtxa and φtxb to High (hereinafter, High is referred to as H), the electric charge accumulated in the photoelectric conversion unit can be transferred to the floating diffusion unit (FD) 301. Since the ON / OFF of this transfer switch can be controlled independently, the signal for the A image and the signal for the B image can be transferred independently. The reset switch 302 is a switch for initializing the FD 301, and is controlled by the signal φpres. The pixel amplifier transistor 303 is connected to the constant current source 209 via the select switch 304 and the vertical output line 208. When the input signal φsel of the select switch 304 becomes H, the pixel amplifier transistor 303 is connected to the constant current source 209 to form a pixel amplifier. Since the FD301 is connected to this pixel amplifier, the charge transferred from the PD203a and PD203b to the FD301 is converted into a voltage value according to the amount of charge by this pixel amplifier and output as a pixel signal to the vertical output line 208. It will be.
読み出し回路210について、図3の(b)を参照しながら詳細に説明する。 The readout circuit 210 will be described in detail with reference to FIG. 3B.
垂直出力線208に出力された画素信号は、クランプ容量305を通じて演算増幅器308の反転入力端子に入力される。演算増幅器308の非反転入力端子には基準電圧Vrefが入力されている。スイッチ307は、フィードバック容量306を短絡するためのスイッチであり、信号φcfsによって制御される。 The pixel signal output to the vertical output line 208 is input to the inverting input terminal of the operational amplifier 308 through the clamp capacitance 305. A reference voltage Vref is input to the non-inverting input terminal of the operational amplifier 308. The switch 307 is a switch for short-circuiting the feedback capacitance 306, and is controlled by the signal φcfs.
ADC211の構成とその駆動について、図4を参照しながら詳細に説明する。比較器400には、読み出し回路210の出力とランプ信号生成回路401からのランプ信号が入力される。ランプ信号生成回路401の出力レベルは、TG207から端子402を介して入力される信号φadcresがLow(以下LowをLと記す)になると時間の経過とともに大きくなる。そして、その信号レベルが読み出し回路210から出力される信号のレベルを上回った時に、比較器400の出力はLからHに切り替わる。比較器400の出力はラッチ選択回路404に接続されている。そして、TG207から端子403を介して入力される信号φsselがLの時はN信号用ラッチ408、φsselがHの時はS信号用ラッチ409に入力される。N信号用ラッチ408、S信号用ラッチ409はTG207からそれぞれ端子405、406を介して入力される信号φnres、φsresがHになるとリセットされ、Lの時にラッチとして次のように動作する。 The configuration of the ADC 211 and its driving will be described in detail with reference to FIG. The output of the readout circuit 210 and the lamp signal from the lamp signal generation circuit 401 are input to the comparator 400. The output level of the lamp signal generation circuit 401 increases with the passage of time when the signal φadcres input from the TG 207 via the terminal 402 becomes Low (hereinafter, Low is referred to as L). Then, when the signal level exceeds the level of the signal output from the readout circuit 210, the output of the comparator 400 is switched from L to H. The output of the comparator 400 is connected to the latch selection circuit 404. Then, when the signal φssel input from the TG 207 via the terminal 403 is L, it is input to the N signal latch 408, and when φssel is H, it is input to the S signal latch 409. The N signal latch 408 and the S signal latch 409 are reset when the signals φnres and φsres input from the TG 207 via the terminals 405 and 406, respectively, become H, and when L, they operate as latches as follows.
まずφsselがLの時、N信号用ラッチ408は比較器400の出力がLからHに切り替わった瞬間のカウンタ407の出力をラッチする。このカウンタ値が、読み出し回路210の出力のデジタル値を表現する値となっている。このラッチ408はN信号用ラッチなので、ノイズ信号をデジタル変換した結果を、ラッチ408に保持するように制御される。次にφsselがHの時は、比較器400の出力はラッチ409に接続され、先に説明したラッチ408と同様の動作を行うことによって、読み出し回路210の出力をデジタル値へ変換する。このラッチ409はS信号用ラッチなので、光信号とノイズ信号が加算された信号をデジタル変換した結果を、ラッチ409に保持するように制御される。ラッチ408,409の出力は、列選択回路410に接続されており、水平走査回路212からの信号φhsr_i(iは列番号0〜m)によって次に説明するように出力部213へと出力される。 First, when φssel is L, the N signal latch 408 latches the output of the counter 407 at the moment when the output of the comparator 400 is switched from L to H. This counter value is a value that represents the digital value of the output of the read circuit 210. Since this latch 408 is an N signal latch, the result of digitally converting the noise signal is controlled to be held in the latch 408. Next, when φssel is H, the output of the comparator 400 is connected to the latch 409, and the output of the readout circuit 210 is converted into a digital value by performing the same operation as the latch 408 described above. Since this latch 409 is an S signal latch, it is controlled so that the result of digitally converting the signal to which the optical signal and the noise signal are added is held in the latch 409. The outputs of the latches 408 and 409 are connected to the column selection circuit 410, and are output to the output unit 213 by the signal φhsr_i (i is the column number 0 to m) from the horizontal scanning circuit 212 as described below. ..
第i列の列選択回路410は、信号φhsr_iがLの時はOFF状態であり、出力部213から切断されているが、φhsr_iがHの時にON状態となり、当該列のN信号用ラッチとS信号用ラッチの出力を、出力部213に出力する。 The column selection circuit 410 in the i-th column is in the OFF state when the signal φhsr_i is L and is disconnected from the output unit 213, but is in the ON state when φhsr_i is H, and the N signal latch and S in the column. The output of the signal latch is output to the output unit 213.
水平走査回路212は、全てのφhsr_iがLの時に、TG207から端子411を介して入力される信号φhsrの立ち上がりエッジを検出すると、φhsr_0をHにする。その後、φhsr_iがHの時にφhsrの立ち上がりエッジを検出すると、φhsr_iをLにし、φhsr_(i+1)をHにする。そして、φhsr_mがHの時にφhsrの立ち上がりエッジを検出すると、全てのφhsr_iをLにする。このようにして水平走査回路212は第0列目から第m列目までのラッチの出力を順次出力部213に出力し、水平走査を行う。出力部213は、N信号用ラッチ408の出力を、S信号用ラッチ409の出力から減算してから外部に出力する機能を持つ。 When the horizontal scanning circuit 212 detects the rising edge of the signal φhsr input from the TG 207 via the terminal 411 when all φhsr_i are L, it sets φhsr_0 to H. After that, when the rising edge of φhsr is detected when φhsr_i is H, φhsr_i is set to L and φhsr_ (i + 1) is set to H. Then, when the rising edge of φhsr is detected when φhsr_m is H, all φhsr_i are set to L. In this way, the horizontal scanning circuit 212 sequentially outputs the outputs of the latches from the 0th column to the mth column to the output unit 213 to perform horizontal scanning. The output unit 213 has a function of subtracting the output of the N signal latch 408 from the output of the S signal latch 409 and then outputting it to the outside.
続いて、第1の駆動モード(位相差を検出できないモード)と第2の駆動モード(位相差を検出できるモード)のそれぞれの動作について、撮像素子106の画像信号の読み出し動作例を示すタイミングチャートである図5、図6を用いて説明する。 Subsequently, a timing chart showing an example of an image signal reading operation of the image sensor 106 for each operation of the first drive mode (mode in which the phase difference cannot be detected) and the second drive mode (mode in which the phase difference can be detected) is shown. This will be described with reference to FIGS. 5 and 6.
図5のタイミングチャートを用いて、第1の駆動モードによって1行の画素信号を取得する方法について詳細に説明する。 Using the timing chart of FIG. 5, a method of acquiring one row of pixel signals in the first drive mode will be described in detail.
時刻t501の以前から、信号φpresがHであり、FD301はリセットされている。続いて時刻t501で信号φtxa、φtxbをHとすることで、PD203a,203bをリセットする。時刻t502で信号φtxa、φtxbをLとすることで、PD203a,203bの電荷蓄積を開始する。蓄積時間は、この時点から信号が読み出される時点までであり、図中の時刻t502から時刻t511までの間である。時刻t503で信号φselをHにすることによって画素アンプ用トランジスタ303を定電流源209に接続し、画素アンプを動作状態とする。時刻t504で信号φpresをLとすることによって、FD301のリセットを解除する。リセットが解除されると、FD301の信号は垂直出力線208にノイズ信号(以下N信号と表記する)として読み出され、読み出し回路210へと出力される。 Since before the time t501, the signal φpres is H and the FD301 has been reset. Subsequently, PD203a and 203b are reset by setting the signals φtxa and φtxb to H at time t501. By setting the signals φtxa and φtxb to L at time t502, the charge accumulation of PD203a and 203b is started. The accumulation time is from this point to the time when the signal is read, and is between time t502 and time t511 in the figure. By setting the signal φsel to H at time t503, the pixel amplifier transistor 303 is connected to the constant current source 209, and the pixel amplifier is put into an operating state. By setting the signal φpres to L at time t504, the reset of FD301 is released. When the reset is released, the signal of the FD 301 is read out as a noise signal (hereinafter referred to as an N signal) on the vertical output line 208 and output to the read circuit 210.
読み出し回路210において、時刻t505で信号φcfsをLとすることで、演算増幅器308における基準電圧Vrefの出力バッファ状態を解除し、読み出し回路210のN信号を演算増幅器308から出力する。この時、ADC211に内蔵される比較器400への読み出し回路210からの入力は、図中500で示されるように立ち上がり始める。そして時刻t506で信号φadcresをLとすることによって、ランプ信号生成回路401とカウンタ407のリセットを解除し、また同時に信号φnresもLとすることによって、ラッチ408のリセットを解除し、AD変換動作を開始する。 In the read circuit 210, by setting the signal φcfs to L at time t505, the output buffer state of the reference voltage Vref in the operational amplifier 308 is released, and the N signal of the read circuit 210 is output from the operational amplifier 308. At this time, the input from the read circuit 210 to the comparator 400 built in the ADC 211 starts to rise as shown by 500 in the figure. Then, by setting the signal φadcres to L at time t506, the reset of the lamp signal generation circuit 401 and the counter 407 is released, and at the same time, by setting the signal φnres to L, the reset of the latch 408 is released and the AD conversion operation is performed. Start.
ランプ信号生成回路401から比較器400へ入力されるランプ信号は図中501で示されており、カウンタ407の値は図中502に示されている。ランプ信号は時刻t507で読み出し回路からの入力500よりも大きくなり、この時、比較器400の出力はLからHへと立ち上がる。信号φsselは時刻t507でLになっているため、ラッチ選択回路404ではN信号用ラッチ408が選択されており、比較器の出力はラッチ408へと入力されている。ラッチ408は時刻t507でのカウンタ407の出力をラッチする。ここではその値を図中503で示したようにNとする。こうして、時刻t507においてラッチ408の値はNとなる。時刻t508でランプ信号501とカウンタ値502はどちらも最大値となり、そのタイミングで信号φadcresをHにしてN信号のAD変換動作を終了する。 The lamp signal input from the lamp signal generation circuit 401 to the comparator 400 is shown by 501 in the figure, and the value of the counter 407 is shown by 502 in the figure. The lamp signal becomes larger than the input 500 from the readout circuit at time t507, at which time the output of the comparator 400 rises from L to H. Since the signal φssel becomes L at time t507, the N signal latch 408 is selected in the latch selection circuit 404, and the output of the comparator is input to the latch 408. The latch 408 latches the output of the counter 407 at time t507. Here, the value is N as shown by 503 in the figure. Thus, at time t507, the value of latch 408 becomes N. At time t508, both the lamp signal 501 and the counter value 502 become maximum values, and at that timing, the signal φadcres is set to H and the AD conversion operation of the N signal is completed.
時刻t509では、信号φtxa,φtxbをHにして、PD203a,203bで変換された光電荷をFD301に転送する。FD301に蓄えられた信号成分の電荷は、垂直出力線208、演算増幅器308を通じて、読み出し回路210から信号成分+ノイズ成分(以下S+N信号と表記する)の信号として、比較器400へ入力される。入力500は時刻t509から増加し始める。時刻t510では、信号φsselをHにすることによって、ラッチ選択回路404で選択されるラッチを、S信号用ラッチ409へと切り替える。時刻t511で信号φtxa,φtxbをLにして光電荷の転送を終えた後、時刻t512まで読み出し回路210の出力の安定を待つ。時刻t512で信号φadcresと信号φsresをLにすることによってS+N信号のAD変換動作を開始する。このS+N信号は、PD203a,203bに蓄積された光電荷を変換した画素信号(S信号)と、読み出し回路210の列ごとのばらつきに起因するオフセット信号などのノイズ信号(前述のN信号)を含む。このS+N信号から、N信号を差し引くことにより、S+N信号に含まれるノイズ成分をキャンセルすることができ、画素信号成分であるS信号のみを得ることができる。 At time t509, the signals φtxa and φtxb are set to H, and the optical charge converted by PD203a and 203b is transferred to the FD301. The electric charge of the signal component stored in the FD 301 is input to the comparator 400 as a signal of the signal component + noise component (hereinafter referred to as S + N signal) from the readout circuit 210 through the vertical output line 208 and the operational amplifier 308. Input 500 begins to increase at time t509. At time t510, by setting the signal φssel to H, the latch selected by the latch selection circuit 404 is switched to the S signal latch 409. After the signals φtxa and φtxb are set to L at time t511 and the transfer of optical charges is completed, the output of the read circuit 210 is stabilized until time t512. The AD conversion operation of the S + N signal is started by setting the signal φadcres and the signal φsres to L at the time t512. The S + N signal includes a pixel signal (S signal) obtained by converting the optical charge stored in the PD 203a and 203b, and a noise signal (the above-mentioned N signal) such as an offset signal due to variation in each row of the readout circuit 210. .. By subtracting the N signal from this S + N signal, the noise component contained in the S + N signal can be canceled, and only the S signal which is a pixel signal component can be obtained.
S+N信号のAD変換の動作はN信号のAD変換と同様に行われ、時刻t513で比較器400の出力がLからHに立ち上がり、ラッチ409の出力は、その時点でのカウンタ407の値S+Nに変化する。ここではその値を図中504で示したようにS+Nとする。こうして、時刻t517においてラッチ409の値はS+Nとなる。このラッチ409の出力がS+N信号のAD変換値となる。時刻t514で信号φadcresはHとなり、AD変換動作は終了する。 The operation of the AD conversion of the S + N signal is performed in the same manner as the AD conversion of the N signal, the output of the comparator 400 rises from L to H at time t513, and the output of the latch 409 becomes the value S + N of the counter 407 at that time. Change. Here, the value is S + N as shown by 504 in the figure. Thus, at time t517, the value of latch 409 becomes S + N. The output of this latch 409 becomes the AD conversion value of the S + N signal. At time t514, the signal φadcres becomes H, and the AD conversion operation ends.
時刻t515で、信号φhsrの立ち上がりエッジが水平走査回路212へ入力される。すると、水平走査回路からの出力が全てLの状態から、信号φhsr_0だけがHとなり、第0列目の水平選択回路410のスイッチが接続され、ラッチ408,409が出力部213に接続される。出力部213では、ラッチ409の出力値であるS+N信号のデジタル値から、ラッチ408の出力値であるN信号のデジタル値を減算し、S信号のみのデジタル値を得る。そして、その値を撮像素子106の外部に出力する。このようにして第0列からS信号のデジタル値を出力した後、信号φhsrにもう一度パルスを入力すると、信号φhsr_1だけがHになり、同様の動作で第1列からS信号のデジタル値が出力される。こうして順次行方向にS信号を読み出していき、第0列から第m列までの信号を読み出す。この水平走査は時刻t516で終了する。 At time t515, the rising edge of the signal φhsr is input to the horizontal scanning circuit 212. Then, from the state where all the outputs from the horizontal scanning circuit are L, only the signal φhsr_0 becomes H, the switch of the horizontal selection circuit 410 in the 0th column is connected, and the latches 408 and 409 are connected to the output unit 213. The output unit 213 subtracts the digital value of the N signal, which is the output value of the latch 408, from the digital value of the S + N signal, which is the output value of the latch 409, to obtain the digital value of only the S signal. Then, the value is output to the outside of the image sensor 106. When the digital value of the S signal is output from the 0th column in this way and then the pulse is input to the signal φhsr again, only the signal φhsr_1 becomes H, and the digital value of the S signal is output from the 1st column in the same operation. Will be done. In this way, the S signal is sequentially read in the row direction, and the signals from the 0th column to the mth column are read out. This horizontal scan ends at time t516.
時刻t517では、各パルスを初期状態へ戻して画素の状態を初期化する。信号φpresをHにすることにより、FD301を初期化する。信号φcfsをHにすることにより、演算増幅器308の出力を基準電圧Vrefの出力バッファ状態とする。信号φsselをLに戻すことによって、ラッチ選択用回路404がN信号用ラッチ408を選択するようにする。信号φnres,φsresをHにすることにより、ラッチ408,409の出力をリセットする。時刻t518で信号φpselをLにし、行の選択状態を解除する。以上が第1の駆動モードにおける読み出し動作である。 At time t517, each pulse is returned to the initial state to initialize the pixel state. The FD301 is initialized by setting the signal φpres to H. By setting the signal φcfs to H, the output of the operational amplifier 308 is set to the output buffer state of the reference voltage Vref. By returning the signal φssel to L, the latch selection circuit 404 selects the N signal latch 408. By setting the signals φnres and φsres to H, the outputs of the latches 408 and 409 are reset. At time t518, the signal φpsel is set to L, and the row selection state is canceled. The above is the read operation in the first drive mode.
次に、図6のタイミングチャートを用いて、第2の駆動モードによって1行の画素信号を取得する方法について詳細に説明する。 Next, using the timing chart of FIG. 6, a method of acquiring a pixel signal of one row in the second drive mode will be described in detail.
なお、図6のタイミングチャートの動作は、図5のタイミングチャートの動作と同様である部分が多いため、異なる部分に着目して説明する。 Since the operation of the timing chart of FIG. 6 has many parts similar to the operation of the timing chart of FIG. 5, the description will be focused on different parts.
時刻t601から時刻t608までは、図5のタイミングチャートの時刻t501から時刻t508の動作と同様に動作する。ここまでの動作で、N信号用ラッチ408にはN信号のデジタル値600が保持されるようになる。時刻t609では、信号φtxaをHにして、PD203aで変換された光電荷をFD301に転送する。図5のタイミングチャートにおいて時刻t509でHにした信号φtxbは、ここではLのままにしておく。こうすることによって、A像用光電変換部の信号のみをFD301に転送することができる。その後、時刻t616までは図5のタイミングチャートの時刻t516までと同様の動作で水平転送までを終了する。この時、S信号用ラッチ409から出力される画素信号はA像信号+ノイズ信号601である。そのため、出力部213においてN信号のデジタル値600を差し引くことによって、この水平転送によって単位画素201中のA像用の光電変換部であるPD203aの信号のみを撮像素子106の外部に読み出すことができる。 From time t601 to time t608, the operation is the same as the operation from time t501 to time t508 in the timing chart of FIG. By the operation up to this point, the digital value 600 of the N signal is held in the N signal latch 408. At time t609, the signal φtxa is set to H, and the optical charge converted by PD203a is transferred to FD301. In the timing chart of FIG. 5, the signal φtxb set to H at time t509 is left as L here. By doing so, only the signal of the photoelectric conversion unit for A image can be transferred to the FD301. After that, until time t616, the horizontal transfer is completed in the same operation as until time t516 in the timing chart of FIG. At this time, the pixel signal output from the S signal latch 409 is an A image signal + a noise signal 601. Therefore, by subtracting the digital value 600 of the N signal in the output unit 213, only the signal of the PD203a, which is the photoelectric conversion unit for the A image in the unit pixel 201, can be read out to the outside of the image sensor 106 by this horizontal transfer. ..
時刻t617では、信号φsresをHにする。この動作によってS信号用ラッチ409がリセットされ、もう一度新たにS信号用ラッチ409を用いたAD変換動作を行うことが可能になる。時刻t618では、信号φtxa,φtxbをHにして、PD203bで変換された光電荷をFD301に転送する。この動作によって、FD301では、PD203aの光電荷と、PD203bの光電荷を加算することができる。FD301にはこの時既に、時刻t609から時刻t611で転送されたPD203aの光電荷が保持されている。そのため、信号φtxbのみをHにすることで、PD203bの信号をFD301に転送し、FD301でPD203aの光電荷とPD203bの光電荷を加算してもよい。本実施形態では、A+B像信号転送時の回路状態を、第1の駆動モードと同一にするためにφtxaもHにするように動作させた。以上の動作によって、単位画素下の光電変換部の電荷を全てFD301に転送することができる。 At time t617, the signal φthres is set to H. By this operation, the S signal latch 409 is reset, and the AD conversion operation using the S signal latch 409 can be performed again. At time t618, the signals φtxa and φtxb are set to H, and the optical charge converted by PD203b is transferred to the FD301. By this operation, in FD301, the light charge of PD203a and the light charge of PD203b can be added. At this time, the FD 301 already holds the optical charge of the PD 203a transferred from the time t609 to the time t611. Therefore, by setting only the signal φtxb to H, the signal of PD203b may be transferred to FD301, and the optical charge of PD203a and the optical charge of PD203b may be added by FD301. In the present embodiment, in order to make the circuit state at the time of A + B image signal transfer the same as that of the first drive mode, φtxa is also set to H. By the above operation, all the charges of the photoelectric conversion unit under the unit pixel can be transferred to the FD 301.
時刻t619から時刻t626の動作は、図5のタイミングチャートの時刻t511から時刻t519の動作と同様のものである。この時、S信号用ラッチ409から出力される画素信号はA+B像信号+N信号602であるため、出力部213においてN信号のデジタル値600を差し引くことによって、単位画素内の全ての光電変換部の信号を撮像素子106の外部に読み出すことができる。以上が、第2の駆動モードによる読み出し動作である。 The operation from time t619 to time t626 is the same as the operation from time t511 to time t519 in the timing chart of FIG. At this time, since the pixel signal output from the S signal latch 409 is A + B image signal + N signal 602, by subtracting the digital value 600 of the N signal in the output unit 213, all the photoelectric conversion units in the unit pixel The signal can be read out to the outside of the image sensor 106. The above is the read operation in the second drive mode.
以上、図5のタイミングチャートを用いて第1の駆動モードの例を、図6に示したタイミングチャートを用いて第2の駆動モードの例を示した。以上の例によれば、第1の駆動モードでは単位画素下の2つのPD203a,203bの出力を合成した信号(A+B像信号と称する)を読み出している。これに対し、第2の駆動モードでは単位画素下の2つのPDのうち、まずA像信号を読み出し、ついでA+B像信号を読み出している。例えばDSP108で、第2の駆動モードによって得られたA+B像からA像を差し引くことによって、B像信号を分離することができる。そして、これらのA像信号とB像信号の位相差を検出することにより、撮影光学系120のデフォーカス量を検出することができる。 As described above, an example of the first drive mode is shown using the timing chart of FIG. 5, and an example of the second drive mode is shown using the timing chart shown in FIG. According to the above example, in the first drive mode, a signal (referred to as an A + B image signal) obtained by combining the outputs of two PD203a and 203b under a unit pixel is read out. On the other hand, in the second drive mode, of the two PDs under the unit pixel, the A image signal is first read, and then the A + B image signal is read. For example, in DSP 108, the B image signal can be separated by subtracting the A image from the A + B image obtained by the second drive mode. Then, by detecting the phase difference between the A image signal and the B image signal, the defocus amount of the photographing optical system 120 can be detected.
以上に説明したように、第1の駆動モードでは単位画素下の光電変換部の信号を合成して読み出しているのに対して、第2の駆動モードによれば単位画素下の光電変換部の信号を独立に読み出すことができている。そのため、第2の駆動モードは第1の駆動モードよりも、単位画素の信号を多く瞳分割して読み出していることになる。ここでは、第1の駆動モードの単位画素の読み出しを1分割(分割なし)とすれば、第2の駆動モードは2分割に光電変換部をグループ分けしての読み出しということになる。 As described above, in the first drive mode, the signal of the photoelectric conversion unit under the unit pixel is synthesized and read out, whereas in the second drive mode, the photoelectric conversion unit under the unit pixel The signal can be read out independently. Therefore, in the second drive mode, a larger number of unit pixel signals are divided into pupils and read out than in the first drive mode. Here, if the reading of the unit pixel of the first drive mode is divided into one (no division), the second drive mode is the reading in which the photoelectric conversion unit is divided into two groups.
このように、第2の駆動モードで単位画素下にある複数の光電変換部の信号を分割して読み出すと、位相差情報を得ることができる一方で、第1の駆動モードによる読み出しと比較して読み出し時間が延びる。そのため、画面全体の各画素行を順次リセットしていくリセット走査、読み出し走査がスリットローリングシャッター動作による電子シャッター機能を使用する場合、第1の駆動モードのよって読み出した画像と、第2の駆動モードによって読み出した画像でローリング歪が異なる。そこで、本実施形態では、ローリング歪の影響を無くすために、フォーカルプレーンシャッターによる露光を行う動作について説明する。このとき画面を第1の領域と第2の領域に分割し、それぞれの領域で別々に、第1の駆動モードと第2の駆動モードで画像信号を取得する画素群を設定する。 In this way, when the signals of the plurality of photoelectric conversion units under the unit pixel are divided and read in the second drive mode, the phase difference information can be obtained, but compared with the reading in the first drive mode. The read time is extended. Therefore, when the reset scan and the read scan that sequentially reset each pixel row of the entire screen use the electronic shutter function by the slit rolling shutter operation, the image read by the first drive mode and the second drive mode are used. The rolling distortion differs depending on the image read by. Therefore, in the present embodiment, an operation of performing exposure with a focal plane shutter will be described in order to eliminate the influence of rolling distortion. At this time, the screen is divided into a first region and a second region, and a pixel group for acquiring an image signal in the first drive mode and the second drive mode is set separately in each region.
図7の(a)に画面を第1の領域と第2の領域(分割領域)に分割する例を示した。領域700は画面全体を示し、例えば画素アレイ200全体である。701は焦点検出枠(焦点検出領域)であり、焦点検出枠701内の被写体情報に基づいて、DSP107は相関演算を行う。この焦点検出枠が含まれる領域では精度よく焦点検出を行いたいため、位相差情報を密に読み出す必要がある。また、焦点検出枠701が含まれない領域では、位相差情報は低解像度で全面を読み出せばよい。そこで、ドットで示した領域と斜線で示した領域の両方を第1の領域702とし、斜線の領域のみを第2の領域703とする。また、領域700において第1の領域702にも第2の領域703にも選択されなかった領域を第3の領域とする。この領域の設定を行う領域設定手段は、例えばCPU109で領域を計算して設定することによって、CPU109で実現できる。なお、本実施形態のように、第1の領域と第2の領域は重複してもよいし、重複しなくてもよい。 FIG. 7A shows an example of dividing the screen into a first region and a second region (divided region). The area 700 indicates the entire screen, for example, the entire pixel array 200. Reference numeral 701 is a focus detection frame (focus detection area), and the DSP 107 performs a correlation calculation based on the subject information in the focus detection frame 701. In the region including this focus detection frame, it is necessary to read out the phase difference information densely in order to perform focus detection with high accuracy. Further, in the region where the focus detection frame 701 is not included, the entire surface of the phase difference information may be read at a low resolution. Therefore, both the area indicated by the dots and the area indicated by the diagonal lines are designated as the first area 702, and only the area indicated by the diagonal lines is designated as the second area 703. Further, in the region 700, a region that is not selected as neither the first region 702 nor the second region 703 is set as the third region. The area setting means for setting this area can be realized by the CPU 109, for example, by calculating and setting the area in the CPU 109. As in the present embodiment, the first region and the second region may or may not overlap.
第1の領域702を第1の走査方式205aで読み出し、第2の領域703を第2の走査方式205bで読み出す例を、図7の(b)に示す。第1の走査方式205aは、領域の開始行と、その行から一定の第1行周期704ごとに第2の駆動モード(位相差を検出できるモード)で読み出す行を選択するような設定となっている。第1の走査方式205aによって選択された行は、図中1点鎖線で示される行である。第2の走査方式205bは、領域の開始行と、その行から一定の第2行周期705ごとに第2の駆動モード(位相差を検出できるモード)で読み出す行を選択するような設定となっている。第2の走査方式205bによって選択された行は、図中実線で示される行である。なお、第1の走査方式205aと第2の走査方式205bでは、第2の駆動モードで読み出す行の数の第1の駆動モードで読み出す行の数に対する割合が異なっている。 An example in which the first region 702 is read out by the first scanning method 205a and the second area 703 is read out by the second scanning method 205b is shown in FIG. 7B. The first scanning method 205a is set to select the start row of the region and the row to be read from the row in the second drive mode (mode in which the phase difference can be detected) every constant first row cycle 704. ing. The row selected by the first scanning method 205a is the row indicated by the alternate long and short dash line in the figure. The second scanning method 205b is set to select the start row of the region and the row to be read from the row in the second drive mode (mode in which the phase difference can be detected) every fixed second row cycle 705. ing. The row selected by the second scanning method 205b is the row indicated by the solid line in the figure. The ratio of the number of rows read in the second drive mode to the number of rows read in the first drive mode is different between the first scanning method 205a and the second scanning method 205b.
本実施形態においては、第2の領域703は第1の領域702に含まれる領域である。そのため、第2の領域703中、第2の読み出し設定205bで選択されなかった行も、第1の走査方式205aで選択される行となってもよい。 In the present embodiment, the second region 703 is a region included in the first region 702. Therefore, in the second region 703, the row not selected by the second read setting 205b may be the row selected by the first scanning method 205a.
第1の走査方式205aと、第2の走査方式205bの、どちらにも選択されなかった行は、第1の駆動モード(位相差を検出できないモード)で読み出される。 The rows not selected for either of the first scanning method 205a and the second scanning method 205b are read out in the first drive mode (mode in which the phase difference cannot be detected).
第1の領域702と第2の領域703に基づいて定められた、第1の走査方式205aと第2の走査方式205bは、CPU109により垂直走査方式保持部204に設定される。垂直走査回路206は垂直走査方式保持部204に設定された値を読み出し、ある一行の取得を第1の駆動モードによって行うか、第2の駆動モードによって行うかを切り替える。
次に、図8のフローチャートを用いて、本発明の第1の実施形態による撮像動作フローについて説明する。図9に示す撮像動作のシーケンス図と併せて参照されたい。
The first scanning method 205a and the second scanning method 205b, which are determined based on the first area 702 and the second area 703, are set in the vertical scanning method holding unit 204 by the CPU 109. The vertical scanning circuit 206 reads out the value set in the vertical scanning method holding unit 204, and switches whether the acquisition of a certain line is performed by the first drive mode or the second drive mode.
Next, the imaging operation flow according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. Please refer to it together with the sequence diagram of the imaging operation shown in FIG.
まず図8のステップS101でCPU109は、ライブビュー撮影を開始させる。ライブビュー撮影においては、後述する撮像素子106のライブビュー撮影動作によって連続して取得される画像データに基づく画像を表示部110に逐次表示させる。 First, in step S101 of FIG. 8, the CPU 109 starts live view shooting. In the live view shooting, the display unit 110 sequentially displays images based on the image data continuously acquired by the live view shooting operation of the image sensor 106, which will be described later.
次に、ステップS102でCPU109は、第1の領域702の第1の走査方式205aの設定を行い、ステップS103においてCPU109は焦点検出枠(焦点検出領域)701を指定する。その後、CPU109は、ステップS104において操作部111に含まれるシャッタースイッチ(SW)が撮影者によって押下されてONされるまで、ライブビュー撮影を継続させる。 Next, in step S102, the CPU 109 sets the first scanning method 205a in the first area 702, and in step S103, the CPU 109 designates the focus detection frame (focus detection area) 701. After that, the CPU 109 continues the live view shooting until the shutter switch (SW) included in the operation unit 111 is pressed and turned on by the photographer in step S104.
撮影者によってシャッタースイッチが押下(撮影指示)されると(図9時刻Ta)、CPU109は撮像素子107のライブビュー撮影動作を終了し、ステップS105でCPU109は、ステップS103で設定した焦点検出枠701に応じて第2の領域703の第2の走査方式205bの設定を行う。 When the shutter switch is pressed (shooting instruction) by the photographer (Ta in FIG. 9), the CPU 109 ends the live view shooting operation of the image sensor 107, and in step S105, the CPU 109 sets the focus detection frame 701 in step S103. The second scanning method 205b in the second region 703 is set according to the above.
その後、ステップS106で静止画用のリセット走査を開始させる(図9時刻Tb)。これにより、撮像素子106の各画素の電荷は画素行毎に順次クリアされる。静止画用のリセット走査は、ステップS109における撮像素子106を遮光するためのフォーカルプレーンシャッター走行と同様のカーブを描くように行われる。 Then, in step S106, the reset scan for the still image is started (FIG. 9 time Tb). As a result, the electric charge of each pixel of the image sensor 106 is sequentially cleared for each pixel row. The reset scan for a still image is performed so as to draw a curve similar to the focal plane shutter traveling for shading the image sensor 106 in step S109.
実際の構成についてはこれに限られるものでなく、全画素行の電荷を同時にクリアするようにしても構わない。ただし、その場合、電荷クリアからフォーカルプレーンシャッターで遮光されるまでの時間が画素行に異なるため、露光量が行により異なる動作となる。 The actual configuration is not limited to this, and the charges in all pixel rows may be cleared at the same time. However, in that case, since the time from clearing the charge to shading by the focal plane shutter differs depending on the pixel line, the exposure amount differs depending on the line.
ステップS107で静止画用のリセット走査を終了した後、ステップS108でCPU109は、設定されたシャッタースピードに相当する蓄積時間が経過するのを待ち、ステップS109でCPU109は、シャッター駆動回路114を介してフォーカルプレーンシャッター104を走行させ、撮像素子106を遮光させる。その後、ステップS110では撮像素子107の読み出し走査を開始させ(図9時刻Tc)、ステップS111で読み出し走査を終了すると、静止画像データの取得動作は終了となる。 After completing the reset scan for the still image in step S107, the CPU 109 waits for the accumulation time corresponding to the set shutter speed to elapse in step S108, and in step S109, the CPU 109 passes through the shutter drive circuit 114. The focal plane shutter 104 is run to block the image sensor 106 from light. After that, in step S110, the read-out scanning of the image sensor 107 is started (time Tc in FIG. 9), and when the read-out scan is completed in step S111, the still image data acquisition operation is completed.
このとき、ライブビュー画像データの読み出しは、焦点検出枠(焦点検出領域)701に依らず、第1の領域702を第1の走査方式205aで、領域の開始行と、その行から一定の第1行周期704ごとに第2の駆動モード(位相差を検出できるモード)で行われる。第1の駆動モードと第2の駆動モードで走査される行が画像全体で平均的に読み出されるため、読み出し時間差で生じるローリング歪についても画像全体に平均的に分散され、表示部110に表示されるライブビュー画像の不均一なローリング歪を抑制することができる。 At this time, the reading of the live view image data does not depend on the focus detection frame (focus detection area) 701, and the first area 702 is subjected to the first scanning method 205a to the start line of the area and a constant first line from that line. It is performed in the second drive mode (mode in which the phase difference can be detected) for each line cycle 704. Since the lines scanned in the first drive mode and the second drive mode are read out on average over the entire image, the rolling distortion caused by the read time difference is also distributed evenly over the entire image and displayed on the display unit 110. It is possible to suppress non-uniform rolling distortion of the live view image.
本実施形態では、ライブビュー撮影の場合について説明したが、動画像撮影の場合についても同様に第1の駆動モードと第2の駆動モードで走査される行が画像全体で平均的に読み出されるため、読み出し時間差で生じるローリング歪についても画像全体に平均的に分散されて、記録媒体112に記録される動画像の不均一なローリング歪を抑制することができる。 In the present embodiment, the case of live view shooting has been described, but also in the case of moving image shooting, the rows scanned in the first drive mode and the second drive mode are read out on average in the entire image. The rolling distortion caused by the reading time difference is also dispersed over the entire image on average, and the non-uniform rolling distortion of the moving image recorded on the recording medium 112 can be suppressed.
また、静止画像データの読み出しはAF性能向上のため焦点検出枠(焦点検出領域)に応じて第2の駆動モード(位相差を検出できるモード)で読み出す領域を集中させる。このとき、フォーカルプレーンシャッターが閉じた状態で行われるため、第1の駆動モード(位相差を検出できないモード)と第2の駆動モード(位相差を検出できるモード)で読み出し時間が異なっている場合においても、ローリング歪が発生しない。 Further, in order to improve the AF performance, the still image data is read out by concentrating the area to be read out in the second drive mode (mode in which the phase difference can be detected) according to the focus detection frame (focus detection area). At this time, since the focal plane shutter is closed, the read time differs between the first drive mode (mode in which the phase difference cannot be detected) and the second drive mode (mode in which the phase difference can be detected). However, rolling distortion does not occur.
以上に説明したように、第1の実施形態によれば、ライブビュー撮影や動画撮影時はローリング歪を抑制し、かつ、静止画撮影時はAF性能向上のため焦点検出枠に応じて位相差情報を取得しつつ、ローリング歪の影響がない画像を取得することが可能となる。 As described above, according to the first embodiment, rolling distortion is suppressed during live view shooting and moving image shooting, and phase difference is obtained according to the focus detection frame in order to improve AF performance during still image shooting. It is possible to acquire an image that is not affected by rolling distortion while acquiring information.
本実施形態では、第2の駆動モードとして、A像を取得し、その後A+B像を取得する方法を図6のタイミングチャートにおいて示した。しかし本発明はこれに限定されるものではなく、例えばA像信号を取得した後にFD301をリセットし、次にB像信号を読み出すという動作をさせてもよい。この場合、画像用のA+B像信号を生成するためにA像信号のデジタル値とB像信号のデジタル値を加算する必要がある。 In the present embodiment, as the second drive mode, a method of acquiring an A image and then an A + B image is shown in the timing chart of FIG. However, the present invention is not limited to this, and for example, the operation of resetting the FD301 after acquiring the A image signal and then reading the B image signal may be performed. In this case, it is necessary to add the digital value of the A image signal and the digital value of the B image signal in order to generate the A + B image signal for the image.
また本実施形態では、単位画素下の光電変換部が2分割された構造を持つ撮像素子を用いる場合について説明したが、本発明はこれに限定されるものではない。例えば、単位画素下の光電変換部が上下左右に4分割された構造を持つ撮像素子においては、更に多くの駆動モードを考えることができる。例えば、単位画素下の4つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードと、全ての光電変換部の信号を独立に読み出す駆動モードの組み合わせによって、画面全体の画素を読み出すということがあり得る。 Further, in the present embodiment, the case where an image sensor having a structure in which the photoelectric conversion unit under a unit pixel is divided into two is used has been described, but the present invention is not limited to this. For example, in an image sensor having a structure in which the photoelectric conversion unit under a unit pixel is divided into four in the vertical and horizontal directions, more drive modes can be considered. For example, among the four photoelectric conversion units under a unit pixel, the entire screen can be created by combining a drive mode in which the vertical direction is combined and the horizontal direction is not combined, and a drive mode in which all photoelectric conversion units are independently read out. It is possible to read out the pixels of.
ところで、第2の駆動モードは、第1の駆動モードよりも単位画素を多く瞳分割して読み出すことを特徴とする駆動モードである。そのため、単位画素下の光電変換部が4分割された構造をもつ撮像素子について上記のような駆動モードによって画面全体を読み出す場合は、単位画素下の4つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードを第1の駆動モードとする。また、全ての光電変換部の信号を独立に読み出す駆動モードを第2の駆動モードとする。このとき、第1の駆動モードの単位画素の読み出しは2分割、第2の駆動モードの読み出しは4分割である、と考えることができる。 By the way, the second drive mode is a drive mode characterized in that a larger number of unit pixels are divided into pupils and read out than in the first drive mode. Therefore, when the entire screen is read out in the drive mode as described above for an image pickup element having a structure in which the photoelectric conversion unit under the unit pixel is divided into four, among the four photoelectric conversion units under the unit pixel, the vertical direction is combined. However, the drive mode for reading in the horizontal direction without synthesizing is set as the first drive mode. Further, the drive mode in which the signals of all the photoelectric conversion units are independently read out is set as the second drive mode. At this time, it can be considered that the reading of the unit pixel of the first drive mode is divided into two, and the reading of the second drive mode is divided into four.
以上説明したように、単位画素下の光電変換部が上下左右に4分割されている構成にすることによって、被写体の横方向の位相差情報のみならず、縦方向の位相差情報も得ることができるようになる。そしてこのような場合においても本発明を適用することで、複数の目的に適合した信号を読み出すことが可能となる。 As described above, by configuring the photoelectric conversion unit under the unit pixel into four parts vertically and horizontally, it is possible to obtain not only the phase difference information in the horizontal direction of the subject but also the phase difference information in the vertical direction. become able to. Then, even in such a case, by applying the present invention, it becomes possible to read out a signal suitable for a plurality of purposes.
また、本実施形態では読み出し設定によって第2の駆動モードによって読み出される画素群を行単位で選択するように説明したが、これに限定されるものではない。 Further, in the present embodiment, the pixel group read by the second drive mode is selected in line units according to the read setting, but the present invention is not limited to this.
さらに、本実施形態では、フォーカルプレーンシャッターによる露光を行った場合について説明したが、全画素に対して同時にシャッター動作を行うグローバル電子シャッター方式による露光を行っても構わない。 Further, in the present embodiment, the case where the exposure is performed by the focal plane shutter has been described, but the exposure by the global electronic shutter method in which the shutter operation is performed simultaneously for all the pixels may be performed.
第1の実施形態では、第1の駆動モード(位相差を検出できないモード)と第2の駆動モード(位相差を検出できるモード)の読み出しを行う場合において、ライブビュー撮影後にフォーカルプレーンシャッターによる露光を行うことで静止画像データを取得する場合について説明した。第2の実施形態では、第1の駆動モード(位相差を検出できないモード)と第2の駆動モード(位相差を検出できるモード)の読み出しを行う場合において、ライブビュー撮影後にスリットローリングシャッター動作での静止画像データを取得する場合について説明する。 In the first embodiment, when the first drive mode (mode in which the phase difference cannot be detected) and the second drive mode (mode in which the phase difference can be detected) are read out, the exposure by the focal plane shutter is performed after the live view shooting. The case of acquiring still image data by performing the above has been described. In the second embodiment, in the case of reading out the first drive mode (mode in which the phase difference cannot be detected) and the second drive mode (mode in which the phase difference can be detected), the slit rolling shutter operation is performed after the live view shooting. The case of acquiring the still image data of the above will be described.
図10は画面を第4の領域を持つ例を示している。領域800は画面全体を示し、例えば、画素アレイ200全体である。ドットで示した領域を第4の領域は画面全体の領域800とする。この領域の設定を行う領域設定手段は、例えばCPU109で領域を計算して設定することによって、CPU109で実現できる。 FIG. 10 shows an example in which the screen has a fourth region. The area 800 shows the entire screen, for example, the entire pixel array 200. The area indicated by the dots is defined as the area 800 of the entire screen as the fourth area. The area setting means for setting this area can be realized by the CPU 109, for example, by calculating and setting the area in the CPU 109.
第4の読み出し設定は、領域800の画面全体に対して第1の駆動モード(位相差を検出できないモード)で読み出す設定となっている。 The fourth read setting is a setting for reading the entire screen of the area 800 in the first drive mode (mode in which the phase difference cannot be detected).
第4の領域800に基づいて定められた、第4の走査方式は、CPU109により垂直走査方式保持部204に設定される。垂直走査回路206は、垂直走査方式保持部204に設定された値を読み出し、全行の取得を第1の駆動モードによって行うように制御する。 The fourth scanning method, which is determined based on the fourth area 800, is set by the CPU 109 in the vertical scanning method holding unit 204. The vertical scanning circuit 206 reads out the values set in the vertical scanning method holding unit 204, and controls the acquisition of all rows so as to be performed by the first drive mode.
次に、図11のフローチャートを用いて、本発明の第2の実施形態による撮像動作フローについて説明する。図12に示す撮像動作のシーケンス図と併せて参照されたい。 Next, the imaging operation flow according to the second embodiment of the present invention will be described with reference to the flowchart of FIG. Please refer to it together with the sequence diagram of the imaging operation shown in FIG.
まず図11のステップS201でCPU109は、ライブビュー撮影を開始させる。ライブビュー撮影においては、後述する撮像素子106のライブビュー撮影動作によって連続して取得される画像データに基づく画像を表示部110に逐次表示させる。 First, in step S201 of FIG. 11, the CPU 109 starts live view shooting. In the live view shooting, the display unit 110 sequentially displays images based on the image data continuously acquired by the live view shooting operation of the image sensor 106, which will be described later.
次に、ステップS202でCPU109は、第1の実施形態と同様に図7の(a)に示す第1の領域702の第1の走査方式205aの設定を行い、その後、CPU109は、ステップS203においてCPU109は焦点検出枠(焦点検出領域)801を指定する。 Next, in step S202, the CPU 109 sets the first scanning method 205a of the first region 702 shown in FIG. 7 (a) in the same manner as in the first embodiment, and then the CPU 109 sets the first scanning method 205a in step S203. The CPU 109 designates a focus detection frame (focus detection area) 801.
その後、CPU109は、ステップS204において操作部111に含まれるシャッタースイッチ(SW)が撮影者によって押下されてONされるまで、ライブビュー撮影を継続させる。 After that, the CPU 109 continues the live view shooting until the shutter switch (SW) included in the operation unit 111 is pressed and turned on by the photographer in step S204.
撮影者によってシャッタースイッチが押下(撮影指示)されると(図15時刻Ta)、CPU109は撮像素子107のライブビュー撮影動作を終了し、ステップS205でCPU109は、ステップS203で設定した焦点検出枠701に依らず、図10に示す第4の領域800の第4の走査方式の設定を行う。 When the shutter switch is pressed (shooting instruction) by the photographer (Ta in FIG. 15), the CPU 109 ends the live view shooting operation of the image sensor 107, and in step S205, the CPU 109 sets the focus detection frame 701 in step S203. The fourth scanning method of the fourth region 800 shown in FIG. 10 is set regardless of the above.
その後、ステップS206で静止画用のリセット走査を開始させる(図15時刻Tb)。 Then, in step S206, reset scanning for a still image is started (FIG. 15 time Tb).
これにより、撮像素子106の各画素の電荷は画素行毎に順次クリアされる。本実施形態での静止画用のリセット走査は、ステップS206における撮像素子106を遮光するためスリットローリングシャッター駆動で行われる。 As a result, the electric charge of each pixel of the image sensor 106 is sequentially cleared for each pixel row. The reset scan for a still image in the present embodiment is performed by driving a slit rolling shutter in order to block the image sensor 106 in step S206.
ステップS207で、CPU109は設定されたシャッタースピードに相当する蓄積時間が経過するのを待ち、撮像素子107の読み出し走査を開始させ(図15時刻Tc)、ステップS208で読み出し走査を終了すると、静止画像データの取得動作は終了となる。 In step S207, the CPU 109 waits for the accumulation time corresponding to the set shutter speed to elapse, starts the read scan of the image sensor 107 (at Tc at FIG. 15), and ends the read scan in step S208. The data acquisition operation ends.
このとき、静止画像データの読み出しは、第1の駆動モード(位相差を検出できないモード)のみである。スリットローリングシャッター動作でリセット走査を行うため、ローリング歪は発生するが、第1の実施形態や第2の実施形態のように第1の駆動モードで読み出す行と第2の駆動モードで読み出す行とで読み出し時間が異なることによるローリング歪は発生しない。その結果、静止画像データに対するローリング歪の画質への影響を抑制することができる。 At this time, the still image data is read only in the first drive mode (mode in which the phase difference cannot be detected). Since the reset scan is performed by the slit rolling shutter operation, rolling distortion occurs, but the line read in the first drive mode and the line read in the second drive mode as in the first embodiment and the second embodiment. Rolling distortion does not occur due to the difference in read time. As a result, it is possible to suppress the influence of rolling distortion on the image quality of still image data.
また、静止画像データの読み出しを第1の駆動モードで行い、静止画像データでは位相差情報を取得できず、焦点検出を行うことができない。そのため、静止画の直前のライブビュー画像の読み出しを第2の駆動モードで行い、取得した位相差情報から焦点検出を行えばよい。 Further, the still image data is read out in the first drive mode, the phase difference information cannot be acquired from the still image data, and the focus cannot be detected. Therefore, the live view image immediately before the still image may be read out in the second drive mode, and the focus may be detected from the acquired phase difference information.
以上に説明したように、第2の実施形態によれば、スリットローリングシャッター動作による静止画撮影の場合においても、AFを行いつつローリング歪の影響がない静止画像を取得することが可能となる。 As described above, according to the second embodiment, even in the case of still image shooting by the slit rolling shutter operation, it is possible to acquire a still image that is not affected by rolling distortion while performing AF.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.
104 フォーカルプレーンシャッター、106 撮像素子、109 CPU 104 focal plane shutter, 106 image sensor, 109 CPU
Claims (12)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037075A JP2020141347A (en) | 2019-03-01 | 2019-03-01 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037075A JP2020141347A (en) | 2019-03-01 | 2019-03-01 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020141347A true JP2020141347A (en) | 2020-09-03 |
Family
ID=72280646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019037075A Pending JP2020141347A (en) | 2019-03-01 | 2019-03-01 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020141347A (en) |
-
2019
- 2019-03-01 JP JP2019037075A patent/JP2020141347A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6315776B2 (en) | Imaging device, imaging device | |
WO2017047010A1 (en) | Image sensor and image capturing apparatus | |
US9277113B2 (en) | Image pickup apparatus and driving method therefor | |
US9986180B2 (en) | Image pickup apparatus and method for controlling image pickup apparatus | |
JP6099904B2 (en) | Imaging device | |
KR20180052700A (en) | Image pickup device and image pickup device | |
JP2016127454A (en) | Imaging device and control method of the same, program and storage medium | |
US10225494B2 (en) | Image capturing apparatus and control method thereof | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
JP4637029B2 (en) | Imaging apparatus and control method thereof | |
JP2016092792A (en) | Imaging apparatus | |
JP7282489B2 (en) | Imaging device and its control method | |
JP2020141347A (en) | Imaging apparatus | |
US10203206B2 (en) | Image capture apparatus having signal readouts using distance measurement region | |
JP6991028B2 (en) | Imaging device and its control method, program, storage medium | |
JP5067843B2 (en) | Imaging device | |
JP6704725B2 (en) | Imaging device, control method, and program thereof | |
JP2020057892A (en) | Imaging device | |
US10880477B2 (en) | Image capturing apparatus and multi-readout mode control method for carrying out a live view display | |
US11539903B2 (en) | Imaging apparatus and method of controlling the same and non-transitory computer-readable storage medium | |
US11368610B2 (en) | Image capture apparatus and control method therefor | |
JP6883082B2 (en) | Imaging device and its control method | |
US10904424B2 (en) | Image capturing apparatus | |
JP2016092692A (en) | Imaging device and control method thereof, program, storage medium | |
JP2024062765A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |