JP2018191027A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2018191027A JP2018191027A JP2017089063A JP2017089063A JP2018191027A JP 2018191027 A JP2018191027 A JP 2018191027A JP 2017089063 A JP2017089063 A JP 2017089063A JP 2017089063 A JP2017089063 A JP 2017089063A JP 2018191027 A JP2018191027 A JP 2018191027A
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- pixel
- unit
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、例えばビデオカメラ等のセンサ制御に係る撮像装置に関する。 The present invention relates to an imaging apparatus related to sensor control such as a video camera.
近年のビデオカメラ等の撮像装置において、ＡＦ性能高速化を実現する為に従来のＴＶ方式ではなく、被写体の画像情報から位相差情報を検出する事が可能な撮像素子を用いてＡＦの高速化を実現している。 In recent imaging devices such as video cameras, the speed of AF is increased by using an imaging device capable of detecting phase difference information from subject image information instead of the conventional TV system in order to achieve faster AF performance. Is realized.
例えば一つの画素を左像（以後Ｌ像）と右像（以後Ｒ像）の左右に分割し、Ｌ像とＲ像の出力差分を基に位相差情報を算出するＤＡＦセンサ等の瞳分割方式の撮像素子がある。 For example, a pupil division method such as a DAF sensor that divides one pixel into a left image and a right image (hereinafter referred to as an L image) and a right image (hereinafter referred to as an R image) and calculates phase difference information based on an output difference between the L image and the R image. There is an image sensor.
瞳分割方式の撮像素子は瞳分割により、通常の撮像素子の２倍の画素数となるので撮像素子内でのＡ／Ｄ変換処置、デジタル信号処理、転送時間等が大きくなるので消費電力もその分大きくなってしまう。特にＡ／Ｄ変換器は水平方向の１列分存在し、全てのＡ／Ｄ変換器にＣＬＫを入力することから消費電力が大きくなる傾向にある。 The pupil-division imaging device has twice the number of pixels as a normal imaging device due to pupil division, so A / D conversion processing, digital signal processing, transfer time, etc. in the imaging device increase, so power consumption is also increased. It gets bigger. In particular, A / D converters exist for one column in the horizontal direction, and since CLK is input to all the A / D converters, power consumption tends to increase.
そこで、位相差情報が必要な行のみＬ像とＲ像を転送する方式で消費電力の削減、転送レートの高速化をおこなっている（特許文献１）。 Therefore, power consumption is reduced and the transfer rate is increased by transferring the L image and the R image only to the rows that require phase difference information (Patent Document 1).
しかしながら、上記従来例でも位相差情報を出力する瞳分割方式の撮像素子は通常の撮像素子よりも画素数は多いので、増消費電力は増加する。 However, even in the above-described conventional example, the pupil division type image sensor that outputs phase difference information has a larger number of pixels than a normal image sensor, and thus the increased power consumption increases.
このような瞳分割方式の撮像素子において、消費電力を更に削減することを課題とする。 It is an object of the present invention to further reduce power consumption in such a pupil division type imaging device.
上記の課題を解決するために、本発明に係る撮像装置は、
一つの画素から被写体撮像画像と、該画素を複数に分割し該複数の分割画素を出力する像面位相差撮像素子で、該分割画素の出力と所定値の比較を行う比較器と、該分割画素の出力を一行ずつアナログからデジタルに変換するＡ／Ｄ変換器と、該Ａ／Ｄ変換器からの出力を一行ずつ所定の画像処理を行う画像処理部と、該画像処理された出力を一画素ずつ一行分転送する転送手段を有し、該比較器の結果に応じて、該対応する分割画素の該Ａ／Ｄ変換、該画像処理、該転送を行わず被写体撮像画像の転送を行うことを特徴とする。
In order to solve the above problems, an imaging apparatus according to the present invention provides:
A subject captured image from one pixel, an image plane phase difference imaging device that divides the pixel into a plurality of pixels and outputs the plurality of divided pixels, a comparator that compares the output of the divided pixels with a predetermined value, and the division An A / D converter that converts the pixel output from analog to digital line by line, an image processing unit that performs predetermined image processing line by line on the output from the A / D converter, and the image processed output Transfer means for transferring one line of pixels at a time, and according to the result of the comparator, A / D conversion of the corresponding divided pixel, image processing, and transfer of the subject captured image without performing the transfer It is characterized by.
本発明に係る撮像装置によれば、不必要なＡ／Ｄ変換処理、デジタル画像処理、転送処理を行わないので消費電力削減につながる。 According to the imaging apparatus according to the present invention, unnecessary A / D conversion processing, digital image processing, and transfer processing are not performed, leading to power consumption reduction.
以下図面を参照しつつ、本発明の第一の実施形態を説明する。 Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
図１は本発明における実施形態であり、被写体画像を出力する撮像素子の各画素に瞳分割による位相差情報取得用画像も出力する撮像素子を用いた撮像装置の構成図である。 FIG. 1 is an embodiment of the present invention, and is a configuration diagram of an imaging apparatus using an imaging element that also outputs a phase difference information acquisition image by pupil division to each pixel of the imaging element that outputs a subject image.
１００は被写体像からの光量を収束、及び焦点を合わせるためのフォーカス制御機構、ズーム機構が組み込まれたレンズ群であり、ＣＰＵ（後述）により制御される。１０１はＣＰＵにより制御され、撮像素子（後述）に入射される光量を可変する為の絞り部である。 A lens group 100 incorporates a focus control mechanism and a zoom mechanism for converging and focusing the amount of light from the subject image, and is controlled by a CPU (described later). A diaphragm 101 is controlled by the CPU and varies the amount of light incident on an image sensor (described later).
１０２はＣＰＵに制御されるＣＭＯＳセンサ等の撮像素子で、レンズを抜けた被写体象の光を電気信号に変換する為の半導体撮像素子であり、前述したように位相差情報取得用画像と画像データを出力する。尚後述するが、位相差情報取得用画像は１０２の撮像素子の各画素を瞳分割によるＬ像及びＲ像であり、Ｌ像とＲ像を加算するとその画素の出力レベルすなわち画像データとなる。 Reference numeral 102 denotes an image sensor such as a CMOS sensor controlled by a CPU, which is a semiconductor image sensor for converting the light of the subject image that has passed through the lens into an electrical signal. As described above, the phase difference information acquisition image and the image data Is output. As will be described later, the phase difference information acquisition image is an L image and an R image obtained by pupil division of each pixel of the image sensor 102. When the L image and the R image are added, the output level of the pixel, that is, image data is obtained.
１０３は画像処理ＩＣであり、主に位相差情報を算出する為の前処理と後処理、更に画像を形成する為の画像処理部（後述）、現像処理部（後述）で構成される。１０４はＣＰＵ（後述）に制御され、撮像素子から入力される画像形成を行う為のＬ像＋Ｒ画像（本画像）にゲインをかけて所定の出力にする為のＶＧＡ部であり、画像の出力レベルを絞り、露光時間、及びゲインで適正にするべく制御する（露出制御）。更にＶＧＡ部はゲインによる増幅後のフォーカス領域（主被写体領域）のみの本画像（Ｌ像＋Ｒ像）、とＬ像を演算部（後述）に転送する。 An image processing IC 103 is mainly composed of pre-processing and post-processing for calculating phase difference information, and an image processing unit (described later) and a development processing unit (described later) for forming an image. Reference numeral 104 denotes a VGA unit which is controlled by a CPU (described later) and applies a gain to an L image + R image (main image) for forming an image input from the image sensor to obtain a predetermined output. The level is controlled to be appropriate with the aperture, exposure time, and gain (exposure control). Further, the VGA unit transfers the main image (L image + R image) and the L image of only the focus region (main subject region) after amplification by gain to the calculation unit (described later).
１０５は１０４のＶＧＡ部の出力を画像形成するべく、γ、アパーチャー、カラーバランス等の画像処理を行う画像処理部、１０６は本画像（Ｌ像＋Ｒ像）とＬ像が入力され、本画像からＬ像の差分をとる事により、位相差情報を得る為のＬ像とＲ像に分離する為の演算部であり、Ｌ像及びＲ像の出力を位相差情報算出部（後述）に転送する。１０７は１０６より入力されるＬ像及びＲ像から位相差情報を算出し、ＣＰＵ（後述）に出力する。 An image processing unit 105 performs image processing such as γ, aperture, and color balance to form an output from the VGA unit 104. A main image (L image + R image) and an L image are input to the image processing unit 106. This is a calculation unit for separating the L image and the R image to obtain phase difference information by taking the difference between the L images, and transfers the output of the L image and the R image to a phase difference information calculation unit (described later). . Reference numeral 107 calculates phase difference information from the L image and R image input from 106 and outputs them to a CPU (described later).
１０８は１０５の画像処理部から出力される本画像からＹＵＶ信号への現像処理を行い記録部、表示部に出力する現像処理部、１０９は１０８の現像処理部より出力される画像を表示する為の表示部、１１０は１０８の現像処理部より出力される動画等を特定のフレームレートで記録する記録部である。１１１はユーザーが各種設定を行い、主にフォーカス領域である主被写体領域の設定等も行う操作部である。１１２はあらゆる制御を司るＣＰＵであり、撮像素子の領域読み出し設定、タイミング設定等、位相差情報算出部より出力されるデフォーカス量に基づき、フォーカス制御を行う。 Reference numeral 108 denotes a development processing unit that performs development processing from the main image output from the image processing unit 105 to a YUV signal and outputs it to a recording unit and a display unit. Reference numeral 109 denotes an image output from the development processing unit 108. The display unit 110 is a recording unit that records a moving image output from the development processing unit 108 at a specific frame rate. Reference numeral 111 denotes an operation unit for performing various settings by the user and setting a main subject area which is a focus area. A CPU 112 performs all kinds of control, and performs focus control based on the defocus amount output from the phase difference information calculation unit, such as region reading setting and timing setting of the image sensor.
次に図２を用いて位相差情報取得用画像と画像データを出力する撮像素子１０２の説明をする。 Next, the image sensor 102 that outputs the phase difference information acquisition image and the image data will be described with reference to FIG.
１０２の撮像素子は図２の２０１に示すように、１つのマイクロレンズと、カラーフィルタに対して、２つのダイオードを備える事で一つの画素を構成しており（Ｌ像＋Ｒ像で１画素）、この画素がマトリクス状に配置されている。撮像素子１０２は、２つのフォトダイオードの出力信号を加算した本画像（Ｒ像＋Ｌ像）と、１つのフォトダイオードからの出力信号であるＬ像が画像データとして出力される。尚本実施例では図２の２００に示すように４Ｋに対応する４０９６列×２１６０行の画素で構成されているものとし、更に１１２のＣＰＵに制御され４０９６×２１６０の全体の画素のうち任意の行（フォーカス行）に関してＬ像とＬ＋Ｒ像を出力する事が可能である。 As shown by 201 in FIG. 2, the image pickup element 102 includes one microlens and two diodes for a color filter to form one pixel (one pixel for L image + R image). These pixels are arranged in a matrix. The image sensor 102 outputs a main image (R image + L image) obtained by adding the output signals of two photodiodes and an L image that is an output signal from one photodiode as image data. In this embodiment, as shown by 200 in FIG. 2, it is assumed that it is composed of 4096 columns × 2160 rows of pixels corresponding to 4K, and is controlled by 112 CPUs, and is arbitrarily selected from the entire pixels of 4096 × 2160. It is possible to output an L image and an L + R image for a row (focus row).
また各Ｌ像、Ｒ像は２０２のセレクタにつながれており、２１６０行のうちの１行ずつをセレクタにより選択され、後述する読み出し部でデジタル変換処理等を行い、２０４の転送部に転送を行い１画素ずつ画像処理ＩＣ（１０３）へ出力する。フォーカス行は先ず、２１６０行のうち選択された１行のＬ像のみを後述する電圧保持部に出力し、２０２のセレクタを介して２０３の読み出し部に出力し、その後Ｒ像を電圧保持部に出力する事でＬ像＋Ｒ像を読み出す。またフォーカス行以外の領域は２１６０行のうち１行を選択し、Ｌ像の出力は行わず本画像であるＬ像とＲ像の両方を後述する電圧保持部に転送し読み出しを行う。 Each L image and R image is connected to 202 selectors. One of the 2160 rows is selected by the selector, is subjected to a digital conversion process or the like by a reading unit to be described later, and is transferred to a transfer unit 204. Each pixel is output to the image processing IC (103). The focus row first outputs only the L image of one selected row out of 2160 rows to the voltage holding unit described later, and outputs it to the reading unit 203 through the selector 202, and then the R image to the voltage holding unit. By outputting, the L image + R image is read out. Further, one of the 2160 rows is selected as the region other than the focus row, and the L image is not output, and both the L image and the R image, which are the main images, are transferred to a voltage holding unit described later and read out.
更に図３を用いて、１列に対応する２０３の読み出し部の詳細説明を行う。尚図３は１列分の読み出し部の構成であり、垂直方向の２１６０行分画素が接続され、読み出し時には２０２のセレクタにより、そのうちの１画素が接続され、読み出し回路は水平方向に４０９６列分存在する。 Further, with reference to FIG. 3, a detailed description will be given of 203 reading units corresponding to one column. FIG. 3 shows a configuration of a readout unit for one column, in which pixels for 2160 rows in the vertical direction are connected. During readout, one of the pixels is connected by a selector 202, and the readout circuit is for 4096 columns in the horizontal direction. Exists.
３００は先述した瞳分割された画素であり、３０１は３００の出力を保持する電圧保持部である。３０２は後述する比較器１にＡ／Ｄ変換時の傾きを選択するＲｅｆ電圧、及び飽和比較電圧のどちらかを出力するセレクタである。 Reference numeral 300 denotes the pupil-divided pixels described above, and reference numeral 301 denotes a voltage holding unit that holds 300 outputs. Reference numeral 302 denotes a selector that outputs either a Ref voltage for selecting a gradient at the time of A / D conversion or a saturation comparison voltage to the comparator 1 described later.
３０３は画素から出力される電圧をＲｅｆ電圧、飽和比較電圧を比較する比較器１、３０４はスロープ型Ａ／Ｄ変換の傾きを選択しランプ波形を出力し、更に画素が飽和している時には飽和フラグを各ブロックに出力するＳｌｏｐｅ選択部、３０５は徐々に上昇するランプ波形と画素出力部が同電圧となった時点で、一致信号を後述するカウンタに出力する比較器２、３０６は比較器２から一致信号が出力されるまでカウント動作を行う１２ｂｉｔのカウンタであり、その基準ＣＬＫを発生するのが３０７のＣＬＫ発生器である。 Reference numeral 303 denotes the voltage output from the pixel, the Ref voltage, and comparators 1 and 304 that compare the saturation comparison voltage select the slope of the slope type A / D conversion and output a ramp waveform. Further, the saturation occurs when the pixel is saturated. A Slope selection unit that outputs a flag to each block, 305 is a comparator 2 that outputs a coincidence signal to a counter (to be described later), and 306 is a comparator 2 when the pixel output unit has the same voltage as the ramp waveform that gradually increases. Is a 12-bit counter that counts until a coincidence signal is output, and a reference CLK is generated by a 307 CLK generator.
またＬ像が飽和している場合はカウンタ動作を止めるために、ＣＬＫ供給のＯＦＦ／ＯＮを行うＳＷが３０８である。３０９は選択されたランプ波形のスロープにより、３０６のカウンタから出力されるカウンタ値に対して、下位２ｂｉｔもしくは上位２ｂｉｔに“００”を付加する為のビットシフト部、３１０は黒レベルの補正やリニアリティの補正等を行うＤＦＥ部で、３１１は１行ずつ画像データを転送する転送部である。 Further, when the L image is saturated, SW 308 for turning OFF / ON the CLK supply is used to stop the counter operation. 309 is a bit shift unit for adding “00” to the lower 2 bits or the upper 2 bits with respect to the counter value output from the counter 306 according to the slope of the selected ramp waveform, and 310 is a correction or linearity of black level. Reference numeral 311 denotes a transfer unit that transfers image data line by line.
ＣＰＵは撮像素子に対して、Ｌ像とＬ＋Ｒ像の両方を読み出すフォーカス行を設定し、その他各初期値設定を行った後、１０１の絞り、撮像素子に対して露光時間を設定し撮像素子からの読み出し動作を開始する。ＣＰＵは各種設定後、１０２の撮像素子に１／６０［ｓ］毎に１フレームの読み出しの基準信号となるＶＤ信号を出力する。１０２の撮像素子はＶＤ信号が出力されると、１行ずつ順次画像データを転送していく。 The CPU sets a focus row for reading out both the L image and the L + R image for the image sensor, sets other initial values, sets the exposure time for the aperture 101 and the image sensor, and sets the exposure time from the image sensor. The reading operation is started. After various settings, the CPU outputs a VD signal serving as a reference signal for reading out one frame every 1/60 [s] to the image sensor 102. When the VD signal is output, the image sensor 102 sequentially transfers image data line by line.
まずＬ像＋Ｒ像の本画像をよみだす通常行の読み出し時に関して説明する。３０１の電圧保持部に３００のＬ像＋Ｒ像のアナログ電圧が出力されると３０１ではその電圧を保持して、３０３の比較器１と３０５の比較器２に出力される。尚３０２のセレクタ部ではランプ波形を選択する為の比較電圧であるＲｅｆ電圧が比較器に出力されている。比較器１ではＲｅｆ電圧とＬ像＋Ｒ像の画素電圧を比較し、３０４のＳｌｏｐｅ選択部でＲｅｆ電圧より画素電圧の方が大きければ傾きの急なランプ波形、小さければ傾きの緩いランプ波形が出力される。 First, a description will be given of the reading of a normal row that reads the main image of the L image + R image. When an analog voltage of 300 L image + R image is output to the voltage holding unit 301, the voltage is held in 301 and output to the comparator 1 of 303 and the comparator 2 of 305. In the selector section 302, a Ref voltage, which is a comparison voltage for selecting a ramp waveform, is output to the comparator. The comparator 1 compares the Ref voltage and the pixel voltage of the L image + R image, and if the pixel voltage is larger than the Ref voltage, the ramp selection unit 304 outputs a ramp waveform with a steep slope, and a ramp waveform with a gentle slope when the pixel voltage is small. Is done.
図４を用いて大・小の傾きを持つランプ波形を用いたＡ／Ｄ変換の動作を説明する。図４の縦軸は３０５の比較器２に入力される画素電圧を示しており、横軸は画素電圧と徐々に上昇するランプ波形が一致するまでカウントするカウンタ値を示していて、Ｍａｘ４０９６［ＬＳＢ］である。尚図４のＸは傾きの大きいランプ波形、Ｙは傾きの低いランプ波形であり、Ｘの傾きはＹの傾きの４倍であり、Ｒｅｆ電圧は最大出力の１／４にする。 The operation of A / D conversion using a ramp waveform having large and small slopes will be described with reference to FIG. The vertical axis in FIG. 4 indicates the pixel voltage input to the comparator 2 of 305, and the horizontal axis indicates the counter value that is counted until the pixel voltage and the ramp waveform that gradually increases match. Max 4096 [LSB ]. In FIG. 4, X is a ramp waveform with a large slope, Y is a ramp waveform with a low slope, the slope of X is four times the slope of Y, and the Ref voltage is set to 1/4 of the maximum output.
３０３で画素出力がＲｅｆ電圧より大きい場合には、Ｘの傾きの大きいランプ波形が出力され、徐々に上昇するランプ波形が画素電圧と同じになったタイミングで、比較器２より一致信号が出力されその時のカウンタ値がデジタルデータとなる。例えば最大出力１０００ｍＶ、Ｒｅｆ電圧２５０ｍＶ、画素出力が６００ｍｖとすると、
４０９６×５００／１０００＝２０４８［ＬＳＢ］
となる。また画素出力が２００ｍＶとすると、Ｙのランプ波形が出力されるので、
４０９６×１２５／２５０＝２０４８［ＬＳＢ］
となる。
If the pixel output is larger than the Ref voltage at 303, a ramp waveform with a large X gradient is output, and a coincidence signal is output from the comparator 2 at the timing when the gradually rising ramp waveform becomes the same as the pixel voltage. The counter value at that time becomes digital data. For example, if the maximum output is 1000 mV, the Ref voltage is 250 mV, and the pixel output is 600 mV,
4096 × 500/1000 = 2048 [LSB]
It becomes. If the pixel output is 200 mV, a Y ramp waveform is output.
4096 × 125/250 = 2048 [LSB]
It becomes.
尚傾きが大きい場合は３０９のビットシフト部で下位２ｂｉｔに“００”を付加する事で４倍し、小さい場合は上位２ｂｉｔに“００”を付加する事で１４ｂｉｔ化して３１０の転送部に出力する。すなわち、画素出力が６００ｍＶの場合は
２０４８×４＝８１９２［ＬＳＢ］
として３１０の転送部に出力される。
If the inclination is large, the bit shift unit of 309 adds 4 to the lower 2 bits by adding “00”, and if it is smaller, it is converted to 14 bits by adding “00” to the upper 2 bits and output to the transfer unit of 310. To do. That is, when the pixel output is 600 mV, 2048 × 4 = 8192 [LSB]
Is output to the transfer unit 310.
以上説明した様に撮像素子からＬ像＋Ｒ像を読み出し、１０３の画像処理ＩＣ内のＶＧＡ（１０４）で所定のゲインをかけた後、１０５の画像処理部に転送する。画像処理部ではγ、アパーチャ、カラーバランス等の画像処理を施し、１０８の現像処理部に出力し、現像処理を行う。更に１０９の表示部でパネル・ＥＶＦ等への画像表示、１１０の記録部でカード等へ記録処理を行う。次にＬ像とＬ＋Ｒ像の読み出しを行うフォーカス行の読み出しを図５、図６を用いて説明する。 As described above, the L image + R image is read from the image sensor, applied with a predetermined gain by the VGA (104) in the image processing IC 103, and then transferred to the image processing unit 105. The image processing unit performs image processing such as γ, aperture, and color balance, and outputs to the development processing unit 108 for development processing. Further, the display unit 109 displays an image on a panel / EVF or the like, and the recording unit 110 performs a recording process on a card or the like. Next, reading of a focus row for reading out an L image and an L + R image will be described with reference to FIGS.
図５及び図６の水平同期信号（５００、６００）を基準にして、フォーカス行（２１６０行のうち１行）を選択し、Ｌ像のみを３０１の電圧保持部に出力すると、図５の様に比較器１にはＬ像の画素電圧が出力される。次に３０３の比較器１の比較電圧には３０２のセレクタで飽和比較値が出力される（図５、図６の比較電圧“Ａ”）。 When a focus row (one of 2160 rows) is selected on the basis of the horizontal synchronization signals (500, 600) in FIGS. 5 and 6, only the L image is output to the voltage holding unit 301, as shown in FIG. The comparator 1 outputs the pixel voltage of the L image. Next, as the comparison voltage of the comparator 1 of 303, the saturation comparison value is output by the selector of 302 (comparison voltage “A” in FIGS. 5 and 6).
飽和比較値はＬ像出力の飽和出力付近レベルであり、飽和比較値よりも大きい画素レベルは位相差情報位相差情報の算出には使う事ができない値である。まず、Ｌ像出力が飽和比較値よりも小さい場合は図５の様に、比較実行においてｔ１のタイミングでＬ像の出力と飽和比較値である図５の“Ａ”と比較し、小さければ比較電圧を通常読み出しで言及したＲｅｆ電圧を３０２のセレクタより出力する。ｔ２のタイミングでＲｅｆ電圧と比較し、大小によりランプ波形の選択を行い、図５に示す様にＡ／Ｄ変換、ビットシフト処理、ＤＦＥ処理を行いＬ像として１Ｈ分の転送処理を行う。 The saturation comparison value is a level near the saturation output of the L image output, and a pixel level higher than the saturation comparison value is a value that cannot be used for calculating the phase difference information and phase difference information. First, when the L image output is smaller than the saturation comparison value, as shown in FIG. 5, the L image output is compared with the saturation comparison value “A” in FIG. The Ref voltage mentioned in the normal reading is output from the selector of 302. Compared with the Ref voltage at the timing of t2, the ramp waveform is selected according to the magnitude, and A / D conversion, bit shift processing, and DFE processing are performed as shown in FIG.
次の水平同期信号（５０１）のタイミングで、Ｒ像を３０１の電圧保持部に出力し、すでに出力されているＬ像と合算されて、比較器１にはＬ像＋Ｒ像が出力される。比較実行においてｔ３のタイミングで、Ｖｒｅｆ電圧と比較しランプ波形の傾きを選択し、Ａ／Ｄ変換処理、ビットシフト処理、ＤＦＥ処理を行い、画像処理ＩＣへの転送処理を行う。 At the timing of the next horizontal synchronization signal (501), the R image is output to the voltage holding unit 301, and is added to the already output L image, and the comparator 1 outputs the L image + R image. At the timing of t3 in the comparison execution, the slope of the ramp waveform is selected by comparison with the Vref voltage, A / D conversion processing, bit shift processing, and DFE processing are performed, and transfer processing to the image processing IC is performed.
１０３の画像処理ＩＣでは、Ｌ像及びＬ像＋Ｒ像から１０６の演算部でＬ像、Ｒ像を算出し、１０７の位相差情報算出部に出力する。位相差情報算出部では入力されたＬ像、Ｒ像を基にデフォーカス量を算出し、１１２のＣＰＵに出力する。１１２のＣＰＵは位相差情報算出部から出力されるデフォーカス量を基に、レンズフォーカスの移動量を算出し１００のレンズを駆動させＡＦ動作を行う。 The image processing IC 103 calculates the L image and the R image from the L image and the L image + R image by the calculation unit 106 and outputs the L image and the R image to the phase difference information calculation unit 107. The phase difference information calculation unit calculates the defocus amount based on the input L image and R image, and outputs the calculated defocus amount to the CPU 112. The CPU 112 calculates the lens focus movement amount based on the defocus amount output from the phase difference information calculation unit, drives the 100 lens, and performs the AF operation.
次にＬ像出力が飽和比較値よりも大きい場合を図６を用いて説明する。図６のｔ１のタイミングでＬ像の出力と飽和比較値“Ａ”と比較し、大きい場合は位相差情報として使用できないので、３０８のＳＷにより３０６のカウンタへの３０７からのＣＬＫ発生器からのＣＬＫを停止し、更に３０４のＳｌｏｐｅ選択部ではランプ波形を出力する回路を停止する。 Next, the case where the L image output is larger than the saturation comparison value will be described with reference to FIG. Compared with the output of the L image and the saturation comparison value “A” at the timing of t1 in FIG. 6, if it is large, it cannot be used as the phase difference information. CLK is stopped and the circuit for outputting the ramp waveform is stopped in the Slope selection unit 304.
以上の様にする事、図６に示す様にＡ／Ｄ変換を停止し、更に３０４のＳｌｏｐｅ選択部ではランプ波形を出力する回路を停止し、３０９のビットシフト部、ＤＦＥ部を停止させる。またＡ／Ｄ変換をしないので、Ｓｌｏｐｅ選択の為のＶｒｅｆとの比較動作は行わない。 As described above, the A / D conversion is stopped as shown in FIG. 6, the ramp selection unit 304 stops the circuit that outputs the ramp waveform, and the bit shift unit 309 and the DFE unit 309 are stopped. Further, since no A / D conversion is performed, the comparison operation with Vref for selecting the Slope is not performed.
次に転送処理は飽和しているＬ像は画像データが存在しないので、飽和していないＬ像のみを転送する。例えば本実施例では水平４０９６列存在するので、図６の様にＬ像が飽和比較値よりも大きいレベルのものが８００列存在すると、４０９６−８００＝３２９６列分を転送する事となる。同様に図６のｔ２のタイミングで、Ｌ＋Ｒ像とＲｅｆ電圧と比較を行い、ランプ波形のＳｌｏｐｅを選択し、Ａ／Ｄ変換・ビットシフト処理・ＤＦＥ処理行い１０３の画像処理ＩＣに転送する。 Next, since there is no image data for the L image that is saturated in the transfer process, only the L image that is not saturated is transferred. For example, in this embodiment, since there are 4096 horizontal rows, if there are 800 rows of L images having a level greater than the saturation comparison value as shown in FIG. 6, 4096-800 = 3296 rows are transferred. Similarly, at the timing t2 in FIG. 6, the L + R image is compared with the Ref voltage, the ramp waveform Slope is selected, A / D conversion, bit shift processing, and DFE processing are performed and transferred to the image processing IC 103.
１０４のＶＧＡで所定のゲインがかけられると、転送されたＬ像と同じ画素であるＬ像＋Ｒ像を対にして１０６の演算部に転送し、Ｌ像とＲ像に分離して１０７の位相差情報算出部に転送しデフォーカス量をＣＰＵに転送する。 When a predetermined gain is applied by the 104 VGA, the L image + R image, which is the same pixel as the transferred L image, is transferred to the arithmetic unit 106 as a pair, separated into the L image and the R image, and the position of 107 is obtained. Transfer to the phase difference information calculation unit and transfer the defocus amount to the CPU.
尚本実施例では、飽和付近の出力を検出して各回路をオフにしたが、低い出力も位相差情報として使えないので、黒レベル付近を検出して各回路をオフにしてもよい。 In this embodiment, each circuit is turned off by detecting an output near saturation. However, since a low output cannot be used as phase difference information, each circuit may be turned off by detecting the vicinity of the black level.
またフォーカス行のうち、利用できないＬ像出力が所定画素数以上ある場合は、その行は位相差取得行としては利用できない。 Further, when there are L image outputs that cannot be used in the focus row that are greater than or equal to the predetermined number of pixels, the row cannot be used as a phase difference acquisition row.
よってフォーカス行のうち、所定の画素数以上が飽和と検出される場合は１行分のＬ像の転送を行わないようにしてもよい。 Therefore, when a predetermined number of pixels or more in the focus row is detected as being saturated, the L image for one row may not be transferred.
以上述べてきたように、瞳分割方式の撮像素子のフォーカス行の読み出しに関して、片目画像が飽和もしくはレベルが低い時には、Ａ／Ｄ変換、ＤＦＥ処理、転送処理を停止する事で消費電力を削減する事が可能となる。 As described above, regarding the readout of the focus row of the pupil-division imaging device, when the one-eye image is saturated or the level is low, power consumption is reduced by stopping A / D conversion, DFE processing, and transfer processing. Things will be possible.
１００ レンズ、１０１ 絞り部、１０２ 撮像素子、１０３ 画像処理ＩＣ、
１０４ ＶＧＡ部、１０５ 画像処理部、１０６ 演算部、
１０７ 位相差情報算出部、１０８ 現像処理部、１０９ 表示部、１１０ 記録部、
１１１ 操作部、１１２ ＣＰＵ、２００ 撮像素子の詳細図、
２０１ 撮像素子の１画素の詳細図、２０２ 撮像素子のセレクタ部、
２０３ 撮像素子の読み出し部、２０４ 撮像素子の転送部、
３００ 撮像素子の１画素、３０１ 撮像素子読み出し部の電圧保持部、
３０２ 撮像素子読み出し部のセレクタ、３０３ 撮像素子読み出し部の比較器１、
３０４ 撮像素子読み出し部のＳｌｏｐｅ選択部、
３０５ 撮像素子読み出し部の比較器２、３０６ 撮像素子読み出し部のカウンタ、
３０７ 撮像素子読み出し部のＣＬＫ発生器、３０８ 撮像素子読み出し部のＳＷ部、
３０９ 撮像素子読み出し部のビットシフト部、
３１０ 撮像素子読み出し部のＤＦＥ部、
３１１ 撮像素子読み出し部の転送部
100 lens, 101 stop, 102 image sensor, 103 image processing IC,
104 VGA section, 105 image processing section, 106 calculation section,
107 phase difference information calculation unit, 108 development processing unit, 109 display unit, 110 recording unit,
111 Operation unit, 112 CPU, 200 Detailed view of the image sensor,
201 Detailed view of one pixel of the image sensor, 202 Selector section of the image sensor,
203 Reading unit of the image sensor, 204 Transfer unit of the image sensor,
300 one pixel of the image sensor, 301 a voltage holding unit of the image sensor readout unit,
302 Selector of the image sensor reading unit, 303 Comparator 1 of the image sensor read unit,
304 Slope selection unit of the image sensor reading unit,
305 Comparator 2 of the image sensor reading unit, 306 Counter of the image sensor read unit,
307 CLK generator of the image sensor reading unit, 308 SW unit of the image sensor reading unit,
309 Bit shift unit of the image sensor reading unit,
310 DFE unit of the image sensor reading unit,
311 Transfer Unit of Image Sensor Reading Unit
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017089063A JP2018191027A (en) | 2017-04-28 | 2017-04-28 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017089063A JP2018191027A (en) | 2017-04-28 | 2017-04-28 | Imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018191027A true JP2018191027A (en) | 2018-11-29 |
Family
ID=64480050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017089063A Pending JP2018191027A (en) | 2017-04-28 | 2017-04-28 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018191027A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022024574A1 (en) * | 2020-07-29 | 2022-02-03 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device and control method therefor |
-
2017
- 2017-04-28 JP JP2017089063A patent/JP2018191027A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022024574A1 (en) * | 2020-07-29 | 2022-02-03 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device and control method therefor |
| JP2022025515A (en) * | 2020-07-29 | 2022-02-10 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state imaging device and control method therefor |
| JP7064537B2 (en) | 2020-07-29 | 2022-05-10 | ソニーセミコンダクタソリューションズ株式会社 | Solid-state image sensor and its control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11438537B2 (en) | Image pickup apparatus, control method, and computer program storage medium | |
| JP4423112B2 (en) | Solid-state imaging device and imaging system | |
| US9955094B2 (en) | Imaging apparatus and signal processing method | |
| US9986180B2 (en) | Image pickup apparatus and method for controlling image pickup apparatus | |
| JP5911445B2 (en) | Imaging apparatus and control method thereof | |
| US10212378B2 (en) | Image capturing apparatus | |
| US9338346B2 (en) | Focus detection apparatus, control method therefor, and image capture apparatus | |
| US10063762B2 (en) | Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color | |
| JP2006197393A (en) | Solid-state imaging device, driving method thereof and camera | |
| JP6351231B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| US9100600B2 (en) | Anti-blooming shutter control in image sensors | |
| US7876371B2 (en) | Systems and methods to perform digital correlated double sampling using successive approximation analog to digital conversion techniques | |
| US20160234425A1 (en) | Image processing apparatus | |
| US9237282B2 (en) | Solid-state imaging device and camera module including AD converting units for respective pixels | |
| EP4007267A1 (en) | Solid-state imaging device and method for driving same, and electronic instrument | |
| CN105407299A (en) | Image Capturing Apparatus And Method Of Controlling Image Capturing Apparatus | |
| US9736354B2 (en) | Control apparatus, image pickup apparatus, control method, and storage medium | |
| JP2018191027A (en) | Imaging device | |
| US11082648B2 (en) | Imaging apparatus having correction of signal difference | |
| JP2017098790A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
| JP2017073687A (en) | Imaging apparatus and imaging method | |
| US11368610B2 (en) | Image capture apparatus and control method therefor | |
| JP6393087B2 (en) | Imaging device and imaging apparatus | |
| US20230122172A1 (en) | Image capturing apparatus | |
| JP6590055B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |