JP2019062386A - Imaging apparatus, control method therefor, program, and storage medium - Google Patents
Imaging apparatus, control method therefor, program, and storage medium Download PDFInfo
- Publication number
- JP2019062386A JP2019062386A JP2017185314A JP2017185314A JP2019062386A JP 2019062386 A JP2019062386 A JP 2019062386A JP 2017185314 A JP2017185314 A JP 2017185314A JP 2017185314 A JP2017185314 A JP 2017185314A JP 2019062386 A JP2019062386 A JP 2019062386A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- pixels
- divided
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置における撮像素子の駆動技術に関するものである。 The present invention relates to a driving technology of an imaging device in an imaging device.
現在、デジタルカメラなどの撮像装置においては、撮像素子から得られた情報に基づいて種々の演算処理が行われている。特に、撮像素子から得られる被写体の位相差情報を用いてオートフォーカス(AF)を行う技術はよく知られている。その際に精度の高い焦点検出を可能にする読み出しと、低消費電力かつ高速な読み出しの両立を実現するために、撮像素子の読み出しに関して種々の手法が提案されている。 At present, in an imaging apparatus such as a digital camera, various arithmetic processes are performed based on information obtained from an imaging element. In particular, techniques for performing autofocus (AF) using phase difference information of an object obtained from an imaging device are well known. At that time, various methods have been proposed for the readout of the imaging device in order to realize both readout that enables focus detection with high accuracy and low power consumption and high-speed readout.
特許文献1では、単一画素に複数の光電変換部を配置し、全画素の中の一部の画素で複数の光電変換部の信号を独立に取得できるように読み出し、残りの画素では単一画素の光電変換部の信号を合成してから読み出す方法が提案されている。このように読み出すことによって、取得に時間がかかる位相差情報は必要な領域のみで読み出されることとなり、動作時間の短縮、消費電力の削減を図ることができる。
In
特許文献2では、撮像素子を複数の領域に分割し、焦点検出を行う必要がある第1の領域では位相差情報を取得する読み出し方を行うことが開示されている。そして、第2の領域では消費電力を削減するために第1の領域における読み出しよりも、間引き率を大きくして読み出す。このような制御を行うことによって、消費電力を抑制することができる。 Patent Document 2 discloses that an imaging device is divided into a plurality of areas, and in a first area where focus detection needs to be performed, reading is performed to acquire phase difference information. Then, in the second area, in order to reduce the power consumption, the thinning rate is made larger than the reading in the first area. By performing such control, power consumption can be suppressed.
特許文献3では、被写体の空間周波数に基づいて読み出し方法を切り替える手法が開示されている。このような制御を行うことで、高周波被写体に対しては精密なピント合わせが可能になるとともに、低周波被写体の撮影時は消費電力を抑制することができる。
現在、撮像素子から得られる被写体の位相差情報は様々な場面での利用が考えられている。一例として、AF用演算への利用の他に、画面全体の位相差情報から画面全体の被写体の深度情報の分布であるデフォーカスマップ(以下DEF−MAPと表記する)を作成するための利用などが挙げられる。このように、位相差情報を複数の異なる目的(ここではAF用とDEF−MAP用)で利用するとき、必要となる位相差情報の性質が異なる場合がある。 At present, phase difference information of an object obtained from an imaging device is considered to be used in various situations. As an example, in addition to use for AF calculation, use for creating a defocus map (hereinafter referred to as DEF-MAP) which is a distribution of depth information of an object on the whole screen from phase difference information on the whole screen Can be mentioned. As described above, when the phase difference information is used for a plurality of different purposes (here, for AF and for DEF-MAP), the property of the required phase difference information may be different.
例えばDEF−MAPの作成では、画面全体の位相差情報が必要であるのに対して、AF情報の取得では、着目部分のみの位相差情報が取得できればよい。また、DEF−MAPの応用として被写体の類別を行う場合などは、位相差情報の解像度はそれほど必要とされないのに対して、AF情報の取得では高解像度で位相差情報を読み出すことが要求される。 For example, while creation of DEF-MAP requires phase difference information of the entire screen, acquisition of AF information only requires acquisition of phase difference information of only the target part. Also, when classifying objects as an application of DEF-MAP, etc., resolution of phase difference information is not required so much, but acquisition of AF information is required to read phase difference information at high resolution .
上記の従来技術では、画素全体の中の一部の画素群から位相差情報を読み出す場合、1フレームの中で上記の複数の性質を同時に満たすように読み出すことができなかった。また、画素全体から位相差情報を読み出した場合には、上記の複数の機能を利用することができるものの、フレームレートの低下を避けることができない。 In the above-mentioned prior art, when phase difference information is read out from a part of pixel groups in the whole pixel, it can not be read out so as to simultaneously satisfy the plurality of properties in one frame. In addition, when the phase difference information is read out from the entire pixel, although the above plurality of functions can be used, the reduction of the frame rate can not be avoided.
本発明は上述した課題に鑑みてなされたものであり、その目的は、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することである。 The present invention has been made in view of the above-described problems, and an object thereof is to suppress reduction in frame rate while reading out pixel signals suitable for a plurality of purposes when acquiring phase difference information. Providing an imaging device capable of
本発明に係わる撮像装置は、1つのマイクロレンズと、該1つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子と、前記画素領域を複数の分割領域に分割する分割手段と、前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第1の数にグループ分けして信号を読み出す第1のモードで信号を読み出す第1の画素とするか、前記複数の光電変換部を前記第1の数よりも多い第2の数にグループ分けして信号を読み出す第2のモードで信号を読み出す第2の画素とするかを設定する設定手段と、を備え、前記設定手段は、前記複数の分割領域のそれぞれについて、前記第1の画素の数に対する前記第2の画素の数の割合を異ならせることを特徴とする。 An imaging device according to the present invention is an imaging device having a pixel area in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the single microlens are arranged in a matrix. And division means for dividing the pixel area into a plurality of divided areas, and signals of the plurality of photoelectric conversion units are grouped into a first number and signals are read out for each pixel of the plurality of divided areas. A signal is read out in a second mode in which the plurality of photoelectric conversion units are divided into a second number larger than the first number and the signal is read out. Setting means for setting whether to set the second pixel, and the setting means sets the ratio of the number of the second pixels to the number of the first pixels for each of the plurality of divided areas if different. Let it go The features.
本発明によれば、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することが可能となる。 According to the present invention, when acquiring phase difference information, it is possible to provide an imaging device capable of suppressing a decrease in frame rate while reading out pixel signals suitable for a plurality of purposes. .
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
<第1の実施形態>
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示すブロック図である。図1において、第1レンズ100は撮影光学系120の先端に配置されている。絞り101は、その開口径を調節することで撮影時の光量調節を行う。第2レンズ102、第3レンズ103は、後述のフォーカスアクチュエータ116によって駆動され、光軸方向に進退することにより、撮影光学系120の焦点を調節する。
First Embodiment
FIG. 1 is a block diagram showing the configuration of an imaging apparatus according to the first embodiment of the present invention. In FIG. 1, the
フォーカルプレーンシャッタ104は、静止画撮影時に露光秒時を調節する。光学的ローパスフィルタ105は撮影画像の偽色やモアレを低減するために用いられる。撮像素子106は、撮影光学系120で形成された被写体の光学像を電気信号に光電変換する。撮像素子106は、後述するCPU109によって制御される。
The
DSP(Digital Signal Processor)107は画像処理を行う。DSP107は撮像素子106で撮影された画像データの、補正・圧縮等の処理を行う。また、後述するA像データとB像データの分離機能や、画像信号を用いた相関演算を行う相関演算機能を有する。RAM108は、撮像素子106からの出力データを保持する信号保持手段の機能と、DSP107で処理された画像データを記憶する画像データ記憶手段の機能と、後述のCPU109が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能をRAM108を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、RAM108は、DSP107、CPU109の外部に配置されているが、その一部または全部の機能をDSP107やCPU109に内蔵する構成であってもよい。
A DSP (Digital Signal Processor) 107 performs image processing. The DSP 107 performs processing such as correction and compression of the image data captured by the
CPU109は、撮像装置の動作を統括的に制御する。CPU109は撮像装置の各部を制御するためのプログラムを実行する。また、DSP107から出力される相関演算の結果を用いて、後述のフォーカス駆動回路115を制御し、撮影光学系120の焦点を調節する機能も有する。表示部110は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部111は、撮影命令や撮影条件等の設定をCPU109に対して行う。記録媒体112は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ROM113は、CPU109が各部の動作を制御するためにロードして実行するプログラムを格納する。
A
シャッター駆動回路114は、フォーカルプレーンシャッタ104を駆動制御する。フォーカス駆動回路115は、撮影光学系120の焦点位置を変更する焦点位置変更手段であり、CPU109の出力に基づいてフォーカスアクチュエータ116を制御し、第2レンズ102及び第3レンズ103を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路117は、絞りアクチュエータ118を制御して絞り101の開口を制御する。
The
次に、撮像素子106の構成について、図2を参照しながら説明する。撮像素子106の単位画素が行列状に配列された画素アレイ(画素領域)を図2(a)に示す。図2(a)において、画素アレイ200には、単位画素201が行列方向に複数配置されている。それぞれの単位画素201は、マイクロレンズ202を有する。それぞれの単位画素201は、単一のマイクロレンズ202下に、光電変換手段としての2つのフォトダイオード(PD)203a,203bを有する。この構成をとることによってPD203a,203bは瞳分割構成を取ることになり、この2つのPD203a,203bには、同一被写体の、位相差を持った別々の像が入射されることになる。この同一被写体の、位相差を持った別々の2像をA像、B像と呼ぶことにし、PD203aはA像用光電変換部、PD203bはB像用光電変換部を構成するものとする。
Next, the configuration of the
次に撮像素子106の回路構成を、図2(b)を参照して説明する。画素アレイ200には、水平方向に(m+1)個、垂直方向に(n+1)個の複数の単位画素201が配置されている。垂直走査回路制御部204は、205aで示されている第1の読み出し設定及び205bで示されている第2の読み出し設定を設定することができる。垂直走査回路206は、画素にパルスを送ることで画素信号を転送する。垂直走査回路制御部204は、プログラムされた読み出し設定に基づいて、垂直走査回路206を制御する。タイミングジェネレータ(TG)207は、CPU109によってプログラムされた設定に従って、各回路ブロックに読み出しに必要な制御パルスを供給する。なお、本実施形態では、TG207は撮像素子106に内蔵されているが、撮像素子106の外部に配置される構成でも構わない。
Next, the circuit configuration of the
各単位画素201で光電変換された画素信号は、前述のように垂直走査回路206から供給される駆動信号によって、垂直出力線208へと行毎に出力される。ある行の画素信号の取得に際して、垂直走査回路206が後述する第1の駆動モード、または第2の駆動モードのどちらで画素信号を読み出すかは、垂直走査回路制御部204によって制御される。定電流源209は、後述する画素アンプ用トランジスタ303と組み合わされてソースフォロワ回路を形成する。読み出し回路210は、各列の垂直出力線208からの出力を増幅する機能を有する。AD変換回路(ADC)211は、読み出し回路210の出力をデジタル信号へ変換する。ADC211によって変換された画像信号は、水平走査回路212によって順に選択されて、出力部213で後述する処理を施され撮像素子106の外部へデジタル信号として出力される。
The pixel signals photoelectrically converted in each
図3(a)は、単位画素201の詳細な回路構成を説明する図である。図3(a)において、PD203aとPD203bは前述した同一マイクロレンズ下で単位画素201を構成するPDである。A像用の転送スイッチTxA(300a)は信号φtxaによって制御され、B像用の転送スイッチTxB(300b)は信号φtxbによって制御される。この信号φtxa、φtxbをHigh(以下HighをHと記す)にすることによって、光電変換部に蓄積された電荷をフローティングディフュージョン部(FD)301に転送することができる。この転送スイッチのON/OFFは独立に制御することができるため、A像用の信号とB像用の信号は独立に転送することができる。リセットスイッチ302はFD301を初期化するためのスイッチであり、信号φpresによって制御される。画素アンプ用トランジスタ303は、セレクトスイッチ304、及び垂直出力線208を介して定電流源209に接続されている。セレクトスイッチ304の入力信号φselがHになると、画素アンプ用トランジスタ303は定電流源209と接続され、画素アンプを形成する。FD301はこの画素アンプに接続されているため、PD203a、PD203bからFD301に転送された電荷は、この画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線208に画素信号として出力されることになる。
FIG. 3A is a diagram for explaining the detailed circuit configuration of the
読み出し回路210について、図3(b)を参照しながら詳細に説明する。垂直出力線208に出力された画素信号は、クランプ容量305を通じて演算増幅器308の反転入力端子に入力される。演算増幅器308の非反転入力端子には基準電圧Vrefが入力されている。スイッチ307は、フィードバック容量306を短絡するためのスイッチであり、信号φcfsによって制御される。
The
ADC211の構成とその駆動について、図4を参照しながら詳細に説明する。比較器400には、読み出し回路210の出力とランプ信号生成回路401からのランプ信号が入力される。ランプ信号生成回路401の出力レベルは、TG207から端子402を介して入力される信号φadcresがLow(以下LowをLと記す)になると時間の経過とともに大きくなる。そして、その信号レベルが読み出し回路210から出力される信号のレベルを上回った時に、比較器400の出力はLからHに切り替わる。比較器400の出力はラッチ選択回路404に接続されている。そして、TG207から端子403を介して入力される信号φsselがLの時はN信号用ラッチ408、φsselがHの時はS信号用ラッチ409に入力される。N信号用ラッチ408、S信号用ラッチ409はTG207からそれぞれ端子405、406を介して入力される信号φnres、φsresがHになるとリセットされ、Lの時にラッチとして次のように動作する。
The configuration of the
まずφsselがLの時、N信号用ラッチ408は比較器400の出力がLからHに切り替わった瞬間のカウンタ407の出力をラッチする。このカウンタ値が、読み出し回路210の出力のデジタル値を表現する値となっている。このラッチ408はN信号用ラッチなので、ノイズ信号をデジタル変換した結果を、ラッチ408に保持するように制御される。次にφsselがHの時は、比較器400の出力はラッチ409に接続され、先に説明したラッチ408と同様の動作を行うことによって、読み出し回路210の出力をデジタル値へ変換する。このラッチ408はS信号用ラッチなので、光信号とノイズ信号が加算された信号をデジタル変換した結果を、ラッチ408に保持するように制御される。ラッチ408,409の出力は、列選択回路410に接続されており、水平走査回路212からの信号φhsr_i(iは列番号0〜m)によって次に説明するように出力部213へと出力される。
First, when φ ssel is L, the latch for N signal 408 latches the output of the
第i列の列選択回路410は、信号φhsr_iがLの時はOFF状態であり、出力部213から切断されているが、φhsr_iがHの時にON状態となり、当該列のN信号用ラッチとS信号用ラッチの出力を、出力部213に出力する。
The
水平走査回路212は、全てのφhsr_iがLの時に、TG207から端子411を介して入力される信号φhsrの立ち上がりエッジを検出すると、φhsr_0をHにする。その後、φhsr_iがHの時にφhsrの立ち上がりエッジを検出すると、φhsr_iをLにし、φhsr_(i+1)をHにする。そして、φhsr_mがHの時にφhsrの立ち上がりエッジを検出すると、全てのφhsr_iをLにする。このようにして水平走査回路212は第0列目から第m列目までのラッチの出力を順次出力部213に出力し、水平走査を行う。出力部213は、N信号用ラッチ408の出力を、S信号用ラッチ409の出力から減算してから外部に出力する機能を持つ。
The
続いて、第1の駆動モード(位相差を検出できないモード)と第2の駆動モード(位相差を検出できるモード)のそれぞれの動作について、撮像素子106の画像信号の読み出し動作例を示すタイミングチャートである図5、図6を用いて説明する。
Subsequently, for each operation of the first drive mode (mode in which the phase difference can not be detected) and the second drive mode (mode in which the phase difference can be detected), a timing chart showing an operation example of reading image signals of the
図5のタイミングチャートを用いて、第1の駆動モードによって1行の画素信号を取得する方法について詳細に説明する。 A method of acquiring pixel signals of one row in the first drive mode will be described in detail using the timing chart of FIG.
時刻t501の以前から、信号φpresがHであり、FD301はリセットされている。続いて時刻t501で信号φtxa、φtxbをHとすることで、PD203a,203bをリセットする。時刻t502で信号φtxa、φtxbをLとすることで、PD203a,203bの電荷蓄積を開始する。蓄積時間は、この時点から信号が読み出される時点までであり、図中の時刻t502から時刻t511までの間である。時刻t503で信号φselをHにすることによって画素アンプ用トランジスタ303を定電流源209に接続し、画素アンプを動作状態とする。時刻t504で信号φpresをLとすることによって、FD301のリセットを解除する。リセットが解除されると、FD301の信号は垂直出力線208にノイズ信号(以下N信号と表記する)として読み出され、読み出し回路210へと出力される。
Before time t501, the signal φpres is H, and the
読み出し回路210において、時刻t505で信号φcfsをLとすることで、演算増幅器308における基準電圧Vrefの出力バッファ状態を解除し、読み出し回路210のN信号を演算増幅器308から出力する。この時、ADC211に内蔵される比較器400への読み出し回路210からの入力は、図中500で示されるように立ち上がり始める。そして時刻t506で信号φadcresをLとすることによって、ランプ信号生成回路401とカウンタ407のリセットを解除し、また同時に信号φnresもLとすることによって、ラッチ408のリセットを解除し、AD変換動作を開始する。ランプ信号生成回路401から比較器400へ入力されるランプ信号は図中501で示されており、カウンタ407の値は図中502に示されている。ランプ信号は時刻t507で読み出し回路からの入力500よりも大きくなり、この時、比較器400の出力はLからHへと立ち上がる。信号φsselは時刻t507でLになっているため、ラッチ選択回路404ではN信号用ラッチ408が選択されており、比較器の出力はラッチ408へと入力されている。ラッチ408は時刻t507でのカウンタ407の出力をラッチする。ここではその値を図中503で示したようにNとする。こうして、時刻t507においてラッチ408の値はNとなる。時刻t508でランプ信号501とカウンタ値502はどちらも最大値となり、そのタイミングで信号φadcresをHにしてN信号のAD変換動作を終了する。
By setting the signal φcfs to L at time t505 in the
時刻t509では、信号φtxa,φtxbをHにして、PD203a,203bで変換された光電荷をFD301に転送する。FD301に蓄えられた信号成分の電荷は、垂直出力線208、演算増幅器308を通じて、読み出し回路210から信号成分+ノイズ成分(以下S+N信号と表記する)の信号として、比較器400へ入力される。入力500は時刻t509から増加し始める。時刻t510では、信号φsselをHにすることによって、ラッチ選択回路404で選択されるラッチを、S信号用ラッチ409へと切り替える。時刻t511で信号φtxa,φtxbをLにして光電荷の転送を終えた後、時刻t512まで読み出し回路210の出力の安定を待つ。時刻t512で信号φadcresと信号φsresをLにすることによってS+N信号のAD変換動作を開始する。このS+N信号は、PD203a,203bに蓄積された光電荷を変換した画素信号(S信号)と、読み出し回路210の列ごとのばらつきに起因するオフセット信号などのノイズ信号(前述のN信号)を含む。このS+N信号から、N信号を差し引くことにより、S+N信号に含まれるノイズ成分をキャンセルすることができ、画素信号成分であるS信号のみを得ることができる。
At time t509, the signals φtxa and φtxb are set to H, and the photocharges converted by the PDs 203a and 203b are transferred to the
S+N信号のAD変換の動作はN信号のAD変換と同様に行われ、時刻t513で比較器400の出力がLからHに立ち上がり、ラッチ409の出力は、その時点でのカウンタ407の値S+Nに変化する。ここではその値を図中504で示したようにS+Nとする。こうして、時刻t517においてラッチ409の値はS+Nとなる。このラッチ409の出力がS+N信号のAD変換値となる。時刻t514で信号φadcresはHとなり、AD変換動作は終了する。
The AD conversion operation of the S + N signal is performed in the same manner as the AD conversion of the N signal, and the output of the
時刻t515で、信号φhsrの立ち上がりエッジが水平走査回路212へ入力される。すると、水平走査回路からの出力が全てLの状態から、信号φhsr_0だけがHとなり、第0列目の水平選択回路410のスイッチが接続され、ラッチ408,409が出力部213に接続される。出力部213では、ラッチ409の出力値であるS+N信号のデジタル値から、ラッチ408の出力値であるN信号のデジタル値を減算し、S信号のみのデジタル値を得る。そして、その値を撮像素子106の外部に出力する。このようにして第0列からS信号のデジタル値を出力した後、信号φhsrにもう一度パルスを入力すると、信号φhsr_1だけがHになり、同様の動作で第1列からS信号のデジタル値が出力される。こうして順次行方向にS信号を読み出していき、第0列から第m列までの信号を読み出す。この水平走査は時刻t516で終了する。
At time t515, the rising edge of the signal φhsr is input to the
時刻t517では、各パルスを初期状態へ戻して画素の状態を初期化する。信号φpresをHにすることにより、FD301を初期化する。信号φcfsをHにすることにより、演算増幅器308の出力を基準電圧Vrefの出力バッファ状態とする。信号φsselをLに戻すことによって、ラッチ選択用回路404がN信号用ラッチ408を選択するようにする。信号φnres,φsresをHにすることにより、ラッチ408,409の出力をリセットする。時刻t518で信号φpselをLにし、行の選択状態を解除する。以上が第1の駆動モードにおける読み出し動作である。
At time t517, each pulse is returned to the initial state to initialize the state of the pixel. The
次に、図6のタイミングチャートを用いて、第2の駆動モードによって1行の画素信号を取得する方法について詳細に説明する。なお、図6のタイミングチャートの動作は、図5のタイミングチャートの動作と同様である部分も多いので、違う部分に着目して説明する。 Next, a method of acquiring pixel signals of one row in the second drive mode will be described in detail using the timing chart of FIG. Note that the operation of the timing chart of FIG. 6 is similar to that of the timing chart of FIG.
時刻t601から時刻t608までは、図5のタイミングチャートの時刻t501から時刻t508の動作と全く同様に動作する。ここまでの動作で、N信号用ラッチ408にはN信号のデジタル値600が保持されるようになる。時刻t609では、信号φtxaをHにして、PD203aで変換された光電荷をFD301に転送する。図5のタイミングチャートで時刻t509でHにした信号φtxbは、ここではLのままにしておく。こうすることによって、A像用光電変換部の信号のみをFD301に転送することができる。その後時刻t616までは図5のタイミングチャートの時刻t516までと同様の動作で水平転送までを終了する。この時、S信号用ラッチ409から出力される画素信号はA像信号+ノイズ信号601である。そのため、出力部213においてN信号のデジタル値600を差し引くことによって、この水平転送によって単位画素201中のA像用の光電変換部であるPD203aの信号のみを撮像素子106の外部に読み出すことができる。
From time t601 to time t608, the operation is identical to the operation from time t501 to time t508 in the timing chart of FIG. By the operation up to this point, the digital value 600 of the N signal is held in the
時刻t617では、信号φsresをHにする。この動作によってS信号用ラッチ409がリセットされ、もう一度新たにS信号用ラッチ409を用いたAD変換動作を行うことが可能になる。時刻t618では、信号φtxa,φtxbをHにして、PD203bで変換された光電荷をFD301に転送する。この動作によって、FD301では、PD203aの光電荷と、PD203bの光電荷を加算することができる。FD301にはこの時既に、時刻t609から時刻t611で転送されたPD203aの光電荷が保持されている。そのため、信号φtxbのみをHにすることで、PD203bの信号をFD301に転送し、FD301でPD203aの光電荷とPD203bの光電荷を加算してもよい。本実施形態では、A+B像信号転送時の回路状態を、第1の駆動モードと同一にするためにφtxaもHにするように動作させた。以上の動作によって、単位画素下の光電変換部の電荷を全てFD301に転送することができる。
At time t617, the signal φsres is set to H. By this operation, the
時刻t619から時刻t626の動作は、図5のタイミングチャートの時刻t511から時刻t519の動作と同様のものである。この時、S信号用ラッチ409から出力される画素信号はA+B像信号+N信号602であるため、出力部213においてN信号のデジタル値600を差し引くことによって、単位画素内の全ての光電変換部の信号を撮像素子106の外部に読み出すことができる。以上が、第2の駆動モードによる読み出し動作である。
The operation from time t619 to time t626 is the same as the operation from time t511 to time t519 in the timing chart of FIG. At this time, since the pixel signal output from the
以上、図5のタイミングチャートを用いて第1の駆動モードの例を、図6に示したタイミングチャートを用いて第2の駆動モードの例を示した。以上の例によれば、第1の駆動モードでは単位画素下の2つのPD203a,203bの出力を合成した信号(A+B像信号と称する)を読み出している。これに対し、第2の駆動モードでは単位画素下の2つのPDのうち、まずA像信号を読み出し、ついでA+B像信号を読み出している。例えばDSP108で、第2の駆動モードによって得られたA+B像からA像を差し引くことによって、B像信号を分離することができる。そして、これらのA像信号とB像信号の位相差を検出することにより、撮影光学系120のデフォーカス量を検出することができる。
The example of the first drive mode has been described using the timing chart of FIG. 5 and the example of the second drive mode has been described using the timing chart shown in FIG. According to the above example, in the first drive mode, a signal (referred to as an A + B image signal) obtained by combining the outputs of the two PDs 203a and 203b below the unit pixel is read out. On the other hand, in the second drive mode, among the two PDs under the unit pixel, the A image signal is read first, and then the A + B image signal is read. For example, the B image signal can be separated by subtracting the A image from the A + B image obtained by the second drive mode by the
以上説明した様に、第1の駆動モードでは単位画素下の光電変換部の信号を合成して読み出しているのに対して、第2の駆動モードによれば単位画素下の光電変換部の信号を独立に読み出すことができている。そのため、第2の駆動モードは第1の駆動モードよりも、単位画素の信号を多く瞳分割して読み出していることになる。ここでは、第1の駆動モードの単位画素の読み出しを1分割(分割なし)とすれば、第2の駆動モードは2分割に光電変換部をグループ分けしての読み出しということになる。 As described above, in the first drive mode, the signals of the photoelectric conversion units under the unit pixel are combined and read out, whereas according to the second drive mode, the signals of the photoelectric conversion unit under the unit pixel are read. Can be read independently. Therefore, in the second drive mode, the signal of the unit pixel is pupil-divided and read out more than the first drive mode. Here, if reading of the unit pixel in the first drive mode is divided into one (no division), the second drive mode is read out by dividing the photoelectric conversion unit into two parts.
このように、第2の駆動モードで単位画素下にある複数の光電変換部の信号を分割して読み出すと、位相差情報を得ることができる一方で、第1の駆動モードによる読み出しと比較して読み出し時間が延びる。そのため、画像のフレームレートを確保するためには、第2の駆動モードでの読み出し行数は必要最小限に抑える必要がある。そこで、本実施形態では、位相差情報の使用目的に応じて画面を第1の領域と第2の領域に分割し、それぞれの領域で別々に、第2の駆動モードによって画像信号を取得する画素群を設定する。 As described above, when signals of a plurality of photoelectric conversion units under a unit pixel are divided and read in the second drive mode, phase difference information can be obtained, while comparison with reading in the first drive mode is performed. Reading time is extended. Therefore, in order to secure the frame rate of the image, it is necessary to minimize the number of readout rows in the second drive mode. Therefore, in the present embodiment, the screen is divided into a first area and a second area according to the purpose of use of the phase difference information, and pixels for acquiring an image signal according to the second drive mode separately in each area. Set the group.
図7(a)に画面を第1の領域と第2の領域(分割領域)に分割する例を示した。領域700は画面全体を示し、例えば画素アレイ200全体である。701は焦点検出枠(焦点検出領域)であり、焦点検出枠701内の被写体情報に基づいて、DSP107は相関演算を行う。先に説明した様に、この焦点検出枠が含まれる領域では精度よく焦点検出を行いたいため、位相差情報を解像度よく読み出す必要がある。また、焦点検出枠701が含まれない領域では、これも先に説明した様にデフォーカスマップ(DEF−MAP)作成のため、位相差情報は低解像度で全面を読み出せばよい。そこで、ドットで示した領域と斜線で示した領域の両方を第1の領域702とし、斜線の領域のみを第2の領域703とする。また、領域700において第1の領域702にも第2の領域703にも選択されなかった領域を第3の領域とする。この領域の設定を行う領域設定手段は、例えばCPU109で領域を計算して設定することによって、CPU109で実現できる。なお、本実施形態のように、第1の領域と第2の領域は重複してもよいし、重複しなくてもよい。
FIG. 7A shows an example in which the screen is divided into a first area and a second area (divided area). A
第1の領域702を第1の読み出し設定205aで読み出し、第2の領域703を第2の読み出し設定205bで読み出す例を、図7(b)に示す。第1の読み出し設定205aは、領域の開始行と、その行から一定の第1行周期704ごとに第2の駆動モード(位相差を検出できるモード)で読み出す行を選択するような読み出し設定となっている。第1の読み出し設定205aによって選択された行は、図中1点鎖線で示される行である。第2の読み出し設定205bは、領域の開始行と、その行から一定の第2行周期705ごとに第2の駆動モード(位相差を検出できるモード)で読み出す行を選択するような読み出し設定となっている。第2の読み出し設定205bによって選択された行は、図中実線で示される行である。なお、第1の読み出し設定205aと第2の読み出し設定205bでは、第2の駆動モードで読み出す行の数の第1の駆動モードで読み出す行の数に対する割合が異なっている。
An example in which the
本実施形態においては、第2の領域703は第1の領域702に含まれる領域である。そのため、第2の領域703中、第2の読み出し設定205bで選択されなかった行も、第1の読み出し設定205aで選択される行となってもよい。
In the present embodiment, the
第1の読み出し設定205aと、第2の読み出し設定205bの、どちらにも選択されなかった行は、第1の駆動モード(位相差を検出できないモード)で読み出される。 Rows which are not selected by either the first read setting 205 a or the second read setting 205 b are read in the first drive mode (mode in which the phase difference can not be detected).
第1の領域702と第2の領域703に基づいて定められた、第1の読み出し設定205aと第2の読み出し設定205bは、垂直走査回路制御部204により設定される。この垂直走査回路制御部204は垂直走査回路206を制御し、ある一行の取得を第1の駆動モードによって行うか、第2の駆動モードによって行うかを切り替える。
The first read setting 205 a and the second read setting 205 b determined based on the
以上説明したように、第1の実施形態によれば、それぞれの領域において最適な解像度で位相差情報を取得しつつ、駆動に時間のかかる第2の駆動モードによる画素の取得を最小限に抑えることができる。これにより、フレームレートの低下を抑制しつつも、AF用の相関演算とDEF−MAPの作成の際に、それぞれの演算に必要な解像度で位相差情報を取得することが可能となる。 As described above, according to the first embodiment, while acquiring phase difference information with optimal resolution in each region, minimizing acquisition of pixels in the second driving mode which takes time for driving is minimized. be able to. This makes it possible to acquire phase difference information with the resolution necessary for each of the correlation calculations for AF and creation of DEF-MAP, while suppressing a decrease in frame rate.
本実施形態では、第2の駆動モードとして、A像を取得し、その後A+B像を取得する方法を図6のタイミングチャートにおいて示した。しかし本発明はこれに限定されるものではなく、例えばA像信号を取得した後にFD301をリセットし、次にB像信号を読み出すという動作をさせてもよい。この場合、画像用のA+B像信号を生成するためにA像信号のデジタル値とB像信号のデジタル値を加算する必要がある。
In the present embodiment, as a second drive mode, a method of acquiring an A image and thereafter acquiring an A + B image is shown in the timing chart of FIG. However, the present invention is not limited to this. For example, after obtaining the A image signal, the
また本実施形態では、単位画素下の光電変換部が2分割された構造を持つ撮像素子を用いる場合について説明したが、本発明はこれに限定されるものではない。例えば、単位画素下の光電変換部が上下左右に4分割された構造を持つ撮像素子においては、更に多くの駆動モードを考えることができる。例えば、単位画素下の4つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードと、全ての光電変換部の信号を独立に読み出す駆動モードの組み合わせによって、画面全体の画素を読み出すということがあり得る。 Moreover, although this embodiment demonstrated the case where the image pick-up element which has the structure where the photoelectric conversion part under a unit pixel was divided into 2 was used, this invention is not limited to this. For example, in the imaging device having a structure in which the photoelectric conversion unit under the unit pixel is divided into four in the vertical and horizontal directions, more drive modes can be considered. For example, among the four photoelectric conversion units under the unit pixel, the entire screen is combined by a combination of a drive mode for combining in the vertical direction and reading out without combining in the horizontal direction and a drive mode for reading out signals of all the photoelectric conversion units independently. It is possible to read out the pixels of.
ところで、第2の駆動モードは、第1の駆動モードよりも単位画素を多く瞳分割して読み出すことを特徴とする駆動モードである。そのため、単位画素下の光電変換部が4分割された構造をもつ撮像素子について上記のような駆動モードによって画面全体を読み出す場合は、単位画素下の4つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードを第1の駆動モードとする。また、全ての光電変換部の信号を独立に読み出す駆動モードを第2の駆動モードとする。このとき、第1の駆動モードの単位画素の読み出しは2分割、第2の駆動モードの読み出しは4分割である、と考えることができる。 The second drive mode is a drive mode characterized in that the unit pixel is divided into pupils and read out more than the first drive mode. Therefore, in the case of reading out the entire screen in the drive mode as described above for the imaging device having a structure in which the photoelectric conversion unit under the unit pixel is divided into four, the longitudinal direction is composited among the four photoelectric conversion units under the unit pixel. The driving mode to be read out without combining in the horizontal direction is taken as a first driving mode. Further, a drive mode for reading out the signals of all the photoelectric conversion units independently is referred to as a second drive mode. At this time, it can be considered that the reading of the unit pixel in the first driving mode is divided into two, and the reading in the second driving mode is divided into four.
以上説明したように、単位画素下の光電変換部が上下左右に4分割されている構成にすることによって、被写体の横方向の位相差情報のみならず、縦方向の位相差情報も得ることができるようになる。そしてこのような場合においても本発明を適用することで、フレームレートの低下を抑制しつつ、複数の目的に適合した信号を読み出すことが可能となる。 As described above, it is possible to obtain not only the phase difference information in the lateral direction of the subject but also the phase difference information in the vertical direction by making the photoelectric conversion unit under the unit pixel be divided into four vertically and horizontally. become able to. Also in such a case, by applying the present invention, it is possible to read out signals adapted to a plurality of purposes while suppressing a decrease in frame rate.
また、本実施形態では読み出し設定によって第2の駆動モードによって読み出される画素群を行単位で選択するように説明したが、これに限定されるものではない。 Further, in the present embodiment, the pixel group to be read out in the second drive mode is selected in a row unit according to the readout setting. However, the present invention is not limited to this.
(第2の実施形態)
第1の実施形態では、画素情報の読み出しに関してフレームレートの低下を低減する方法について説明した。しかし画素情報に基づいて相関演算を行ってフォーカス駆動を行う時間や、あるいはDEF−MAPを生成し、DEF−MAPに基づいて処理演算等を行う時間を考慮すると、システム全体としてはフレームレートの低下を十分に抑制できない可能性がある。
Second Embodiment
In the first embodiment, the method for reducing the reduction of the frame rate in the readout of pixel information has been described. However, when considering the time to perform focus drive by performing correlation operation based on pixel information or the time to perform processing operation etc. based on DEF-MAP by generating DEF-MAP, the frame rate decreases as a whole system. May not be sufficiently suppressed.
図8に、静止画像の取得の際のシステム全体の1フレームの動作例を示す。図8(a)は、相関演算及びレンズ駆動の時間が長い場合の例である。この場合、レンズ駆動の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。図8(b)は、DEF−MAP生成及び処理演算に要する時間が長い場合の例である。この場合、処理演算の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。これらのようなシステム全体のフレームレートの低下に対処するためには、演算に使用する情報を先に取得することが望ましい。 FIG. 8 shows an operation example of one frame of the entire system at the time of acquisition of a still image. FIG. 8A is an example in the case where the time of correlation calculation and lens driving is long. In this case, since the time until the end of lens driving is long, the frame rate of the entire system is reduced. FIG. 8B shows an example in which the time required for DEF-MAP generation and processing operation is long. In this case, since the time until the end of the processing operation is long, the frame rate of the entire system is reduced. In order to cope with the reduction of the frame rate of the entire system as described above, it is desirable to first obtain information used for calculation.
また、スリットローリングシャッターを用いた動画像の取得時は、行の読み出しの時間的順序と1フレームの画像内における位置的な順序を正しく対応させる必要がある。そのような対応付けがなされていない場合、像の上下で時間的関係が入れ替わってしまい、不自然な画像になる。この場合、図8に示した様に、ある計算が要因となってシステム全体のフレームレートが低下する場合でも、演算に使用する情報を先に取得することができない。 In addition, at the time of acquisition of a moving image using a slit rolling shutter, it is necessary to correctly correspond the temporal order of readout of the rows and the positional order in the image of one frame. If such an association is not made, the temporal relationship is changed between the upper and lower sides of the image, resulting in an unnatural image. In this case, as shown in FIG. 8, even when the frame rate of the entire system is lowered due to a certain calculation, it is not possible to first obtain information used for the calculation.
フレームレート低下の要因となっている計算は撮影モードによって異なる。また、スリットローリング読み出しであるかどうかも、撮影モードによって異なる。そこで本実施形態では、撮影モードによって、少なくとも開口部の画素信号(遮光画素などのように遮光されている画素ではない画素の信号)の取得順序を変更する方法を示す。 The calculation that causes the frame rate reduction differs depending on the imaging mode. In addition, whether it is slit rolling readout also differs depending on the imaging mode. Therefore, in the present embodiment, a method is shown in which the acquisition order of at least pixel signals of the opening (signals of pixels other than light-shielded pixels such as light-shielded pixels) is changed according to the photographing mode.
なお、例えば遮光画素のような、開口部以外の画素を各種補正に用いて高画素化する方法が知られている。このような補正に用いるために開口部以外の画素を先に読み出す必要性があれば、開口部の画素信号の取得順序に関係なく、開口部以外の画素を先に読み出してもよい。 In addition, for example, there is known a method of increasing the number of pixels such as light-shielded pixels by using pixels other than the opening for various corrections. If it is necessary to first read out the pixels other than the opening for use in such correction, the pixels other than the opening may be read out first regardless of the order of obtaining the pixel signals of the openings.
図9に、本実施形態における撮像素子106の構成を示す。図9に示す構成は、図2(b)に示した第1の実施形態の構成とは、画像取得方法設定部900を有する点のみが異なる。画像取得方法設定部900は、設定された撮影モードに応じて、垂直走査回路206の動作を制御する。より具体的には、以下に説明する通りに画像が取得されるように、垂直走査回路206を制御する。
FIG. 9 shows the configuration of the
スリットローリングシャッターによって動画像を取得する場合には、前述のように読み出し順序を変更することができない。この時、画像取得方法設定部900は垂直走査回路206を、読み出し方法設定部204の設定に関係なく、配列順に順次読み出すように制御する。こうすることによって、読み出し方法の設定によらず像の上下の時間的関係は保たれ、画像の違和感を抑制することができる。
When acquiring a moving image by the slit rolling shutter, the reading order can not be changed as described above. At this time, the image acquisition
静止画を取得する場合で、かつ図8(a)のように相関演算及びレンズ駆動の時間が長い場合、相関演算に使用する画素情報を先行して取得し、全画素の画素情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部900は垂直走査回路206を、以下の手順で読み出しを行うように制御する。
In the case of acquiring a still image, and as shown in FIG. 8A, when the time of correlation operation and lens driving is long, pixel information used for correlation operation is acquired in advance, and acquisition of pixel information of all pixels is performed. I want to start the operation prior to completion. At this time, the image acquisition
まず垂直走査回路制御部204に設定されている、第2の読み出し設定205bによって選択された行を、第2の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図10(a)に示すように相関演算を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
First, the row selected by the second read setting 205 b set in the vertical scanning
静止画を取得する場合で、かつ図8(b)のようにDEF−MAP生成及び処理演算の時間が長い場合、DEF−MAP生成に使用する画素情報を先行して取得し、全画素の画像情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部900は垂直走査回路206を、以下の手順で読み出しを行うように制御する。
In the case of acquiring a still image and when the time of DEF-MAP generation and processing operation is long as shown in FIG. 8B, pixel information used for DEF-MAP generation is acquired in advance, and an image of all pixels is obtained. I want to start computing before information acquisition is complete. At this time, the image acquisition
まず垂直走査回路制御部204に設定されている、第1の読み出し設定205aによって選択された行を、第2の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図10(b)に示すようにDEF−MAP生成を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
First, the row selected by the first read setting 205 a set in the vertical scanning
以上説明したように、第2の実施形態によれば、画像取得方法設定部900を設けることにより、設定された撮影モードに応じて少なくとも開口部の画素信号の取得順序を変更することができる。このことにより、システム全体としてフレームレートの低下を抑制することができる。
As described above, according to the second embodiment, by providing the image acquisition
本実施形態では、スリットローリングシャッターによって動画像を取得する方法について説明したが、本発明はこれに限定されるものではない。例えば、グローバル電子シャッター機能を有する撮像素子において動画像を取得することも可能である。その場合、読み出しの時間的順序と画像内の位置的順序を無関係に取得することができる。そのため、動画像取得時であっても、本実施形態で説明したように、時間がかかる計算に用いる情報を先に読み出すことによって、システム全体のフレームレートの低下を抑制することができる。 In the present embodiment, the method of acquiring a moving image by the slit rolling shutter has been described, but the present invention is not limited to this. For example, it is also possible to acquire a moving image in an imaging device having a global electronic shutter function. In that case, the temporal order of readout and the positional order in the image can be obtained independently. Therefore, even at the time of moving image acquisition, as described in the present embodiment, it is possible to suppress the decrease in the frame rate of the entire system by reading out the information used for the time-consuming calculation first.
(第3の実施形態)
第1の実施形態の図7で示したように、第1の領域と第2の領域は重複して設定することができる。この場合、重複した領域は第1の読み出し設定205aによって選択された画素群と、第2の読み出し設定205bによって選択された画素群の両方で、第2の駆動モードによる読み出しを行う。図7(b)で示した読み出し設定では、第1の読み出し設定205aによって選択された画素群と、第2の読み出し設定205bによって選択された画素群は重複しないようになっているが、読み出し設定によっては重複する場合がある。
Third Embodiment
As shown in FIG. 7 of the first embodiment, the first area and the second area can be set in an overlapping manner. In this case, readout in the second drive mode is performed in the overlapping region in both the pixel group selected by the first readout setting 205 a and the pixel group selected by the second readout setting 205 b. In the readout setting shown in FIG. 7B, the pixel group selected by the first readout setting 205 a and the pixel group selected by the second readout setting 205 b do not overlap, but the readout setting is performed. Depending on the case, it may overlap.
図11に、読み出し設定によって選択される画素群が重複した場合の様子を簡易的に示した。図11は図7(a)の第1の領域と第2の領域が重複している領域703の第n行目から第n+10行目までを抜き出したものである。図中1100で示された網掛け部は、第1の読み出し設定205aによって選択された行であり、図中1101で示された斜線部は、第2の読み出し設定205bによって選択された行である。第n行目は、第1の読み出し設定205aによって選択されている。第1の読み出し設定205aが、行周期10行で第2の駆動モードで読み出す行を選択する場合、第n+10行目も第1の読み出し設定205aによって選択されることになる。第n+1行目は、第2の読み出し設定205bによって選択されている。第2の読み出し設定205bが、行周期3行で第2の駆動モードで読み出す行を選択する場合、第n+10行目も第2の読み出し設定205bによって選択されることになる。この場合、第n+10行目は、第1の読み出し設定205aと、第2の読み出し設定205bの両方で選択されることとなる。
FIG. 11 is a simplified view of the case where the pixel groups selected by the readout setting overlap. FIG. 11 shows the nth to n + 10th lines of the
第1の実施形態で説明したような画素信号の読み出しにおいては、PD203a,203bからの読み出しは破壊読み出しである。このような撮像素子において同一画素を複数回読み出した場合、2回目以降は正しくない値を取得することになり、位相差情報を用いた計算に正しくないデータを用いることになってしまう。 In readout of pixel signals as described in the first embodiment, readout from the PDs 203 a and 203 b is destructive readout. When the same pixel is read out a plurality of times in such an imaging element, an incorrect value will be acquired after the second time, and incorrect data will be used for calculation using phase difference information.
そこで、本実施形態のように、第1の読み出し設定205aと、第2の読み出し設定205bの両方で同一の画素群を選択した場合は、読み出しは一度だけ行う。そして、重複して選択された画素群(本実施形態では第n+10行目に属する画素)は、第1の読み出し設定205aによって選択された画素情報を用いた演算と、第2の読み出し設定205bによって選択された画素情報を用いた演算の両方に共通に用いるようにする。 Therefore, as in the present embodiment, when the same pixel group is selected in both the first readout setting 205a and the second readout setting 205b, readout is performed only once. Then, the pixel group selected in duplicate (in the present embodiment, the pixel belonging to the n + 10th row) is subjected to the calculation using the pixel information selected by the first readout setting 205a and the second readout setting 205b. It is used commonly for both of the operations using the selected pixel information.
以上説明したように、第3の実施形態によれば、複数の読み出し設定において第2の駆動モードで取得する画素を重複して選択した場合においても、異常な出力を計算に用いないように動作させることが可能となる。 As described above, according to the third embodiment, even when pixels acquired in the second drive mode are selected in duplicate in a plurality of readout settings, an operation is performed so as not to use an abnormal output for calculation. It is possible to
(第4の実施形態)
一般に第1の駆動モード(位相差を検出できないモード)のN信号からS信号(A+B信号)までの時間間隔よりも、第2の駆動モード(位相差を検出できるモード)のN信号からS信号(A+B信号)までの時間間隔は長い。そのため動作周波数が低下し、例えば1/fノイズが増加したり、N信号のAD変換からS信号のAD変換の間に起こる電源の揺らぎによって一様な画素レベル変化が起きたり、というような現象が生じることがある。それにより、第1の駆動モードで読み出された画素信号と、第2の駆動モードで読み出された画素信号で、画質の差が生じることがある。この場合、1フレームの画素信号の取得で第1の駆動モードと第2の駆動モードを混在させると、画面内に駆動モードの違いによる行毎の画像の差が生じることになり、1フレーム全体の画質が低下する。そのような場合、例えば第1の駆動モードによって読み出された画素情報を用いて、第2の駆動モードによって読み出された画素情報を補正する方法がある。
Fourth Embodiment
Generally, the N signal to the S signal in the second drive mode (the mode in which the phase difference can be detected) than the time interval from the N signal in the first drive mode (the mode in which the phase difference can not be detected) to the S signal (A + B signal) The time interval to (A + B signal) is long. As a result, the operating frequency decreases, and for example, 1 / f noise increases, or fluctuations in the power supply that occur between AD conversion of the N signal and AD conversion of the S signal cause uniform pixel level changes, etc. May occur. As a result, a difference in image quality may occur between the pixel signal read in the first drive mode and the pixel signal read in the second drive mode. In this case, when the first drive mode and the second drive mode are mixed in acquiring the pixel signal of one frame, the difference in the image for each row due to the difference of the drive mode occurs in the screen, and the entire one frame is generated. Image quality of In such a case, there is a method of correcting pixel information read out in the second drive mode, for example, using pixel information read out in the first drive mode.
この補正の例として、図12(a)に示したような3×3のフィルタを考える。このような補正は、例えばDSP107で行われる。図12(a)は画素アレイ200の一部を抜き出したものである。図中ドットを付された単位画素201である画素1200は補正対象画素であり、この補正対象画素1200に対して周囲の3×3の同色の画素を補正使用画素1201として、フィルタ処理を施す。この時、補正対象画素1200は第2の駆動モードで読みだされているとすると、補正後の画質は第1の駆動モードによって読み出された画素に近づくことが期待される。そのため補正使用画素1201は第1の駆動モードによって読み出された画素情報を使用することが望ましい。
As an example of this correction, consider a 3 × 3 filter as shown in FIG. Such correction is performed by, for example, the
図12(b)に、補正対象画素1200の補正に、第1の駆動モードによって読み出された画素を使用できない例を示した。第n+2行目の画素を補正する場合を考える。3×3のフィルタ処理を考えると、補正使用画素1101は第n行と第n+4行である。しかし図12(b)の例では、第n行と第n+4行も第2の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行ったとしても、補正後の画質を第1の駆動モードに近づけることができない。
FIG. 12B shows an example in which the pixel read out in the first drive mode can not be used for the correction of the
図12(c)に、補正対象画素1200の補正に、第1の駆動モードによって読み出された画素を使用できる例を示した。第n+3行目の画素を補正する場合を考える。3×3のフィルタ処理を考えると、補正使用画素1201は第n+1行と第n+5行である。図12(c)の例では、第n行と第n+5行のどちらも第1の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行うことによって、補正後の画質を第1の駆動モードに近づけることができる。
FIG. 12C shows an example in which the pixel read out in the first drive mode can be used to correct the
画素補正の目的は、第2の駆動モードで読み出された画素の画質を、第1の駆動モードで読み出された画素の画質に近づけることであるため、図12(b)のような読み出し方は画素補正の目的を果たせない。そのため、画素補正を行う場合は、図12(c)のように画素補正に使用する画素の少なくとも一部を、第1の駆動モードによって読み出すように垂直走査回路制御部204を設定する。
The purpose of the pixel correction is to bring the image quality of the pixel read out in the second drive mode closer to the image quality of the pixel read out in the first drive mode. One can not fulfill the purpose of pixel correction. Therefore, when performing the pixel correction, the vertical scanning
以上説明したように第4の実施形態によれば、第2の駆動モードによって読み出されたある画素の補正に用いられる画素の、少なくとも一部を第1の駆動モードによって読み出すように動作させることが可能となる。このことによって、第2の駆動モードによって読み出された画素に対して補正を行って、第1の駆動モードによって読み出された画素の画質に近づけることができるようになる。 As described above, according to the fourth embodiment, at least a part of pixels used for correction of a certain pixel read out in the second drive mode is operated to be read out in the first drive mode. Is possible. As a result, correction can be performed on the pixels read out in the second drive mode, and the image quality of the pixels read out in the first drive mode can be approached.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although the preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
100:第1レンズ、101:絞り、102:第2レンズ、103:第3レンズ、104:フォーカルプレーンシャッタ、106:撮像素子、108:RAM、109:CPU、110:表示部、111:操作部、112:記録媒体、113:ROM 100: first lens, 101: aperture, 102: second lens, 103: third lens, 104: focal plane shutter, 106: imaging device, 108: RAM, 109: CPU, 110: display unit, 111: operation unit , 112: recording medium, 113: ROM
Claims (18)
前記画素領域を複数の分割領域に分割する分割手段と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第1の数にグループ分けして信号を読み出す第1のモードで信号を読み出す第1の画素とするか、前記複数の光電変換部を前記第1の数よりも多い第2の数にグループ分けして信号を読み出す第2のモードで信号を読み出す第2の画素とするかを設定する設定手段と、を備え、
前記設定手段は、前記複数の分割領域のそれぞれについて、前記第1の画素の数に対する前記第2の画素の数の割合を異ならせることを特徴とする撮像装置。 An image pickup device having a pixel area in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the single microlens are arranged in a matrix;
Division means for dividing the pixel area into a plurality of divided areas;
For each pixel of the plurality of divided regions, the signals of the plurality of photoelectric conversion units are grouped into a first number, and a signal is read out in a first mode as a first pixel or the plurality of pixels And setting means for setting whether or not to be a second pixel from which the signal is read out in a second mode in which the photoelectric conversion units in the group are divided into a second number larger than the first number and the signal is read out.
The imaging device, wherein the setting unit makes the ratio of the number of the second pixels to the number of the first pixels different for each of the plurality of divided regions.
前記画素領域を複数の分割領域に分割する分割工程と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第1の数にグループ分けして信号を読み出す第1のモードで信号を読み出す第1の画素とするか、前記複数の光電変換部を前記第1の数よりも多い第2の数にグループ分けして信号を読み出す第2のモードで信号を読み出す第2の画素とするかを設定する設定工程と、を有し、
前記設定工程では、前記複数の分割領域のそれぞれについて、前記第1の画素の数に対する前記第2の画素の数の割合を異ならせることを特徴とする撮像装置の制御方法。 A method of controlling an imaging device including an imaging device having a pixel region in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the one microlens are arranged in a matrix. And
A dividing step of dividing the pixel area into a plurality of divided areas;
For each pixel of the plurality of divided regions, the signals of the plurality of photoelectric conversion units are grouped into a first number, and a signal is read out in a first mode as a first pixel or the plurality of pixels And setting the second pixel to read out the signal in the second mode in which the photoelectric conversion units of the above are divided into the second number larger than the first number and the signal is read out. ,
In the setting step, a control method of an image pickup apparatus, wherein the ratio of the number of the second pixels to the number of the first pixels is made different for each of the plurality of divided areas.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185314A JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185314A JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062386A true JP2019062386A (en) | 2019-04-18 |
JP6991028B2 JP6991028B2 (en) | 2022-01-12 |
Family
ID=66177727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185314A Active JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6991028B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015211351A (en) * | 2014-04-25 | 2015-11-24 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2016021052A (en) * | 2014-06-18 | 2016-02-04 | キヤノン株式会社 | Imaging apparatus and control method |
-
2017
- 2017-09-26 JP JP2017185314A patent/JP6991028B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015211351A (en) * | 2014-04-25 | 2015-11-24 | キヤノン株式会社 | Imaging apparatus and control method of the same |
JP2016021052A (en) * | 2014-06-18 | 2016-02-04 | キヤノン株式会社 | Imaging apparatus and control method |
Also Published As
Publication number | Publication date |
---|---|
JP6991028B2 (en) | 2022-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9832391B2 (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
JP6609113B2 (en) | Imaging apparatus and control method thereof | |
CN104683668A (en) | Image capturing apparatus and mobile telephone | |
JP2019029726A (en) | Imaging apparatus and control method, program thereof, storage medium | |
US10225494B2 (en) | Image capturing apparatus and control method thereof | |
US9667878B2 (en) | Image capturing apparatus and control method for image capturing apparatus | |
US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
JP7277263B2 (en) | Imaging device | |
JP4637029B2 (en) | Imaging apparatus and control method thereof | |
JP2016092792A (en) | Imaging apparatus | |
JP2019103030A (en) | Imaging device, control method thereof, and control program | |
JP6444254B2 (en) | FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2017103568A (en) | Imaging apparatus, control method for imaging device, and program | |
JP2019062386A (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP2018019139A (en) | Imaging device and control method of imaging device | |
US10203206B2 (en) | Image capture apparatus having signal readouts using distance measurement region | |
JP2018042223A (en) | Imaging apparatus and control method, program thereof, storage medium | |
JP2020057892A (en) | Imaging device | |
JP6883082B2 (en) | Imaging device and its control method | |
US11539903B2 (en) | Imaging apparatus and method of controlling the same and non-transitory computer-readable storage medium | |
JP6261334B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
JP6157291B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
JP2018010213A (en) | Control apparatus, imaging apparatus, control method, program, and storage medium | |
JP2020141347A (en) | Imaging apparatus | |
JP7148265B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6991028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |