JP2019062386A - Imaging apparatus, control method therefor, program, and storage medium - Google Patents
Imaging apparatus, control method therefor, program, and storage medium Download PDFInfo
- Publication number
- JP2019062386A JP2019062386A JP2017185314A JP2017185314A JP2019062386A JP 2019062386 A JP2019062386 A JP 2019062386A JP 2017185314 A JP2017185314 A JP 2017185314A JP 2017185314 A JP2017185314 A JP 2017185314A JP 2019062386 A JP2019062386 A JP 2019062386A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- signal
- pixels
- divided
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置における撮像素子の駆動技術に関するものである。 The present invention relates to a driving technology of an imaging device in an imaging device.
現在、デジタルカメラなどの撮像装置においては、撮像素子から得られた情報に基づいて種々の演算処理が行われている。特に、撮像素子から得られる被写体の位相差情報を用いてオートフォーカス（ＡＦ）を行う技術はよく知られている。その際に精度の高い焦点検出を可能にする読み出しと、低消費電力かつ高速な読み出しの両立を実現するために、撮像素子の読み出しに関して種々の手法が提案されている。 At present, in an imaging apparatus such as a digital camera, various arithmetic processes are performed based on information obtained from an imaging element. In particular, techniques for performing autofocus (AF) using phase difference information of an object obtained from an imaging device are well known. At that time, various methods have been proposed for the readout of the imaging device in order to realize both readout that enables focus detection with high accuracy and low power consumption and high-speed readout.
特許文献１では、単一画素に複数の光電変換部を配置し、全画素の中の一部の画素で複数の光電変換部の信号を独立に取得できるように読み出し、残りの画素では単一画素の光電変換部の信号を合成してから読み出す方法が提案されている。このように読み出すことによって、取得に時間がかかる位相差情報は必要な領域のみで読み出されることとなり、動作時間の短縮、消費電力の削減を図ることができる。
In
特許文献２では、撮像素子を複数の領域に分割し、焦点検出を行う必要がある第１の領域では位相差情報を取得する読み出し方を行うことが開示されている。そして、第２の領域では消費電力を削減するために第１の領域における読み出しよりも、間引き率を大きくして読み出す。このような制御を行うことによって、消費電力を抑制することができる。 Patent Document 2 discloses that an imaging device is divided into a plurality of areas, and in a first area where focus detection needs to be performed, reading is performed to acquire phase difference information. Then, in the second area, in order to reduce the power consumption, the thinning rate is made larger than the reading in the first area. By performing such control, power consumption can be suppressed.
特許文献３では、被写体の空間周波数に基づいて読み出し方法を切り替える手法が開示されている。このような制御を行うことで、高周波被写体に対しては精密なピント合わせが可能になるとともに、低周波被写体の撮影時は消費電力を抑制することができる。
現在、撮像素子から得られる被写体の位相差情報は様々な場面での利用が考えられている。一例として、ＡＦ用演算への利用の他に、画面全体の位相差情報から画面全体の被写体の深度情報の分布であるデフォーカスマップ（以下ＤＥＦ−ＭＡＰと表記する）を作成するための利用などが挙げられる。このように、位相差情報を複数の異なる目的（ここではＡＦ用とＤＥＦ−ＭＡＰ用）で利用するとき、必要となる位相差情報の性質が異なる場合がある。 At present, phase difference information of an object obtained from an imaging device is considered to be used in various situations. As an example, in addition to use for AF calculation, use for creating a defocus map (hereinafter referred to as DEF-MAP) which is a distribution of depth information of an object on the whole screen from phase difference information on the whole screen Can be mentioned. As described above, when the phase difference information is used for a plurality of different purposes (here, for AF and for DEF-MAP), the property of the required phase difference information may be different.
例えばＤＥＦ−ＭＡＰの作成では、画面全体の位相差情報が必要であるのに対して、ＡＦ情報の取得では、着目部分のみの位相差情報が取得できればよい。また、ＤＥＦ−ＭＡＰの応用として被写体の類別を行う場合などは、位相差情報の解像度はそれほど必要とされないのに対して、ＡＦ情報の取得では高解像度で位相差情報を読み出すことが要求される。 For example, while creation of DEF-MAP requires phase difference information of the entire screen, acquisition of AF information only requires acquisition of phase difference information of only the target part. Also, when classifying objects as an application of DEF-MAP, etc., resolution of phase difference information is not required so much, but acquisition of AF information is required to read phase difference information at high resolution .
上記の従来技術では、画素全体の中の一部の画素群から位相差情報を読み出す場合、１フレームの中で上記の複数の性質を同時に満たすように読み出すことができなかった。また、画素全体から位相差情報を読み出した場合には、上記の複数の機能を利用することができるものの、フレームレートの低下を避けることができない。 In the above-mentioned prior art, when phase difference information is read out from a part of pixel groups in the whole pixel, it can not be read out so as to simultaneously satisfy the plurality of properties in one frame. In addition, when the phase difference information is read out from the entire pixel, although the above plurality of functions can be used, the reduction of the frame rate can not be avoided.
本発明は上述した課題に鑑みてなされたものであり、その目的は、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することである。 The present invention has been made in view of the above-described problems, and an object thereof is to suppress reduction in frame rate while reading out pixel signals suitable for a plurality of purposes when acquiring phase difference information. Providing an imaging device capable of
本発明に係わる撮像装置は、１つのマイクロレンズと、該１つのマイクロレンズに対応して配置された複数の光電変換部とを有する単位画素が行列状に複数配置された画素領域を有する撮像素子と、前記画素領域を複数の分割領域に分割する分割手段と、前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定手段と、を備え、前記設定手段は、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする。 An imaging device according to the present invention is an imaging device having a pixel area in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the single microlens are arranged in a matrix. And division means for dividing the pixel area into a plurality of divided areas, and signals of the plurality of photoelectric conversion units are grouped into a first number and signals are read out for each pixel of the plurality of divided areas. A signal is read out in a second mode in which the plurality of photoelectric conversion units are divided into a second number larger than the first number and the signal is read out. Setting means for setting whether to set the second pixel, and the setting means sets the ratio of the number of the second pixels to the number of the first pixels for each of the plurality of divided areas if different. Let it go The features.
本発明によれば、位相差情報を取得する場合に、複数の目的に適合した画素信号の読み出しを行いつつも、フレームレートの低下を抑制することができる撮像装置を提供することが可能となる。 According to the present invention, when acquiring phase difference information, it is possible to provide an imaging device capable of suppressing a decrease in frame rate while reading out pixel signals suitable for a plurality of purposes. .
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the attached drawings.
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。図１において、第１レンズ１００は撮影光学系１２０の先端に配置されている。絞り１０１は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述のフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。
First Embodiment
FIG. 1 is a block diagram showing the configuration of an imaging apparatus according to the first embodiment of the present invention. In FIG. 1, the
フォーカルプレーンシャッタ１０４は、静止画撮影時に露光秒時を調節する。光学的ローパスフィルタ１０５は撮影画像の偽色やモアレを低減するために用いられる。撮像素子１０６は、撮影光学系１２０で形成された被写体の光学像を電気信号に光電変換する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。
The
ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０７は画像処理を行う。ＤＳＰ１０７は撮像素子１０６で撮影された画像データの、補正・圧縮等の処理を行う。また、後述するＡ像データとＢ像データの分離機能や、画像信号を用いた相関演算を行う相関演算機能を有する。ＲＡＭ１０８は、撮像素子１０６からの出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能をＲＡＭ１０８を用いて実現する構成であるが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよい。
A DSP (Digital Signal Processor) 107 performs image processing. The DSP 107 performs processing such as correction and compression of the image data captured by the
ＣＰＵ１０９は、撮像装置の動作を統括的に制御する。ＣＰＵ１０９は撮像装置の各部を制御するためのプログラムを実行する。また、ＤＳＰ１０７から出力される相関演算の結果を用いて、後述のフォーカス駆動回路１１５を制御し、撮影光学系１２０の焦点を調節する機能も有する。表示部１１０は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、撮影命令や撮影条件等の設定をＣＰＵ１０９に対して行う。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。
A
シャッター駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮影光学系１２０の焦点位置を変更する焦点位置変更手段であり、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行なう。絞り駆動回路１１７は、絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。
The
次に、撮像素子１０６の構成について、図２を参照しながら説明する。撮像素子１０６の単位画素が行列状に配列された画素アレイ（画素領域）を図２（ａ）に示す。図２（ａ）において、画素アレイ２００には、単位画素２０１が行列方向に複数配置されている。それぞれの単位画素２０１は、マイクロレンズ２０２を有する。それぞれの単位画素２０１は、単一のマイクロレンズ２０２下に、光電変換手段としての２つのフォトダイオード（ＰＤ）２０３ａ，２０３ｂを有する。この構成をとることによってＰＤ２０３ａ，２０３ｂは瞳分割構成を取ることになり、この２つのＰＤ２０３ａ，２０３ｂには、同一被写体の、位相差を持った別々の像が入射されることになる。この同一被写体の、位相差を持った別々の２像をＡ像、Ｂ像と呼ぶことにし、ＰＤ２０３ａはＡ像用光電変換部、ＰＤ２０３ｂはＢ像用光電変換部を構成するものとする。
Next, the configuration of the
次に撮像素子１０６の回路構成を、図２（ｂ）を参照して説明する。画素アレイ２００には、水平方向に（ｍ＋１）個、垂直方向に（ｎ＋１）個の複数の単位画素２０１が配置されている。垂直走査回路制御部２０４は、２０５ａで示されている第１の読み出し設定及び２０５ｂで示されている第２の読み出し設定を設定することができる。垂直走査回路２０６は、画素にパルスを送ることで画素信号を転送する。垂直走査回路制御部２０４は、プログラムされた読み出し設定に基づいて、垂直走査回路２０６を制御する。タイミングジェネレータ（ＴＧ）２０７は、ＣＰＵ１０９によってプログラムされた設定に従って、各回路ブロックに読み出しに必要な制御パルスを供給する。なお、本実施形態では、ＴＧ２０７は撮像素子１０６に内蔵されているが、撮像素子１０６の外部に配置される構成でも構わない。
Next, the circuit configuration of the
各単位画素２０１で光電変換された画素信号は、前述のように垂直走査回路２０６から供給される駆動信号によって、垂直出力線２０８へと行毎に出力される。ある行の画素信号の取得に際して、垂直走査回路２０６が後述する第１の駆動モード、または第２の駆動モードのどちらで画素信号を読み出すかは、垂直走査回路制御部２０４によって制御される。定電流源２０９は、後述する画素アンプ用トランジスタ３０３と組み合わされてソースフォロワ回路を形成する。読み出し回路２１０は、各列の垂直出力線２０８からの出力を増幅する機能を有する。ＡＤ変換回路（ＡＤＣ）２１１は、読み出し回路２１０の出力をデジタル信号へ変換する。ＡＤＣ２１１によって変換された画像信号は、水平走査回路２１２によって順に選択されて、出力部２１３で後述する処理を施され撮像素子１０６の外部へデジタル信号として出力される。
The pixel signals photoelectrically converted in each
図３（ａ）は、単位画素２０１の詳細な回路構成を説明する図である。図３（ａ）において、ＰＤ２０３ａとＰＤ２０３ｂは前述した同一マイクロレンズ下で単位画素２０１を構成するＰＤである。Ａ像用の転送スイッチＴｘＡ（３００ａ）は信号φｔｘａによって制御され、Ｂ像用の転送スイッチＴｘＢ（３００ｂ）は信号φｔｘｂによって制御される。この信号φｔｘａ、φｔｘｂをＨｉｇｈ（以下ＨｉｇｈをＨと記す）にすることによって、光電変換部に蓄積された電荷をフローティングディフュージョン部（ＦＤ）３０１に転送することができる。この転送スイッチのＯＮ／ＯＦＦは独立に制御することができるため、Ａ像用の信号とＢ像用の信号は独立に転送することができる。リセットスイッチ３０２はＦＤ３０１を初期化するためのスイッチであり、信号φｐｒｅｓによって制御される。画素アンプ用トランジスタ３０３は、セレクトスイッチ３０４、及び垂直出力線２０８を介して定電流源２０９に接続されている。セレクトスイッチ３０４の入力信号φｓｅｌがＨになると、画素アンプ用トランジスタ３０３は定電流源２０９と接続され、画素アンプを形成する。ＦＤ３０１はこの画素アンプに接続されているため、ＰＤ２０３ａ、ＰＤ２０３ｂからＦＤ３０１に転送された電荷は、この画素アンプによって電荷量に応じた電圧値に変換され、垂直出力線２０８に画素信号として出力されることになる。
FIG. 3A is a diagram for explaining the detailed circuit configuration of the
読み出し回路２１０について、図３（ｂ）を参照しながら詳細に説明する。垂直出力線２０８に出力された画素信号は、クランプ容量３０５を通じて演算増幅器３０８の反転入力端子に入力される。演算増幅器３０８の非反転入力端子には基準電圧Ｖｒｅｆが入力されている。スイッチ３０７は、フィードバック容量３０６を短絡するためのスイッチであり、信号φｃｆｓによって制御される。
The
ＡＤＣ２１１の構成とその駆動について、図４を参照しながら詳細に説明する。比較器４００には、読み出し回路２１０の出力とランプ信号生成回路４０１からのランプ信号が入力される。ランプ信号生成回路４０１の出力レベルは、ＴＧ２０７から端子４０２を介して入力される信号φａｄｃｒｅｓがＬｏｗ（以下ＬｏｗをＬと記す）になると時間の経過とともに大きくなる。そして、その信号レベルが読み出し回路２１０から出力される信号のレベルを上回った時に、比較器４００の出力はＬからＨに切り替わる。比較器４００の出力はラッチ選択回路４０４に接続されている。そして、ＴＧ２０７から端子４０３を介して入力される信号φｓｓｅｌがＬの時はＮ信号用ラッチ４０８、φｓｓｅｌがＨの時はＳ信号用ラッチ４０９に入力される。Ｎ信号用ラッチ４０８、Ｓ信号用ラッチ４０９はＴＧ２０７からそれぞれ端子４０５、４０６を介して入力される信号φｎｒｅｓ、φｓｒｅｓがＨになるとリセットされ、Ｌの時にラッチとして次のように動作する。
The configuration of the
まずφｓｓｅｌがＬの時、Ｎ信号用ラッチ４０８は比較器４００の出力がＬからＨに切り替わった瞬間のカウンタ４０７の出力をラッチする。このカウンタ値が、読み出し回路２１０の出力のデジタル値を表現する値となっている。このラッチ４０８はＮ信号用ラッチなので、ノイズ信号をデジタル変換した結果を、ラッチ４０８に保持するように制御される。次にφｓｓｅｌがＨの時は、比較器４００の出力はラッチ４０９に接続され、先に説明したラッチ４０８と同様の動作を行うことによって、読み出し回路２１０の出力をデジタル値へ変換する。このラッチ４０８はＳ信号用ラッチなので、光信号とノイズ信号が加算された信号をデジタル変換した結果を、ラッチ４０８に保持するように制御される。ラッチ４０８，４０９の出力は、列選択回路４１０に接続されており、水平走査回路２１２からの信号φｈｓｒ＿ｉ（ｉは列番号０〜ｍ）によって次に説明するように出力部２１３へと出力される。
First, when φ ssel is L, the latch for N signal 408 latches the output of the
第ｉ列の列選択回路４１０は、信号φｈｓｒ＿ｉがＬの時はＯＦＦ状態であり、出力部２１３から切断されているが、φｈｓｒ＿ｉがＨの時にＯＮ状態となり、当該列のＮ信号用ラッチとＳ信号用ラッチの出力を、出力部２１３に出力する。
The
水平走査回路２１２は、全てのφｈｓｒ＿ｉがＬの時に、ＴＧ２０７から端子４１１を介して入力される信号φｈｓｒの立ち上がりエッジを検出すると、φｈｓｒ＿０をＨにする。その後、φｈｓｒ＿ｉがＨの時にφｈｓｒの立ち上がりエッジを検出すると、φｈｓｒ＿ｉをＬにし、φｈｓｒ＿（ｉ＋１）をＨにする。そして、φｈｓｒ＿ｍがＨの時にφｈｓｒの立ち上がりエッジを検出すると、全てのφｈｓｒ＿ｉをＬにする。このようにして水平走査回路２１２は第０列目から第ｍ列目までのラッチの出力を順次出力部２１３に出力し、水平走査を行う。出力部２１３は、Ｎ信号用ラッチ４０８の出力を、Ｓ信号用ラッチ４０９の出力から減算してから外部に出力する機能を持つ。
The
続いて、第１の駆動モード（位相差を検出できないモード）と第２の駆動モード（位相差を検出できるモード）のそれぞれの動作について、撮像素子１０６の画像信号の読み出し動作例を示すタイミングチャートである図５、図６を用いて説明する。
Subsequently, for each operation of the first drive mode (mode in which the phase difference can not be detected) and the second drive mode (mode in which the phase difference can be detected), a timing chart showing an operation example of reading image signals of the
図５のタイミングチャートを用いて、第１の駆動モードによって１行の画素信号を取得する方法について詳細に説明する。 A method of acquiring pixel signals of one row in the first drive mode will be described in detail using the timing chart of FIG.
時刻ｔ５０１の以前から、信号φｐｒｅｓがＨであり、ＦＤ３０１はリセットされている。続いて時刻ｔ５０１で信号φｔｘａ、φｔｘｂをＨとすることで、ＰＤ２０３ａ，２０３ｂをリセットする。時刻ｔ５０２で信号φｔｘａ、φｔｘｂをＬとすることで、ＰＤ２０３ａ，２０３ｂの電荷蓄積を開始する。蓄積時間は、この時点から信号が読み出される時点までであり、図中の時刻ｔ５０２から時刻ｔ５１１までの間である。時刻ｔ５０３で信号φｓｅｌをＨにすることによって画素アンプ用トランジスタ３０３を定電流源２０９に接続し、画素アンプを動作状態とする。時刻ｔ５０４で信号φｐｒｅｓをＬとすることによって、ＦＤ３０１のリセットを解除する。リセットが解除されると、ＦＤ３０１の信号は垂直出力線２０８にノイズ信号（以下Ｎ信号と表記する）として読み出され、読み出し回路２１０へと出力される。
Before time t501, the signal φpres is H, and the
読み出し回路２１０において、時刻ｔ５０５で信号φｃｆｓをＬとすることで、演算増幅器３０８における基準電圧Ｖｒｅｆの出力バッファ状態を解除し、読み出し回路２１０のＮ信号を演算増幅器３０８から出力する。この時、ＡＤＣ２１１に内蔵される比較器４００への読み出し回路２１０からの入力は、図中５００で示されるように立ち上がり始める。そして時刻ｔ５０６で信号φａｄｃｒｅｓをＬとすることによって、ランプ信号生成回路４０１とカウンタ４０７のリセットを解除し、また同時に信号φｎｒｅｓもＬとすることによって、ラッチ４０８のリセットを解除し、ＡＤ変換動作を開始する。ランプ信号生成回路４０１から比較器４００へ入力されるランプ信号は図中５０１で示されており、カウンタ４０７の値は図中５０２に示されている。ランプ信号は時刻ｔ５０７で読み出し回路からの入力５００よりも大きくなり、この時、比較器４００の出力はＬからＨへと立ち上がる。信号φｓｓｅｌは時刻ｔ５０７でＬになっているため、ラッチ選択回路４０４ではＮ信号用ラッチ４０８が選択されており、比較器の出力はラッチ４０８へと入力されている。ラッチ４０８は時刻ｔ５０７でのカウンタ４０７の出力をラッチする。ここではその値を図中５０３で示したようにＮとする。こうして、時刻ｔ５０７においてラッチ４０８の値はＮとなる。時刻ｔ５０８でランプ信号５０１とカウンタ値５０２はどちらも最大値となり、そのタイミングで信号φａｄｃｒｅｓをＨにしてＮ信号のＡＤ変換動作を終了する。
By setting the signal φcfs to L at time t505 in the
時刻ｔ５０９では、信号φｔｘａ，φｔｘｂをＨにして、ＰＤ２０３ａ，２０３ｂで変換された光電荷をＦＤ３０１に転送する。ＦＤ３０１に蓄えられた信号成分の電荷は、垂直出力線２０８、演算増幅器３０８を通じて、読み出し回路２１０から信号成分＋ノイズ成分（以下Ｓ＋Ｎ信号と表記する）の信号として、比較器４００へ入力される。入力５００は時刻ｔ５０９から増加し始める。時刻ｔ５１０では、信号φｓｓｅｌをＨにすることによって、ラッチ選択回路４０４で選択されるラッチを、Ｓ信号用ラッチ４０９へと切り替える。時刻ｔ５１１で信号φｔｘａ，φｔｘｂをＬにして光電荷の転送を終えた後、時刻ｔ５１２まで読み出し回路２１０の出力の安定を待つ。時刻ｔ５１２で信号φａｄｃｒｅｓと信号φｓｒｅｓをＬにすることによってＳ＋Ｎ信号のＡＤ変換動作を開始する。このＳ＋Ｎ信号は、ＰＤ２０３ａ，２０３ｂに蓄積された光電荷を変換した画素信号（Ｓ信号）と、読み出し回路２１０の列ごとのばらつきに起因するオフセット信号などのノイズ信号（前述のＮ信号）を含む。このＳ＋Ｎ信号から、Ｎ信号を差し引くことにより、Ｓ＋Ｎ信号に含まれるノイズ成分をキャンセルすることができ、画素信号成分であるＳ信号のみを得ることができる。
At time t509, the signals φtxa and φtxb are set to H, and the photocharges converted by the PDs 203a and 203b are transferred to the
Ｓ＋Ｎ信号のＡＤ変換の動作はＮ信号のＡＤ変換と同様に行われ、時刻ｔ５１３で比較器４００の出力がＬからＨに立ち上がり、ラッチ４０９の出力は、その時点でのカウンタ４０７の値Ｓ＋Ｎに変化する。ここではその値を図中５０４で示したようにＳ＋Ｎとする。こうして、時刻ｔ５１７においてラッチ４０９の値はＳ＋Ｎとなる。このラッチ４０９の出力がＳ＋Ｎ信号のＡＤ変換値となる。時刻ｔ５１４で信号φａｄｃｒｅｓはＨとなり、ＡＤ変換動作は終了する。
The AD conversion operation of the S + N signal is performed in the same manner as the AD conversion of the N signal, and the output of the
時刻ｔ５１５で、信号φｈｓｒの立ち上がりエッジが水平走査回路２１２へ入力される。すると、水平走査回路からの出力が全てＬの状態から、信号φｈｓｒ＿０だけがＨとなり、第０列目の水平選択回路４１０のスイッチが接続され、ラッチ４０８，４０９が出力部２１３に接続される。出力部２１３では、ラッチ４０９の出力値であるＳ＋Ｎ信号のデジタル値から、ラッチ４０８の出力値であるＮ信号のデジタル値を減算し、Ｓ信号のみのデジタル値を得る。そして、その値を撮像素子１０６の外部に出力する。このようにして第０列からＳ信号のデジタル値を出力した後、信号φｈｓｒにもう一度パルスを入力すると、信号φｈｓｒ＿１だけがＨになり、同様の動作で第１列からＳ信号のデジタル値が出力される。こうして順次行方向にＳ信号を読み出していき、第０列から第ｍ列までの信号を読み出す。この水平走査は時刻ｔ５１６で終了する。
At time t515, the rising edge of the signal φhsr is input to the
時刻ｔ５１７では、各パルスを初期状態へ戻して画素の状態を初期化する。信号φｐｒｅｓをＨにすることにより、ＦＤ３０１を初期化する。信号φｃｆｓをＨにすることにより、演算増幅器３０８の出力を基準電圧Ｖｒｅｆの出力バッファ状態とする。信号φｓｓｅｌをＬに戻すことによって、ラッチ選択用回路４０４がＮ信号用ラッチ４０８を選択するようにする。信号φｎｒｅｓ，φｓｒｅｓをＨにすることにより、ラッチ４０８，４０９の出力をリセットする。時刻ｔ５１８で信号φｐｓｅｌをＬにし、行の選択状態を解除する。以上が第１の駆動モードにおける読み出し動作である。
At time t517, each pulse is returned to the initial state to initialize the state of the pixel. The
次に、図６のタイミングチャートを用いて、第２の駆動モードによって１行の画素信号を取得する方法について詳細に説明する。なお、図６のタイミングチャートの動作は、図５のタイミングチャートの動作と同様である部分も多いので、違う部分に着目して説明する。 Next, a method of acquiring pixel signals of one row in the second drive mode will be described in detail using the timing chart of FIG. Note that the operation of the timing chart of FIG. 6 is similar to that of the timing chart of FIG.
時刻ｔ６０１から時刻ｔ６０８までは、図５のタイミングチャートの時刻ｔ５０１から時刻ｔ５０８の動作と全く同様に動作する。ここまでの動作で、Ｎ信号用ラッチ４０８にはＮ信号のデジタル値６００が保持されるようになる。時刻ｔ６０９では、信号φｔｘａをＨにして、ＰＤ２０３ａで変換された光電荷をＦＤ３０１に転送する。図５のタイミングチャートで時刻ｔ５０９でＨにした信号φｔｘｂは、ここではＬのままにしておく。こうすることによって、Ａ像用光電変換部の信号のみをＦＤ３０１に転送することができる。その後時刻ｔ６１６までは図５のタイミングチャートの時刻ｔ５１６までと同様の動作で水平転送までを終了する。この時、Ｓ信号用ラッチ４０９から出力される画素信号はＡ像信号＋ノイズ信号６０１である。そのため、出力部２１３においてＮ信号のデジタル値６００を差し引くことによって、この水平転送によって単位画素２０１中のＡ像用の光電変換部であるＰＤ２０３ａの信号のみを撮像素子１０６の外部に読み出すことができる。
From time t601 to time t608, the operation is identical to the operation from time t501 to time t508 in the timing chart of FIG. By the operation up to this point, the digital value 600 of the N signal is held in the
時刻ｔ６１７では、信号φｓｒｅｓをＨにする。この動作によってＳ信号用ラッチ４０９がリセットされ、もう一度新たにＳ信号用ラッチ４０９を用いたＡＤ変換動作を行うことが可能になる。時刻ｔ６１８では、信号φｔｘａ，φｔｘｂをＨにして、ＰＤ２０３ｂで変換された光電荷をＦＤ３０１に転送する。この動作によって、ＦＤ３０１では、ＰＤ２０３ａの光電荷と、ＰＤ２０３ｂの光電荷を加算することができる。ＦＤ３０１にはこの時既に、時刻ｔ６０９から時刻ｔ６１１で転送されたＰＤ２０３ａの光電荷が保持されている。そのため、信号φｔｘｂのみをＨにすることで、ＰＤ２０３ｂの信号をＦＤ３０１に転送し、ＦＤ３０１でＰＤ２０３ａの光電荷とＰＤ２０３ｂの光電荷を加算してもよい。本実施形態では、Ａ＋Ｂ像信号転送時の回路状態を、第１の駆動モードと同一にするためにφｔｘａもＨにするように動作させた。以上の動作によって、単位画素下の光電変換部の電荷を全てＦＤ３０１に転送することができる。
At time t617, the signal φsres is set to H. By this operation, the
時刻ｔ６１９から時刻ｔ６２６の動作は、図５のタイミングチャートの時刻ｔ５１１から時刻ｔ５１９の動作と同様のものである。この時、Ｓ信号用ラッチ４０９から出力される画素信号はＡ＋Ｂ像信号＋Ｎ信号６０２であるため、出力部２１３においてＮ信号のデジタル値６００を差し引くことによって、単位画素内の全ての光電変換部の信号を撮像素子１０６の外部に読み出すことができる。以上が、第２の駆動モードによる読み出し動作である。
The operation from time t619 to time t626 is the same as the operation from time t511 to time t519 in the timing chart of FIG. At this time, since the pixel signal output from the
以上、図５のタイミングチャートを用いて第１の駆動モードの例を、図６に示したタイミングチャートを用いて第２の駆動モードの例を示した。以上の例によれば、第１の駆動モードでは単位画素下の２つのＰＤ２０３ａ，２０３ｂの出力を合成した信号（Ａ＋Ｂ像信号と称する）を読み出している。これに対し、第２の駆動モードでは単位画素下の２つのＰＤのうち、まずＡ像信号を読み出し、ついでＡ＋Ｂ像信号を読み出している。例えばＤＳＰ１０８で、第２の駆動モードによって得られたＡ＋Ｂ像からＡ像を差し引くことによって、Ｂ像信号を分離することができる。そして、これらのＡ像信号とＢ像信号の位相差を検出することにより、撮影光学系１２０のデフォーカス量を検出することができる。
The example of the first drive mode has been described using the timing chart of FIG. 5 and the example of the second drive mode has been described using the timing chart shown in FIG. According to the above example, in the first drive mode, a signal (referred to as an A + B image signal) obtained by combining the outputs of the two PDs 203a and 203b below the unit pixel is read out. On the other hand, in the second drive mode, among the two PDs under the unit pixel, the A image signal is read first, and then the A + B image signal is read. For example, the B image signal can be separated by subtracting the A image from the A + B image obtained by the second drive mode by the
以上説明した様に、第１の駆動モードでは単位画素下の光電変換部の信号を合成して読み出しているのに対して、第２の駆動モードによれば単位画素下の光電変換部の信号を独立に読み出すことができている。そのため、第２の駆動モードは第１の駆動モードよりも、単位画素の信号を多く瞳分割して読み出していることになる。ここでは、第１の駆動モードの単位画素の読み出しを１分割（分割なし）とすれば、第２の駆動モードは２分割に光電変換部をグループ分けしての読み出しということになる。 As described above, in the first drive mode, the signals of the photoelectric conversion units under the unit pixel are combined and read out, whereas according to the second drive mode, the signals of the photoelectric conversion unit under the unit pixel are read. Can be read independently. Therefore, in the second drive mode, the signal of the unit pixel is pupil-divided and read out more than the first drive mode. Here, if reading of the unit pixel in the first drive mode is divided into one (no division), the second drive mode is read out by dividing the photoelectric conversion unit into two parts.
このように、第２の駆動モードで単位画素下にある複数の光電変換部の信号を分割して読み出すと、位相差情報を得ることができる一方で、第１の駆動モードによる読み出しと比較して読み出し時間が延びる。そのため、画像のフレームレートを確保するためには、第２の駆動モードでの読み出し行数は必要最小限に抑える必要がある。そこで、本実施形態では、位相差情報の使用目的に応じて画面を第１の領域と第２の領域に分割し、それぞれの領域で別々に、第２の駆動モードによって画像信号を取得する画素群を設定する。 As described above, when signals of a plurality of photoelectric conversion units under a unit pixel are divided and read in the second drive mode, phase difference information can be obtained, while comparison with reading in the first drive mode is performed. Reading time is extended. Therefore, in order to secure the frame rate of the image, it is necessary to minimize the number of readout rows in the second drive mode. Therefore, in the present embodiment, the screen is divided into a first area and a second area according to the purpose of use of the phase difference information, and pixels for acquiring an image signal according to the second drive mode separately in each area. Set the group.
図７（ａ）に画面を第１の領域と第２の領域（分割領域）に分割する例を示した。領域７００は画面全体を示し、例えば画素アレイ２００全体である。７０１は焦点検出枠（焦点検出領域）であり、焦点検出枠７０１内の被写体情報に基づいて、ＤＳＰ１０７は相関演算を行う。先に説明した様に、この焦点検出枠が含まれる領域では精度よく焦点検出を行いたいため、位相差情報を解像度よく読み出す必要がある。また、焦点検出枠７０１が含まれない領域では、これも先に説明した様にデフォーカスマップ（ＤＥＦ−ＭＡＰ）作成のため、位相差情報は低解像度で全面を読み出せばよい。そこで、ドットで示した領域と斜線で示した領域の両方を第１の領域７０２とし、斜線の領域のみを第２の領域７０３とする。また、領域７００において第１の領域７０２にも第２の領域７０３にも選択されなかった領域を第３の領域とする。この領域の設定を行う領域設定手段は、例えばＣＰＵ１０９で領域を計算して設定することによって、ＣＰＵ１０９で実現できる。なお、本実施形態のように、第１の領域と第２の領域は重複してもよいし、重複しなくてもよい。
FIG. 7A shows an example in which the screen is divided into a first area and a second area (divided area). A
第１の領域７０２を第１の読み出し設定２０５ａで読み出し、第２の領域７０３を第２の読み出し設定２０５ｂで読み出す例を、図７（ｂ）に示す。第１の読み出し設定２０５ａは、領域の開始行と、その行から一定の第１行周期７０４ごとに第２の駆動モード（位相差を検出できるモード）で読み出す行を選択するような読み出し設定となっている。第１の読み出し設定２０５ａによって選択された行は、図中１点鎖線で示される行である。第２の読み出し設定２０５ｂは、領域の開始行と、その行から一定の第２行周期７０５ごとに第２の駆動モード（位相差を検出できるモード）で読み出す行を選択するような読み出し設定となっている。第２の読み出し設定２０５ｂによって選択された行は、図中実線で示される行である。なお、第１の読み出し設定２０５ａと第２の読み出し設定２０５ｂでは、第２の駆動モードで読み出す行の数の第１の駆動モードで読み出す行の数に対する割合が異なっている。
An example in which the
本実施形態においては、第２の領域７０３は第１の領域７０２に含まれる領域である。そのため、第２の領域７０３中、第２の読み出し設定２０５ｂで選択されなかった行も、第１の読み出し設定２０５ａで選択される行となってもよい。
In the present embodiment, the
第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの、どちらにも選択されなかった行は、第１の駆動モード（位相差を検出できないモード）で読み出される。 Rows which are not selected by either the first read setting 205 a or the second read setting 205 b are read in the first drive mode (mode in which the phase difference can not be detected).
第１の領域７０２と第２の領域７０３に基づいて定められた、第１の読み出し設定２０５ａと第２の読み出し設定２０５ｂは、垂直走査回路制御部２０４により設定される。この垂直走査回路制御部２０４は垂直走査回路２０６を制御し、ある一行の取得を第１の駆動モードによって行うか、第２の駆動モードによって行うかを切り替える。
The first read setting 205 a and the second read setting 205 b determined based on the
以上説明したように、第１の実施形態によれば、それぞれの領域において最適な解像度で位相差情報を取得しつつ、駆動に時間のかかる第２の駆動モードによる画素の取得を最小限に抑えることができる。これにより、フレームレートの低下を抑制しつつも、ＡＦ用の相関演算とＤＥＦ−ＭＡＰの作成の際に、それぞれの演算に必要な解像度で位相差情報を取得することが可能となる。 As described above, according to the first embodiment, while acquiring phase difference information with optimal resolution in each region, minimizing acquisition of pixels in the second driving mode which takes time for driving is minimized. be able to. This makes it possible to acquire phase difference information with the resolution necessary for each of the correlation calculations for AF and creation of DEF-MAP, while suppressing a decrease in frame rate.
本実施形態では、第２の駆動モードとして、Ａ像を取得し、その後Ａ＋Ｂ像を取得する方法を図６のタイミングチャートにおいて示した。しかし本発明はこれに限定されるものではなく、例えばＡ像信号を取得した後にＦＤ３０１をリセットし、次にＢ像信号を読み出すという動作をさせてもよい。この場合、画像用のＡ＋Ｂ像信号を生成するためにＡ像信号のデジタル値とＢ像信号のデジタル値を加算する必要がある。
In the present embodiment, as a second drive mode, a method of acquiring an A image and thereafter acquiring an A + B image is shown in the timing chart of FIG. However, the present invention is not limited to this. For example, after obtaining the A image signal, the
また本実施形態では、単位画素下の光電変換部が２分割された構造を持つ撮像素子を用いる場合について説明したが、本発明はこれに限定されるものではない。例えば、単位画素下の光電変換部が上下左右に４分割された構造を持つ撮像素子においては、更に多くの駆動モードを考えることができる。例えば、単位画素下の４つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードと、全ての光電変換部の信号を独立に読み出す駆動モードの組み合わせによって、画面全体の画素を読み出すということがあり得る。 Moreover, although this embodiment demonstrated the case where the image pick-up element which has the structure where the photoelectric conversion part under a unit pixel was divided into 2 was used, this invention is not limited to this. For example, in the imaging device having a structure in which the photoelectric conversion unit under the unit pixel is divided into four in the vertical and horizontal directions, more drive modes can be considered. For example, among the four photoelectric conversion units under the unit pixel, the entire screen is combined by a combination of a drive mode for combining in the vertical direction and reading out without combining in the horizontal direction and a drive mode for reading out signals of all the photoelectric conversion units independently. It is possible to read out the pixels of.
ところで、第２の駆動モードは、第１の駆動モードよりも単位画素を多く瞳分割して読み出すことを特徴とする駆動モードである。そのため、単位画素下の光電変換部が４分割された構造をもつ撮像素子について上記のような駆動モードによって画面全体を読み出す場合は、単位画素下の４つの光電変換部のうち、縦方向は合成し、横方向は合成しないで読み出す駆動モードを第１の駆動モードとする。また、全ての光電変換部の信号を独立に読み出す駆動モードを第２の駆動モードとする。このとき、第１の駆動モードの単位画素の読み出しは２分割、第２の駆動モードの読み出しは４分割である、と考えることができる。 The second drive mode is a drive mode characterized in that the unit pixel is divided into pupils and read out more than the first drive mode. Therefore, in the case of reading out the entire screen in the drive mode as described above for the imaging device having a structure in which the photoelectric conversion unit under the unit pixel is divided into four, the longitudinal direction is composited among the four photoelectric conversion units under the unit pixel. The driving mode to be read out without combining in the horizontal direction is taken as a first driving mode. Further, a drive mode for reading out the signals of all the photoelectric conversion units independently is referred to as a second drive mode. At this time, it can be considered that the reading of the unit pixel in the first driving mode is divided into two, and the reading in the second driving mode is divided into four.
以上説明したように、単位画素下の光電変換部が上下左右に４分割されている構成にすることによって、被写体の横方向の位相差情報のみならず、縦方向の位相差情報も得ることができるようになる。そしてこのような場合においても本発明を適用することで、フレームレートの低下を抑制しつつ、複数の目的に適合した信号を読み出すことが可能となる。 As described above, it is possible to obtain not only the phase difference information in the lateral direction of the subject but also the phase difference information in the vertical direction by making the photoelectric conversion unit under the unit pixel be divided into four vertically and horizontally. become able to. Also in such a case, by applying the present invention, it is possible to read out signals adapted to a plurality of purposes while suppressing a decrease in frame rate.
また、本実施形態では読み出し設定によって第２の駆動モードによって読み出される画素群を行単位で選択するように説明したが、これに限定されるものではない。 Further, in the present embodiment, the pixel group to be read out in the second drive mode is selected in a row unit according to the readout setting. However, the present invention is not limited to this.
（第２の実施形態）
第１の実施形態では、画素情報の読み出しに関してフレームレートの低下を低減する方法について説明した。しかし画素情報に基づいて相関演算を行ってフォーカス駆動を行う時間や、あるいはＤＥＦ−ＭＡＰを生成し、ＤＥＦ−ＭＡＰに基づいて処理演算等を行う時間を考慮すると、システム全体としてはフレームレートの低下を十分に抑制できない可能性がある。
Second Embodiment
In the first embodiment, the method for reducing the reduction of the frame rate in the readout of pixel information has been described. However, when considering the time to perform focus drive by performing correlation operation based on pixel information or the time to perform processing operation etc. based on DEF-MAP by generating DEF-MAP, the frame rate decreases as a whole system. May not be sufficiently suppressed.
図８に、静止画像の取得の際のシステム全体の１フレームの動作例を示す。図８（ａ）は、相関演算及びレンズ駆動の時間が長い場合の例である。この場合、レンズ駆動の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。図８（ｂ）は、ＤＥＦ−ＭＡＰ生成及び処理演算に要する時間が長い場合の例である。この場合、処理演算の終了までの時間が長いため、システム全体のフレームレートが低下してしまう。これらのようなシステム全体のフレームレートの低下に対処するためには、演算に使用する情報を先に取得することが望ましい。 FIG. 8 shows an operation example of one frame of the entire system at the time of acquisition of a still image. FIG. 8A is an example in the case where the time of correlation calculation and lens driving is long. In this case, since the time until the end of lens driving is long, the frame rate of the entire system is reduced. FIG. 8B shows an example in which the time required for DEF-MAP generation and processing operation is long. In this case, since the time until the end of the processing operation is long, the frame rate of the entire system is reduced. In order to cope with the reduction of the frame rate of the entire system as described above, it is desirable to first obtain information used for calculation.
また、スリットローリングシャッターを用いた動画像の取得時は、行の読み出しの時間的順序と１フレームの画像内における位置的な順序を正しく対応させる必要がある。そのような対応付けがなされていない場合、像の上下で時間的関係が入れ替わってしまい、不自然な画像になる。この場合、図８に示した様に、ある計算が要因となってシステム全体のフレームレートが低下する場合でも、演算に使用する情報を先に取得することができない。 In addition, at the time of acquisition of a moving image using a slit rolling shutter, it is necessary to correctly correspond the temporal order of readout of the rows and the positional order in the image of one frame. If such an association is not made, the temporal relationship is changed between the upper and lower sides of the image, resulting in an unnatural image. In this case, as shown in FIG. 8, even when the frame rate of the entire system is lowered due to a certain calculation, it is not possible to first obtain information used for the calculation.
フレームレート低下の要因となっている計算は撮影モードによって異なる。また、スリットローリング読み出しであるかどうかも、撮影モードによって異なる。そこで本実施形態では、撮影モードによって、少なくとも開口部の画素信号（遮光画素などのように遮光されている画素ではない画素の信号）の取得順序を変更する方法を示す。 The calculation that causes the frame rate reduction differs depending on the imaging mode. In addition, whether it is slit rolling readout also differs depending on the imaging mode. Therefore, in the present embodiment, a method is shown in which the acquisition order of at least pixel signals of the opening (signals of pixels other than light-shielded pixels such as light-shielded pixels) is changed according to the photographing mode.
なお、例えば遮光画素のような、開口部以外の画素を各種補正に用いて高画素化する方法が知られている。このような補正に用いるために開口部以外の画素を先に読み出す必要性があれば、開口部の画素信号の取得順序に関係なく、開口部以外の画素を先に読み出してもよい。 In addition, for example, there is known a method of increasing the number of pixels such as light-shielded pixels by using pixels other than the opening for various corrections. If it is necessary to first read out the pixels other than the opening for use in such correction, the pixels other than the opening may be read out first regardless of the order of obtaining the pixel signals of the openings.
図９に、本実施形態における撮像素子１０６の構成を示す。図９に示す構成は、図２（ｂ）に示した第１の実施形態の構成とは、画像取得方法設定部９００を有する点のみが異なる。画像取得方法設定部９００は、設定された撮影モードに応じて、垂直走査回路２０６の動作を制御する。より具体的には、以下に説明する通りに画像が取得されるように、垂直走査回路２０６を制御する。
FIG. 9 shows the configuration of the
スリットローリングシャッターによって動画像を取得する場合には、前述のように読み出し順序を変更することができない。この時、画像取得方法設定部９００は垂直走査回路２０６を、読み出し方法設定部２０４の設定に関係なく、配列順に順次読み出すように制御する。こうすることによって、読み出し方法の設定によらず像の上下の時間的関係は保たれ、画像の違和感を抑制することができる。
When acquiring a moving image by the slit rolling shutter, the reading order can not be changed as described above. At this time, the image acquisition
静止画を取得する場合で、かつ図８（ａ）のように相関演算及びレンズ駆動の時間が長い場合、相関演算に使用する画素情報を先行して取得し、全画素の画素情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部９００は垂直走査回路２０６を、以下の手順で読み出しを行うように制御する。
In the case of acquiring a still image, and as shown in FIG. 8A, when the time of correlation operation and lens driving is long, pixel information used for correlation operation is acquired in advance, and acquisition of pixel information of all pixels is performed. I want to start the operation prior to completion. At this time, the image acquisition
まず垂直走査回路制御部２０４に設定されている、第２の読み出し設定２０５ｂによって選択された行を、第２の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図１０（ａ）に示すように相関演算を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
First, the row selected by the second read setting 205 b set in the vertical scanning
静止画を取得する場合で、かつ図８（ｂ）のようにＤＥＦ−ＭＡＰ生成及び処理演算の時間が長い場合、ＤＥＦ−ＭＡＰ生成に使用する画素情報を先行して取得し、全画素の画像情報の取得が完了するのに先立って演算を始めたい。この時、画像取得方法設定部９００は垂直走査回路２０６を、以下の手順で読み出しを行うように制御する。
In the case of acquiring a still image and when the time of DEF-MAP generation and processing operation is long as shown in FIG. 8B, pixel information used for DEF-MAP generation is acquired in advance, and an image of all pixels is obtained. I want to start computing before information acquisition is complete. At this time, the image acquisition
まず垂直走査回路制御部２０４に設定されている、第１の読み出し設定２０５ａによって選択された行を、第２の駆動モードによって最初に取得する。続いて、そのような行の全ての取得が完了してから、それ以外の行を読み出す。こうすることによって、図１０（ｂ）に示すようにＤＥＦ−ＭＡＰ生成を画像の読み出し完了よりも先行して開始することができ、結果としてシステム全体のフレームレートの低下を抑制することができる。
First, the row selected by the first read setting 205 a set in the vertical scanning
以上説明したように、第２の実施形態によれば、画像取得方法設定部９００を設けることにより、設定された撮影モードに応じて少なくとも開口部の画素信号の取得順序を変更することができる。このことにより、システム全体としてフレームレートの低下を抑制することができる。
As described above, according to the second embodiment, by providing the image acquisition
本実施形態では、スリットローリングシャッターによって動画像を取得する方法について説明したが、本発明はこれに限定されるものではない。例えば、グローバル電子シャッター機能を有する撮像素子において動画像を取得することも可能である。その場合、読み出しの時間的順序と画像内の位置的順序を無関係に取得することができる。そのため、動画像取得時であっても、本実施形態で説明したように、時間がかかる計算に用いる情報を先に読み出すことによって、システム全体のフレームレートの低下を抑制することができる。 In the present embodiment, the method of acquiring a moving image by the slit rolling shutter has been described, but the present invention is not limited to this. For example, it is also possible to acquire a moving image in an imaging device having a global electronic shutter function. In that case, the temporal order of readout and the positional order in the image can be obtained independently. Therefore, even at the time of moving image acquisition, as described in the present embodiment, it is possible to suppress the decrease in the frame rate of the entire system by reading out the information used for the time-consuming calculation first.
（第３の実施形態）
第１の実施形態の図７で示したように、第１の領域と第２の領域は重複して設定することができる。この場合、重複した領域は第１の読み出し設定２０５ａによって選択された画素群と、第２の読み出し設定２０５ｂによって選択された画素群の両方で、第２の駆動モードによる読み出しを行う。図７（ｂ）で示した読み出し設定では、第１の読み出し設定２０５ａによって選択された画素群と、第２の読み出し設定２０５ｂによって選択された画素群は重複しないようになっているが、読み出し設定によっては重複する場合がある。
Third Embodiment
As shown in FIG. 7 of the first embodiment, the first area and the second area can be set in an overlapping manner. In this case, readout in the second drive mode is performed in the overlapping region in both the pixel group selected by the first readout setting 205 a and the pixel group selected by the second readout setting 205 b. In the readout setting shown in FIG. 7B, the pixel group selected by the first readout setting 205 a and the pixel group selected by the second readout setting 205 b do not overlap, but the readout setting is performed. Depending on the case, it may overlap.
図１１に、読み出し設定によって選択される画素群が重複した場合の様子を簡易的に示した。図１１は図７（ａ）の第１の領域と第２の領域が重複している領域７０３の第ｎ行目から第ｎ＋１０行目までを抜き出したものである。図中１１００で示された網掛け部は、第１の読み出し設定２０５ａによって選択された行であり、図中１１０１で示された斜線部は、第２の読み出し設定２０５ｂによって選択された行である。第ｎ行目は、第１の読み出し設定２０５ａによって選択されている。第１の読み出し設定２０５ａが、行周期１０行で第２の駆動モードで読み出す行を選択する場合、第ｎ＋１０行目も第１の読み出し設定２０５ａによって選択されることになる。第ｎ＋１行目は、第２の読み出し設定２０５ｂによって選択されている。第２の読み出し設定２０５ｂが、行周期３行で第２の駆動モードで読み出す行を選択する場合、第ｎ＋１０行目も第２の読み出し設定２０５ｂによって選択されることになる。この場合、第ｎ＋１０行目は、第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの両方で選択されることとなる。
FIG. 11 is a simplified view of the case where the pixel groups selected by the readout setting overlap. FIG. 11 shows the nth to n + 10th lines of the
第１の実施形態で説明したような画素信号の読み出しにおいては、ＰＤ２０３ａ，２０３ｂからの読み出しは破壊読み出しである。このような撮像素子において同一画素を複数回読み出した場合、２回目以降は正しくない値を取得することになり、位相差情報を用いた計算に正しくないデータを用いることになってしまう。 In readout of pixel signals as described in the first embodiment, readout from the PDs 203 a and 203 b is destructive readout. When the same pixel is read out a plurality of times in such an imaging element, an incorrect value will be acquired after the second time, and incorrect data will be used for calculation using phase difference information.
そこで、本実施形態のように、第１の読み出し設定２０５ａと、第２の読み出し設定２０５ｂの両方で同一の画素群を選択した場合は、読み出しは一度だけ行う。そして、重複して選択された画素群（本実施形態では第ｎ＋１０行目に属する画素）は、第１の読み出し設定２０５ａによって選択された画素情報を用いた演算と、第２の読み出し設定２０５ｂによって選択された画素情報を用いた演算の両方に共通に用いるようにする。 Therefore, as in the present embodiment, when the same pixel group is selected in both the first readout setting 205a and the second readout setting 205b, readout is performed only once. Then, the pixel group selected in duplicate (in the present embodiment, the pixel belonging to the n + 10th row) is subjected to the calculation using the pixel information selected by the first readout setting 205a and the second readout setting 205b. It is used commonly for both of the operations using the selected pixel information.
以上説明したように、第３の実施形態によれば、複数の読み出し設定において第２の駆動モードで取得する画素を重複して選択した場合においても、異常な出力を計算に用いないように動作させることが可能となる。 As described above, according to the third embodiment, even when pixels acquired in the second drive mode are selected in duplicate in a plurality of readout settings, an operation is performed so as not to use an abnormal output for calculation. It is possible to
（第４の実施形態）
一般に第１の駆動モード（位相差を検出できないモード）のＮ信号からＳ信号（Ａ＋Ｂ信号）までの時間間隔よりも、第２の駆動モード（位相差を検出できるモード）のＮ信号からＳ信号（Ａ＋Ｂ信号）までの時間間隔は長い。そのため動作周波数が低下し、例えば１／ｆノイズが増加したり、Ｎ信号のＡＤ変換からＳ信号のＡＤ変換の間に起こる電源の揺らぎによって一様な画素レベル変化が起きたり、というような現象が生じることがある。それにより、第１の駆動モードで読み出された画素信号と、第２の駆動モードで読み出された画素信号で、画質の差が生じることがある。この場合、１フレームの画素信号の取得で第１の駆動モードと第２の駆動モードを混在させると、画面内に駆動モードの違いによる行毎の画像の差が生じることになり、１フレーム全体の画質が低下する。そのような場合、例えば第１の駆動モードによって読み出された画素情報を用いて、第２の駆動モードによって読み出された画素情報を補正する方法がある。
Fourth Embodiment
Generally, the N signal to the S signal in the second drive mode (the mode in which the phase difference can be detected) than the time interval from the N signal in the first drive mode (the mode in which the phase difference can not be detected) to the S signal (A + B signal) The time interval to (A + B signal) is long. As a result, the operating frequency decreases, and for example, 1 / f noise increases, or fluctuations in the power supply that occur between AD conversion of the N signal and AD conversion of the S signal cause uniform pixel level changes, etc. May occur. As a result, a difference in image quality may occur between the pixel signal read in the first drive mode and the pixel signal read in the second drive mode. In this case, when the first drive mode and the second drive mode are mixed in acquiring the pixel signal of one frame, the difference in the image for each row due to the difference of the drive mode occurs in the screen, and the entire one frame is generated. Image quality of In such a case, there is a method of correcting pixel information read out in the second drive mode, for example, using pixel information read out in the first drive mode.
この補正の例として、図１２（ａ）に示したような３×３のフィルタを考える。このような補正は、例えばＤＳＰ１０７で行われる。図１２（ａ）は画素アレイ２００の一部を抜き出したものである。図中ドットを付された単位画素２０１である画素１２００は補正対象画素であり、この補正対象画素１２００に対して周囲の３×３の同色の画素を補正使用画素１２０１として、フィルタ処理を施す。この時、補正対象画素１２００は第２の駆動モードで読みだされているとすると、補正後の画質は第１の駆動モードによって読み出された画素に近づくことが期待される。そのため補正使用画素１２０１は第１の駆動モードによって読み出された画素情報を使用することが望ましい。
As an example of this correction, consider a 3 × 3 filter as shown in FIG. Such correction is performed by, for example, the
図１２（ｂ）に、補正対象画素１２００の補正に、第１の駆動モードによって読み出された画素を使用できない例を示した。第ｎ＋２行目の画素を補正する場合を考える。３×３のフィルタ処理を考えると、補正使用画素１１０１は第ｎ行と第ｎ＋４行である。しかし図１２（ｂ）の例では、第ｎ行と第ｎ＋４行も第２の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行ったとしても、補正後の画質を第１の駆動モードに近づけることができない。
FIG. 12B shows an example in which the pixel read out in the first drive mode can not be used for the correction of the
図１２（ｃ）に、補正対象画素１２００の補正に、第１の駆動モードによって読み出された画素を使用できる例を示した。第ｎ＋３行目の画素を補正する場合を考える。３×３のフィルタ処理を考えると、補正使用画素１２０１は第ｎ＋１行と第ｎ＋５行である。図１２（ｃ）の例では、第ｎ行と第ｎ＋５行のどちらも第１の駆動モードで読みだされる設定となっている。この場合、画素情報の補正を行うことによって、補正後の画質を第１の駆動モードに近づけることができる。
FIG. 12C shows an example in which the pixel read out in the first drive mode can be used to correct the
画素補正の目的は、第２の駆動モードで読み出された画素の画質を、第１の駆動モードで読み出された画素の画質に近づけることであるため、図１２（ｂ）のような読み出し方は画素補正の目的を果たせない。そのため、画素補正を行う場合は、図１２（ｃ）のように画素補正に使用する画素の少なくとも一部を、第１の駆動モードによって読み出すように垂直走査回路制御部２０４を設定する。
The purpose of the pixel correction is to bring the image quality of the pixel read out in the second drive mode closer to the image quality of the pixel read out in the first drive mode. One can not fulfill the purpose of pixel correction. Therefore, when performing the pixel correction, the vertical scanning
以上説明したように第４の実施形態によれば、第２の駆動モードによって読み出されたある画素の補正に用いられる画素の、少なくとも一部を第１の駆動モードによって読み出すように動作させることが可能となる。このことによって、第２の駆動モードによって読み出された画素に対して補正を行って、第１の駆動モードによって読み出された画素の画質に近づけることができるようになる。 As described above, according to the fourth embodiment, at least a part of pixels used for correction of a certain pixel read out in the second drive mode is operated to be read out in the first drive mode. Is possible. As a result, correction can be performed on the pixels read out in the second drive mode, and the image quality of the pixels read out in the first drive mode can be approached.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 As mentioned above, although the preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
１００：第１レンズ、１０１：絞り、１０２：第２レンズ、１０３：第３レンズ、１０４：フォーカルプレーンシャッタ、１０６：撮像素子、１０８：ＲＡＭ、１０９：ＣＰＵ、１１０：表示部、１１１：操作部、１１２：記録媒体、１１３：ＲＯＭ 100: first lens, 101: aperture, 102: second lens, 103: third lens, 104: focal plane shutter, 106: imaging device, 108: RAM, 109: CPU, 110: display unit, 111: operation unit , 112: recording medium, 113: ROM
Claims (18)
前記画素領域を複数の分割領域に分割する分割手段と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定手段と、を備え、
前記設定手段は、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする撮像装置。 An image pickup device having a pixel area in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the single microlens are arranged in a matrix;
Division means for dividing the pixel area into a plurality of divided areas;
For each pixel of the plurality of divided regions, the signals of the plurality of photoelectric conversion units are grouped into a first number, and a signal is read out in a first mode as a first pixel or the plurality of pixels And setting means for setting whether or not to be a second pixel from which the signal is read out in a second mode in which the photoelectric conversion units in the group are divided into a second number larger than the first number and the signal is read out.
The imaging device, wherein the setting unit makes the ratio of the number of the second pixels to the number of the first pixels different for each of the plurality of divided regions.
前記画素領域を複数の分割領域に分割する分割工程と、
前記複数の分割領域のそれぞれの画素について、前記複数の光電変換部の信号を第１の数にグループ分けして信号を読み出す第１のモードで信号を読み出す第１の画素とするか、前記複数の光電変換部を前記第１の数よりも多い第２の数にグループ分けして信号を読み出す第２のモードで信号を読み出す第２の画素とするかを設定する設定工程と、を有し、
前記設定工程では、前記複数の分割領域のそれぞれについて、前記第１の画素の数に対する前記第２の画素の数の割合を異ならせることを特徴とする撮像装置の制御方法。 A method of controlling an imaging device including an imaging device having a pixel region in which a plurality of unit pixels having a single microlens and a plurality of photoelectric conversion units disposed corresponding to the one microlens are arranged in a matrix. And
A dividing step of dividing the pixel area into a plurality of divided areas;
For each pixel of the plurality of divided regions, the signals of the plurality of photoelectric conversion units are grouped into a first number, and a signal is read out in a first mode as a first pixel or the plurality of pixels And setting the second pixel to read out the signal in the second mode in which the photoelectric conversion units of the above are divided into the second number larger than the first number and the signal is read out. ,
In the setting step, a control method of an image pickup apparatus, wherein the ratio of the number of the second pixels to the number of the first pixels is made different for each of the plurality of divided areas.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017185314A JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017185314A JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019062386A true JP2019062386A (en) | 2019-04-18 |
| JP6991028B2 JP6991028B2 (en) | 2022-01-12 |
Family
ID=66177727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017185314A Active JP6991028B2 (en) | 2017-09-26 | 2017-09-26 | Imaging device and its control method, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6991028B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015211351A (en) * | 2014-04-25 | 2015-11-24 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| JP2016021052A (en) * | 2014-06-18 | 2016-02-04 | キヤノン株式会社 | Imaging apparatus and control method |
-
2017
- 2017-09-26 JP JP2017185314A patent/JP6991028B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015211351A (en) * | 2014-04-25 | 2015-11-24 | キヤノン株式会社 | Imaging apparatus and control method of the same |
| JP2016021052A (en) * | 2014-06-18 | 2016-02-04 | キヤノン株式会社 | Imaging apparatus and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6991028B2 (en) | 2022-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9832391B2 (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
| JP6609113B2 (en) | Imaging apparatus and control method thereof | |
| CN104683668A (en) | Image capturing apparatus and mobile telephone | |
| JP2019029726A (en) | Imaging apparatus and control method, program thereof, storage medium | |
| US10225494B2 (en) | Image capturing apparatus and control method thereof | |
| US9667878B2 (en) | Image capturing apparatus and control method for image capturing apparatus | |
| US20180220058A1 (en) | Image capture apparatus, control method therefor, and computer-readable medium | |
| JP7277263B2 (en) | Imaging device | |
| JP4637029B2 (en) | Imaging apparatus and control method thereof | |
| JP2016092792A (en) | Imaging apparatus | |
| JP2019103030A (en) | Imaging device, control method thereof, and control program | |
| JP6444254B2 (en) | FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2017103568A (en) | Imaging apparatus, control method for imaging device, and program | |
| JP2019062386A (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP2018019139A (en) | Imaging device and control method of imaging device | |
| US10203206B2 (en) | Image capture apparatus having signal readouts using distance measurement region | |
| JP2018042223A (en) | Imaging apparatus and control method, program thereof, storage medium | |
| JP2020057892A (en) | Imaging device | |
| JP6883082B2 (en) | Imaging device and its control method | |
| US11539903B2 (en) | Imaging apparatus and method of controlling the same and non-transitory computer-readable storage medium | |
| JP6261334B2 (en) | Image processing apparatus, control method thereof, control program, and imaging apparatus | |
| JP6157291B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
| JP2018010213A (en) | Control apparatus, imaging apparatus, control method, program, and storage medium | |
| JP2020141347A (en) | Imaging apparatus | |
| JP7148265B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6991028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |