JP6711886B2 - Imaging device, control method thereof, program, and storage medium - Google Patents
Imaging device, control method thereof, program, and storage medium Download PDFInfo
- Publication number
- JP6711886B2 JP6711886B2 JP2018212464A JP2018212464A JP6711886B2 JP 6711886 B2 JP6711886 B2 JP 6711886B2 JP 2018212464 A JP2018212464 A JP 2018212464A JP 2018212464 A JP2018212464 A JP 2018212464A JP 6711886 B2 JP6711886 B2 JP 6711886B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- output
- signal
- column
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 17
- 238000000034 method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012546 transfer Methods 0.000 description 27
- 210000001747 pupil Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 230000004907 flux Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像装置に関するものである。 The present invention relates to an image pickup device.
近年、デジタルカメラやデジタルビデオカメラには、瞳分割方式の焦点検出が可能な構造の撮像素子が採用されているものがある。たとえば特許文献１では、撮像素子の１つの画素に２つのフォトダイオードが設けられており、各フォトダイオードは１つのマイクロレンズによって撮像レンズの異なる瞳領域を通過した光を受光するように構成されている。したがって、２つのフォトダイオードからの出力信号を比較することで、位相差式の焦点検出が可能となる。また、２つのフォトダイオードからの出力信号を加算することで、撮影画像の信号を得ることができる。
2. Description of the Related Art In recent years, some digital cameras and digital video cameras have adopted an image pickup device having a structure capable of focus detection by a pupil division method. For example, in
特許文献２では、撮像面で位相差検出する場合にＧ画素の信号を水平加算して読み出し、Ｒ，Ｂ画素の信号は水平加算せずに読み出す技術が記載されている。
上記のような２つのフォトダイオードからの出力信号を読み出す方式では、被写体が暗いとノイズ量が多く、焦点検出のための相関演算が正しくできない場合がある。 In the method of reading the output signals from the two photodiodes as described above, when the subject is dark, the noise amount is large, and the correlation calculation for focus detection may not be performed correctly.
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像面で位相差方式の自動焦点調節を行う撮像装置において、画像を記録する場合に、適切な自動焦点調節を可能とすることである。 The present invention has been made in view of the above-described problems, and an object thereof is to provide an appropriate automatic focus adjustment when recording an image in an image pickup apparatus that performs phase difference automatic focus adjustment on an image pickup surface. It is to be.
本発明に係わる撮像装置は、各々が複数の光電変換素子を有する単位画素がマトリクス状に配置された画素部と、該画素部の各列に対応して１本ずつ設けられた複数の列出力線とを備える撮像素子と、各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御手段と、を備え、前記制御手段は、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする。 The image pickup device according to the present invention includes a pixel section in which unit pixels each having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column outputs provided one for each column of the pixel section. An image pickup device including a line, and outputs a signal of a part of the photoelectric conversion elements of each unit pixel to the plurality of column output lines as a focus detection signal, and an image of the signals of all the photoelectric conversion elements of each unit pixel. And a control unit that controls the output signal to be output to the plurality of column output lines as a generation signal. The control unit is arranged in the same column of the pixel unit when a high-resolution moving image is not generated . The focus detection signals of a plurality of unit pixels are simultaneously output to each of the plurality of column output lines, and the image generation signals are simultaneously output from the plurality of unit pixels to generate a high-resolution moving image. In this case, the focus detection signal is not output from each of the plurality of unit pixels, and only the image generation signal is output .
本発明によれば、撮像面で位相差方式の自動焦点調節を行う撮像装置において、画像を記録する場合に、適切な自動焦点調節が可能となる。 According to the present invention, it is possible to perform appropriate automatic focus adjustment when recording an image in an image pickup apparatus that performs phase-difference type automatic focus adjustment on an image pickup surface.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置システムの構成を示すブロック図である。図１において、本実施形態の撮像装置システムは、撮像装置１００と、メモリーカードやハードディスク等の記録媒体２００と、レンズユニット３００とを備えて構成されている。
(First embodiment)
FIG. 1 is a block diagram showing the arrangement of an image pickup apparatus system according to the first embodiment of the present invention. In FIG. 1, the image pickup apparatus system of the present embodiment includes an
ここで、これらのブロックの詳細について説明する。まず撮像装置１００の内部について説明する。シャッター１２は撮像素子１４００に入る光量を制御し、撮像素子１４００は光学像を電気信号に変換する。レンズユニット３００から入射した光は、ミラー１３０，１３１により反射され、光学ファインダ１０４に導かれる。光学ファインダ１０４は、ミラー１３０が撮影レンズの光路上にある場合には、入射光を結像させて、ユーザーがそれを見ることによって撮影する静止画の構図を確認することが可能である。
Here, details of these blocks will be described. First, the inside of the
アナログフロントエンド（以降ＡＦＥ）１７００は、撮像素子１４００から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵する。タイミングジェネレータ（以下ＴＧ）１８００は、撮像素子１４００やＡ／Ｄ変換器にクロック信号や制御信号を供給する。液晶モニター１２００は、ライブビュー（ＬＶ）画像の表示や、撮影した静止画像を表示することが可能である。システム制御回路（以下ＣＰＵ）５０は、画像処理を含む撮像装置１００全体の動作を制御する。
The analog front end (hereinafter AFE) 1700 has an A/D converter that converts an analog signal output from the
シャッタースイッチ６１は２段階になっており、ユーザーが１段目まで浅く押すことを半押しといい、２段目まで深く押すことを全押しという。シャッタースイッチ６１の半押しをＣＰＵ５０が検知して、自動焦点合わせや、撮影前の状態における自動露出機構によるシャッター速度と絞り数値の設定が行われる。全押しでは、シャッター１２が動作し撮影動作が実施される。
The
ライブビュー（ＬＶ）のスタート・ストップスイッチ６２は、ユーザーからスタート指示された場合に連続して動画記録動作を行う。ライブビュー表示中にシャッタースイッチ６１が半押しの状態になった場合は、後述する撮像素子１４００の焦点検出用出力信号を用いてオートフォーカス（ＡＦ）を行う。
The live view (LV) start/
ＩＳＯ感度設定スイッチ６３に対するユーザーの指示に従い、ＣＰＵ５０は撮像装置１００の光の量に対する感度を設定する。電源スイッチ６４に対するユーザーの指示に従い、ＣＰＵ５０は撮像装置１００の電源オン、電源オフの切り替えを行う。また、撮像装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定可能である。
According to the user's instruction to the ISO
揮発性メモリ（以下ＲＡＭ）７０は画像データを一時的に記録するとともに、ＣＰＵ５０のワークメモリとしても機能する。不揮発性メモリ（ＲＯＭ）７１は、ＣＰＵ５０が動作を行う際のプログラムを格納している。画像処理部７２は静止画の補正・圧縮等の処理を行う。オートフォーカス演算部７３はオートフォーカス用に、焦点検出用の信号から後述する撮影レンズ３１０の駆動量を計算する。被写体解析部７４は、被写体の空間周波数を調べる。
A volatile memory (hereinafter referred to as RAM) 70 temporarily records image data and also functions as a work memory for the
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等から構成されている。さらに電池の装着の有無、電池の種類、電池残量の検出を行い、その検出結果及びＣＰＵ５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。コネクタ８２，８４は、電源部８６を撮像装置１００に接続する。電源部８６はアルカリ電池やリチウム電池等の一次電池、Ｌｉイオン電池などの二次電池、ＡＣアダプタ等から成る。
The power
インターフェース９０は、メモリーカードードやハードディスク等の記録媒体とのインターフェースであり、コネクタ９２はメモリーカードやハードディスク等の記録媒体２００との接続を行う。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、撮像装置１００とのインターフェース２０２を有している。
The
レンズユニット３００は、撮影レンズ３１０、絞り３１２、レンズマウント３１６を備える。レンズマウント３１６は、撮像装置１００側のレンズマウント１０６に接続される。レンズ制御部３２０は、レンズユニット３００全体を制御し、コネクタ３２２は、レンズユニット３００を撮像装置１００と電気的に接続する。レンズ制御部３２０は、コネクタ３２２，１２２を介して、撮像装置１００からの信号を受ける。この信号により撮影レンズ３１０の光軸上での位置を変更しフォーカスを制御する。同じようにレンズ制御部３２０は撮像装置１００からの信号を受け、絞り３１２の口径の大きさを制御する。なお、インターフェース１２０は、レンズユニット３００と電気信号で通信するためのインターフェースである。
The
図２は、撮像素子１４００の簡易構成図である。撮像素子１４００の撮像面には、複数の画素２０５が２次元のマトリクス状に配置されている。マトリクス状の画素配列の垂直方向の並びを「列」と呼び、水平方向の並びを「行」と呼ぶ。画素群（画素部）２０８は、列、行のすべての画素を集めたものである。垂直走査回路２０４は、選択行を読みだすための行選択信号と、電荷の読み出しに必要な信号を、各画素の回路に出力する。垂直出力線（列出力線）４１０に出力された信号は各垂直出力線に接続されている列ゲイン２０６、列回路２０７を介して水平走査回路２０３に出力される。水平走査回路２０３は、１行分の信号出力を水平方向に順次出力する。
FIG. 2 is a simplified configuration diagram of the
図３は、撮影レンズの射出瞳から出射した光束が単位画素に入射する概念図である。単位画素２０５（単位画素内）には、第１のフォトダイオード（光電変換素子）３０６Ａおよび第２のフォトダイオード３０６Ｂが設けられている。単位画素２０５の前面には、カラーフィルタ３０５と、マイクロレンズ３０４が配置されている。撮影レンズ３１０は、射出瞳３３０を有する。
FIG. 3 is a conceptual diagram in which the light flux emitted from the exit pupil of the photographing lens is incident on the unit pixel. The unit pixel 205 (within the unit pixel) is provided with a first photodiode (photoelectric conversion element) 306A and a
マイクロレンズ３０４を有する画素に対して、射出瞳３３０から出た光束の中心を光軸３０３とする。射出瞳を通過した光は、光軸３０３を中心として単位画素２０５に入射する。撮影レンズ３１０の射出瞳３３０は、射出瞳の一部の瞳領域３０１，３０２を含む。図３に示すように、瞳領域３０１を通過する光束はマイクロレンズ３０４を通して、フォトダイオード３０６Ａで受光され、瞳領域３０２を通過する光束はマイクロレンズ３０４を通して、フォトダイオード３０６Ｂで受光される。したがって、フォトダイオード３０６Ａと３０６Ｂは、それぞれ撮影レンズの射出瞳の別々の領域の光を受光している。したがって、フォトダイオード３０６Ａと３０６Ｂの信号を比較することで、位相差の検知が可能となる。
For the pixel having the
ここで、フォトダイオード３０６Ａから得られる信号をＡ像信号、フォトダイオード３０６Ｂから得られる信号をＢ像信号と定義する。Ａ像信号とＢ像信号を足し合わせた信号はＡ＋Ｂ像信号とし、このＡ＋Ｂ像信号は撮影画像に用いることができる。
Here, a signal obtained from the
図４に単位画素２０５の等価回路図を示す。転送スイッチ４０５Ａを転送制御信号４０１で制御し、転送スイッチ４０５Ｂを転送制御信号４０２で制御することにより、フォトダイオード３０６Ａ，３０６Ｂで発生および蓄積された電荷をフローティングディフュージョン部（以後ＦＤ）４０７に転送する。ソースフォロアアンプ４０８は、ＦＤ４０７に蓄積された電荷に基づく電圧信号を増幅して、画素信号として出力する。行選択制御信号４０４で行選択スイッチ４０９を制御することにより、ソースフォロアアンプ４０８の出力を垂直出力線４１０へ接続する。
FIG. 4 shows an equivalent circuit diagram of the
ＦＤ４０７に蓄積されている不要電荷をリセットする場合には、リセット制御信号４０３によりリセットスイッチ４０６を制御する。さらに、フォトダイオード３０６Ａ，３０６Ｂをリセットする場合には、リセットスイッチ４０６と共に、転送スイッチ４０５Ａを転送制御信号４０１で制御し、転送スイッチ４０５Ｂを転送制御信号４０２で制御して、リセットを実行する。転送制御信号４０１，４０２、リセット制御信号４０３、行選択制御信号４０４の各々は、ＣＰＵ５０がＴＧ１８００を介して垂直走査回路２０４を制御することにより、画素群２０８の各行に供給される。
When resetting the unnecessary charges accumulated in the
焦点検出用の相関演算にはＡ像信号とＢ像信号がそれぞれ必要であるが、Ａ像信号、Ｂ像信号を別々に読み出してもよい。ただし、本実施形態においてはＡ像信号とＡ＋Ｂ像信号を読み出し、後段のＣＰＵ５０とオートフォーカス演算部７３における演算でＢ像信号を作成する例について説明する。なお、この演算結果を基にレンズ制御部３２０を制御してフォーカスを行う。
Although the A image signal and the B image signal are required for the correlation calculation for focus detection, the A image signal and the B image signal may be read separately. However, in the present embodiment, an example will be described in which the A image signal and the A+B image signal are read out and the B image signal is created by calculation in the
図５は、垂直走査回路２０４が垂直の所定画素の出力信号を混合するときの動作を示している。図５（ａ）は混合なしの場合の動作を示す。ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して行選択制御信号４０４を制御して選択スイッチ４０９＿１がオンされ、単位画素２０５＿１を含む行の信号が垂直出力線４１０を通して列回路に送られる。図５（ｂ），図５（ｃ）は３画素混合の様子を示している。ベイヤー配列での混合の場合は、１行ごとにカラーフィルタの色が変わるので、１行ずつ開けて混合する画素が選択される。
FIG. 5 shows the operation when the
たとえば図５（ｂ）では、画素２０５＿１、２０５＿３、２０５＿５はＲ（赤色）の画素であり、Ｒの信号が混合される。ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して行選択制御信号４０４を制御し、画素２０５＿１、２０５＿３、２０５＿５のそれぞれにつながる選択スイッチ４０９＿１、４０９＿３、４０９＿５を同時にオンして垂直出力線４１０に接続する。この動作により、Ｒの３画素の出力が混合された信号が列回路４１０に転送される。
For example, in FIG. 5B, the pixels 205_1, 205_3, and 205_5 are R (red) pixels, and the R signals are mixed. The
同じように図５（ｃ）では、画素２０５＿４、２０５＿６、２０５＿８はＧ（緑色）の画素であり、ＣＰＵ５０が垂直走査回路２０４を介して行選択制御信号４０４を制御し、それぞれにつながる選択スイッチ４０９＿４、４０９＿６、４０９＿８を同時にオンして垂直出力線４１０に接続する。この動作により、Ｇの３画素の出力が混合された信号が列回路４１０に転送される。
Similarly, in FIG. 5C, the pixels 205_4, 205_6, and 205_8 are G (green) pixels, the
上記の例のように、混合行の重心が最初のＲが３行目、次のＧが６行目、次のＲが９行目、次のＧが１２行目というように、重心が３行おきになるように混合する画素を選択する。図５の例では、垂直出力線４１０からデータを転送する際に混合しているが、各行のＦＤ４０７を接続する混合スイッチがあり、それを必要な部分で接続することで垂直画素混合を実現してもよい。
As in the above example, the center of gravity of a mixed row is 3 for the first R, 6 for the next G, 9 for the next R, 12 for the next G, and so on. Select the pixels to be mixed in every other row. In the example of FIG. 5, the data is mixed when the data is transferred from the
図６は、Ａ像信号とＡ＋Ｂ像信号がそれぞれ垂直方向（列方向）において混合される例を示している。図４も参照すると、図６（ａ）では、ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して転送制御信号４０１を制御して各画素の転送スイッチ４０５Ａをオンし、フォトダイオード３０６Ａの蓄積電荷をＦＤ４０７に転送する。それぞれＦＤ４０７にＡ像の電荷が転送された状態で、ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して行選択制御信号４０４を制御し、Ｒ行の３行の選択スイッチ４０９＿１，４０９＿３，４０９＿５を同時にオンし、３画素の出力が混合された信号が列回路４１０に転送される。同じように、選択スイッチ４０９＿４，４０９＿６，４０９＿８を同時にオンして、Ｇの３画素の出力が混合された信号が列回路４１０に転送される。
FIG. 6 shows an example in which the A image signal and the A+B image signal are mixed in the vertical direction (column direction). Referring also to FIG. 4, in FIG. 6A, the
図６（ｂ）では、ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して転送制御信号４０１を制御して各画素の転送スイッチ４０５Ｂをオンし、フォトダイオード３０６Ｂの蓄積電荷を、もともとＡ像の電荷が入っているＦＤ４０７に加えてＡ＋Ｂ像の電荷を取得する。それぞれＦＤ４０７にＡ＋Ｂ像の電荷が転送された状態で、ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して行選択制御信号４０４を制御し、Ｒ行の３行の選択スイッチ４０９＿１，４０９＿３，４０９＿５を同時にオンし、Ｒの３画素の出力が混合された信号が列回路４１０に転送される。同じように、Ｇ行の３行の選択スイッチ４０９＿４，４０９＿６，４０９＿８を同時にオンして、Ｇの３画素の出力が混合された信号が列回路４１０に転送される。上記のようにＡ像出力とＡ＋Ｂ像出力の垂直混合信号を順次読み出すように、行選択を行っていく。
In FIG. 6B, the
図７は、第１の実施形態における動作のタイミングチャートである。図７では、ＣＰＵ５０がＴＧ１８００および垂直走査回路２０４を介して撮像素子１４００の各行の単位画素２０５のリセットスイッチ４０６、転送スイッチ４０５Ａ，４０５Ｂ、行選択スイッチ４０９のそれぞれに各制御信号を供給するタイミングを示している。
FIG. 7 is a timing chart of the operation in the first embodiment. In FIG. 7, the timing at which the
まず、タイミングＴ７００では、リセットスイッチ４０６＿１，４０６＿３，４０６＿５をオンして各行のＦＤ４０７をリセットする。なお、ここではリセット信号がＬＯＷでスイッチがオンするタイプを記載しているが、ＨＩＧＨでオンするタイプでもかまわない。
First, at timing T700, the reset switches 406_1, 406_3, and 406_5 are turned on to reset the
タイミングＴ７０１では、行選択スイッチ４０９＿１，４０９＿３，４０９＿５を同時にオンしてＦＤ４０７のリセット後のリセット信号を読み出す。タイミングＴ７０２では、転送スイッチ４０５Ａ＿１，４０５Ａ＿３，４０５Ａ＿５を同時にオンしてＡ像の電荷をＦＤ４０７にそれぞれ転送する。行選択スイッチ４０９＿１，４０９＿３，４０９＿５はオンされたままなので、３画素のＡ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ像の信号からリセット信号を減算することにより相関２重サンプリング（以下ＣＤＳ）を行い、撮像素子１４００から出力される。
At timing T701, the row selection switches 409_1, 409_3, and 409_5 are simultaneously turned on to read the reset signal after resetting the
タイミングＴ７０３では、転送スイッチ４０５Ａ＿１，４０５Ａ＿３，４０５Ａ＿５と４０５Ｂ＿１，４０５Ｂ＿３，４０５Ｂ＿５を同時にオンしてＢ像の電荷を１，３，５行目のＦＤ４０７にそれぞれ転送することで、Ａ＋Ｂ像の電荷を取得する。行選択スイッチ４０９＿１，４０９＿３，４０９＿５はオンされたままなので、３画素のＡ＋Ｂ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ＋Ｂ像の信号からリセット信号を減算することによりＣＤＳを行い、撮像素子１４００から出力される。出力後、行選択スイッチ４０９＿１，４０９＿３，４０９＿５をオフする。
At timing T703, the transfer switches 405A_1, 405A_3, 405A_5 and 405B_1, 405B_3, 405B_5 are simultaneously turned on to transfer the charges of the B image to the
タイミングＴ７０４では、リセットスイッチ４０６＿４，４０６＿６，４０６＿８をオンして各行のＦＤ４０７をリセットする。タイミングＴ７０５では、行選択スイッチ４０９＿４，４０９＿６，４０９＿８を同時にオンしてＦＤ４０７のリセット後のリセット信号を読み出す。
At timing T704, the reset switches 406_4, 406_6, and 406_8 are turned on to reset the
タイミングＴ７０６では、転送スイッチ４０５Ａ＿４，４０５Ａ＿６，４０５Ａ＿８を同時にオンしてＡ像の電荷をＦＤ４０７にそれぞれ転送する。行選択スイッチ４０９＿４，４０９＿６，４０９＿８はオンされたままなので、３画素のＡ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ像の信号からリセット信号を減算することによりＣＤＳを行い、撮像素子１４００から出力される。
At timing T706, the transfer switches 405A_4, 405A_6, and 405A_8 are simultaneously turned on to transfer the charges of the A image to the
タイミングＴ７０７では、転送スイッチ４０５Ａ＿４，４０５Ａ＿６，４０５Ａ＿８と４０５Ｂ＿４，４０５Ｂ＿６，４０５Ｂ＿８を同時にオンしてＢ像の電荷を４，６，８行目のＦＤ４０７にそれぞれ転送することで、Ａ＋Ｂ像の電荷を取得する。行選択スイッチ４０９＿４，４０９＿６，４０９＿８はオンされたままなので、３画素のＡ＋Ｂ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ＋Ｂ像の信号からリセット信号を減算することによりＣＤＳを行い、撮像素子１４００から出力される。出力後、行選択スイッチ４０９＿４，４０９＿６，４０９＿８をオフする。
At timing T707, the transfer switches 405A_4, 405A_6, 405A_8 and 405B_4, 405B_6, 405B_8 are simultaneously turned on to transfer the charges of the B image to the
タイミングＴ７０８では、一部図示が省略されているが、リセットスイッチ４０６＿７，４０６＿９，４０６＿１１をオンして各行のＦＤ４０７をリセットする。タイミングＴ７０９では、行選択スイッチ４０９＿７，４０９＿９，４０９＿１１を同時にオンしてＦＤ４０７のリセット後のリセット信号を読み出す。
At timing T708, although not shown in the drawing, the reset switches 406_7, 406_9, and 406_11 are turned on to reset the
タイミングＴ７１０では，一部図示が省略されているが、転送スイッチ４０５Ａ＿７，４０５Ａ＿９，４０５Ａ＿１１を同時にオンしてＡ像の電荷をＦＤ４０７にそれぞれ転送する。行選択スイッチ４０９＿７，４０９＿９，４０９＿１１はオンされたままなので、３画素のＡ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ像の信号からリセット信号を減算することによりＣＤＳを行い、撮像素子１４００から出力される。
At timing T710, although not shown in the drawing, the transfer switches 405A_7, 405A_9, and 405A_11 are simultaneously turned on to transfer the charges of the A image to the
タイミングＴ７１１では、転送スイッチ４０５Ａ＿７，４０５Ａ＿９，４０５Ａ＿１１と４０５Ｂ＿７，４０５Ｂ＿９，４０５Ｂ＿１１を同時にオンしてＢ像の電荷を７，９，１１行目のＦＤ４０７にそれぞれ転送することで、Ａ＋Ｂ像の電荷を取得する。行選択スイッチ４０９＿７，４０９＿９，４０９＿１１はオンされたままなので、３画素のＡ＋Ｂ像出力の混合された信号が列回路に読み出される。そして、読み出されたＡ＋Ｂ像の信号からリセット信号を減算することによりＣＤＳを行い、撮像素子１４００から出力される。
At timing T711, the transfer switches 405A_7, 405A_9, 405A_11 and 405B_7, 405B_9, 405B_11 are simultaneously turned on to transfer the charges of the B image to the
これをＡ像信号用に行数の１／３回分繰り返し、Ａ＋Ｂ像信号用に行数の１／３回分繰り返す。 This is repeated for 1/3 of the number of rows for the A image signal and 1/3 of the number of rows for the A+B image signal.
第１の実施形態のようにＡ像、Ａ＋Ｂ像それぞれの出力を垂直方向に混合した信号を出力すれば、焦点検出の相関演算も垂直方向に混合された画像信号であるため、低ノイズの出力で演算可能である。そのため焦点検出の精度向上が見込まれる。 If a signal obtained by vertically mixing the respective outputs of the A image and the A+B image is output as in the first embodiment, the correlation calculation for focus detection is also an image signal mixed in the vertical direction, so that low noise output is achieved. Can be calculated with. Therefore, the accuracy of focus detection is expected to improve.
（第２の実施形態）
第２の実施形態では、ライブビュー（以下ＬＶ）動作中に垂直方向（列方向）に画素混合するかしないかを、被写体に応じて選択する例について説明する。
(Second embodiment)
In the second embodiment, an example will be described in which whether or not pixels are mixed in the vertical direction (column direction) during live view (hereinafter LV) operation is selected according to the subject.
図８は、被写体の例とそのレベルを列方向に平均化した垂直写像を示している。図８（ａ）は、自然の風景を撮影しているものであり、垂直写像もなだらかに変化している。図８（ｂ）は、建物の中を被写体として撮影したものである。窓にあるブラインドは、非常に細い線となり、一部太陽光の入射があるところとないところがあり、その部分の写像が狭い空間内で大きな変化をしていることが分かる。図８（ｂ）のように空間周波数が高い被写体において、第１の実施形態で示した垂直画素混合を行うと、上記の狭い空間内での大きな変化を適切に信号として取得できず、正しい焦点検出ができなくなる可能性がある。そのため、ＣＰＵ５０が画像の空間周波数を解析し、その解析結果に基づいて垂直画素混合読み出し駆動の設定を切り替える。なお、空間周波数の解析は、離散コサイン変換（ＤＣＴ）などを用いて行う。
FIG. 8 shows an example of the subject and a vertical mapping obtained by averaging the levels of the subject in the column direction. FIG. 8A is a photograph of a natural landscape, and the vertical mapping also changes gently. FIG. 8B is a photograph of the inside of the building as a subject. The blinds on the windows are very thin lines, and there are some places where sunlight is incident and some places where there is no sunlight, and it can be seen that the mapping of those portions changes greatly in a narrow space. When the vertical pixel mixing shown in the first embodiment is performed on an object having a high spatial frequency as shown in FIG. 8B, the large change in the narrow space cannot be properly acquired as a signal, and the correct focus is obtained. It may not be detected. Therefore, the
図９は、被写体によって垂直画素混合読み出し駆動を実行するかしないかを切り替える制御のフローチャートを示している。ＬＶ動作における撮像面ＡＦの読み出しを開始したら、まず垂直非混合で読み出しをする（Ｓ９００）。その後、被写体解析部７４で被写体の空間周波数を検出する（Ｓ９０１）。被写体の空間周波数が所定以上の場合は（Ｓ９０２：Ｙｅｓ）そのままＬＶ動作を継続し、所定未満の場合（Ｓ９０２：Ｎｏ）は垂直画素混合に切り替えて（Ｓ９０３）ＬＶ動作を継続する。なお、ここでの「所定」の定義は垂直画素混合数に基づいたものになる。
FIG. 9 shows a flowchart of control for switching whether to perform vertical pixel mixed read drive depending on the subject. When the reading of the imaging surface AF in the LV operation is started, the reading is first performed in the vertical non-mixing mode (S900). Then, the
また、被写体の輝度によって垂直画素混合読み出し駆動の設定を変更してもよい。例えばレンズの絞り３１２を開放したり、ＩＳＯ感度を上げても露出アンダーになる場合は、常に垂直画素混合読み出し駆動に切り替えてＬＶ動作をさせてもよい。
Further, the setting of the vertical pixel mixed read drive may be changed according to the brightness of the subject. For example, if underexposure occurs even if the
第２の実施形態のように被写体の空間周波数によって垂直画素混合読み出し駆動の切り替え制御を行うことで正確な焦点検出が可能となる。 Accurate focus detection can be performed by performing switching control of vertical pixel mixed readout drive according to the spatial frequency of the subject as in the second embodiment.
（第３の実施形態）
第３の実施形態では動画記録の要求がきたら必ず垂直画素混合読み出し駆動に切り替える例を示す。図１０は、第３の実施形態のフローチャートを示している。ＬＶ動作中にＣＰＵ５０が動画記録要求をしたら、ＬＶ動作が垂直非混合読み出し駆動であるかどうかを確認し（Ｓ１０００）、垂直非混合の場合は垂直画素混合に切り替える（Ｓ１００１）。その後動画撮影を開始する。
(Third Embodiment)
In the third embodiment, an example will be shown in which the vertical pixel mixed read drive is always switched when a request for moving image recording is received. FIG. 10 shows a flowchart of the third embodiment. When the
第３の実施形態のように、動画記録の際は、記録画質を優先するため垂直画素混合読み出し駆動に必ず入るようにしている。このようすれば目的に応じて適切な駆動を実施することができる。 As in the third embodiment, when recording a moving image, the vertical pixel mixed read drive is always entered in order to prioritize the recording image quality. In this way, appropriate driving can be performed according to the purpose.
（第４の実施形態）
第４の実施形態は、撮影モードによって焦点検出信号を垂直画素混合読み出し駆動で読み出すか否かを切り替える例を示す。
(Fourth Embodiment)
The fourth embodiment shows an example of switching whether or not the focus detection signal is read by the vertical pixel mixture read drive depending on the shooting mode.
図１１は、フレーム毎に出力する基準信号（以後ＶＤ）と読み出し時間を示した図である。図１１（ａ）は、焦点検出しない時の読み出し動作を示している。縦軸は撮像素子１４００の行、横軸は時間である。斜めの実線が各行の読み出しタイミングを示している。図１１（ａ）の例では、１つのＶＤ期間内に読み出しが終了している。
FIG. 11 is a diagram showing a reference signal (hereinafter, VD) output for each frame and a read time. FIG. 11A shows the read operation when focus detection is not performed. The vertical axis represents rows of the
図１１（ｂ）は、焦点検出信号を垂直画素混合で読み出した時の読み出し動作を示している。第１の実施形態でも記載したように、Ａ像とＡ＋Ｂ像それぞれを出力する必要があるため、読み出し時間が長くなる。この例だと１つのＶＤ期間内に全行の読み出しが完了できなくなり、適切な出力ができなくなってしまう。 FIG. 11B shows a read operation when the focus detection signal is read by vertical pixel mixing. As described in the first embodiment, since it is necessary to output each of the A image and the A+B image, the reading time becomes long. In this example, reading of all rows cannot be completed within one VD period, and appropriate output cannot be performed.
図１１（ｃ）は焦点検出信号を垂直画素混合で読み出した時に適切に出力可能にするために、ＶＤ間隔を広げた状態を示している。図１１（ｃ）のように焦点検出用信号を読んだ場合にはＶＤ間隔を広げる。 FIG. 11C shows a state in which the VD interval is widened so that the focus detection signal can be appropriately output when read by vertical pixel mixing. When the focus detection signal is read as shown in FIG. 11C, the VD interval is widened.
図１２は、第４の実施形態のフローチャートを示す。ＬＶ動作を開始して、ＬＶのモードが高速レートかどうか調べて（Ｓ１２００）、高速レートでない場合は本画像に追加して焦点検出信号を垂直画素混合読み出し駆動で読み出す（Ｓ１２０３）。ＬＶのモードが高速レートである場合には、次に高解像度であるかどうかを調べ（Ｓ１２０１）、高解像度でない場合は同じく本画像に追加して焦点検出信号を垂直画素混合読み出し駆動で読み出す（Ｓ１２０３）。高解像度である場合は本画像のみを読み出す（Ｓ１２０２）。 FIG. 12 shows a flowchart of the fourth embodiment. The LV operation is started, and it is checked whether the LV mode is the high speed rate (S1200). If the LV mode is not the high speed rate, the focus detection signal is added to the main image and read by the vertical pixel mixing read drive (S1203). If the LV mode is the high speed rate, then it is checked whether or not the resolution is next high (S1201), and if it is not the high resolution, the focus detection signal is also added to the main image to be read by the vertical pixel mixture read drive ( S1203). If the resolution is high, only the main image is read (S1202).
第４の実施形態のように、読み出しレートは落とすことができないモードもあるため、モードによって焦点検出用信号を読むか読まないかを切り替える（決定する）ことにより、レートを下げず画像出力可能なモードを選択できる。 As in the fourth embodiment, since there is a mode in which the reading rate cannot be lowered, it is possible to output an image without lowering the rate by switching (determining) whether or not to read the focus detection signal depending on the mode. You can select the mode.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.
１００：撮像装置、２０４：垂直走査回路、２０５：単位画素、１４００：撮像素子 100: imaging device, 204: vertical scanning circuit, 205: unit pixel, 1400: imaging element
Claims (3)
各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御手段と、を備え、
前記制御手段は、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする撮像装置。 An image sensor including a pixel portion in which unit pixels each having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column output lines provided one by one corresponding to each column of the pixel portion,
And outputs to the plurality of column output line signals of a portion of the photoelectric conversion elements of each unit pixel as a focus detection signal, all of the plurality of column signals of the photoelectric conversion elements as an image producing signals of each unit pixel A control means for controlling the output line to output ,
When not generating a high-resolution moving image, the control unit simultaneously outputs the focus detection signals of a plurality of unit pixels arranged in the same column of the pixel unit to each of the plurality of column output lines. When controlling to output the image generation signals from the plurality of unit pixels at the same time and generating a high-resolution moving image, the focus detection signal is not output from each of the plurality of unit pixels. An image pickup apparatus, which is controlled so as to output only an image generation signal .
各単位画素の一部の光電変換素子の信号を焦点検出用信号として前記複数の列出力線に出力するとともに、各単位画素の全ての光電変換素子の信号を画像生成用信号として前記複数の列出力線に出力するように制御する制御工程と、を有し、
前記制御工程では、高解像度の動画を生成しない場合には、前記画素部の同じ列に配置された複数の単位画素の前記焦点検出用信号を前記複数の列出力線の各々に同時に出力するとともに前記複数の単位画素から前記画像生成用信号を同時に出力するように制御し、高解像度の動画を生成する場合には、前記複数の単位画素の各々から前記焦点検出用信号を出力せずに前記画像生成用信号のみを出力するように制御することを特徴とする撮像装置の制御方法。 Imaging device having an image sensor including a pixel portion in which unit pixels having a plurality of photoelectric conversion elements are arranged in a matrix, and a plurality of column output lines provided one by one corresponding to each column of the pixel portion A method of controlling
And outputs to the plurality of column output line signals of a portion of the photoelectric conversion elements of each unit pixel as a focus detection signal, all of the plurality of column signals of the photoelectric conversion elements as an image producing signals of each unit pixel A control step of controlling to output to an output line ,
In the control step, when a high-resolution moving image is not generated , the focus detection signals of a plurality of unit pixels arranged in the same column of the pixel unit are simultaneously output to each of the plurality of column output lines. When controlling to output the image generation signals from the plurality of unit pixels at the same time and generating a high-resolution moving image, the focus detection signal is not output from each of the plurality of unit pixels. A method for controlling an image pickup apparatus, comprising controlling so as to output only an image generation signal .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018212464A JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018212464A JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014163942A Division JP6530593B2 (en) | 2014-08-11 | 2014-08-11 | Imaging device, control method therefor, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019062537A JP2019062537A (en) | 2019-04-18 |
| JP6711886B2 true JP6711886B2 (en) | 2020-06-17 |
Family
ID=66178293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018212464A Expired - Fee Related JP6711886B2 (en) | 2018-11-12 | 2018-11-12 | Imaging device, control method thereof, program, and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6711886B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11298800A (en) * | 1998-04-10 | 1999-10-29 | Nikon Corp | Image-pickup element and image-pickup device using the same |
| JP2002258142A (en) * | 2001-02-28 | 2002-09-11 | Canon Inc | Imaging apparatus |
| JP5739640B2 (en) * | 2010-10-20 | 2015-06-24 | キヤノン株式会社 | Imaging device and imaging apparatus |
| JP5493011B2 (en) * | 2010-11-30 | 2014-05-14 | 富士フイルム株式会社 | Imaging apparatus and focus position detection method thereof |
-
2018
- 2018-11-12 JP JP2018212464A patent/JP6711886B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019062537A (en) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9979874B2 (en) | Image capturing apparatus and pixel scanning method for image generation | |
| JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
| JP6530593B2 (en) | Imaging device, control method therefor, storage medium | |
| US11290648B2 (en) | Image capture apparatus and control method thereof | |
| CN107370939B (en) | Focus detection apparatus, control method thereof, image pickup apparatus, and computer readable medium | |
| US11025884B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
| JP6960755B2 (en) | Imaging device and its control method, program, storage medium | |
| JP7130473B2 (en) | IMAGING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
| EP1734745B1 (en) | Digital camera and contol method thereof | |
| JP6941011B2 (en) | Imaging device and its control method, program, storage medium | |
| JP6711886B2 (en) | Imaging device, control method thereof, program, and storage medium | |
| JP6758964B2 (en) | Control device, image pickup device, control method, program, and storage medium | |
| JP2018148295A (en) | Imaging apparatus and control method thereof | |
| JP5961058B2 (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof | |
| JP2019186792A (en) | Imaging apparatus | |
| JP7157642B2 (en) | IMAGING DEVICE, CONTROL METHOD, AND PROGRAM | |
| JP7329136B2 (en) | Imaging device | |
| JP7005313B2 (en) | Imaging device and its control method, program, storage medium | |
| JP2015080114A (en) | Image-capturing device, control method therefor, program, and recording medium | |
| CN115668970A (en) | Image forming apparatus, image forming method, and program | |
| JP6254780B2 (en) | Focus detection apparatus and method, and imaging apparatus | |
| JP2017092605A (en) | Imaging apparatus and control method | |
| JP2020085920A (en) | Imaging device and control method of the same | |
| JP2006115191A (en) | Image pickup device, shading correction device, and shading correction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190725 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190729 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200528 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6711886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |