JP2018066928A - Solid state image pickup element, control method thereof, and imaging apparatus - Google Patents
Solid state image pickup element, control method thereof, and imaging apparatus Download PDFInfo
- Publication number
- JP2018066928A JP2018066928A JP2016206710A JP2016206710A JP2018066928A JP 2018066928 A JP2018066928 A JP 2018066928A JP 2016206710 A JP2016206710 A JP 2016206710A JP 2016206710 A JP2016206710 A JP 2016206710A JP 2018066928 A JP2018066928 A JP 2018066928A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- phase difference
- signal
- pixel
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、固体撮像素子及びその制御方法並びに撮像装置に関する。 The present invention relates to a solid-state imaging device, a control method thereof, and an imaging apparatus.
デジタルカメラやビデオカメラ等の撮像装置には、被写体のピント（レンズのフォーカス位置）を自動的に合わせるオートフォーカス（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）機能が搭載されている。 An imaging apparatus such as a digital camera or a video camera is equipped with an auto focus (AF) function that automatically adjusts the focus (lens focus position) of a subject.
迅速なオートフォーカスを実現するためには、高いフレームレートで、焦点検出用の信号を読み出す必要がある。しかし、焦点検出用の信号を高いフレームレートで読み出した場合には、固体撮撮像素子の後段に位置する信号処理部へのデータ転送量の増加を招く。そこで、ＡＦ評価値を検出するＡＦ評価値検出部を固体撮像素子の内部に設け、当該ＡＦ評価値検出部によって検出されたＡＦ評価値を外部に出力する固体撮像素子が提案されている（特許文献１参照）。 In order to realize quick autofocus, it is necessary to read out a focus detection signal at a high frame rate. However, when the focus detection signal is read out at a high frame rate, the amount of data transferred to the signal processing unit located at the subsequent stage of the solid-state imaging device is increased. In view of this, there has been proposed a solid-state imaging device in which an AF evaluation value detection unit for detecting an AF evaluation value is provided inside the solid-state imaging device, and the AF evaluation value detected by the AF evaluation value detection unit is output to the outside (patent). Reference 1).
ところで、ＡＦ方式として、位相差検出方式によるＡＦ、即ち、位相差ＡＦと、コントラスト検出方式によるＡＦ、即ち、コントラストＡＦとを組み合わせたハイブリッドＡＦが知られている。ハイブリッドＡＦにおいては、位相差ＡＦによってフォーカスレンズを合焦近傍位置まで移動させ、更に、コントラストＡＦによってフォーカスレンズを合焦位置に移動させる方法が一般的である。これにより、合焦までの時間の短縮と合焦精度の向上とが図られる。しかしながら、特許文献１では、ハイブリッドＡＦ技術について考慮されていないため、撮影条件などによっては、必ずしも迅速且つ高精度なオートフォーカスを実現し得なかった。
By the way, as the AF method, there is known a hybrid AF in which AF by a phase difference detection method, that is, phase difference AF, and AF by a contrast detection method, that is, contrast AF are combined. In the hybrid AF, a method of moving the focus lens to the in-focus position by phase difference AF and further moving the focus lens to the in-focus position by contrast AF is common. This shortens the time until focusing and improves focusing accuracy. However, in
本発明の目的は、ハイブリッドＡＦを用いて、迅速且つ高精度なオートフォーカスを実現し得る固体撮像素子及びその制御方法並びに撮像装置を提供することにある。 An object of the present invention is to provide a solid-state imaging device, a control method therefor, and an imaging apparatus capable of realizing quick and highly accurate autofocus using hybrid AF.
本発明の一観点によれば、複数の画素を含む画素アレイと、位相差検出方式による焦点検出のための位相差評価値を、前記画素からの信号に基づいて算出する第１の算出部と、コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記画素からの信号に基づいて算出する第２の算出部とを有し、前記位相差評価値の算出が前記第１の算出部によって完了した場合には、前記画素アレイによって取得される画像信号の出力の完了の如何にかかわらず、前記位相差評価値を出力し、前記コントラスト評価値の算出が前記第２の算出部によって完了した場合には、前記画素アレイによって取得される前記画像信号の出力の完了の如何にかかわらず、前記コントラスト評価値を出力することを特徴とする固体撮像素子が提供される。 According to an aspect of the present invention, a pixel array including a plurality of pixels, and a first calculation unit that calculates a phase difference evaluation value for focus detection by a phase difference detection method based on a signal from the pixels; A second calculation unit that calculates a contrast evaluation value for focus detection by a contrast detection method based on a signal from the pixel, and the calculation of the phase difference evaluation value is performed by the first calculation unit. When completed, the phase difference evaluation value is output regardless of whether the output of the image signal acquired by the pixel array is completed, and the calculation of the contrast evaluation value is completed by the second calculation unit. In some cases, a solid-state imaging device is provided that outputs the contrast evaluation value regardless of completion of output of the image signal acquired by the pixel array.
本発明によれば、位相差評価値が算出された場合には、画像信号の出力の完了の如何にかかわらず、固体撮像素子から位相差評価値が出力される。また、本発明によれば、コントラスト評価値が算出された場合には、画像信号の出力の完了の如何にかかわらず、固体撮像素子からコントラスト評価値が出力される。本発明によれば、画像信号の出力の完了の如何にかかわらず、位相差評価値やコントラスト評価値が制御部に出力されるため、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。 According to the present invention, when the phase difference evaluation value is calculated, the phase difference evaluation value is output from the solid-state imaging device regardless of whether the output of the image signal is completed. According to the present invention, when the contrast evaluation value is calculated, the contrast evaluation value is output from the solid-state imaging device regardless of whether the output of the image signal is completed. According to the present invention, since the phase difference evaluation value and the contrast evaluation value are output to the control unit regardless of whether the output of the image signal is completed, an imaging apparatus capable of performing autofocus quickly and with high accuracy is provided. be able to.
本発明の実施の形態を、添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。
［第１実施形態］
第１実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１乃至図７を用いて説明する。図１は、本実施形態による撮像装置の構成を示すブロック図である。ここでは、本実施形態による撮像装置１００が、動画像や静止画像を取得し得る電子カメラ、即ち、デジタルカメラである場合を例に説明するが、これに限定されるものではない。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings, but the present invention is not limited to the following embodiments.
[First Embodiment]
A solid-state imaging device, a control method thereof, and an imaging apparatus according to a first embodiment will be described with reference to FIGS. FIG. 1 is a block diagram illustrating the configuration of the imaging apparatus according to the present embodiment. Here, the case where the
図１に示すように、撮像装置１００は、光学鏡筒１０１と、固体撮像素子１０２と、駆動部１０３と、信号処理部１０４と、圧縮伸長部１０５と、制御部１０６と、発光部１０７と、操作部１０８と、画像表示部１０９と、画像記録部１１０とを備えている。
As shown in FIG. 1, the
光学鏡筒（レンズユニット）１０１は、被写体からの光を固体撮像素子１０２に集光するためのレンズ群を備えている。かかるレンズ群には、フォーカスレンズやズームレンズが含まれる。かかるレンズ群と、後述するマイクロレンズＭＬ（図３、図４参照）とが相俟って、撮像光学系を構成する。光学鏡筒１０１は、ＡＦ機構、ズーム駆動機構、メカニカルシャッタ機構、絞り機構等を含む光学機構部１０１１を備えている。光学機構部１０１１は、制御部１０６からの制御信号に基づいて、駆動部（駆動回路）１０３によって駆動される。
The optical barrel (lens unit) 101 includes a lens group for condensing light from a subject onto the solid-
固体撮像素子１０２は、後述する画素２０１と、Ａ／Ｄコンバータ（図示せず）とを含んでいる。固体撮像素子１０２は、例えば、ＸＹ読み出し方式のＣＭＯＳ型イメージセンサである。固体撮像素子１０２は、制御部１０６からの制御信号に基づいて、駆動部１０３によって駆動される。固体撮像素子１０２は、露光・蓄積、信号読み出し、リセット等の撮像動作を行い、撮像動作によって取得される信号、即ち、撮像信号（以下、「画像信号」、「画像データ」ともいう）を出力する。固体撮像素子１０２は、ＡＦ評価値算出部１０２１を備えている。ＡＦ評価値算出部１０２１は、固体撮像素子１０２によって取得される信号に基づいて、ＡＦ評価値、即ち、位相差評価値及びコントラスト評価値を算出し、算出したＡＦ評価値を制御部１０６に出力する。
The solid-
信号処理部１０４は、制御部１０６の制御下で、固体撮像素子１０２によって取得される画像信号に対して、ホワイトバランス調整処理、色補正処理、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理等の所定の信号処理を施す。
The
圧縮伸長部１０５は、制御部１０６の制御下で動作する。圧縮伸長部１０５は、信号処理部１０４から送られてくる画像信号に対して圧縮符号化処理を行うことにより、符号化画像データを生成する。圧縮符号化処理においては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等の所定の静止画像データフォーマットが用いられる。また、圧縮伸長部１０５は、制御部１０６から送られてくる符号化画像データに対して伸長復号化処理を行うことにより、復号化画像データを得る。なお、圧縮伸長部１０５は、動画像データに対して圧縮符号化処理や伸長復号化処理を行うこともできる。動画像データに対する圧縮符号化処理や伸長復号化処理においては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式等が用いられる。
The compression / decompression unit 105 operates under the control of the
制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を備える。ＣＰＵがＲＯＭ等に記憶されたプログラムを実行することによって、撮像装置１００全体が制御部１０６によって統括的に制御される。
The
信号処理部１０４によって行われるＡＥ処理において被写体の露光値が低いと判断された場合には、制御部１０６は、発光部１０７を制御することによって被写体に対して光を発し、被写体に対する照明を行う。発光部１０７としては、例えば、キセノン管を用いたストロボ装置やＬＥＤ発光装置等が用いられる。
When it is determined in the AE process performed by the
操作部１０８は、例えば、シャッタレリーズボタン等の各種操作キー、レバー、ダイヤル、タッチパネル等であり、ユーザによる操作入力に応じた操作信号を制御部１０６に与える。
The
画像表示部１０９は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示デバイス（図示せず）と、当該表示デバイスに対するインタフェース（図示せず）とを備えている。画像表示部１０９は、制御部１０６から送られる画像データに応じた画像を、表示デバイスの表示画面に表示する。
The
画像記録部１１０としては、例えば、可搬型の半導体メモリ、光ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、磁気テープ等の記録媒体が用いられる。画像記録部１１０には、圧縮伸長部１０５によって圧縮符号化処理が施された符号化画像データが画像ファイルとして記録される。画像記録部１１０は、制御部１０６によって指定された画像ファイルを記録媒体から読み出し、当該画像ファイルを制御部１０６に出力する。制御部１０６は、画像記録部１１０から読み出された符号化画像データの伸長符号化処理を圧縮伸長部１０５によって行わせることにより、復号化画像データを得る。
As the
次に、本実施形態による撮像装置１００の基本的な動作について説明する。例えば、静止画像を撮影する際には、静止画像の撮像前において、固体撮像素子１０２が以下のように動作する。即ち、固体撮像素子１０２は、後述する画素２０１から出力される画像信号に対してＣＤＳ処理とＡＧＣ処理とを順次実施し、これらの処理が施された画像信号をＡ／Ｄコンバータを用いてデジタル画像信号に変換する。ＣＤＳは、Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）の略である。ＡＧＣは、Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ（自動利得制御）の略である。こうして得られたデジタル画像信号は、ＡＦ評価値算出部１０２１や信号処理部１０４に送られる。
Next, the basic operation of the
ＡＦ評価値算出部１０２１は、固体撮像素子１０２によって取得される画像信号から位相差情報やコントラスト情報等のＡＦ評価値を算出し、算出したＡＦ評価値を制御部１０６に出力する。制御部１０６は、ＡＦ評価値に基づいて、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定し、決定したフィードバック制御量を駆動部１０３に出力する。駆動部１０３は、制御部１０６から与えられるフィードバック制御量に基づいて、光学機構部１０１１に備えられたＡＦ機構を用いてフォーカスレンズを駆動する。
The AF evaluation
信号処理部１０４は、固体撮像素子１０２から出力されるデジタル画像信号に対して、例えば画質補正処理を施すことにより、カメラスルー画像信号、即ち、ライブビュー画像信号を生成する。信号処理部１０４は、生成したライブビュー画像信号を、制御部１０６を介して画像表示部１０９に送信する。画像表示部１０９には、ライブビュー画像信号に応じたライブビュー画像が表示される。ユーザは、画像表示部１０９に表示されたライブビュー画像を目視しつつ、画角合わせ（フレーミング）等を行うことができる。
The
ライブビュー画像が画像表示部１０９に表示されている状態で、操作部１０８に備えられたシャッタレリーズボタンがユーザによって押下されると、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して固体撮像素子１０２を制御することにより、１フレーム分の撮像信号、即ち、１フレーム分のデジタル画像信号を、固体撮像素子１０２から信号処理部１０４に送信させる。信号処理部１０４は、固体撮像素子１０２から送信された１フレーム分のデジタル画像信号に対して例えば画質補正処理を施し、画質補正処理後のデジタル画像信号、即ち、画像データを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、画像データに対して圧縮符号化の処理を施すことにより、符号化画像データを得る。圧縮伸長部１０５によって得られた符号化画像データは、制御部１０６を介して画像記録部１１０に送信される。こうして、固体撮像素子１０２を用いて取得された静止画像の画像ファイルが、画像記録部１１０に記録される。
When the shutter release button provided in the
画像記録部１１０に記録された静止画像の画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８を介してユーザによって選択された画像ファイルを、画像記録部１１０から読み出す。そして、制御部１０６は、画像記録部１１０から読み出した画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、当該画像ファイルに対して伸長復号化の処理を施すことにより、復号化画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化画像データを、画像表示部１０９に送信する。画像表示部１０９は、復号化画像データに応じた静止画像を表示する。
When playing back an image file of a still image recorded in the
制御部１０６は、動画像データを記録する際には、以下のような処理を行う。即ち、制御部１０６は、駆動部１０３を介して固体撮像素子１０２を制御することによって、固体撮像素子１０２から順次出力されるデジタル画像信号を信号処理部１０４に順次入力させる。信号処理部１０４は、順次入力されるデジタル画像信号に対して所定の画像処理を順次行うことにより、画像データ、即ち、動画像データを生成する。圧縮伸長部１０５は、動画像データに対して圧縮符号化の処理を施すことにより、符号化動画像データを得る。圧縮伸長部１０５によって得られる符号化動画像データは、制御部１０６を介して画像記録部１１０に順次転送され、動画像ファイルとして画像記録部１１０に記録される。
The
画像記録部１１０に記録された動画像ファイルを再生する際には、制御部１０６は、以下のような処理を行う。即ち、制御部１０６は、操作部１０８を介してユーザによって選択された動画像ファイルを、画像記録部１１０から読み出す。制御部１０６は、画像記録部１１０から読み出した動画像ファイルを圧縮伸長部１０５に送信する。圧縮伸長部１０５は、動画像ファイルに対して伸長復号化の処理を施すことにより、復号化動画像データを得る。制御部１０６は、圧縮伸長部１０５によって得られた復号化動画像データを画像表示部１０９に送信する。画像表示部１０９は、復号化動画像データに応じた動画像を表示する。
When playing back a moving image file recorded in the
図２（ａ）は、本実施形態による撮像装置に備えられた固体撮像素子の構造を示す斜視図である。図２（ａ）に示すように、本実施形態による固体撮像素子１０２は、第１の半導体チップ２０と第２の半導体チップ２１とを有しており、第２の半導体チップ２１上に第１の半導体チップ２０が積層された積層型イメージセンサである。第１の半導体チップ２０は、複数の画素（画素部）２０１が２次元マトリクス状、即ち、行列状に配列された画素アレイ２０６を有しており、第１の半導体チップ２０は、第２の半導体チップ２１に対して光入射側に配置されている。即ち、第１の半導体チップ２０は、第２の半導体チップ２１に対して、光学像の受光側に位置している。第２の半導体チップ２１には、後述する列走査回路２１３ａ、２１３ｂと、行走査回路２１２とを含む画素駆動回路（読み出し回路、読み出し部）が形成されている。また、第２の半導体チップ２１には、ＡＦ評価値算出部１０２１も形成されている。
FIG. 2A is a perspective view showing the structure of the solid-state imaging device provided in the imaging apparatus according to the present embodiment. As shown in FIG. 2A, the solid-
本実施形態では、画素２０１が形成される第１の半導体チップ２０と周辺回路が形成される第２の半導体チップ２１とが別個になっているため、画素２０１の製造プロセスと周辺回路の製造プロセスとが分離されている。このため、本実施形態においては、配線の細線化や高密度化等が周辺回路等において実現され、固体撮像素子１０２の高速化、小型化、高機能化等が実現される。
In the present embodiment, since the
図２（ｂ）及び図２（ｃ）は、本実施形態による固体撮像素子を示す回路図である。図２（ｃ）は、画素２０１の構成を示す回路図である。図２（ｂ）に示すように、第１の半導体チップ２０には、２次元マトリクス状に配列された複数の画素２０１が形成されている。画素２０１は、水平方向において、転送信号線２０３、リセット信号線２０４、行選択信号線２０５にそれぞれ接続されており、垂直方向において、列信号線２０２ａ又は列信号線２０２ｂにそれぞれ接続されている。なお、列信号線２０２ａ、２０２ｂの接続先の画素２０１は、読み出し行によって異なっている。即ち、後述する焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢ（図４（ａ）参照）が含まれている行、即ち、ＡＦ行に位置する画素２０１は、列信号線２０２ｂに接続されている。一方、焦点検出用の画素２０１ＳＨＡ，２０１ＳＨＢが含まれていない行、即ち、通常行に位置する画素２０１は、列信号線２０２ａに接続されている。
2B and 2C are circuit diagrams showing the solid-state imaging device according to the present embodiment. FIG. 2C is a circuit diagram illustrating a configuration of the
図２（ｃ）に示すように、画素２０１は、光電変換素子であるフォトダイオードＰＤと、転送トランジスタＭ１と、リセットトランジスタＭ２と、増幅トランジスタＭ３と、選択トランジスタＭ４と、フローティングディフュージョンＦＤとを有している。トランジスタＭ１〜Ｍ４としては、例えば、ｎチャネル型のＭＯＳＦＥＴ（ＭＯＳ Ｆｉｅｌｄ−Ｅｆｆｅｃｔ Ｔｒａｎｓｉｓｔｏｒ）が用いられている。
As shown in FIG. 2C, the
転送トランジスタＭ１のゲートには、転送信号線２０３が接続されている。リセットトランジスタＭ２のゲートには、リセット信号線２０４が接続されている。選択トランジスタＭ４のゲートには、行選択信号線２０５が接続されている。これらの信号線２０３〜２０５は水平方向に延在しており、同一行に位置する画素２０１が同時に駆動される。これによって、ライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を実現することができる。更に、選択トランジスタＭ４のソースには、列信号線２０２ａ又は列信号線２０２ｂが接続されている。
A
フォトダイオードＰＤは、光電変換によって電荷を生成する。フォトダイオードＰＤのアノード側は接地されており、フォトダイオードＰＤのカソード側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮ状態になると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送される。フローティングディフュージョンＦＤには寄生容量が存在するため、フローティングディフュージョンＦＤにはフォトダイオードＰＤから転送された電荷が蓄積される。 The photodiode PD generates charges by photoelectric conversion. The anode side of the photodiode PD is grounded, and the cathode side of the photodiode PD is connected to the source of the transfer transistor M1. When the transfer transistor M1 is turned on, the charge of the photodiode PD is transferred to the floating diffusion FD. Since there is a parasitic capacitance in the floating diffusion FD, charges transferred from the photodiode PD are accumulated in the floating diffusion FD.
増幅トランジスタＭ３のドレインには電源電圧Ｖｄｄが印加され、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されている。増幅トランジスタＭ３のゲートの電位は、フローティングディフュージョンＦＤに蓄積された電荷に応じた電位となる。選択トランジスタＭ４は、信号が読み出される画素２０１を選択するためのものであり、選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続されている。また、選択トランジスタＭ４のソースは、列信号線２０２ａ又は列信号線２０２ｂに接続されている。選択トランジスタＭ４がＯＮ状態になると、増幅トランジスタＭ３のゲートの電位に応じた出力信号が、列信号線２０２ａ又は列信号線２０２ｂに出力される。リセットトランジスタＭ２のドレインには電源電圧Ｖｄｄが印加され、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２がＯＮ状態になることによって、フローティングディフュージョンＦＤの電位は電源電圧Ｖｄｄにリセットされる。
The power supply voltage Vdd is applied to the drain of the amplification transistor M3, and the gate of the amplification transistor M3 is connected to the floating diffusion FD. The potential of the gate of the amplification transistor M3 becomes a potential corresponding to the electric charge accumulated in the floating diffusion FD. The selection transistor M4 is for selecting the
第２の半導体チップ２１には、カラムＡＤＣブロック２１１が備えられている。カラムＡＤＣブロック２１１は、列信号線２０２ａ又は列信号線２０２ｂに接続されている。更に、第２の半導体チップ２１には、各行の走査を行う行走査回路２１２と、各列の走査を行う列走査回路２１３ａ、２１３ｂとが備えられている。更に、第２の半導体チップ２１には、制御部１０６からの制御信号に基づいて、行走査回路２１２、列走査回路２１３ａ、２１３ｂ、カラムＡＤＣブロック２１１の動作タイミングをそれぞれ制御するタイミング制御回路２１４が備えられている。更に、第２の半導体チップ２１には、列走査回路２１３ａ、２１３ｂによって制御されるタイミングに従ってカラムＡＤＣブロック２１１からの信号を転送する水平信号線２１５ａ、２１５ｂが備えられている。
The
更に、第２の半導体チップ２１は、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先を切り替えるためのスイッチ２１６を備えている。スイッチ２１６を第１の設定にした際には、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先が、ＡＦ評価値算出部１０２１に備えられた位相差評価値算出部２１７に設定される。一方、スイッチ２１６を第２の設定にした際には、水平信号線２１５ｂを介して出力されるデジタル画像信号の出力先が、ＡＦ評価値算出部１０２１に備えられたコントラスト評価値算出部２１８と、信号処理部１０４とに設定される。
Further, the
焦点検出用（位相差検出用）の画素２０１ＳＨＡ、２０１ＳＨＢが含まれていない行、即ち、通常行に位置する画素２０１は、上述したように列信号線２０２ａに接続されている。このため、通常行に位置する画素２０１によって取得される信号は、列信号線２０２ａと水平信号線２１５ａとを介して信号処理部１０４に出力される。通常行に位置する画素２０１によって取得される信号は、例えばライブビュー用の画像に用いられる。
The row that does not include the focus detection (phase difference detection) pixels 201SHA and 201SHB, that is, the
一方、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれている行、即ち、ＡＦ行に位置する画素２０１は、上述したように列信号線２０２ｂに接続されている。このため、ＡＦ行に位置する画素２０１によって取得される信号ＳＨＡ，ＳＨＢは、列信号線２０２ｂと水平信号線２１５ｂとを介して転送される。ＡＦ行に位置する焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢによって取得される信号ＳＨＡ，ＳＨＢは、列信号線２０２ｂと水平信号線２１５ｂとを介して、位相差評価値算出部２１７に転送される。ところで、ＡＦ行には、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢのみならず、撮像用の画素２０１Ｇも位置している（図４（ａ）参照）。なお、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のような特定の分光感度を有する画素について説明する際には、２０１Ｒ、２０１Ｇ、２０１Ｂという符号をそれぞれ用いることとする。また、焦点検出用の画素について説明する際には、２０１ＳＨＡ、２０１ＳＨＢという符号をそれぞれ用いることとする。また、画素一般について説明する際には、２０１という符号を用いることとする。ＡＦ行に位置する画素２０１のうちの撮像用の画素２０１Ｇによって取得される信号Ｇｒ，Ｇｂは、列信号線２０２ｂと水平信号線２１５ｂとを介して、コントラスト評価値算出部２１８に送信される。また、ＡＦ行に位置する画素２０１Ｇによって取得される信号Ｇｒ，Ｇｂは、信号処理部１０４に送信される。ＡＦ行に位置する撮像用の画素２０１Ｇによって取得される信号Ｇｒ，Ｇｂは、例えば、ライブビュー表示の際には、間引き読み出しされるライブビュー表示用の画像信号の補間処理に用い得る。なお、通常行に位置する画素２０１から水平信号線２１５ａに転送される信号を、第１の画像信号と称することとする。また、ＡＦ行に位置する画素２０１から水平信号線２１５ｂに転送される信号を、第２の画像信号と称することとする。
On the other hand, the row including the focus detection pixels 201SHA and 201SHB, that is, the
図５は、本実施形態による固体撮像素子における読み出しの際の選択行の例を示す図である。図５には、マトリクス状に配された複数の画素２０１のうちの１６行×６列の画素２０１が抜き出されて示されている。これらの画素２０１は、ベイヤー配列となっている。本実施形態では、第１の画像信号の取得と、第２の画像信号の取得とを並行して行うことができるように、第１の画像信号を取得する際の選択行と第２の画像信号を取得する際の選択行とがそれぞれ設定されている。第１の画像信号は、列信号線２０２ａに出力されるようになっている。一方、第２の画像信号は、列信号線２０２ｂに出力されるようになっている。なお、行番号が１、２の行、及び、行番号が９、１０の行は、第２の画像信号を取得する際の選択行であり、第２の画像信号を取得するための画素群（第２の画素群）が配されている。行番号が３〜８の行、及び、行番号が１１〜１６の行は、第１の画像信号を取得する際の選択行であり、第１の画像信号を取得するための画素群（第１の画素群）が配されている。
FIG. 5 is a diagram illustrating an example of a selected row at the time of reading in the solid-state imaging device according to the present embodiment. In FIG. 5, 16 rows × 6 columns of
第２の画像信号には、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢによって取得される信号が含まれているため、迅速なオートフォーカスを実現すべく、フレームレートを速くすることが重視される。このため、第２の画像信号は、間引き率が比較的高く設定される。一方、第１の画像信号は、ライブビュー表示等に用いられるため、画質が重視される。このため、第１の画像信号は、間引き率が比較的低く設定される。行番号が１〜８の行に注目すると、第１の画像信号は、垂直方向に配された同色の４画素のうちの１画素を間引くことによって得られ、第２の画像信号は、垂直方向に配された同色の４画素のうちの３画素を間引くことによって得られる。第１の画像信号の取得においては、第１のフレームレートで第１の画素群が読み出される。第２の画像信号の取得においては、第１のフレームレートより速い第２のフレームレートで第２の画素群が読み出される。ここでは、第２のフレームレートを第１のフレームレートの３倍とする場合を例に説明する。
Since the second image signal includes signals acquired by the focus detection pixels 201SHA and 201SHB, it is important to increase the frame rate in order to realize quick autofocus. For this reason, the second image signal is set to have a relatively high thinning rate. On the other hand, since the first image signal is used for live view display or the like, image quality is important. For this reason, the first image signal is set to have a relatively low thinning rate. When attention is paid to the rows having the
このように、本実施形態では、第１の画像信号が読み出される行と、第２の画像信号が読み出される行とが別個に設定されている。このため、本実施形態によれば、異なる電荷蓄積時間、異なるデータサイズ、異なるフレームレートの第１の画像信号及び第２の画像信号を、並行して取得することができる。なお、ここでは、第２の画像信号を取得するための第２の画素群が行番号１、２の行に位置し、第１の画像信号を取得するための第１の画素群が行番号３〜８の行に位置する場合を例に説明したが、これに限定されるものではない。また、読み出しにおける間引き率も、適宜設定することができる。
Thus, in the present embodiment, the row from which the first image signal is read out and the row from which the second image signal is read out are set separately. Therefore, according to the present embodiment, the first image signal and the second image signal having different charge accumulation times, different data sizes, and different frame rates can be acquired in parallel. Here, the second pixel group for acquiring the second image signal is located in the row of
画素２０１から列信号線２０２ａ又は列信号線２０２ｂに出力されたアナログの信号は、カラムＡＤＣブロック２１１においてアナログからデジタルに変換される。列走査回路２１３ａは、カラムＡＤＣブロック２１１から出力されるデジタルの第１の画像信号を、水平信号線２１５ａを介して信号処理部１０４に送信する。かかる第１の画像信号は、固体撮像素子１０２に設けられた出力端子２２２を介して信号処理部１０４に出力される。また、列走査回路２１３ｂは、カラムＡＤＣブロック２１１から出力されるデジタルの第２の画像信号を、水平信号線２１５ｂを介してＡＦ評価値算出部１０２１や信号処理部１０４に送信する。
An analog signal output from the
制御部１０６は、固体撮像素子１０２に設けられた位相差評価値算出部２１７からの信号、即ち、位相差評価値を用い、位相差検出方式によるオートフォーカス制御、即ち、位相差フォーカス制御（位相差ＡＦ）を行う。制御部１０６は、固体撮像素子１０２に設けられたコントラスト評価値算出部２１８からの信号、即ち、コントラスト評価値を用い、コントラスト検出方式によるオートフォーカス制御、即ち、コントラストフォーカス制御（コントラストＡＦ）をも行う。
The
位相差評価値算出部２１７は、ＡＦ行に位置する複数の焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ、ＳＨＢによって生成される一対の像信号に対して相関演算を行い、一対の像信号の相対的な位置ずれを示す位相差を算出する。そして、位相差評価値算出部２１７は、当該位相差に基づいて、フォーカスがどれくらい外れているかを示す量であるデフォーカス量Ｄｆを算出する。制御部１０６は、位相差評価値算出部２１７によって取得されるデフォーカス量Ｄｆに基づいて、合焦に近い状態にするためにフォーカスレンズをどの程度移動させるべきかを示す量、即ち、合焦近傍位置までのフォーカスレンズの駆動量を算出する。制御部１０６は、算出した駆動量の分だけフォーカスレンズが移動するように、駆動部１０３を介して光学機構部１０１１を制御する。
The phase difference evaluation
コントラスト評価値算出部２１８は、ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ，Ｇｂにおける高周波成分を適宜抽出することによって、コントラスト評価値を算出する。制御部１０６は、コントラスト評価値算出部２１８によって取得されるコントラスト評価値に基づいて、駆動部１０３を介して光学機構部１０１１を制御することにより、フォーカスレンズを適宜駆動する。
The contrast evaluation
図３は、通常行に位置する画素と撮像光学系とを示す図である。図３（ａ）は、画素を示す平面図である。図３（ａ）に示す２行×２列の４つの画素２０１はいずれも撮像用の画素である。これら４つの画素２０１のうちの対角に位置する２箇所には、Ｇ（緑色）の分光感度を有する画素２０１Ｇがそれぞれ配されており、他の２箇所には、Ｒ（赤色）とＢ（青色）の分光感度を有する画素２０１Ｒ、２０１Ｂがそれぞれ配されている。このような画素配列は、ベイヤー配列と称される。図３（ａ）には、ベイヤー配列の１つの画素単位が抜き出されて示されている。図３（ｂ）は、撮像光学系と画素との関係を示す断面図である。図３（ｂ）は、図３（ａ）のＡ−Ａ線断面に対応している。
FIG. 3 is a diagram illustrating a pixel located in a normal row and an imaging optical system. FIG. 3A is a plan view showing a pixel. All of the four
図３（ｂ）に示すように、固体撮像素子１０２の第１の半導体チップ２０の半導体基板３０１には、フォトダイオードＰＤが形成されている。フォトダイオードＰＤは、マトリクス状に形成された複数の画素２０１の各々に対応するように形成されている。フォトダイオードＰＤが形成された半導体基板３０１上には、多層配線構造３０２が形成されている。多層配線構造３０２は、配線層ＣＬと絶縁層３０３とによって構成されている。配線層ＣＬは、固体撮像素子１０２内において各種信号を伝達するための信号線を構成している。多層配線構造３０２上には、カラーフィルタ層３０４が形成されている。カラーフィルタ層３０４は、Ｒ（赤色）のカラーフィルタＣＦＲと、Ｇ（緑色）のカラーフィルタＣＦＧと、Ｂ（青色）のカラーフィルタＣＦＢとを含む。これらカラーフィルタＣＦＲ、ＣＦＧ、ＣＦＢは、各々の画素２０１に対応するように形成されている。なお、図３（ａ）において、Ｒは、ＲのカラーフィルタＣＦＲが配されている箇所を概念的に示しており、Ｇは、ＧのカラーフィルタＣＦＧが配されている箇所を概念的に示しており、Ｂは、ＢのカラーフィルタＣＦＢが配されている箇所を概念的に示している。
As shown in FIG. 3B, the photodiode PD is formed on the
カラーフィルタ層３０４上には、マイクロレンズＭＬ、即ち、オン半導体チップマイクロレンズが配されている。マイクロレンズＭＬは、各々の画素２０１に対応するように形成されている。マイクロレンズＭＬとフォトダイオードＰＤとは、撮像光学系ＴＬの射出瞳ＥＰを通過する光束３０５を可能な限り有効に取り込むような構成となっている。換言すれば、撮像光学系ＴＬの射出瞳ＥＰとフォトダイオードＰＤとの間に共役関係が成立するようにマイクロレンズＭＬが形成されている。しかも、フォトダイオードＰＤの有効面積が大きく設定されている。なお、図３（ｂ）では、Ｒの画素２０１に入射する光束３０５を例として示しているが、Ｇの画素２０１に入射する光束や、Ｂの画素２０１に入射する光束ついても同様である。このように、撮像用のＲＧＢの画素２０１に対応した射出瞳ＥＰは大きな径を有しており、被写体からの光束が効率良く画素２０１に達する。従って、各々の画素２０１において、Ｓ／Ｎ比の高い画像信号が得られる。
On the
図４は、ＡＦ行に位置する画素と撮像光学系とを示す図である。図４（ａ）は、画素の平面図である。画像信号を得る際、Ｇの分光感度を有する画素２０１Ｇからの出力は輝度情報の主成分をなす。人間の画像認識特性は輝度情報に敏感であるため、Ｇの分光感度を有する画素２０１Ｇからの出力が欠損すると、画質劣化が認められやすい。一方、Ｒの画素２０１Ｒ（図３参照）やＢの画素２０１Ｂ（図３参照）は、主として色情報を取得するための画素であり、人間は色情報には比較的鈍感である。このため、色情報を取得するためのＲやＢの画素２０１Ｒ、２０１Ｂに多少の欠損が生じても、人間は画質劣化に気づきにくい。そこで、本実施形態では、２行×２列の４つの画素２０１のうちの２つのＧの画素２０１Ｇについては撮像用の画素として残し、Ｒの画素２０１ＲとＢの画素２０１Ｂの位置に、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢをそれぞれ配している。図４（ａ）において、ＳＨＡは、Ｒの画素２０１Ｒの位置に配された焦点検出用の画素２０１ＳＨＡを概念的に示しており、ＳＨＢは、Ｂの画素２０１Ｂの位置に配された焦点検出用の画素２０１ＳＨＢを概念的に示している。上述したように、ＡＦ行には、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢが分散的に配されている。また、上述したように、ＡＦ行には、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢのみならず撮像用の画素２０１Ｇも位置している。複数の焦点検出用の画素２０１ＳＨＡは、第１の焦点検出用画素群を構成している。複数の焦点検出用の画素２０１ＳＨＢは、第２の焦点検出用画素群を構成している。
FIG. 4 is a diagram illustrating the pixels located in the AF row and the imaging optical system. FIG. 4A is a plan view of a pixel. When obtaining an image signal, the output from the
図４（ｂ）は、図４（ａ）のＢ−Ｂ線断面に対応している。焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢにおいても、撮像用の画素２０１Ｒ、２０１Ｇ、２０１Ｂと同様に、半導体基板３０１にフォトダイオードＰＤが形成されている。焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号は画像には用いられないため、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢには、色分離用のカラーフィルタＣＦＲ、ＣＦＢの代わりに透明膜（白色膜）ＣＦＷが配されている。焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢにおいては、瞳分割を実現するため、配線層ＣＬが、開口部ＯＰＨＡ、ＯＰＨＢを有する遮光部を構成している。ｘ方向において瞳分割を行うため、開口部ＯＰＨＡ、ＯＰＨＢはマイクロレンズＭＬの中心に対してｘ方向に偏在している。焦点検出用の画素２０１ＳＨＡの開口部ＯＰＨＡは、マイクロレンズＭＬの中心に対して−ｘ方向に偏在している。このため、焦点検出用の画素２０１ＳＨＡのフォトダイオードＰＤは、撮像光学系ＴＬの射出瞳に含まれる複数の瞳領域ＥＰＨＡ、ＥＰＨＢのうちの＋ｘ側の瞳領域、即ち、第１の瞳領域ＥＰＨＡを通過した光束を受光する。画素２０１ＳＨＡは、撮像光学系ＴＬの射出瞳の第１の瞳領域ＥＰＨＡを通過する光束に応じた信号を取得する。一方、焦点検出用の画素２０１ＳＨＢの開口部ＯＰＨＢは、マイクロレンズの中心に対して＋ｘ方向に偏在している。このため、焦点検出用の画素２０１ＳＨＢのフォトダイオードＰＤは、撮像光学系ＴＬの射出瞳に含まれる複数の瞳領域ＥＰＨＡ、ＥＰＨＢのうちの−ｘ側の瞳領域、即ち、第２の瞳領域ＥＰＨＢを通過した光束を受光する。画素２０１ＳＨＢは、撮像光学系ＴＬの射出瞳の第２の瞳領域ＥＰＨＢを通過する光束に応じた信号を取得する。
FIG. 4B corresponds to a cross section taken along line B-B in FIG. Also in the focus detection pixels 201SHA and 201SHB, the photodiode PD is formed on the
ｘ方向に規則的に配列された複数の焦点検出用の画素２０１ＳＨＡ、即ち、第１の焦点検出用画素群によって取得された被写体像を、第１の像とする。また、ｘ方向に規則的に配列された複数の焦点検出用の画素２０１ＳＨＢ、即ち、第２の焦点検出用画素群によって取得された被写体像を、第２の像とする。そして、第１の像と第２の像との相対な位置ずれ量、即ち、位相差を検出することによって、当該位相差に基づいて被写体に対するフォーカスレンズのデフォーカス量を算出することができる。 A subject image acquired by a plurality of focus detection pixels 201SHA regularly arranged in the x direction, that is, a first focus detection pixel group is defined as a first image. Also, a subject image acquired by a plurality of focus detection pixels 201SHB regularly arranged in the x direction, that is, the second focus detection pixel group is defined as a second image. Then, by detecting the relative positional shift amount between the first image and the second image, that is, the phase difference, the defocus amount of the focus lens with respect to the subject can be calculated based on the phase difference.
画素２０１から列信号線２０２ａ、２０２ｂに出力される信号は、カラムＡＤＣブロック２１１によってアナログからデジタルに変換される。カラムＡＤＣブロック２１１によってデジタルに変換された信号は、列走査回路２１３ａ、２１３ｂによってカラムＡＤＣブロック２１１から水平信号線２１５ａ、２１５ｂにそれぞれ出力される。水平信号線２１５ａに出力される信号、即ち、通常行に位置する画素２０１からの信号は、固体撮像素子１０２の外部に位置する信号処理部１０４に出力される。一方、水平信号線２１５ｂに出力される信号は、スイッチ２１６を介して出力される。スイッチ２１６を第１の設定にした際には、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ、ＳＨＢが、位相差評価値算出部２１７に出力される。スイッチ２１６を第２の設定にした場合には、ＡＦ行に位置する撮像用の画素２０１からの信号が、コントラスト評価値算出部２１８及び信号処理部１０４に出力される。
A signal output from the
位相差評価値算出部２１７は、水平信号線２１５ｂとスイッチ２１６とを介して位相差評価値算出部２１７に送信される信号ＳＨＡ、ＳＨＢに基づいて、相関演算によって位相差評価値を算出する。即ち、位相差評価値算出部２１７は、位相差検出方式による焦点検出のための位相差評価値を、画素２０１ＳＨＡ，２０１ＳＨＢからの信号ＳＨＡ，ＳＨＢに基づいて算出する。位相差評価値算出部２１７は、画素アレイ２０６によって取得される画像信号の信号処理部１０４への出力の完了の如何にかかわらず、位相差評価値の算出が完了し次第、当該位相差評価値を制御部１０６に出力する。当該位相差評価値は、固体撮像素子１０２に設けられた出力端子２１９を介して制御部１０６に出力される。
The phase difference evaluation
コントラスト評価値算出部２１８は、水平信号線２１５ｂとスイッチ２１６とを介してコントラスト評価値算出部２１８に送信される信号、より具体的には、例えば、信号Ｇｒ、Ｇｂに基づいて、コントラスト演算によってコントラスト評価値を算出する。即ち、コントラスト評価値算出部２１８は、コントラスト検出方式による焦点検出のためのコントラスト評価値を、撮像用の画素２０１Ｇからの信号Ｇｒ、Ｇｂに基づいて算出する。コントラスト評価値算出部２１８は、画素アレイ２０６によって取得される画像信号の信号処理部１０４への出力の完了の如何にかかわらず、コントラスト評価値の算出が完了し次第、当該コントラスト評価値を制御部１０６に出力する。当該コントラスト評価値は、固体撮像素子１０２に設けられた出力端子２２０を介して制御部１０６に出力される。
The contrast evaluation
上述したように、スイッチ２１６を第２の設定にした際には、ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ，Ｇｂが、水平信号線２１５ｂとスイッチ２１６とを介して、信号処理部１０４に出力される。かかる信号Ｇｒ、Ｇｂは、固体撮像素子１０２に設けられた出力端子２２１を介して信号処理部１０４に出力される。水平信号線２１５ｂとスイッチ２１６とを介して信号処理部１０４に送信される信号Ｇｒ，Ｇｂは、例えば、間引き読み出しされるライブビュー画像の補間処理に用い得る。
ここでは、列信号線２０２ａと水平信号線２１５ａとを介して第１の画像信号を出力する経路を第１のチャネルＣＨ１と称し、列信号線２０２ｂと水平信号線２１５ｂとを介して第２の画像信号を出力する経路を第２のチャネルＣＨ２と称することとする。
As described above, when the
Here, a path for outputting the first image signal via the
図６は、本実施形態による撮像装置の動作を示すタイムチャートである。図６は、オートフォーカス動作を行いつつライブビュー表示を行うモード、即ち、ＡＦ評価モードでの動作を示している。
ＡＦ評価モードは、制御部１０６からのＡＦ制御信号がＯＮ状態になることによって開始される。ＡＦ制御信号がＯＮ状態となるタイミングをＴ０とする。タイミングＴ０においては、垂直同期信号ＶＤが立ち下がる、即ち、ＨｉｇｈレベルからＬｏｗレベルに変化する。垂直同期信号ＶＤと同期して、第１の画像信号、即ち、通常行に位置する画素２０１からの信号の取得と、第２の画像信号、即ち、ＡＦ行に位置する画素２０１からの信号の取得とが開始される。上述したように、第１の画像信号は第１のチャネルＣＨ１を介して出力され、第２の画像信号は第２のチャネルＣＨ２を介して出力される。
FIG. 6 is a time chart illustrating the operation of the imaging apparatus according to the present embodiment. FIG. 6 shows an operation in a mode in which live view display is performed while performing an autofocus operation, that is, an AF evaluation mode.
The AF evaluation mode is started when the AF control signal from the
Ｔ０〜ＴＦ１の期間においては、ＡＦ行に位置する焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢからの信号ＳＨＡ，ＳＨＢの読み出し行われる。ＡＦ行に位置する焦点検出用の画素２０１ＳＨＡ，２０１ＳＨＢからの信号の読み出しは、通常行に位置する画素２０１からの信号の読み出し、即ち、ライブビュー用の信号の読み出しと並行して行われる。画素２０１ＳＨＡ、２０１ＳＨＢから読み出された位相差評価用の信号ＳＨＡ、ＳＨＢは、水平信号線２１５ｂとスイッチ２１６とを介して位相差評価値算出部２１７に送信される。そして、ＴＦ１〜ＴＦ２の期間においては、位相差評価値算出部２１７によって位相差評価値が算出される。ＴＦ２〜ＴＦ３の期間においては、位相差評価値算出部２１７によって算出された位相差評価値が制御部１０６に出力される。また、Ｔ０〜ＴＦ１の期間においては、ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ、Ｇｂの読み出しが行われる。ＡＦ行に位置する撮像用の画素２０１Ｇからの信号Ｇｒ，Ｇｂの読み出しは、通常行に位置する画素２０１からの信号の読み出し、即ち、ライブビュー用の信号の読み出しと並行して行われる。画素２０１Ｇから読み出されたコントラスト評価用の信号Ｇｒ，Ｇｂは、水平信号線２１５ｂとスイッチ２１６とを介してコントラスト評価値算出部２１８に送信される。そして、ＴＦ１〜ＴＦ２Ｃの期間においては、コントラスト評価値算出部２１８によってコントラスト評価値が算出される。ＴＦ２Ｃ〜ＴＦ３Ｃの期間においては、コントラスト評価値算出部２１８によって算出されたコントラスト評価値が制御部１０６に出力される。
During the period from T0 to TF1, signals SHA and SHB are read from the focus detection pixels 201SHA and 201SHB located in the AF row. Reading of signals from the focus detection pixels 201SHA and 201SHB located in the AF row is performed in parallel with reading of signals from the
図６に示すように、垂直同期信号ＶＤは、所定の時間間隔ΔＴ毎に立ち下がる、即ち、Ｌｏｗレベルに変化する。なお、Ｌｏｗレベルに変化した垂直同期信号は、所定時間経過後にＨｉｇｈレベルに戻る。かかる所定の時間間隔ΔＴは、１フレーム分のライブビュー用の画像の取得に要する期間、即ち、１フレーム分のライブビュー用信号取得期間に相当している。本実施形態では、１フレーム分のライブビュー用信号取得期間において、ＡＦ評価が３回行われる。ＡＦ評価用の信号の取得、即ち、第２の画像信号の取得は、ライブビュー用の信号の取得、即ち、第１の画像信号の取得と独立且つ並行して行われる。制御部１０６は、所望の合焦状態が得られるか否かを判定し、所望の合焦状態が得られる場合には、ＡＦ制御信号をＯＦＦ状態、即ち、Ｌｏｗレベルに戻す。図６においては、タイミングＴ１が、ＡＦ制御信号がＯＦＦ状態になるタイミングを示している。ＡＦ制御信号がＯＦＦ状態になると、ＡＦ評価が中止され、ライブビュー用の画像の取得が継続して行われる。
As shown in FIG. 6, the vertical synchronization signal VD falls every predetermined time interval ΔT, that is, changes to the Low level. Note that the vertical synchronization signal that has changed to the Low level returns to the High level after a predetermined time has elapsed. The predetermined time interval ΔT corresponds to a period required for acquiring a live view image for one frame, that is, a live view signal acquisition period for one frame. In the present embodiment, AF evaluation is performed three times in a live view signal acquisition period for one frame. Acquisition of an AF evaluation signal, that is, acquisition of the second image signal is performed independently and in parallel with acquisition of a live view signal, that is, acquisition of the first image signal. The
図７は、本実施形態による撮像装置の動作を示すフローチャートである。
ユーザによる操作部１０８の操作によって撮像装置１００の電源がＯＮ状態になると、制御部１０６は、撮像装置１００を待機状態にする。制御部１０６は、ＡＦ評価モードで撮像装置１００を動作させることを要するか否かを、ユーザによる操作部１０８の操作等に基づいて判定する（ステップＳ７０１）。ＡＦ評価モードで撮像装置１００を動作させることを要しない場合には（ステップＳ７０１においてＮＯ）、ライブビュー用信号の取得を開始する（ステップＳ７０２）。そして、ライブビュー用信号の取得によって得られるライブビュー画像を画像表示部１０９に表示する（ステップＳ７１７）。一方、ＡＦ評価モードで撮像装置１００を動作させることを要する場合には（ステップＳ７０１においてＹＥＳ）、制御部１０６は、ＡＦ制御信号をＯＮ状態にし（ステップＳ７０３）、焦点検出用の信号の取得回数ｎを０に設定する（ステップＳ７０４）。
FIG. 7 is a flowchart illustrating the operation of the imaging apparatus according to the present embodiment.
When the power of the
この後、制御部１０６は、ライブビュー用の信号の取得を固体撮像素子１０２に開始させるとともに（ステップＳ７１８）、焦点検出用の信号の取得を固体撮像素子１０２に開始させる（ステップＳ７０５）。制御部１０６は、焦点検出用の信号の取得を固体撮像素子１０２に開始させた後、焦点検出用の信号の取得回数ｎをインクリメントする（ステップＳ７０６）。この後、位相差評価値の算出が位相差評価値算出部２１７によって行われるとともに（ステップＳ７０７）、コントラスト評価値の算出がコントラスト評価値算出部２１８によって行われる（ステップＳ７０８）。位相差評価値の算出（ステップＳ７０７）においては、ステップＳ７０５において取得された位相差評価用の信号ＳＨＡ、ＳＨＢに基づいて、位相差評価値算出部２１７が位相差評価値の算出を行い、これにより、デフォーカス量Ｄｆが得られる。位相差評価値算出部２１７は、デフォーカス量Ｄｆの算出を完了し次第、位相差評価値、具体的には、デフォーカス量Ｄｆを制御部１０６に出力する。コントラスト評価値の算出（ステップＳ７０８）においては、ステップＳ７０５において取得されたコントラスト評価用の信号Ｇｒ、Ｇｂに基づいて、コントラスト評価値算出部２１８がコントラスト評価値ＡＦ＿Ｋの算出を行う。コントラスト評価値算出部２１８は、コントラスト評価値ＡＦ＿Ｋの算出を完了し次第、コントラスト評価値ＡＦ＿Ｋを制御部１０６に出力する。
Thereafter, the
ステップＳ７０９においては、制御部１０６は、ステップＳ７０７において算出されたデフォーカス量Ｄｆが、所望のデフォーカス量の範囲内であるか否かを、以下の式（１）に基づいて判定する。
Ｄｆ＿ｍｉｎ＜Ｄｆ＜Ｄｆ＿ｍａｘ ・・・・（１）
ここで、Ｄｆ＿ｍｉｎ、Ｄｆ＿ｍａｘは、所望のデフォーカス量Ｄｆの最小値と最大値であり、例えば、制御部１０６に備えられたＲＯＭに予め格納されている。なお、これらの値Ｄｆ＿ｍｉｎ、Ｄｆ＿ｍａｘは、設計時に決定されてもよいし、調整時に決定されてもよい。
In step S709, the
Df_min <Df <Df_max (1)
Here, Df_min and Df_max are a minimum value and a maximum value of the desired defocus amount Df, and are stored in advance in a ROM provided in the
デフォーカス量Ｄｆが式（１）を満たさない場合には（ステップＳ７０９においてＮＯ）、ステップＳ７１０に移行する。ステップＳ７１０では、当該デフォーカス量Ｄｆに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。そして、制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（位相差ＡＦ制御）。この後、ステップＳ７１３に移行する。ステップＳ７１３では、制御部１０６は、焦点検出用の信号の取得回数ｎが３であるか否かを判定する。焦点検出用の信号の取得回数ｎが３でない場合には（ステップＳ７１３においてＮＯ）、ステップＳ７０５に戻る。一方、焦点検出用の信号の取得回数ｎが３である場合には（ステップＳ７１３においてＹＥＳ）、ライブビュー表示を行った（ステップＳ７１４）後、ステップＳ７０４に戻る。
If the defocus amount Df does not satisfy Expression (1) (NO in step S709), the process proceeds to step S710. In step S710, based on the defocus amount Df, the
デフォーカス量Ｄｆが式（１）を満たす場合には（ステップＳ７０９においてＹＥＳ）、ステップＳ７０８において取得されたコントラスト評価値ＡＦ＿Ｋが、所望のコントラスト量の範囲内であるか否かを、以下の式（２）に基づいて判定する。
Ｋ＿ｍｉｎ＜ＡＦ＿Ｋ＜Ｋ＿ｍａｘ ・・・・（２）
ここで、Ｋ＿ｍｉｎ、Ｋ＿ｍａｘは、所望のコントラスト評価値ＡＦ＿Ｋの最小値と最大値であり、例えば制御部１０６内に備えられたＲＯＭに格納されている。なお、これらの値Ｋ＿ｍｉｎ、Ｋ＿ｍａｘは、設計時に決定されてもよいし、調整時に決定されてもよい。
When the defocus amount Df satisfies the equation (1) (YES in step S709), whether or not the contrast evaluation value AF_K acquired in step S708 is within the range of the desired contrast amount is expressed by the following equation: Determine based on (2).
K_min <AF_K <K_max (2)
Here, K_min and K_max are the minimum value and the maximum value of the desired contrast evaluation value AF_K, and are stored in, for example, a ROM provided in the
コントラスト評価値ＡＦ＿Ｋが式（２）を満たさない場合には（ステップＳ７１１においてＮＯ）、ステップＳ７１２に移行する。ステップＳ７１２では、当該コントラスト評価値ＡＦ＿Ｋに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。そして、制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（コントラストＡＦ制御）。この後、ステップＳ７１３に移行する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たす場合には（ステップＳ７１１においてＹＥＳ）、制御部１０６はＡＦ制御信号をＯＦＦ状態にする（ステップＳ７１５）。この後、制御部１０６は、焦点検出用の信号の取得を終了させ（ステップＳ７１６）、ステップＳ７１８において取得したライブビュー用の信号を画像表示部１０９に表示し（ステップＳ７１７）、待機状態に移行する。
If the contrast evaluation value AF_K does not satisfy Expression (2) (NO in step S711), the process proceeds to step S712. In step S712, based on the contrast evaluation value AF_K, the
このように、本実施形態によれば、位相差評価値算出部２１７によって位相差評価値が算出された場合には、ライブビュー用の信号の出力の完了の如何にかかわらず、固体撮像素子１０２から位相差評価値が出力される。また、本実施形態によれば、コントラスト評価値算出部２１８によってコントラスト評価値が算出された場合には、ライブビュー用の信号の出力の完了の如何にかかわらず、固体撮像素子１０２からコントラスト評価値が出力される。本実施形態によれば、ライブビュー用の信号の出力の完了の如何にかかわらず、位相差評価値やコントラスト評価値が制御部１０６に出力されるため、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。
As described above, according to the present embodiment, when the phase difference evaluation value is calculated by the phase difference evaluation
［第２実施形態］
第２実施形態による固体撮像素子及びその制御方法並びに撮像装置について図８及び図９を用いて説明する。図１乃至図７に示す第１実施形態による固体撮像素子及びその制御方法並びに撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
[Second Embodiment]
A solid-state imaging device, a control method thereof, and an imaging apparatus according to a second embodiment will be described with reference to FIGS. The same components as those of the solid-state imaging device, the control method thereof, and the imaging device according to the first embodiment shown in FIGS. 1 to 7 are denoted by the same reference numerals, and description thereof is omitted or simplified.
本実施形態による撮像装置１００は、静止画像の連続的な取得、即ち、静止画像の連写を行うものである。
図８は、本実施形態による撮像装置の動作を示すタイムチャートである。静止画像を連続的に取得するモードである静止画像連写モードは、制御部１０６からの静止画像連写制御信号がＯＮ状態になることによって開始される。制御部１０６は、光学機構部１０１１に備えられたメカニカルシャッタ機構や絞り機構等を、駆動部１０３を介して制御しつつ、駆動部１０３を介して固体撮像素子１０２を制御する。具体的には、画素２０１に対してリセット動作を行い、メカニカルシャッタ（シャッタ）を開くことによって画素２０１への露光を開始する。画素２０１への露光が開始されると、フォトダイオードＰＤによって光電変換が開始される。予め設定された露出条件を満たすような所定の露光時間が経過した後、制御部１０６は、駆動部１０３を介してシャッタを閉じる。シャッタが閉じられることによって、画素２０１への露光が完了する。画素２０１への露光が完了すると、第１の画像信号、即ち、静止画像用の信号の取得と、第２の画像信号、即ち、焦点検出用の信号の取得とが開始される。第１の画像信号の取得と第２の画像信号の取得とが開始されるタイミングは、ＴＦ０である。第１の画像信号は第１のチャネルＣＨ１を介して出力され、第２の画像信号は第２のチャネルＣＨ２を介して出力される。第１の画像信号を取得する際の選択行と、第２の画像信号を取得する際の選択行は、例えば、図５を用いて上述した第１実施形態の場合と同様とすることができる。
The
FIG. 8 is a time chart illustrating the operation of the imaging apparatus according to the present embodiment. A still image continuous shooting mode, which is a mode for continuously acquiring still images, is started when a still image continuous shooting control signal from the
ＴＦ０〜ＴＦ１の期間においては、水平信号線２１５ｂとスイッチ２１６とを介して、位相差検出用の信号ＳＨＡ、ＳＨＢが位相差評価値算出部２１７に送信される。そして、ＴＦ１〜ＴＦ２の期間においては、位相差評価値算出部２１７によって位相差評価値が算出される。ＴＦ２〜ＴＦ３の期間においては、位相差評価値算出部２１７によって算出された位相差評価値が制御部１０６に出力される。また、ＴＦ０〜ＴＦ１の期間においては、水平信号線２１５ｂとスイッチ２１６とを介して、コントラスト評価用の信号がコントラスト評価値算出部２１８に送信される。そして、ＴＦ１〜ＴＦ２Ｃの期間においては、コントラスト評価値算出部２１８によってコントラスト評価値が算出される。ＴＦ２Ｃ〜ＴＦ３Ｃの期間においては、コントラスト評価値算出部２１８によって算出されたコントラスト評価値が制御部１０６に出力される。制御部１０６は、これら位相差評価値やコントラスト評価値に基づいて、光学鏡筒１０１に備えられたフォーカスレンズを、駆動部１０３を介して駆動する。フォーカスレンズの駆動が完了し、静止画像連写モードが終了していない場合には、次の静止画像の取得に移行する。
In the period from TF0 to TF1, phase difference detection signals SHA and SHB are transmitted to the phase difference evaluation
図９は、本実施形態による撮像装置の動作を示すフローチャートである。まず、ユーザによる操作部１０８への操作入力に応じて、制御部１０６は、撮像装置１００を待機状態から静止画像連写モードに移行させる。ステップＳ９０１においては、制御部１０６は、駆動部１０３を介して、光学機構部１０１１に備えられたメカニカルシャッタを開く。これにより、画素２０１への露光が開始され、フォトダイオードＰＤによって光電変換が開始され、電荷の蓄積が開始される（ステップＳ９０２）。所定の露光時間が経過した後、制御部１０６は、駆動部１０３を介して、光学機構部１０１１に備えられたメカニカルシャッタを閉じる（ステップＳ９０３）。
FIG. 9 is a flowchart illustrating the operation of the imaging apparatus according to the present embodiment. First, in response to an operation input to the
次に、制御部１０６は、静止画像用の信号の取得を固体撮像素子１０２に開始させるとともに（ステップＳ９０５）、焦点検出用の信号の取得を固体撮像素子１０２に開始させる（ステップＳ９０４）。この後、位相差評価値の算出が位相差評価値算出部２１７によって行われるとともに（ステップＳ９０６）、コントラスト評価値の算出がコントラスト評価値算出部２１８によって行われる（ステップＳ９０７）。位相差評価値の算出（ステップＳ９０６）においては、ステップＳ９０４において取得された焦点検出用の信号ＳＨＡ、ＳＨＢに基づいて、位相差評価値算出部２１７が位相差評価値の算出を行い、これにより、デフォーカス量Ｄｆが得られる。位相差評価値算出部２１７は、位相差評価値の算出を完了し次第、位相差評価値、具体的には、デフォーカス量Ｄｆを制御部１０６に出力する。コントラスト評価値の算出（ステップＳ９０７）においては、ステップＳ９０４において取得された撮像用の信号Ｇｒ、Ｇｂに基づいて、コントラスト評価値算出部２１８がコントラスト評価値ＡＦ＿Ｋの算出を行う。コントラスト評価値算出部２１８は、コントラスト評価値ＡＦ＿Ｋの算出を完了し次第、コントラスト評価値ＡＦ＿Ｋを制御部１０６に出力する。
Next, the
ステップＳ９０８においては、制御部１０６は、ステップＳ９０６において算出されたデフォーカス量Ｄｆが、所望のデフォーカス量の範囲内であるか否かを、第１実施形態において上述した式（１）に基づいて判定する。デフォーカス量Ｄｆが式（１）を満たさない場合には（ステップＳ９０８においてＮＯ）、ステップＳ９０９に移行する。ステップＳ９０９では、当該デフォーカス量Ｄｆに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（位相差ＡＦ制御）。この後、ステップＳ９１２に移行する。デフォーカス量Ｄｆが式（１）を満たす場合には（ステップＳ９０８においてＹＥＳ）、ステップＳ９１０に移行する。ステップＳ９１０では、ステップＳ９０７において取得されたコントラスト評価値ＡＦ＿Ｋが、所望のコントラスト量の範囲内であるか否かを、第１実施形態において上述した式（２）に基づいて判定する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たさない場合には（ステップＳ９１０においてＮＯ）、ステップＳ９１１に移行する。ステップＳ９１１では、当該コントラスト評価値ＡＦ＿Ｋに基づいて、制御部１０６が、フィードバック制御量、即ち、フォーカスレンズの駆動量を決定する。制御部１０６は、駆動部１０３を介して光学機構部１０１１を制御することによって、光学鏡筒１０１内のフォーカスレンズを駆動させる（コントラストＡＦ制御）。この後、ステップＳ９１２に移行する。コントラスト評価値ＡＦ＿Ｋが式（２）を満たす場合には（ステップＳ９１０においてＹＥＳ）、ステップＳ９１２に移行する。
In step S908, the
ステップＳ９１２では、ユーザによる操作部１０８の操作入力に応じて、制御部１０６が、静止画像連写モードを終了させるか否かを判定する。静止画像連写モードを終了させない場合には（ステップＳ９１２においてＮＯ）、ステップＳ９０１に戻り、次の静止画像の取得を開始する。一方、静止画像連写モードを終了させる場合には（ステップＳ９１２においてＹＥＳ）、次の静止画像の取得を行わず、待機状態に移行する。
In step S912, the
このように、本実施形態によれば、位相差評価値算出部２１７によって位相差評価値が算出された場合には、静止画像用の信号の出力の完了の如何にかかわらず、固体撮像素子１０２から位相差評価値が出力される。また、本実施形態によれば、コントラスト評価値算出部２１８によってコントラスト評価値が算出された場合には、静止画像用の信号の出力の完了の如何にかかわらず、固体撮像素子１０２からコントラスト評価値が出力される。本実施形態によれば、静止画像用の信号の出力の完了の如何にかかわらず、位相差評価値やコントラスト評価値が制御部１０６に出力されるため、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。
As described above, according to the present embodiment, when the phase difference evaluation value is calculated by the phase difference evaluation
［第３実施形態］
第３実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１０及び図１１を用いて説明する。図１乃至図９に示す第１又は第２実施形態による固体撮像素子及びその制御方法並びに撮像装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態による固体撮像素子は、画像信号とＡＦ評価値とを共通の出力端子を介して出力するものである。
[Third Embodiment]
A solid-state imaging device, a control method thereof, and an imaging apparatus according to a third embodiment will be described with reference to FIGS. The same components as those of the solid-state imaging device, the control method thereof, and the imaging device according to the first or second embodiment shown in FIGS. 1 to 9 are denoted by the same reference numerals, and description thereof will be omitted or simplified.
The solid-state imaging device according to the present embodiment outputs an image signal and an AF evaluation value via a common output terminal.
図１０は、本実施形態による固体撮像素子を示す回路図である。図１０に示すように、本実施形態では、出力部１００１が設けられている。通常行に位置する画素２０１から水平信号線２１５ａに転送される信号は、出力部１００１に入力されるようになっている。また、ＡＦ評価値算出部１０２１に備えられた位相差評価値算出部２１７から出力される位相差評価値は、出力部１００１に入力されるようになっている。また、ＡＦ評価値算出部１０２１に備えられたコントラスト評価値算出部２１８から出力されるコントラスト評価値は、出力部１００１に入力されるようになっている。また、ＡＦ行に位置する撮像用の画素２０１Ｇ（図４参照）から水平信号線２１５ｂに転送される信号Ｇｒ、Ｇｂは、出力部１００１に入力されるようになっている。出力部１００１は、画像信号とＡＦ評価値とを、共通の出力端子１００２を介して制御部１０６に出力する。かかる画像信号は、第１実施形態において上述したようなライブビュー用の画像信号であってもよいし、第２実施形態において上述したような静止画像用の画像信号であってもよい。
FIG. 10 is a circuit diagram illustrating the solid-state imaging device according to the present embodiment. As shown in FIG. 10, in this embodiment, an
図１１（ａ）は、本実施形態による固体撮像素子の画素アレイのレイアウトを概念的に示す図である。図１１（ａ）は、画素アレイ２０６の一部を抜き出して示している。画素アレイ２０６は、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢが含まれていない行である通常行が複数配されている領域１１０１を含む。また、画素アレイ２０６は、焦点検出用の画素２０１ＳＨＡ、２０１ＳＨＢがそれぞれ含まれているＡＦ行１１０２ａ、１１０２ｂを含む。画素２０１ＳＨＡ、２０１ＳＨＢは、複数に分割された画素アレイ２０６の各分割領域（図示せず）に対応していてもよいし、ＡＦ枠（ＡＦフレーム）に対応していてもよい。例えば、ＡＦ行１１０２ａからの信号の読み出しが行われ、この後、ＡＦ行１１０２ｂからの信号の読み出しが行われ、この後、領域１１０１に含まれる複数の通常行からの信号の読み出しが順次行われる。
FIG. 11A is a diagram conceptually showing the layout of the pixel array of the solid-state imaging device according to the present embodiment. FIG. 11A shows an extracted part of the
図１１（ｂ）は、本実施形態による固体撮像素子から出力される信号を概念的に示す図である。図１１（ｂ）に示すように、ＡＦ行１１０２ａから読み出される信号１１０５ａが、出力部１００１を介して制御部１０６に出力される。この後、ＡＦ行１１０２ｂから読み出される信号１１０５ｂが、出力部１００１を介して制御部１０６に出力される。この後、領域１１０１に位置する複数の通常行から読み出される信号１１０４の制御部１０６への出力が開始される。領域１１０１に位置する複数の通常行からの信号の読み出しが完了する前に、位相差評価値が位相差評価値算出部２１７によって算出され次第、当該位相差評価値が出力部１００１に入力される。また、領域１１０１に位置する複数の通常行からの信号の読み出しが完了する前に、コントラスト評価値がコントラスト評価値算出部２１８によって算出され次第、当該コントラスト評価値が出力部１００１に入力される。出力部１００１は、領域１１０１に位置する複数の通常行から読み出される信号の出力が完了する前に段階、即ち、画像信号１１０４の出力が完了する前の段階において、位相差評価値とコントラスト評価値とが取得され次第、これらを制御部１０６に出力する。
FIG. 11B is a diagram conceptually showing a signal output from the solid-state imaging device according to the present embodiment. As shown in FIG. 11B, a
ＡＦ評価値、即ち、位相差評価値及びコントラスト評価値は、画素アレイ２０６に均等に配されたＡＦ行に対応するように分割された領域毎に算出されるが、これらの領域の数は例えば１０〜３０程度である。しかも、ＡＦ評価値のデータ長は、例えば８ビット程度である。ＡＦ評価値のデータ量は、通常行から読み出される信号、即ち、ライブビュー用の信号や静止画像用の信号と比較して非常に小さいため、ライブビュー用の信号や静止画像用の信号に影響を与えない無効データとして挿入することが可能である。ＡＦ評価値のデータを挿入して出力するタイミングは、通常行から読み出される信号が制御部１０６に出力されることがない期間内、例えば、水平ブランキング期間に対応するタイミングとすることができる。図１１（ｂ）は、水平ブランキング期間に位相差評価値１１０６やコントラスト評価値１１０７を挿入した状態を概念的に示している。
The AF evaluation value, that is, the phase difference evaluation value and the contrast evaluation value are calculated for each area divided so as to correspond to the AF rows evenly arranged in the
図１１（ｃ）は、本実施形態による撮像装置の動作の例を示すタイムチャートである。図１１（ｃ）は、オートフォーカス動作を行いつつライブビュー表示を行うモード、即ち、ＡＦ評価モードで動作させる場合を示している。第１実施形態において上述したように、まず、ライブビュー用の信号の取得と焦点検出用の信号の取得とが並行して行われる。位相差評価値算出部２１７によって取得された位相差評価値が出力部１００１に入力されると、出力部１００１は、ライブビュー用信号の水平ブランキング期間の部分に当該位相差評価値を無効データとして挿入して出力する。コントラスト評価値算出部２１８によって取得されたコントラスト評価値が出力部１００１に入力されると、出力部１００１は、ライブビュー信号の水平ブランキング期間の部分に当該コントラスト評価値を無効データとして挿入して出力する。
FIG. 11C is a time chart illustrating an example of the operation of the imaging apparatus according to the present embodiment. FIG. 11C shows a case where the live view display is performed while performing the autofocus operation, that is, the operation is performed in the AF evaluation mode. As described above in the first embodiment, first, the acquisition of the live view signal and the acquisition of the focus detection signal are performed in parallel. When the phase difference evaluation value acquired by the phase difference evaluation
図１１（ｄ）は、本実施形態による撮像装置の動作の他の例を示すタイムチャートである。図１１（ｄ）は、静止画像を連続的に取得するモードである静止画像連写モードで動作させる場合を示している。第２実施形態において上述したように、静止画像用の信号の取得と焦点検出用の信号の取得とが並行して行われる。位相差評価値算出部２１７によって取得された位相差評価値が出力部１００１に入力されると、出力部１００１は、静止画像信号の水平ブランキング期間の部分に当該位相差評価値を無効データとして挿入して出力する。また、コントラスト評価値算出部２１８によって取得されたコントラスト評価値が出力部１００１に入力されると、出力部１００１は、静止画像信号の水平ブランキング期間の部分に当該コントラスト評価値を無効データとして挿入して出力する。制御部１０６は、出力部１００１から出力される位相差評価値に基づいてフォーカスレンズを駆動する。また、制御部１０６は、出力部１００１から出力されるコントラスト評価値に基づいてフォーカスレンズを駆動する。フォーカスレンズの駆動が完了し、静止画像連写モードが終了していない場合には、次の静止画像の取得に移行する。
FIG. 11D is a time chart showing another example of the operation of the imaging apparatus according to the present embodiment. FIG. 11D shows a case of operating in a still image continuous shooting mode, which is a mode for continuously acquiring still images. As described above in the second embodiment, acquisition of a still image signal and acquisition of a focus detection signal are performed in parallel. When the phase difference evaluation value acquired by the phase difference evaluation
図１２（ａ）は、参考例による撮像装置の固体撮像素子から出力される信号を概念的に示す図である。図１２に示すように、参考例による撮像装置においては、位相差評価値１１０６やコントラスト評価値１１０７が画像信号（画像データ）１１０４の後に付されている。即ち、参考例による撮像装置では、画像信号１１０４の最後尾に位相差評価値１１０６やコントラスト評価値１１０７に配されている。
FIG. 12A is a diagram conceptually illustrating a signal output from the solid-state imaging element of the imaging apparatus according to the reference example. As shown in FIG. 12, in the imaging apparatus according to the reference example, a phase
図１２（ｂ）は、参考例による撮像装置の動作の例を示すタイムチャートである。図１２（ｂ）は、オートフォーカス動作を行いつつライブビュー表示を行うモード、即ち、ＡＦ評価モードで動作させる場合を示している。参考例においても、ライブビュー用信号の取得と並行して、位相差評価用の信号の取得及びコントラスト評価用の信号の取得が行われる。参考例による撮像装置においても、ライブビュー用信号の出力が完了する前の段階で、位相差評価値及びコントラスト評価値の算出が完了する。参考例による撮像装置では、ライブビュー用信号の出力が完了した後に、位相差評価値の出力とコントラスト評価値の出力とを行う。このため、参考例においては、ライブビュー用信号の出力が完了する前の段階で位相差評価値やコントラスト評価値が算出されているにもかかわらず、オートフォーカスを迅速に行い得ない。 FIG. 12B is a time chart illustrating an example of the operation of the imaging apparatus according to the reference example. FIG. 12B shows a case of operating in a mode for performing live view display while performing an autofocus operation, that is, an AF evaluation mode. Also in the reference example, acquisition of the signal for phase difference evaluation and acquisition of the signal for contrast evaluation are performed in parallel with the acquisition of the live view signal. Also in the imaging apparatus according to the reference example, the calculation of the phase difference evaluation value and the contrast evaluation value is completed before the output of the live view signal is completed. In the imaging apparatus according to the reference example, after the output of the live view signal is completed, the phase difference evaluation value and the contrast evaluation value are output. For this reason, in the reference example, although the phase difference evaluation value and the contrast evaluation value are calculated before the completion of the output of the live view signal, autofocus cannot be performed quickly.
図１２（ｃ）は、参考例による撮像装置の動作の他の例を示すタイムチャートである。図１２（ｃ）は、静止画像を連続的に取得するモードである静止画像連写モードで動作させる場合を示している。参考例においても、静止画像用信号の取得と並行して、位相差評価用の信号の取得及びコントラスト評価用の信号の取得が行われる。参考例による撮像装置においても、静止画像用信号の出力が完了する前の段階で、位相差評価値及びコントラスト評価値の算出が完了する。参考例による撮像装置では、静止画像用信号の出力が完了した後に、位相差評価値の出力とコントラスト評価値の出力とを行う。このため、参考例においては、静止画像用信号の出力が完了する前の段階で位相差評価値やコントラスト評価値が算出されているにもかかわらず、オートフォーカスを迅速に行い得ない。 FIG. 12C is a time chart illustrating another example of the operation of the imaging apparatus according to the reference example. FIG. 12C shows a case where the operation is performed in the still image continuous shooting mode which is a mode for continuously acquiring still images. Also in the reference example, acquisition of a phase difference evaluation signal and acquisition of a contrast evaluation signal are performed in parallel with acquisition of a still image signal. Also in the imaging apparatus according to the reference example, the calculation of the phase difference evaluation value and the contrast evaluation value is completed before the output of the still image signal is completed. In the imaging apparatus according to the reference example, after the output of the still image signal is completed, the phase difference evaluation value and the contrast evaluation value are output. For this reason, in the reference example, although the phase difference evaluation value and the contrast evaluation value are calculated at the stage before the output of the still image signal is completed, autofocus cannot be performed quickly.
これに対し、本実施形態では、位相差評価値が算出された場合には、第１及び第２実施形態による撮像装置と同様に、画像信号の出力の完了の如何にかかわらず、固体撮像素子１０２から位相差評価値が出力される。また、本実施形態では、コントラスト評価値が算出された場合には、第１及び第２実施形態による撮像装置と同様に、画像信号の出力の完了の如何にかかわらず、固体撮像素子１０２からコントラスト評価値が出力される。このため、本実施形態によれば、第１及び第２実施形態による撮像装置と同様に、オートフォーカスを迅速且つ高精度に行い得る撮像装置を提供することができる。しかも、本実施形態によれば、画像信号とＡＦ評価値とを共通の出力端子１００２を介して出力するため、低コスト化等に寄与することができる。
On the other hand, in the present embodiment, when the phase difference evaluation value is calculated, the solid-state imaging device regardless of whether the output of the image signal is completed, as in the imaging devices according to the first and second embodiments. A phase difference evaluation value is output from 102. Further, in the present embodiment, when the contrast evaluation value is calculated, the contrast from the solid-
［変形実施形態］
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
例えば、上記実施形態では、撮像装置１００がデジタルカメラである場合を例に説明したが、撮像装置１００はデジタルカメラに限定されるものではない。例えば、撮像装置１００は、デジタルビデオカメラであってもよいし、携帯情報端末の機能と携帯電話機の機能とを併せ持つ電子機器であるスマートフォンであってもよい。また、撮像装置１００は、例えば、タブレット端末、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等であってもよい。
[Modified Embodiment]
As mentioned above, although this invention was explained in full detail based on suitable embodiment, this invention is not limited to these embodiment, Various forms in the range which does not deviate from a summary are also contained in this invention. Moreover, you may combine suitably a part of above-mentioned embodiment.
For example, in the above embodiment, the case where the
また、第１実施形態では、ライブビュー表示を行いつつオートフォーカス動作を行う場合を例に説明したが、これに限定されるものでない。例えば、動画像の撮影を行いつつオートフォーカス動作を行う場合にも本発明を適用し得る。
また、上記実施形態では、ＡＦ評価値を固体撮像素子１０２から制御部１０６に出力し、制御部１０６が駆動部１０３を介して光学機構部１０１１を制御する場合を例に説明したが、これに限定されるものではない。例えば、オートフォーカス動作を司る機能ブロックに固体撮像素子１０２からＡＦ評価値を直接出力するようにしてもよい。
In the first embodiment, the case where the autofocus operation is performed while performing live view display has been described as an example, but the present invention is not limited to this. For example, the present invention can be applied to the case where an autofocus operation is performed while capturing a moving image.
In the above embodiment, the AF evaluation value is output from the solid-
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００・・・撮像装置
１０１・・・光学鏡筒
１０２・・・固体撮像素子
１０２１・・・ＡＦ評価値算出部
１０３・・・駆動部
１０６・・・制御部
２０１・・・画素
２１７・・・位相差評価値算出部
２１８・・・コントラスト評価値算出部
DESCRIPTION OF
Claims (9)
位相差検出方式による焦点検出のための位相差評価値を、前記画素からの信号に基づいて算出する第１の算出部と、
コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記画素からの信号に基づいて算出する第２の算出部とを有し、
前記位相差評価値の算出が前記第１の算出部によって完了した場合には、前記画素アレイによって取得される画像信号の出力の完了の如何にかかわらず、前記位相差評価値を出力し、
前記コントラスト評価値の算出が前記第２の算出部によって完了した場合には、前記画素アレイによって取得される前記画像信号の出力の完了の如何にかかわらず、前記コントラスト評価値を出力する
ことを特徴とする固体撮像素子。 A pixel array including a plurality of pixels;
A first calculation unit that calculates a phase difference evaluation value for focus detection by a phase difference detection method based on a signal from the pixel;
A second calculation unit that calculates a contrast evaluation value for focus detection by a contrast detection method based on a signal from the pixel;
When the calculation of the phase difference evaluation value is completed by the first calculation unit, the phase difference evaluation value is output regardless of the completion of the output of the image signal acquired by the pixel array,
When the calculation of the contrast evaluation value is completed by the second calculation unit, the contrast evaluation value is output regardless of whether the output of the image signal acquired by the pixel array is completed. A solid-state imaging device.
前記第１の算出部及び前記第２の算出部は、前記第１の半導体チップと異なる第２の半導体チップに形成され、
前記第１の半導体チップと前記第２の半導体チップとが積層されていることを特徴とする請求項１に記載の固体撮像素子。 The pixel array is formed on a first semiconductor chip;
The first calculation unit and the second calculation unit are formed on a second semiconductor chip different from the first semiconductor chip,
The solid-state imaging device according to claim 1, wherein the first semiconductor chip and the second semiconductor chip are stacked.
前記第１の算出部は、前記第１の画素と前記第２の画素からの信号に基づいて前記位相差評価値を算出することを特徴とする請求項１乃至６のいずれか１項に記載の固体撮像素子。 The plurality of pixels are different from a first pixel that obtains a signal corresponding to a light beam passing through a first pupil region of an exit pupil of the imaging optical system, and a second different from the first pupil region of the exit pupil. A second pixel that obtains a signal corresponding to the luminous flux passing through the pupil region of
The said 1st calculation part calculates the said phase difference evaluation value based on the signal from the said 1st pixel and the said 2nd pixel, The any one of Claim 1 thru | or 6 characterized by the above-mentioned. Solid-state image sensor.
位相差検出方式による焦点検出のための位相差評価値を、前記画素からの信号に基づいて算出するステップと、
コントラスト検出方式による焦点検出のためのコントラスト評価値を、前記画素からの信号に基づいて算出するステップと、
前記位相差評価値の算出が完了した場合に、前記画素アレイによって取得される前記画像信号の出力の完了の如何にかかわらず、前記位相差評価値を出力するステップと、
前記コントラスト評価値の算出が完了した場合に、前記画素アレイによって取得される前記画像信号の出力の完了の如何にかかわらず、前記コントラスト評価値を出力するステップと
を有することを特徴とする固体撮像素子の制御方法。 Outputting an image signal acquired by a pixel array including a plurality of pixels;
Calculating a phase difference evaluation value for focus detection by a phase difference detection method based on a signal from the pixel;
Calculating a contrast evaluation value for focus detection by a contrast detection method based on a signal from the pixel;
Outputting the phase difference evaluation value regardless of whether the output of the image signal acquired by the pixel array is completed when the calculation of the phase difference evaluation value is completed;
Output of the contrast evaluation value regardless of whether the output of the image signal acquired by the pixel array is completed when the calculation of the contrast evaluation value is completed. Device control method.
前記位相差評価値と前記コントラスト評価値とに基づいて、フォーカスレンズを駆動するための制御を行う制御部と
を有することを特徴とする撮像装置。 A pixel array including a plurality of pixels; a first calculation unit that calculates a phase difference evaluation value for focus detection by a phase difference detection method based on a signal from the pixel; and for focus detection by a contrast detection method A second calculation unit that calculates a contrast evaluation value based on a signal from the pixel, and is acquired by the pixel array when the calculation of the phase difference evaluation value is completed by the first calculation unit. Regardless of the completion of the output of the image signal, the phase difference evaluation value is output, and when the calculation of the contrast evaluation value is completed by the second calculation unit, it is acquired by the pixel array. Regardless of the completion of the output of the image signal, a solid-state imaging device that outputs the contrast evaluation value;
An imaging apparatus comprising: a control unit that performs control for driving a focus lens based on the phase difference evaluation value and the contrast evaluation value.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016206710A JP6881939B2 (en) | 2016-10-21 | 2016-10-21 | Solid-state image sensor, its control method, and image sensor |
| US15/784,354 US10284800B2 (en) | 2016-10-21 | 2017-10-16 | Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus |
| US16/358,854 US10609315B2 (en) | 2016-10-21 | 2019-03-20 | Solid-state image pickup element, apparatus, and method for focus detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016206710A JP6881939B2 (en) | 2016-10-21 | 2016-10-21 | Solid-state image sensor, its control method, and image sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018066928A true JP2018066928A (en) | 2018-04-26 |
| JP6881939B2 JP6881939B2 (en) | 2021-06-02 |
Family
ID=62086178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016206710A Active JP6881939B2 (en) | 2016-10-21 | 2016-10-21 | Solid-state image sensor, its control method, and image sensor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6881939B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2020183947A1 (en) * | 2019-03-13 | 2020-09-17 | ||
| JP2021085988A (en) * | 2019-11-27 | 2021-06-03 | 株式会社リコー | Imaging device, focus adjustment method, and focus adjustment program |
| WO2024135120A1 (en) * | 2022-12-21 | 2024-06-27 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011216A (en) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | Imaging device, and control method and control program of the same |
| JP2016018033A (en) * | 2014-07-07 | 2016-02-01 | キヤノン株式会社 | Imaging device, control method of the same, program and recording medium |
-
2016
- 2016-10-21 JP JP2016206710A patent/JP6881939B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015011216A (en) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | Imaging device, and control method and control program of the same |
| JP2016018033A (en) * | 2014-07-07 | 2016-02-01 | キヤノン株式会社 | Imaging device, control method of the same, program and recording medium |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2020183947A1 (en) * | 2019-03-13 | 2020-09-17 | ||
| WO2020183947A1 (en) * | 2019-03-13 | 2020-09-17 | 富士フイルム株式会社 | Imaging element, imaging device, method for operating imaging element, and program |
| US11616927B2 (en) | 2019-03-13 | 2023-03-28 | Fujifilm Corporation | Imaging element, imaging apparatus, operation method of imaging element, and program |
| US11882375B2 (en) | 2019-03-13 | 2024-01-23 | Fujifilm Corporation | Imaging element, imaging apparatus, operation method of imaging element, and program |
| JP7481313B2 (en) | 2019-03-13 | 2024-05-10 | 富士フイルム株式会社 | Image pickup device, image pickup device operation method, and program |
| JP2021085988A (en) * | 2019-11-27 | 2021-06-03 | 株式会社リコー | Imaging device, focus adjustment method, and focus adjustment program |
| JP7302455B2 (en) | 2019-11-27 | 2023-07-04 | 株式会社リコー | IMAGING DEVICE, FOCUS ADJUSTMENT METHOD, FOCUS ADJUSTMENT PROGRAM |
| WO2024135120A1 (en) * | 2022-12-21 | 2024-06-27 | ソニーセミコンダクタソリューションズ株式会社 | Imaging device and imaging system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6881939B2 (en) | 2021-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10609315B2 (en) | Solid-state image pickup element, apparatus, and method for focus detection | |
| US10531025B2 (en) | Imaging element, imaging apparatus, and method for processing imaging signals | |
| JP6190184B2 (en) | Imaging device, imaging apparatus, control method thereof, and control program | |
| US11290648B2 (en) | Image capture apparatus and control method thereof | |
| US10277853B2 (en) | Image capturing apparatus and control method of the same | |
| JP4639406B2 (en) | Imaging device | |
| JP6530593B2 (en) | Imaging device, control method therefor, storage medium | |
| JP6881939B2 (en) | Solid-state image sensor, its control method, and image sensor | |
| JP6521731B2 (en) | Imaging device, control method therefor, and control program | |
| JP7064322B2 (en) | Electronic devices and their control methods, as well as image sensors | |
| JP6762767B2 (en) | Image sensor, image sensor, and image signal processing method | |
| JP6881940B2 (en) | Solid-state image sensor, its control method, and image sensor | |
| JP6223160B2 (en) | Imaging device, control method thereof, and control program | |
| JP2017195642A (en) | Image pickup device and image pickup apparatus | |
| US11089217B2 (en) | Image-pickup apparatus and control method thereof | |
| JP7277284B2 (en) | Focus adjustment device and focus adjustment method | |
| US20150085172A1 (en) | Image capturing apparatus and control method thereof | |
| JP6762849B2 (en) | Image sensor, its control method, program and recording medium | |
| JP7247975B2 (en) | Imaging element and imaging device | |
| JP2017034344A (en) | Imaging apparatus and control method therefor | |
| US20230199342A1 (en) | Imaging device and imaging method | |
| JP6757199B2 (en) | Image sensor and its driving method, and electronic devices | |
| JP6375614B2 (en) | Solid-state imaging device and imaging apparatus | |
| JP2019216410A (en) | Imaging apparatus and control method therefor | |
| JP2020191528A (en) | Imaging apparatus and control method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191017 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210506 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6881939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |