JP6884590B2 - Image pickup device, control method of image pickup device, and program - Google Patents

Image pickup device, control method of image pickup device, and program Download PDF

Info

Publication number
JP6884590B2
JP6884590B2 JP2017023810A JP2017023810A JP6884590B2 JP 6884590 B2 JP6884590 B2 JP 6884590B2 JP 2017023810 A JP2017023810 A JP 2017023810A JP 2017023810 A JP2017023810 A JP 2017023810A JP 6884590 B2 JP6884590 B2 JP 6884590B2
Authority
JP
Japan
Prior art keywords
signal
image
reading
unit
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017023810A
Other languages
Japanese (ja)
Other versions
JP2018133600A (en
Inventor
敏和 柳井
敏和 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017023810A priority Critical patent/JP6884590B2/en
Publication of JP2018133600A publication Critical patent/JP2018133600A/en
Application granted granted Critical
Publication of JP6884590B2 publication Critical patent/JP6884590B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関し、特に、複数の光電変換部を含む画素を備える撮像手段を用いて画像を撮像するために用いて好適なものである。 The present invention relates to an image pickup device, a control method of the image pickup device, and a program, and is particularly suitable for being used for capturing an image by using an image pickup means including pixels including a plurality of photoelectric conversion units.

複数の光電変換部を有する画素であって、当該複数の光電変換部による画素内瞳分割機能を有する画素を複数有する撮像素子を備える撮像装置がある。このような撮像装置では、位相差検出方式の焦点検出が行われる。焦点検出方法に利用可能な信号を出力する撮像素子の一例として、１対の光電変換部を有する画素を、２次元に配列したマイクロレンズアレイのマイクロレンズ毎に設けたものがある。 There is an image pickup device including an image pickup device having a plurality of pixels having a plurality of photoelectric conversion units and having a plurality of pixels having an intra-pixel pupil division function by the plurality of photoelectric conversion units. In such an imaging device, focus detection by a phase difference detection method is performed. As an example of an image pickup device that outputs a signal that can be used in a focus detection method, there is one in which pixels having a pair of photoelectric conversion units are provided for each microlens of a microlens array arranged in two dimensions.

このような撮像装置に関する技術として特許文献１に記載の技術がある。特許文献１に記載の技術では、撮像装置は、まず、マイクロレンズにより瞳分割された画素として、光電変換部Ａと光電変換部Ｂとを有する画素から、光電変換部Ａの出力信号であるＡ像と光電変換部Ａと光電変換部Ｂの加算信号であるＡ＋Ｂ像を読み出す。次に、撮像装置は、Ａ＋Ｂ像からＡ像を減算して（（Ａ＋Ｂ像）−（Ａ像）の計算を行って）、光電変換部Ｂの出力信号であるＢ像を求める。そして、撮像装置は、Ａ像とＢ像とを用いて位相差検出方式の焦点検出を実施すると共に、Ａ＋Ｂ像を用いて被写体画像を作成する。 As a technique related to such an image pickup apparatus, there is a technique described in Patent Document 1. In the technique described in Patent Document 1, the image pickup apparatus first receives an output signal of the photoelectric conversion unit A from a pixel having a photoelectric conversion unit A and a photoelectric conversion unit B as pixels whose pupils are divided by a microlens. The image and the A + B image which is the addition signal of the photoelectric conversion unit A and the photoelectric conversion unit B are read out. Next, the image pickup apparatus subtracts the A image from the A + B image (calculates (A + B image) − (A image)) to obtain the B image which is the output signal of the photoelectric conversion unit B. Then, the image pickup apparatus performs focus detection of the phase difference detection method using the A image and the B image, and creates a subject image using the A + B image.

特開２０１３−１０６１９４号公報Japanese Unexamined Patent Publication No. 2013-106194

しかしながら、特許文献１に記載の技術では、Ａ像とＡ＋Ｂ像とを読み出す必要があり、読み出しデータ量が２倍となる。このため、読み出し時間も２倍になるという課題がある。これにより、所望の動画性能としてのフレームレートが低下する虞や、行毎の画素の読み出し時間差によるローリング歪の悪化という問題が発生する虞があるという問題がある。 However, in the technique described in Patent Document 1, it is necessary to read the A image and the A + B image, and the amount of read data is doubled. Therefore, there is a problem that the read time is also doubled. As a result, there is a problem that the frame rate as a desired moving image performance may be lowered, and there may be a problem that the rolling distortion may be deteriorated due to the difference in the reading time of the pixels for each row.

これに対して、所望のフレームレートを維持して、Ａ像とＡ＋Ｂ像とを読み出す場合には、データレート（単位時間あたりの転送データ量）が２倍となる。このため、Ａ像とＡ＋Ｂ像とを読み出す際のデータレートが、撮像素子が出力可能なデータレートを越える虞があるという問題がある。 On the other hand, when the desired frame rate is maintained and the A image and the A + B image are read out, the data rate (the amount of data transferred per unit time) is doubled. Therefore, there is a problem that the data rate when reading the A image and the A + B image may exceed the data rate that can be output by the image sensor.

また、撮像素子が出力可能なデータレートでＡ像とＡ＋Ｂ像とを読み出す場合においても、撮像装置が備える信号処理部が、Ａ＋Ｂ像を用いた被写体画像の作成を、撮像素子が出力可能なデータレートで実施する必要がある。このため、信号処理部の信号処理レート（単位時間あたりの処理量）の限界に達する虞や信号処理部の消費電力が高くなる虞があるという問題がある。 Further, even when the A image and the A + B image are read out at a data rate that can be output by the image sensor, the signal processing unit included in the image sensor can output the data that the image sensor can output to create the subject image using the A + B image. Must be done at a rate. Therefore, there is a problem that the limit of the signal processing rate (processing amount per unit time) of the signal processing unit may be reached and the power consumption of the signal processing unit may increase.

更に、撮像素子からＡ像とＡ＋Ｂ像とを読み出す場合、撮像装置が備える信号処理部は、Ａ＋Ｂ像を用いた被写体画像の作成中に、Ａ＋Ｂ像およびＡ像からＢ像を計算し、Ａ像およびＢ像を用いて位相差検出方式の焦点検出を実施する必要がある。このため、信号処理部の消費電力が大きくなる虞があるという問題がある。
このように従来の技術では、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、画素内瞳分割機能により位相差検出方式の焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減との実現が容易ではない。 Further, when reading the A image and the A + B image from the image sensor, the signal processing unit included in the image pickup device calculates the B image from the A + B image and the A image during the creation of the subject image using the A + B image, and the A image. And it is necessary to carry out the focus detection of the phase difference detection method using the B image. Therefore, there is a problem that the power consumption of the signal processing unit may increase.
As described above, in the conventional technique, when the focus detection of the phase difference detection method and the image creation are performed by the intra-pixel pupil division function by using the imaging means including a plurality of pixels each having a plurality of photoelectric conversion units. It is not easy to suppress the decrease in frame rate and reduce power consumption.

本発明はこのような点に鑑みてなされたものであり、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを実現することを目的とする。 The present invention has been made in view of these points, and when performing focus detection and image creation using an imaging means including a plurality of pixels, each of which has a plurality of photoelectric conversion units, the frame rate is determined. The purpose is to suppress the decrease and reduce the power consumption.

本発明の撮像装置は、それぞれが第１の光電変換部および第２の光電変換部を有する複数の画素を備える撮像手段と、前記第１の光電変換部から出力された第１の信号と、前記第２の光電変換部から出力された第２の信号とを前記撮像手段から第１の読み出し速度で読み出す第１の読み出し手段と、前記第１の読み出し手段により読み出された前記第１の信号および前記第２の信号を第１の記憶媒体に記憶する第１の記憶手段と、前記撮像手段により撮像された画像を作成するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶手段から第２の読み出し速度で読み出す第２の読み出し手段と、焦点を検出するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶手段から連続的に読み出す第３の読み出し手段と、を有し、前記第１の読み出し速度よりも前記第２の読み出し速度の方が遅いことを特徴とする。 The image pickup apparatus of the present invention includes an imaging means including a plurality of pixels each having a first photoelectric conversion unit and a second photoelectric conversion unit, and a first signal output from the first photoelectric conversion unit. A first reading means for reading the second signal output from the second photoelectric conversion unit from the imaging means at a first reading speed, and the first reading means read by the first reading means . first storage means for storing a signal and the second signal to the first storage medium, as a signal used to create the image captured by the pre-Symbol imaging unit, the first signal and the second second reading means for reading the signal from the first storage unit in the second read speed, as a signal used to detect the focal point, the said first signal and said second signal first a third reading means for continuously reading out from the storage means, and wherein the slow towards the second reading speed than the first readout speed.

本発明によれば、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを実現することができる。 According to the present invention, when focusing detection and image creation are performed by using an imaging means including a plurality of pixels, each of which has a plurality of photoelectric conversion units, it is possible to suppress a decrease in frame rate and reduce power consumption. It can be realized.

撮像装置の構成を示す図である。It is a figure which shows the structure of the image pickup apparatus. 撮像素子の基板構成を示す図である。It is a figure which shows the substrate structure of the image sensor. 撮像基板の構成を示す図である。It is a figure which shows the structure of the image pickup substrate. 画素の回路構成を示す図である。It is a figure which shows the circuit structure of a pixel. 画素２００の概略構成を示す図である。It is a figure which shows the schematic structure of the pixel 200. 列信号処理部の回路構成を示す図である。It is a figure which shows the circuit structure of the column signal processing part. 信号処理の第１の例を説明する図である。It is a figure explaining the 1st example of signal processing. 撮像装置の動作タイミングの第１の例を示す図である。It is a figure which shows the 1st example of the operation timing of an image pickup apparatus. 信号処理の第２の例を説明する図である。It is a figure explaining the 2nd example of signal processing. 撮像装置の動作タイミングの第２の例を示す図である。It is a figure which shows the 2nd example of the operation timing of an image pickup apparatus.

以下に、図面を参照して実施形態について詳細に説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、本実施形態の撮像装置の構成の一例を示す図である。本実施形態の撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、工業用カメラ、車載用カメラ、または医療用カメラ等に適用することが可能である。
図１に示す撮像装置は、撮像光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、画像記録部１８および振動検出部１９を有する。 Hereinafter, embodiments will be described in detail with reference to the drawings.
(First Embodiment)
First, the first embodiment will be described.
FIG. 1 is a diagram showing an example of the configuration of the image pickup apparatus of the present embodiment. The imaging device of the present embodiment can be applied to, for example, a digital still camera, a digital video camera, an industrial camera, an in-vehicle camera, a medical camera, or the like.
The image pickup apparatus shown in FIG. 1 includes an image pickup optical system 11, an image sensor 12, a signal processing unit 13, a compression / expansion unit 14, a synchronization control unit 15, an operation unit 16, an image display unit 17, an image recording unit 18, and a vibration detection unit 19. Has.

撮像光学系１１は、被写体像を結像させるためのレンズ、ズームや合焦あるいは防振を行うためのレンズ駆動機構、メカニカルシャッタ機構、および絞り機構等を有する。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。
撮像素子１２は、例えば、ＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを備える。撮像素子１２は、同期制御部１５からの制御信号に応じて、露光、信号の読み出し、およびリセット等の撮像動作を実施する。撮像素子１２は、アナログデジタル変換回路（以下「ＡＤ変換回路」という）を有する。ＣＭＯＳセンサから読み出された信号は、アナログデジタル変換回路によりアナログデジタル変換（以下「ＡＤ変換」という）されてデジタル化される。デジタル化された画像信号は、信号処理部１３に出力される。撮像素子１２に設けられた画素は、位相差検出方式による焦点検出のための第１の焦点検出用の信号と、撮影画像を作成するための撮影画像用の信号とを出力する。本実施形態では、第１の焦点検出用の信号は、後述するＡ信号に対応し、撮影画像用の信号は、後述するＡ＋Ｂ信号に対応する。そして、撮像素子１２は、１つの画素から出力された第１の焦点検出用の信号と撮影画像用の信号とを用いて第２の焦点検出用の信号を求める。本実施形態では、第２の焦点検出用の信号は、後述するＡ＋Ｂ信号からＡ信号を減算した信号（Ｂ信号）に対応する。 The imaging optical system 11 includes a lens for forming a subject image, a lens driving mechanism for zooming, focusing, or vibration isolation, a mechanical shutter mechanism, an aperture mechanism, and the like. The movable portion of these is driven based on the control signal from the synchronous control unit 15.
The image sensor 12 includes, for example, an XY address type CMOS (Complementary Metal Oxide Semiconductor) sensor. The image sensor 12 performs imaging operations such as exposure, signal reading, and reset in response to a control signal from the synchronous control unit 15. The image sensor 12 has an analog-to-digital conversion circuit (hereinafter referred to as "AD conversion circuit"). The signal read from the CMOS sensor is converted to analog-digital (hereinafter referred to as "AD conversion") by an analog-to-digital conversion circuit and digitized. The digitized image signal is output to the signal processing unit 13. The pixels provided in the image pickup device 12 output a signal for first focus detection for focus detection by the phase difference detection method and a signal for a captured image for creating a captured image. In the present embodiment, the first focus detection signal corresponds to the A signal described later, and the captured image signal corresponds to the A + B signal described later. Then, the image sensor 12 obtains a second focus detection signal by using the first focus detection signal and the captured image signal output from one pixel. In the present embodiment, the second focus detection signal corresponds to a signal (B signal) obtained by subtracting the A signal from the A + B signal described later.

信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、信号処理と、制御情報の検出とを実施する。信号処理には、例えば、ホワイトバランス調整、色補正、およびガンマ補正等が含まれる。制御情報には、例えば、ＡＦ（Auto Focus）やＡＥ（Auto Exposure）等の制御情報が含まれる。そして、信号処理部１３は、信号処理された画像信号や制御情報を同期制御部１５に出力する。 Under the control of the synchronous control unit 15, the signal processing unit 13 performs signal processing and detection of control information on the digitized image signal input from the image sensor 12. Signal processing includes, for example, white balance adjustment, color correction, gamma correction, and the like. The control information includes, for example, control information such as AF (Auto Focus) and AE (Auto Exposure). Then, the signal processing unit 13 outputs the signal-processed image signal and control information to the synchronous control unit 15.

本実施形態では、信号処理部１３は、ＡＦ検出処理として、位相差検出方式による焦点検出処理を実施する。位相差検出方式による焦点検出方法として、例えば、画素内瞳分割機能を用いた以下の方法がある。信号処理部１３は、２つの光電変換素子を含む画素において、複数の画素の一方の光電変換素子の出力信号と他方の光電変換素子の出力信号との波形のずれ（位相差）を検出する。即ち、信号処理部１３は、複数の画素に関わる前述した２つの焦点検出用の信号に基づいて、画素内瞳分割された２つの光電変換素子に対する入射光の位相差を検出する。そして、信号処理部１３は、検出した位相差に基づいて被写体までの距離を求めて焦点検出を行い、被写体が合焦するように合焦レンズを駆動させる。また、信号処理部１３は、画素領域の画素から得られた撮影画像用の信号を用いて撮影画像を作成する。 In the present embodiment, the signal processing unit 13 performs the focus detection process by the phase difference detection method as the AF detection process. As a focus detection method by the phase difference detection method, for example, there are the following methods using the intra-pixel pupil division function. The signal processing unit 13 detects a waveform shift (phase difference) between the output signal of one photoelectric conversion element and the output signal of the other photoelectric conversion element of a plurality of pixels in a pixel including two photoelectric conversion elements. That is, the signal processing unit 13 detects the phase difference of the incident light with respect to the two photoelectric conversion elements whose intra-pixel pupils are divided, based on the above-mentioned two focus detection signals related to the plurality of pixels. Then, the signal processing unit 13 obtains the distance to the subject based on the detected phase difference, performs focus detection, and drives the focusing lens so that the subject is in focus. In addition, the signal processing unit 13 creates a captured image using the captured image signal obtained from the pixels in the pixel region.

圧縮伸張部１４は、同期制御部１５の制御の下で動作する。圧縮伸張部１４は、信号処理部１３で信号処理された画像信号を同期制御部１５から受け取って、圧縮符号化処理を実施したり、同期制御部１５から供給された静止画像の符号化データに対して伸張復号化処理を実施したりする。そして、圧縮伸張部１４は、圧縮符号化処理された符号化データや、伸張復号化処理された画像信号を同期制御部１５に出力する。また、圧縮伸張部１４は、動画像の圧縮符号化／伸張復号化処理を実行してもよい。 The compression / decompression unit 14 operates under the control of the synchronization control unit 15. The compression / decompression unit 14 receives the image signal signal-processed by the signal processing unit 13 from the synchronization control unit 15 to perform compression coding processing, or to the coded data of the still image supplied from the synchronization control unit 15. On the other hand, decompression / decoding processing is performed. Then, the compression / decompression unit 14 outputs the compression-encoded coded data and the decompression-decoding-processed image signal to the synchronization control unit 15. Further, the compression / decompression unit 14 may execute the compression coding / decompression / decoding process of the moving image.

同期制御部１５は、例えば、マイクロコントローラを有する。マイクロコントローラは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等を有する。同期制御部１５は、ＲＯＭ等に記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。また、各部の間の画像データの転送や制御データの転送も同期制御部１５を介して実行される。 The synchronization control unit 15 has, for example, a microcontroller. The microcontroller has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The synchronous control unit 15 comprehensively controls each unit of the image pickup apparatus by executing a program stored in a ROM or the like. Further, the transfer of image data and the transfer of control data between each unit are also executed via the synchronous control unit 15.

操作部１６は、例えば、シャッタレリーズボタン等の各種操作キー、レバー、およびダイヤル等を有する。操作部１６は、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。
画像表示部１７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を有する。画像表示部１７は、同期制御部１５から供給された画像信号を表示デバイスに表示させるための信号を生成し、生成した信号を表示デバイスに供給して画像を表示させる。
画像記録部１８には、例えば、可搬型の半導体メモリ等からなる記録媒体が接続される。画像記録部１８は、例えば、圧縮伸張部１４により圧縮符号化処理された符号化データのファイル（画像データファイル）を同期制御部１５から受け取って、記録媒体に記憶する。また、画像記録部１８は、同期制御部１５からの制御信号を基に指定されたデータを記録媒体から読み出し、同期制御部１５に出力する。 The operation unit 16 has, for example, various operation keys such as a shutter release button, a lever, a dial, and the like. The operation unit 16 outputs a control signal corresponding to an input operation by the user to the synchronous control unit 15.
The image display unit 17 includes a display device such as an LCD (Liquid Crystal Display), an interface circuit for the display device, and the like. The image display unit 17 generates a signal for displaying the image signal supplied from the synchronization control unit 15 on the display device, and supplies the generated signal to the display device to display the image.
A recording medium made of, for example, a portable semiconductor memory or the like is connected to the image recording unit 18. The image recording unit 18 receives, for example, a file of coded data (image data file) compressed and coded by the compression / decompression unit 14 from the synchronization control unit 15 and stores it in a recording medium. Further, the image recording unit 18 reads the data designated based on the control signal from the synchronization control unit 15 from the recording medium and outputs the data to the synchronization control unit 15.

振動検出部１９は、例えば、ジャイロセンサや加速度センサを有する。振動検出部１９は、手ぶれ等による撮像装置に対する振動の方向や速さ（動きベクトル）を示す信号を検出して同期制御部１５に出力する。
同期制御部１５は、動きベクトルに基づいて撮像装置の移動量を計算して画像防振を実施する。画像防振の方法としては、光学的手ぶれ補正と電子的手ぶれ補正とがある。
光学的手ぶれ補正を行う場合、撮像光学系１１内に配置されたシフトレンズを用いる。光学的手ぶれ補正は、動きベクトルから計算した移動量を基に、撮像装置に対するぶれと反対の方向を撮影するように、撮像光学系１１内のシフトレンズを移動させることで、画像のぶれをキャンセルする方法である。 The vibration detection unit 19 has, for example, a gyro sensor and an acceleration sensor. The vibration detection unit 19 detects a signal indicating the direction and speed (motion vector) of vibration with respect to the image pickup device due to camera shake or the like and outputs the signal to the synchronization control unit 15.
The synchronization control unit 15 calculates the amount of movement of the image pickup apparatus based on the motion vector and implements image vibration isolation. Image stabilization methods include optical image stabilization and electronic image stabilization.
When performing optical image stabilization, a shift lens arranged in the imaging optical system 11 is used. Optical image stabilization cancels image shake by moving the shift lens in the imaging optical system 11 so as to shoot in the direction opposite to the shake with respect to the image pickup device, based on the amount of movement calculated from the motion vector. How to do it.

電子的手ぶれ補正を行う場合、撮影できる領域が記録画像の撮影領域より広く設定された撮像素子１２を用いる。電子的手ぶれ補正は、動きベクトルから計算した移動量を基に、撮像装置に対するぶれと反対の方向の撮影領域を切り出して記録画像とすることで、画像のぶれをキャンセルする方法である。
本実施形態では、どちらか一方の手ぶれ補正を用いてもよいし、あるいは、両方の手ぶれ補正を用いてもよい。また、同期制御部１５は、振動検出部１９によって検出された振動の方向や強さの代わりに、連続して撮影された画像の変化から動きベクトルを求めることもできる。 When performing electronic image stabilization, the image sensor 12 is used in which the imageable area is set wider than the image pickup area of the recorded image. Electronic image stabilization is a method of canceling image shake by cutting out a shooting area in the direction opposite to the shake with respect to the image pickup device and using it as a recorded image based on the amount of movement calculated from the motion vector.
In this embodiment, either one of the image stabilizers may be used, or both image stabilizers may be used. Further, the synchronous control unit 15 can also obtain a motion vector from changes in continuously captured images instead of the direction and intensity of vibration detected by the vibration detection unit 19.

次に、本実施形態における撮像装置の基本的な動作の一例について説明する。
静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。
信号処理部１３は、撮像素子１２からの画像信号に対して信号処理を施し、信号処理を施した画像信号を、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、信号処理部１３から供給されたカメラスルー画像が画像表示部１７に表示される。ユーザは、画像表示部１７により表示された画像を見て画角合わせ等を行うことが可能となる。 Next, an example of the basic operation of the image pickup apparatus in this embodiment will be described.
Before capturing a still image, the image signal output from the image sensor 12 is sequentially supplied to the signal processing unit 13.
The signal processing unit 13 performs signal processing on the image signal from the image sensor 12, and supplies the processed image signal as a camera-through image signal to the image display unit 17 through the synchronization control unit 15. As a result, the camera-through image supplied from the signal processing unit 13 is displayed on the image display unit 17. The user can adjust the angle of view by looking at the image displayed by the image display unit 17.

この状態で操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の画像信号が、信号処理部１３に取り込まれる。信号処理部１３は、取り込まれた１フレーム分の画像信号に信号処理を施し、信号処理を施した画像信号を圧縮伸張部１４に供給する。
圧縮伸張部１４は、信号処理部１３から供給された画像信号を圧縮符号化して符号化データを生成し、生成した符号化データを、同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。 When the shutter release button of the operation unit 16 is pressed in this state, the image signal for one frame from the image sensor 12 is taken into the signal processing unit 13 under the control of the synchronization control unit 15. The signal processing unit 13 performs signal processing on the captured image signal for one frame, and supplies the processed image signal to the compression / decompression unit 14.
The compression / decompression unit 14 compresses and encodes the image signal supplied from the signal processing unit 13 to generate coded data, and supplies the generated coded data to the image recording unit 18 through the synchronization control unit 15. As a result, the captured still image data file is recorded in the image recording unit 18.

画像記録部１８に記録された静止画像のデータファイルを再生する場合、同期制御部１５は、操作部１６からの操作入力に応じて選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は、同期制御部１５を介して画像表示部１７に供給される。これにより、静止画像が画像表示部１７により表示（再生）される。
また、動画像を記録する場合、圧縮伸張部１４は、信号処理部１３で順次信号処理された画像信号を圧縮符号化して符号化データを生成し、生成した動画像の符号化データを、同期制御部１５を通じて順次画像記録部１８に転送する。これにより、撮像された動画像のデータファイルが画像記録部１８に記録される。
画像記録部１８に記録された動画像のデータファイルを再生する場合、同期制御部１５は、操作部１６からの操作入力に応じて選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部１５を介して画像表示部１７に供給される。これにより、動画像が画像表示部１７により表示（再生）される。 When playing back a still image data file recorded in the image recording unit 18, the synchronization control unit 15 reads the data file selected in response to the operation input from the operation unit 16 from the image recording unit 18 and compresses / decompresses the data file. It is supplied to No. 14 to execute the decompression / decoding process. The decoded image signal is supplied to the image display unit 17 via the synchronization control unit 15. As a result, the still image is displayed (reproduced) by the image display unit 17.
When recording a moving image, the compression / decompression unit 14 compresses and encodes the image signal sequentially signal-processed by the signal processing unit 13 to generate coded data, and synchronizes the coded data of the generated moving image. The data is sequentially transferred to the image recording unit 18 through the control unit 15. As a result, the captured moving image data file is recorded in the image recording unit 18.
When playing back a moving image data file recorded in the image recording unit 18, the synchronization control unit 15 reads the data file selected in response to the operation input from the operation unit 16 from the image recording unit 18, and compresses and decompresses the data file. It is supplied to No. 14 to execute the decompression / decoding process. The decoded image signal is supplied to the image display unit 17 via the synchronization control unit 15. As a result, the moving image is displayed (reproduced) by the image display unit 17.

図２は、本実施形態の撮像素子１２の基板構成の一例を示す図である。
図２（ａ）は、各基板の平面構成の一例を示し、図２（ｂ）は、各基板の積層構成の一例を示す。
撮像素子１２は、撮像基板１００と、メモリ基板１１０と、回路基板１２０とが、この順で積層された構造（積み重ねられた構造）を有する。撮像基板１００、メモリ基板１１０、および回路基板１２０は、相互に電気的に接続される。撮像基板１００には、画素を構成する回路要素（光電変換素子、トランジスタ、容量等）が配置される。メモリ基板１１０には、記憶部を構成する回路要素（メモリ等の記憶回路）が配置される。回路基板１２０には、信号前処理部を構成する回路要素（トランジスタ、容量等）が配置される。本実施形態では、例えば、撮像基板１００を用いることにより、複数の画素を備える第１の基板の一例が実現される。また、例えば、メモリ基板１１０を用いることにより、第１の記憶媒体を備える第２の基板の一例が実現される。また、例えば、回路基板１２０を用いることにより、第２の読み出し手段および第３の読み出し手段により読み出された信号を撮像手段の外部に出力する出力手段を備える第３の基板の一例が実現される。 FIG. 2 is a diagram showing an example of the substrate configuration of the image pickup device 12 of the present embodiment.
FIG. 2A shows an example of a planar configuration of each substrate, and FIG. 2B shows an example of a laminated configuration of each substrate.
The image pickup device 12 has a structure (a stacked structure) in which an image pickup board 100, a memory board 110, and a circuit board 120 are stacked in this order. The image pickup board 100, the memory board 110, and the circuit board 120 are electrically connected to each other. Circuit elements (photoelectric conversion elements, transistors, capacitances, etc.) constituting pixels are arranged on the image pickup substrate 100. A circuit element (a storage circuit such as a memory) constituting a storage unit is arranged on the memory board 110. Circuit elements (transistors, capacitances, etc.) constituting the signal preprocessing unit are arranged on the circuit board 120. In the present embodiment, for example, by using the image pickup board 100, an example of the first board having a plurality of pixels is realized. Further, for example, by using the memory substrate 110, an example of a second substrate including the first storage medium is realized. Further, for example, by using the circuit board 120, an example of a third substrate provided with an output means for outputting a signal read by the second reading means and the third reading means to the outside of the imaging means is realized. To.

図２（ａ）の平面構成において、撮像基板１００は、裏面照射型ＣＭＯＳセンサを有する。撮像基板１００の被写体光が入射される側の面には、光電変換素子を有する画素からなる撮像部１０１が配置される。撮像基板１００の被写体光が入射される側の面の反対のメモリ基板１１０側の面には、画素配線やＡＤ変換を実施する列信号処理部１０２が配置される。更に、撮像基板１００には、メモリ基板１１０のメモリ制御部１１１と電気的に接続するためのマイクロパッドが形成される。 In the planar configuration of FIG. 2A, the image pickup substrate 100 has a back-illuminated CMOS sensor. An imaging unit 101 composed of pixels having a photoelectric conversion element is arranged on the surface of the imaging substrate 100 on the side where the subject light is incident. A column signal processing unit 102 that performs pixel wiring and AD conversion is arranged on the surface of the image pickup substrate 100 on the memory substrate 110 side opposite to the surface on the side on which the subject light is incident. Further, the image pickup board 100 is formed with a micropad for electrically connecting to the memory control unit 111 of the memory board 110.

メモリ基板１１０は、メモリ制御部１１１と記録部１１２とを有する。メモリ基板１１０の撮像基板１００側の面には、列信号処理部１０２と電気的に接続するためのマイクロパッドが形成される。メモリ基板１１０の回路基板１２０側の面には、バス制御部１２１と電気的に接続するためのマイクロパッドが形成される。本実施形態では、例えば、記録部１１２を用いることにより、第１の記憶媒体の一例が実現される。
回路基板１２０は、バス制御部１２１と、画像信号前処理部１２２と、画像信号出力部１２３と、ＡＦ信号前処理部１２４と、ＡＦ信号出力部１２５とを有する。回路基板１２０のメモリ基板１１０側の面には、メモリ制御部１１１と電気的に接続するためのマイクロパッドが形成される。ここで、画像信号前処理部１２２とＡＦ信号前処理部１２４とを合わせて信号前処理部１２６とする。本実施形態では、例えば、画像信号出力部１２３と、ＡＦ信号出力部１２５とを用いることにより、出力手段の一例が実現される。 The memory board 110 has a memory control unit 111 and a recording unit 112. A micropad for electrically connecting to the column signal processing unit 102 is formed on the surface of the memory board 110 on the image pickup board 100 side. A micropad for electrically connecting to the bus control unit 121 is formed on the surface of the memory board 110 on the circuit board 120 side. In the present embodiment, for example, by using the recording unit 112, an example of the first storage medium is realized.
The circuit board 120 includes a bus control unit 121, an image signal preprocessing unit 122, an image signal output unit 123, an AF signal preprocessing unit 124, and an AF signal output unit 125. A micropad for electrically connecting to the memory control unit 111 is formed on the surface of the circuit board 120 on the memory board 110 side. Here, the image signal preprocessing unit 122 and the AF signal preprocessing unit 124 are combined to form the signal preprocessing unit 126. In the present embodiment, for example, an example of the output means is realized by using the image signal output unit 123 and the AF signal output unit 125.

撮像基板１００のマイクロパットと、当該マイクロパットに対応するメモリ基板１１０のマイクロパッドとの間をマイクロバンプによって接続することで、ＡＤ変換した画素の信号データをメモリ制御部１１１に転送することが可能となる。同様に、メモリ基板１１０のマイクロパットと、当該マイクロパットに対応する回路基板１２０のマイクロパッドとの間をマイクロバンプによって接続することで、メモリ制御部１１１からバス制御部１２１に対して信号データを転送することが可能となる。 By connecting the micro pad of the imaging board 100 and the micro pad of the memory board 110 corresponding to the micro pad with a micro bump, it is possible to transfer the signal data of the AD-converted pixel to the memory control unit 111. It becomes. Similarly, by connecting the micro pad of the memory board 110 and the micro pad of the circuit board 120 corresponding to the micro pad with a micro bump, signal data is transmitted from the memory control unit 111 to the bus control unit 121. It becomes possible to transfer.

図２（ａ）に示す例では、メモリ制御部１１１は、撮像基板１００から転送された画素の信号データを記録部１１２に転送して記録する動作と、記録部１１２から読み出した信号データをバス制御部１２１に転送する動作とを制御する。また、バス制御部１２１は、メモリ制御部１１１から転送された信号データを、画像信号前処理部１２２およびＡＦ信号前処理部１２４に振り分けて転送する動作を制御する。 In the example shown in FIG. 2A, the memory control unit 111 transfers the signal data of the pixels transferred from the imaging board 100 to the recording unit 112 and records the signal data, and the signal data read from the recording unit 112 is bused. It controls the operation of transferring to the control unit 121. Further, the bus control unit 121 controls an operation of distributing and transferring the signal data transferred from the memory control unit 111 to the image signal preprocessing unit 122 and the AF signal preprocessing unit 124.

メモリ基板１１０の撮像基板１００側の面に、メモリ制御部１１１と記録部１１２とを形成した場合、垂直貫通電極を用いて、メモリ基板１１０の回路基板１２０側の面にあるマイクロパッドとメモリ制御部１１１とを電気的に接続する。一方、メモリ基板１１０の回路基板１２０側の面に、メモリ制御部１１１と記録部１１２とを形成した場合、垂直貫通電極を用いて、メモリ基板１１０の撮像基板１００側の面にあるマイクロパッドとメモリ制御部１１１とを電気的に接続する。 When the memory control unit 111 and the recording unit 112 are formed on the surface of the memory board 110 on the image pickup board 100 side, the micropad and the memory control on the surface of the memory board 110 on the circuit board 120 side are used by using the through silicon vias. It is electrically connected to the unit 111. On the other hand, when the memory control unit 111 and the recording unit 112 are formed on the surface of the memory board 110 on the circuit board 120 side, a vertical through electrode is used to form a micropad on the surface of the memory board 110 on the image pickup board 100 side. The memory control unit 111 is electrically connected.

同様に、回路基板１２０のメモリ基板１１０側の面に、バス制御部１２１、信号前処理部１２６、画像信号出力部１２３、およびＡＦ信号出力部１２５を形成した場合、回路基板１２０のメモリ基板１１０側と反対側の面に信号出力用のパッド電極を形成する。垂直貫通電極を用いて、画像信号出力部１２３およびＡＦ信号出力部１２５と、信号出力用のパッド電極とを電気的に接続することで、撮像素子１２の下面に信号出力端子を設けることができる。一方、回路基板１２０のメモリ基板１１０側の面と反対側の面に、バス制御部１２１、信号前処理部１２６、画像信号出力部１２３、およびＡＦ信号出力部１２５を形成した場合には、次のようにすればよい。即ち、垂直貫通電極を用いて、回路基板１２０のメモリ基板１１０側の面にあるマイクロパッドとバス制御部１２１とを電気的に接続すると共に、画像信号出力部１２３およびＡＦ信号出力部１２５に信号出力用のパッド電極を形成しておけばよい。 Similarly, when the bus control unit 121, the signal preprocessing unit 126, the image signal output unit 123, and the AF signal output unit 125 are formed on the surface of the circuit board 120 on the memory board 110 side, the memory board 110 of the circuit board 120 is formed. A pad electrode for signal output is formed on the surface opposite to the side. A signal output terminal can be provided on the lower surface of the image sensor 12 by electrically connecting the image signal output unit 123 and the AF signal output unit 125 and the signal output pad electrode using the through silicon via. .. On the other hand, when the bus control unit 121, the signal preprocessing unit 126, the image signal output unit 123, and the AF signal output unit 125 are formed on the surface of the circuit board 120 opposite to the surface on the memory substrate 110 side, the following You can do it like this. That is, using the through silicon via, the micropad on the surface of the circuit board 120 on the memory board 110 side and the bus control unit 121 are electrically connected, and signals are sent to the image signal output unit 123 and the AF signal output unit 125. A pad electrode for output may be formed.

前述したように図２（ｂ）は、撮像素子１２の積層構造の一例を示す。図２（ｂ）に示す例では、撮像素子１２は、撮像基板１００とメモリ基板１１０と回路基板１２０とをこの順番に積層することにより構成される。撮像素子１２の上面（撮像基板１００が配置される側の面）から被写体光（Ｌｉｇｈｔ）が入射され、下面（回路基板１２０が配置される側の面）から信号が出力される。これにより、撮像素子１２の面積が削減できるので、撮像装置の実装密度をあげる効果が期待できる。また、マイクロバンプを設けずに、各基板間の相対するマイクロパッド同士を直接接続してもよい。これにより、撮像素子１２の厚みを削減できるので、撮像装置の実装密度をあげる効果が期待できる。 As described above, FIG. 2B shows an example of the laminated structure of the image sensor 12. In the example shown in FIG. 2B, the image pickup device 12 is configured by stacking the image pickup board 100, the memory board 110, and the circuit board 120 in this order. Subject light (Light) is incident from the upper surface of the image sensor 12 (the surface on which the image pickup board 100 is arranged), and a signal is output from the lower surface (the surface on which the circuit board 120 is arranged). As a result, the area of the image pickup device 12 can be reduced, so that the effect of increasing the mounting density of the image pickup device can be expected. Further, the opposing micropads between the substrates may be directly connected without providing the microbumps. As a result, the thickness of the image pickup device 12 can be reduced, so that the effect of increasing the mounting density of the image pickup device can be expected.

図３は、本実施形態の撮像基板１００の構成の一例を示す図である。
図３に示す撮像基板１００は、画素２００からなる画素領域２０１、垂直走査部２０２、列信号処理部２０３、水平走査部２０７、出力部２０９、およびタイミング部２１１を有する。
画素領域２０１は、ＣＭＯＳセンサを有する画素２００を用いて構成される。それぞれの画素２００は、Ｐ１１〜Ｐ４６で示すように、水平方向・垂直方向に２次元マトリクス状に配列される。図３では、１行目の画素を、Ｐ１１〜Ｐ１６と表し、４行目の画素を、Ｐ４１〜Ｐ４６と表す。図３では、画素領域２０１における画素配列が６×４配列（４行６列）である場合を例に挙げて説明する。しかしながら、画素領域２０１における画素配列は、この数に限定されるものではない。本実施形態では、例えば、画素領域２０１により、撮像手段により撮像された画像に対応する第１の領域の一例が実現される。
また、本実施形態では、複数の画素２００に対して、２×２配列の色フィルタが配置されているものとする。本実施形態では、２×２配列は、奇数行がＲ（赤）フィルタとＧ（緑）フィルタの繰り返しとなり、偶数行がＧ（緑）フィルタとＢ（青）フィルタの繰り返しとなる配列であるものとする。 FIG. 3 is a diagram showing an example of the configuration of the imaging board 100 of the present embodiment.
The imaging board 100 shown in FIG. 3 has a pixel region 201 composed of pixels 200, a vertical scanning unit 202, a column signal processing unit 203, a horizontal scanning unit 207, an output unit 209, and a timing unit 211.
The pixel region 201 is configured using pixels 200 having a CMOS sensor. As shown by P11 to P46, each pixel 200 is arranged in a two-dimensional matrix in the horizontal and vertical directions. In FIG. 3, the pixels in the first row are represented by P11 to P16, and the pixels in the fourth row are represented by P41 to P46. In FIG. 3, a case where the pixel arrangement in the pixel area 201 is a 6 × 4 arrangement (4 rows and 6 columns) will be described as an example. However, the pixel arrangement in the pixel region 201 is not limited to this number. In the present embodiment, for example, the pixel region 201 realizes an example of a first region corresponding to an image captured by the imaging means.
Further, in the present embodiment, it is assumed that a 2 × 2 array of color filters is arranged for the plurality of pixels 200. In the present embodiment, the 2 × 2 array is an array in which the odd-numbered rows are the repetition of the R (red) filter and the G (green) filter, and the even-numbered rows are the repetition of the G (green) filter and the B (blue) filter. It shall be.

垂直走査部２０２は、画素領域２０１の画素配列を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線２２１は、画素行毎に共通に接続され、垂直走査部２０２による行単位の駆動制御信号を伝達する。垂直信号線２３１は、画素列毎に共通に接続され、画素制御線２２１により選択された行の画素信号が、それぞれ対応する垂直信号線２３１に読み出される。列信号処理部２０３は、それぞれ対応する垂直信号線２３１毎に設けられ、垂直信号線２３１を通して送られてくる行単位の画素の信号それぞれに対して、後述する信号処理を実施する。 The vertical scanning unit 202 selects the pixel array of the pixel area 201 line by line, and controls the reset operation and the read operation of the selected pixel line. The pixel control line 221 is commonly connected for each pixel line, and transmits a drive control signal for each line by the vertical scanning unit 202. The vertical signal line 231 is commonly connected for each pixel column, and the pixel signals of the line selected by the pixel control line 221 are read out to the corresponding vertical signal lines 231. The column signal processing unit 203 is provided for each corresponding vertical signal line 231 and performs signal processing described later for each row-based pixel signal transmitted through the vertical signal line 231.

水平走査部２０７は、列選択線２５１を介して列信号処理部２０３を列毎に選択し、選択した列信号処理部２０３に記憶されているデジタル化された画素信号を水平出力線２６１を介して出力部２０９に転送させる。出力部２０９は、デジタル化された行単位の画素信号を信号処理部１３へ出力する。タイミング部２１１は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。ここで、制御線２７１、２８１、２８５は、それぞれ垂直走査部２０２、列信号処理部２０３、水平走査部２０７に対して、タイミング部２１１からクロック信号や制御信号等を送る制御線である。
図３では、タイミング部２１１が撮像基板１００に配置される場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、タイミング部２１１は、メモリ基板１１０や回路基板１２０に配置されていてもよい。また、タイミング部２１１は、撮像基板１００、メモリ基板１１０、および回路基板１２０のそれぞれに配置されていてもよい。 The horizontal scanning unit 207 selects the column signal processing unit 203 for each column via the column selection line 251 and transmits the digitized pixel signal stored in the selected column signal processing unit 203 via the horizontal output line 261. Is transferred to the output unit 209. The output unit 209 outputs a digitized line-by-line pixel signal to the signal processing unit 13. The timing unit 211 outputs various clock signals, control signals, and the like necessary for the operation of each unit of the image pickup device 12 based on the control signal from the synchronization control unit 15. Here, the control lines 271, 281, and 285 are control lines that send clock signals, control signals, and the like from the timing unit 211 to the vertical scanning unit 202, the column signal processing unit 203, and the horizontal scanning unit 207, respectively.
In FIG. 3, a case where the timing unit 211 is arranged on the image pickup substrate 100 has been described as an example. However, it is not always necessary to do this. For example, the timing unit 211 may be arranged on the memory board 110 or the circuit board 120. Further, the timing unit 211 may be arranged on each of the image pickup board 100, the memory board 110, and the circuit board 120.

図４は、本実施形態の撮像基板１００の画素２００の回路構成の一例を示す図である。
図４において破線で囲われた画素２００は、画素領域２０１を構成する画素２００の１つを代表して示す。また、画素２００は、画素制御線２２１および垂直信号線２３１により他の回路と電気的に接続される。
垂直信号線２３１は、負荷回路および列信号処理部２０３に接続されると共に、垂直１列の各画素に共通して接続され、画素の信号を出力する。 FIG. 4 is a diagram showing an example of a circuit configuration of pixels 200 of the imaging board 100 of the present embodiment.
The pixel 200 surrounded by a broken line in FIG. 4 represents one of the pixels 200 constituting the pixel region 201. Further, the pixel 200 is electrically connected to another circuit by the pixel control line 221 and the vertical signal line 231.
The vertical signal line 231 is connected to the load circuit and the column signal processing unit 203, and is also commonly connected to each pixel in the vertical column to output a pixel signal.

画素制御線２２１は、垂直走査部２０２に接続されると共に、水平１行の画素に共通して接続される。画素制御線２２１を用いて水平１行の画素を同時に制御することで、リセットや信号の読み出しが可能になる。リセット制御線ｐＲ、転送制御線ｐＴａ、ｐＴｂ、および垂直選択線ｐＳＥＬが画素制御線２２１に含まれる。 The pixel control line 221 is connected to the vertical scanning unit 202 and is commonly connected to the pixels in one horizontal line. By simultaneously controlling one horizontal line of pixels using the pixel control line 221, resetting and signal reading become possible. The reset control line pR, the transfer control lines pTa, pTb, and the vertical selection line pSEL are included in the pixel control line 221.

光電変換素子Ｄ１ａ、Ｄ１ｂは、光を電荷に変換し、当該電荷を蓄積するフォトダイオードである。本実施形態では、例えば、光電変換素子Ｄ１ａ、Ｄ１ｂにより複数の光電変換部の一例が実現される。また、例えば、光電変換素子Ｄ１ａにより第１の光電変換部の一例が実現され、光電変換素子Ｄ１ｂにより第２の光電変換部の一例が実現される。光電変換素子Ｄ１ａ、Ｄ１ｂは、そのＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂのソースに接続される。転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂは、そのゲートがそれぞれ転送制御線ｐＴａ、ｐＴｂに接続され、そのドレインがＦＤ容量Ｃｆｄに接続される。転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂは、それぞれ光電変換素子Ｄ１ａ、Ｄ１ｂからＦＤ容量Ｃｆｄへの電荷の転送を制御する。 The photoelectric conversion elements D1a and D1b are photodiodes that convert light into electric charges and store the electric charges. In the present embodiment, for example, an example of a plurality of photoelectric conversion units is realized by the photoelectric conversion elements D1a and D1b. Further, for example, the photoelectric conversion element D1a realizes an example of the first photoelectric conversion unit, and the photoelectric conversion element D1b realizes an example of the second photoelectric conversion unit. The photoelectric conversion elements D1a and D1b are grounded on the P side of the PN junction, and the N side is connected to the sources of the transfer transistors (transfer switches) T1a and T1b, respectively. The gates of the transfer transistors (transfer switches) T1a and T1b are connected to the transfer control lines pTa and pTb, respectively, and the drain thereof is connected to the FD capacitance Cfd. The transfer transistors (transfer switches) T1a and T1b control the transfer of electric charges from the photoelectric conversion elements D1a and D1b to the FD capacitance Cfd, respectively.

ＦＤ（Floating Diffusion）容量Ｃｆｄは、その一端が接地され、光電変換素子Ｄ１ａ、Ｄ１ｂから転送された電荷を電圧に変換する際に電荷を蓄積する。ここで、転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂのドレインとＦＤ容量Ｃｆｄの他端との接続点を、必要に応じてＦＤノード４０１と称する。
リセットトランジスタ（リセットスイッチ）Ｔ２は、そのゲートがリセット制御線ｐＲに接続され、そのドレインが電源電圧Ｖｄｄに接続され、そのソースがＦＤ容量Ｃｆｄに接続される。リセットトランジスタ（リセットスイッチ）Ｔ２は、ＦＤノード４０１の電位を電源電圧Ｖｄｄにリセットする。 One end of the FD (Floating Diffusion) capacitance Cfd is grounded, and the electric charge is accumulated when the electric charge transferred from the photoelectric conversion elements D1a and D1b is converted into a voltage. Here, the connection point between the drain of the transfer transistors (transfer switches) T1a and T1b and the other end of the FD capacitance Cfd is referred to as an FD node 401, if necessary.
The gate of the reset transistor (reset switch) T2 is connected to the reset control line pR, its drain is connected to the power supply voltage Vdd, and its source is connected to the FD capacitance Cfd. The reset transistor (reset switch) T2 resets the potential of the FD node 401 to the power supply voltage Vdd.

駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタである。駆動トランジスタ（増幅部）Ｔｄｒｖは、そのゲートがＦＤ容量Ｃｆｄの他端（ＦＤノード４０１）に接続され、そのドレインが電源電圧Ｖｄｄに接続され、そのソースが選択トランジスタ（選択スイッチ）Ｔ３のドレインに接続される。駆動トランジスタ（増幅部）Ｔｄｒｖは、ＦＤ容量Ｃｆｄの電圧に応じた電圧を出力する。
選択トランジスタ（選択スイッチ）Ｔ３は、そのゲートが垂直選択線ｐＳＥＬに接続され、そのソースが垂直信号線２３１に接続される。選択トランジスタ（選択スイッチ）Ｔ３は、駆動トランジスタＴｄｒｖの出力を画素２００の出力信号として、垂直信号線２３１に出力する。 The drive transistor (amplification unit) Tdrv is a transistor that constitutes an in-pixel amplifier. The gate of the drive transistor (amplification unit) Tdrv is connected to the other end (FD node 401) of the FD capacitance Cfd, the drain is connected to the power supply voltage Vdd, and the source is the drain of the selection transistor (selection switch) T3. Be connected. The drive transistor (amplification unit) Tdrv outputs a voltage corresponding to the voltage of the FD capacitance Cfd.
The gate of the selection transistor (selection switch) T3 is connected to the vertical selection line pSEL, and its source is connected to the vertical signal line 231. The selection transistor (selection switch) T3 outputs the output of the drive transistor Tdrv as an output signal of the pixel 200 to the vertical signal line 231.

垂直信号線２３１毎に設けられている負荷回路の負荷トランジスタＴｌｏｄは、そのソースとゲートとが接地し、そのドレインが垂直信号線２３１に接続される。負荷トランジスタＴｌｏｄは、垂直信号線２３１で接続されている列の画素２００に配置される駆動トランジスタＴｄｒｖと共に画素内アンプとなるソースフォロア回路を構成する。通常、画素２００の信号を出力する時は、負荷トランジスタＴｌｏｄをゲート接地の定電流源として動作させる。
本実施形態の記載において、駆動トランジスタＴｄｒｖおよび負荷トランジスタＴｌｏｄ以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線がＨｉｇｈの時に導通し（オンし）、Ｌｏｗの時に遮断する（オフする）こととする。 The load transistor Trod of the load circuit provided for each vertical signal line 231 has its source and gate grounded, and its drain is connected to the vertical signal line 231. The load transistor Trod constitutes a source follower circuit that serves as an intra-pixel amplifier together with the drive transistor Tdrv arranged in the pixel 200 of the row connected by the vertical signal line 231. Normally, when the signal of the pixel 200 is output, the load transistor Trod is operated as a constant current source for grounding the gate.
In the description of the present embodiment, the transistors other than the drive transistor Tdrv and the load transistor Trod act as switches, and the control line connected to the gate conducts (turns on) when it is High and shuts off (turns off) when it is Low. ).

ここで、第１の露光制御として、光電変換素子Ｄ１ａの露光制御の一例について説明する。
撮像素子１２には、被写体光が入射しているものとする。
まず、露光開始のタイミングで、リセットトランジスタＴ２をオンして、ＦＤ容量ＣｆｄのＦＤノード４０１側をリセットするのと同時に、転送トランジスタＴ１ａをオンして、光電変換素子Ｄ１ａの電荷をリセットする。そして、転送トランジスタＴ１ａ、リセットトランジスタＴ２の順番で転送トランジスタＴ１ａおよびリセットトランジスタＴ２を順次オフすることで、光電変換素子Ｄ１ａの露光が開始される。 Here, as the first exposure control, an example of the exposure control of the photoelectric conversion element D1a will be described.
It is assumed that the subject light is incident on the image sensor 12.
First, at the timing of the start of exposure, the reset transistor T2 is turned on to reset the FD node 401 side of the FD capacitance Cfd, and at the same time, the transfer transistor T1a is turned on to reset the charge of the photoelectric conversion element D1a. Then, by sequentially turning off the transfer transistor T1a and the reset transistor T2 in the order of the transfer transistor T1a and the reset transistor T2, the exposure of the photoelectric conversion element D1a is started.

次に、所定の露光時間の経過後に、リセットトランジスタＴ２をオンして、ＦＤ容量ＣｆｄのＦＤノード４０１側をリセットする。そして、リセットトランジスタＴ２をオフする。その後、転送トランジスタＴ１ａをオンして、露光によって光電変換素子Ｄ１ａで光電変換された信号電荷をＦＤノード４０１に転送する。そして、転送トランジスタＴ１ａをオフする。ここまでで、光電変換素子Ｄ１ａの露光が終了する。この時、ＦＤ容量ＣｆｄのＦＤノード４０１には、信号電荷に対応する信号電圧が発生する。 Next, after the elapse of a predetermined exposure time, the reset transistor T2 is turned on to reset the FD node 401 side of the FD capacitance Cfd. Then, the reset transistor T2 is turned off. After that, the transfer transistor T1a is turned on, and the signal charge photoelectrically converted by the photoelectric conversion element D1a by exposure is transferred to the FD node 401. Then, the transfer transistor T1a is turned off. At this point, the exposure of the photoelectric conversion element D1a is completed. At this time, a signal voltage corresponding to the signal charge is generated in the FD node 401 having the FD capacitance Cfd.

そして、選択トランジスタＴ３をオンすることで、駆動トランジスタＴｄｒｖと負荷トランジスタＴｌｏｄとからなるソースフォロア回路が構成される。これにより、ＦＤノード４０１の信号電圧に対応する信号が、光電変換素子Ｄ１ａの信号として、垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、列信号処理部２０３に入力され、後述する列信号処理が実施される。 Then, by turning on the selection transistor T3, a source follower circuit including the drive transistor Tdrv and the load transistor Trod is configured. As a result, the signal corresponding to the signal voltage of the FD node 401 is output to the vertical signal line 231 as the signal of the photoelectric conversion element D1a. The signal of the photoelectric conversion element D1a output to the vertical signal line 231 is input to the column signal processing unit 203, and the column signal processing described later is performed.

次に、第２の露光制御として、光電変換素子Ｄ１ｂの露光制御の一例について説明する。
光電変換素子Ｄ１ａと同様に、光電変換素子Ｄ１ｂの露光も制御される。ただし、本実施形態では、転送トランジスタＴ１ａ、Ｔ１ｂが、それぞれ、異なる転送制御線ｐＴａ、ｐＴｂにより制御される。従って、露光開始のリセットのタイミングおよび露光終了の転送のタイミングを、光電変換素子Ｄ１ａ、Ｄ１ｂで別々に設定することが可能である。 Next, as a second exposure control, an example of exposure control of the photoelectric conversion element D1b will be described.
Similar to the photoelectric conversion element D1a, the exposure of the photoelectric conversion element D1b is also controlled. However, in the present embodiment, the transfer transistors T1a and T1b are controlled by different transfer control lines pTa and pTb, respectively. Therefore, the reset timing of the exposure start and the transfer timing of the exposure end can be set separately by the photoelectric conversion elements D1a and D1b.

そこで、光電変換素子Ｄ１ｂの露光を開始するタイミングは、光電変換素子Ｄ１ｂの信号電荷をＦＤ容量Ｃｆｄに転送するタイミングから逆算して、光電変換素子Ｄ１ａの露光時間と同一になるように設定される。また、本実施形態では、光電変換素子Ｄ１ａの信号の列信号処理（第１の露光制御）が実施された後、光電変換素子Ｄ１ｂの信号電荷をＦＤ容量Ｃｆｄに転送して、第１の露光制御で先にＦＤ容量Ｃｆｄに転送しておいた光電変換素子Ｄ１ａの信号電荷と加算する。このように、本実施形態では、光電変換素子Ｄ１ａの露光が開始された後、光電変換素子Ｄ１ａの露光中に、光電変換素子Ｄ１ｂの露光が開始されるようにし、且つ、これらの露光時間が同一になるようにする。 Therefore, the timing at which the exposure of the photoelectric conversion element D1b is started is set to be the same as the exposure time of the photoelectric conversion element D1a by calculating back from the timing of transferring the signal charge of the photoelectric conversion element D1b to the FD capacitance Cfd. .. Further, in the present embodiment, after the string signal processing (first exposure control) of the signal of the photoelectric conversion element D1a is performed, the signal charge of the photoelectric conversion element D1b is transferred to the FD capacitance Cfd to perform the first exposure. It is added to the signal charge of the photoelectric conversion element D1a previously transferred to the FD capacitance Cfd by control. As described above, in the present embodiment, after the exposure of the photoelectric conversion element D1a is started, the exposure of the photoelectric conversion element D1b is started during the exposure of the photoelectric conversion element D1a, and the exposure times thereof are set. Make sure they are the same.

第２の露光制御の具体例を説明すると、まず、ＦＤ容量ＣｆｄのＦＤノード４０１に光電変換素子Ｄ１ａの信号電荷が蓄積された状態で、転送トランジスタＴ１ｂをオンする。これにより、露光によって光電変換素子Ｄ１ｂで光電変換された信号電荷がＦＤノード４０１に転送される。そして、転送トランジスタＴ１ｂをオフする。ここまでで、光電変換素子Ｄ１ｂの露光が終了する。 To explain a specific example of the second exposure control, first, the transfer transistor T1b is turned on in a state where the signal charge of the photoelectric conversion element D1a is accumulated in the FD node 401 of the FD capacitance Cfd. As a result, the signal charge photoelectrically converted by the photoelectric conversion element D1b by the exposure is transferred to the FD node 401. Then, the transfer transistor T1b is turned off. At this point, the exposure of the photoelectric conversion element D1b is completed.

この時、ＦＤ容量ＣｆｄのＦＤノード４０１には、光電変換素子Ｄ１ａおよびＤ１ｂの信号電荷が加算された信号電荷に対応する信号電圧が発生する。そして、選択トランジスタＴ３をオンすることで、駆動トランジスタＴｄｒｖと負荷トランジスタＴｌｏｄとからなるソースフォロア回路が構成される。これにより、ＦＤノード４０１の信号電圧に対応する信号が、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号として、垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ａおよびＤ１ｂの加算信号は、列信号処理部２０３に入力され、後述する列信号処理が実施される。 At this time, a signal voltage corresponding to the signal charge to which the signal charges of the photoelectric conversion elements D1a and D1b are added is generated in the FD node 401 having the FD capacitance Cfd. Then, by turning on the selection transistor T3, a source follower circuit including the drive transistor Tdrv and the load transistor Trod is configured. As a result, the signal corresponding to the signal voltage of the FD node 401 is output to the vertical signal line 231 as an addition signal of the photoelectric conversion elements D1a and D1b. The addition signals of the photoelectric conversion elements D1a and D1b output to the vertical signal line 231 are input to the column signal processing unit 203, and the column signal processing described later is performed.

ここで、光電変換素子Ｄ１ａおよびＤ１ｂの露光制御を行うに際し、露光開始のリセットのタイミングを光電変換素子Ｄ１ａ、Ｄ１ｂで同時とし、光電変換素子Ｄ１ａ、Ｄ１ｂのそれぞれに対する露光を同時に開始してもよい。そして、光電変換素子Ｄ１ｂの信号電荷を転送するタイミングで、２回目の光電変換素子Ｄ１ａの信号電荷の転送を実施する。これにより、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号については、露光時間のずれが解消された撮影が実施できることになる。
ここで、光電変換素子Ｄ１ａの出力信号を焦点検出用のＡ信号または単にＡ信号と称し、光電変換素子Ｄ１ａおよびＤ１ｂの信号電荷が加算された出力信号を撮影画像用のＡ＋Ｂ信号または単にＡ＋Ｂ信号と称することとする。また、撮影画像用のＡ＋Ｂ信号から焦点検出用のＡ信号を減算した信号を焦点検出用のＢ信号または単にＢ信号と称する。焦点検出用のＢ信号は、光電変換素子Ｄ１ｂの出力信号に相当する信号である。 Here, when the exposure control of the photoelectric conversion elements D1a and D1b is performed, the exposure start reset timing may be set simultaneously by the photoelectric conversion elements D1a and D1b, and the exposure to each of the photoelectric conversion elements D1a and D1b may be started at the same time. .. Then, at the timing of transferring the signal charge of the photoelectric conversion element D1b, the signal charge of the photoelectric conversion element D1a is transferred for the second time. As a result, with respect to the addition signals of the photoelectric conversion elements D1a and D1b, it is possible to perform shooting in which the deviation of the exposure time is eliminated.
Here, the output signal of the photoelectric conversion element D1a is referred to as an A signal for focus detection or simply an A signal, and the output signal to which the signal charges of the photoelectric conversion elements D1a and D1b are added is an A + B signal for a captured image or simply an A + B signal. It will be referred to as. Further, a signal obtained by subtracting the focus detection A signal from the captured image A + B signal is referred to as a focus detection B signal or simply a B signal. The B signal for focus detection is a signal corresponding to the output signal of the photoelectric conversion element D1b.

図５は、本実施形態の撮像基板１００の画素２００の概略構成の一例を示す図である。
図５（ａ）は、画素２００を２×２に配列した平面図の一例を示し、図５（ｂ）は、図５（ａ）のｘ−ｘ'の断面図を示す。
光電変換素子Ｄ１ａ、Ｄ１ｂの領域５０１ａ、５０１ｂが、それぞれ光電変換素子Ｄ１ａ、Ｄ１ｂのＰＮ接合のＮ側に対応し、撮像基板１００がＰ側に対応する。位置５０２は、画素２００の光電変換素子Ｄ１ａ、Ｄ１ｂ以外の回路部分の位置を示す。尚、図５では、表記の都合上、画素制御線２２１および垂直信号線２３１は、図示していない。 FIG. 5 is a diagram showing an example of a schematic configuration of pixels 200 of the image pickup substrate 100 of the present embodiment.
5 (a) shows an example of a plan view in which pixels 200 are arranged in 2 × 2, and FIG. 5 (b) shows a cross-sectional view of xx ′ of FIG. 5 (a).
The regions 501a and 501b of the photoelectric conversion elements D1a and D1b correspond to the N side of the PN junction of the photoelectric conversion elements D1a and D1b, respectively, and the imaging board 100 corresponds to the P side. The position 502 indicates the position of the circuit portion other than the photoelectric conversion elements D1a and D1b of the pixel 200. In FIG. 5, for convenience of notation, the pixel control line 221 and the vertical signal line 231 are not shown.

前述したように画素２００毎にマイクロレンズ５０３が設けられる。本実施形態では、マイクロレンズ５０３は、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆うように、図５（ａ）において、画素２００の中心よりも下方にずれて配置される。色フィルタ５０４も画素２００毎に設けられる。色フィルタ５０４は、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆う。前述したように、画素２００毎に、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、およびＢ（青）フィルタの何れか１つが配置される。
図５のように、本実施形態では、１つのマイクロレンズ５０３を２つの光電変換素子Ｄ１ａおよびＤ１ｂが共有する構成である。従って、光電変換素子Ｄ１ａから得られる画像信号（焦点検出用のＡ信号）と光電変換素子Ｄ１ｂから得られる画像信号（焦点検出用のＢ信号）を基にした焦点検出が可能となる。 As described above, the microlens 503 is provided for each pixel 200. In the present embodiment, the microlens 503 is arranged so as to evenly cover both the photoelectric conversion elements D1a and D1b so as to be offset below the center of the pixel 200 in FIG. 5A. A color filter 504 is also provided for each pixel 200. The color filter 504 evenly covers both the photoelectric conversion elements D1a and D1b. As described above, any one of the R (red) filter, the G (green) filter, and the B (blue) filter is arranged for each pixel 200.
As shown in FIG. 5, in the present embodiment, one microlens 503 is shared by two photoelectric conversion elements D1a and D1b. Therefore, focus detection can be performed based on the image signal (A signal for focus detection) obtained from the photoelectric conversion element D1a and the image signal (B signal for focus detection) obtained from the photoelectric conversion element D1b.

図６は、本実施形態の撮像基板１００の列信号処理部２０３の回路構成の一例を示す図である。
サンプルホールド回路（Ｓ／Ｈ）６１１は、信号選択制御線ｐＳＨ１に電気的に接続される。サンプルホールド回路（Ｓ／Ｈ）６１１は、信号選択制御線ｐＳＨ１を介したタイミング部２１１からの制御により、垂直信号線２３１から受け取った画素信号を保持する。 FIG. 6 is a diagram showing an example of the circuit configuration of the column signal processing unit 203 of the imaging board 100 of the present embodiment.
The sample hold circuit (S / H) 611 is electrically connected to the signal selection control line pSH1. The sample hold circuit (S / H) 611 holds the pixel signal received from the vertical signal line 231 under the control of the timing unit 211 via the signal selection control line pSH1.

ＡＤ変換回路（ＡＤ）６２１は、ＡＤ制御線ｐＡＤ１に接続される。ＡＤ変換回路（ＡＤ）６２１は、ＡＤ制御線ｐＡＤ１を介したタイミング部２１１からの制御により、サンプルホールド回路（Ｓ／Ｈ）６１１が保持する画素信号をＡＤ変換する。メモリ回路６３１は、メモリ制御線ｐＭＥＭ１に接続され、メモリ制御線ｐＭＥＭ１を介した制御によりＡＤ変換回路６２１が出力する画素のデジタル信号を記憶する。
また、メモリ回路６３１は、水平選択線ｐＨ１を介した制御により、メモリ回路６３１に記憶されているデジタル化された画素信号を、デジタル出力線ＤＳｉｇ１に出力する。 The AD conversion circuit (AD) 621 is connected to the AD control line pAD1. The AD conversion circuit (AD) 621 performs AD conversion of the pixel signal held by the sample hold circuit (S / H) 611 by control from the timing unit 211 via the AD control line pAD1. The memory circuit 631 is connected to the memory control line pMEM1 and stores the digital signal of the pixel output by the AD conversion circuit 621 under control via the memory control line pMEM1.
Further, the memory circuit 631 outputs the digitized pixel signal stored in the memory circuit 631 to the digital output line DSig1 by the control via the horizontal selection line pH1.

デジタル出力線ＤＳｉｇ１は、他の列信号処理部２０３のメモリ回路６３１にも共通に接続される。各列信号処理部２０３は、当該列信号処理部２０３に対応する水平選択線ｐＨ１を介した水平走査部２０７の制御により、メモリ回路６３１に記憶されているデジタル化された画素信号を、デジタル出力線ＤＳｉｇ１に所定の順番で出力する。
ここで、タイミング部２１１から列信号処理部２０３を制御するための制御線２８１には、信号選択制御線ｐＳＨ１、ＡＤ制御線ｐＡＤ１、およびメモリ制御線ｐＭＥＭ１が含まれる。水平走査部２０７から列信号処理部２０３を選択するための列選択線２５１には、水平選択線ｐＨ１が含まれる。出力部２０９に接続される水平出力線２６１には、デジタル出力線ＤＳｉｇ１が含まれる。
以上のように、図６に示す列信号処理部２０３は、ＡＤ変換が可能な回路構成を有する。 The digital output line DSig1 is also commonly connected to the memory circuit 631 of the other column signal processing unit 203. Each column signal processing unit 203 digitally outputs a digitized pixel signal stored in the memory circuit 631 by controlling the horizontal scanning unit 207 via the horizontal selection line pH 1 corresponding to the column signal processing unit 203. Output to line DSig1 in a predetermined order.
Here, the control line 281 for controlling the column signal processing unit 203 from the timing unit 211 includes a signal selection control line pSH1, an AD control line pAD1, and a memory control line pMEM1. The column selection line 251 for selecting the column signal processing unit 203 from the horizontal scanning unit 207 includes the horizontal selection line pH1. The horizontal output line 261 connected to the output unit 209 includes a digital output line DSig1.
As described above, the column signal processing unit 203 shown in FIG. 6 has a circuit configuration capable of AD conversion.

次に、本実施形態の撮像基板１００の第１の読み出し動作および第２の読み出し動作の一例について説明する。
第１の読み出し動作では、光電変換素子Ｄ１ａから読み出した信号であって、第１の露光制御を実施した１行分の画素２００の信号に対して列信号処理を実施する。
垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、列信号処理部２０３に入力され、列信号処理部２０３に入力される信号選択制御線ｐＳＨ１の制御により、列信号処理部２０３のサンプルホールド回路（Ｓ／Ｈ）６１１に保持される。 Next, an example of the first read operation and the second read operation of the image pickup substrate 100 of the present embodiment will be described.
In the first read-out operation, column signal processing is performed on the signal read from the photoelectric conversion element D1a and the signal of the pixel 200 for one row for which the first exposure control is performed.
The signal of the photoelectric conversion element D1a output to the vertical signal line 231 is input to the column signal processing unit 203, and is a sample of the column signal processing unit 203 under the control of the signal selection control line pSH1 input to the column signal processing unit 203. It is held by the hold circuit (S / H) 611.

そして、サンプルホールド回路（Ｓ／Ｈ）６１１に保持された信号は、列信号処理部２０３のＡＤ変換回路（ＡＤ）６２１によりデジタル信号に変換され、列信号処理部２０３のメモリ回路６３１に記憶される。
メモリ回路６３１に記憶された光電変換素子Ｄ１ａのデジタル信号は、列信号処理部２０３に対する水平選択線ｐＨ１を介した水平走査部２０７の制御によりメモリ回路６３１から読み出される。メモリ回路６３１から読み出された光電変換素子Ｄ１ａのデジタル信号は、デジタル出力線ＤＳｉｇ１に出力される。
そして、光電変換素子Ｄ１ａのデジタル信号は、Ａ信号として、出力部２０９を介して、メモリ基板１１０へ転送される。 Then, the signal held in the sample hold circuit (S / H) 611 is converted into a digital signal by the AD conversion circuit (AD) 621 of the column signal processing unit 203, and stored in the memory circuit 631 of the column signal processing unit 203. To.
The digital signal of the photoelectric conversion element D1a stored in the memory circuit 631 is read out from the memory circuit 631 under the control of the horizontal scanning unit 207 via the horizontal selection line pH 1 with respect to the column signal processing unit 203. The digital signal of the photoelectric conversion element D1a read from the memory circuit 631 is output to the digital output line DSig1.
Then, the digital signal of the photoelectric conversion element D1a is transferred as an A signal to the memory board 110 via the output unit 209.

第２の読み出し動作では、第２の露光制御を実施した１行分の画素２００から読み出した信号（即ち、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号）に対して列信号処理を実施する。
光電変換素子Ｄ１ａおよびＤ１ｂの加算信号は、列信号処理部２０３のＡＤ変換回路（ＡＤ）６２１により、デジタル信号に変換され、光電変換素子Ｄ１ａおよびＤ１ｂのデジタルの加算信号として、列信号処理部２０３のメモリ回路６３１に記憶される。尚、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号に対する列信号処理およびデジタル出力線ＤＳｉｇ１への出力は、第１の読み出し動作と同様であるので詳細な説明を省略する。 In the second reading operation, column signal processing is performed on the signals read from the pixels 200 for one row for which the second exposure control is performed (that is, the addition signals of the photoelectric conversion elements D1a and D1b).
The addition signal of the photoelectric conversion elements D1a and D1b is converted into a digital signal by the AD conversion circuit (AD) 621 of the column signal processing unit 203, and is converted into a digital signal as the digital addition signal of the photoelectric conversion elements D1a and D1b. It is stored in the memory circuit 631 of. Since the column signal processing for the addition signals of the photoelectric conversion elements D1a and D1b and the output to the digital output line DSig1 are the same as the first read operation, detailed description thereof will be omitted.

光電変換素子Ｄ１ａおよびＤ１ｂのデジタルの加算信号は、Ａ＋Ｂ信号として、出力部２０９を介して、メモリ基板１１０へ転送される。
これにより、１行分の画素からＡ信号とＡ＋Ｂ信号とが読み出されて、メモリ基板１１０へ転送される。
画素領域２０１の画素２００に対して、第１の読み出し動作と第２の読み出し動作とを行毎に実施することで、１回の撮影動作を実施することができる。 The digital addition signals of the photoelectric conversion elements D1a and D1b are transferred as A + B signals to the memory board 110 via the output unit 209.
As a result, the A signal and the A + B signal are read from the pixels for one line and transferred to the memory board 110.
By performing the first read operation and the second read operation row by row on the pixel 200 of the pixel area 201, one shooting operation can be performed.

図６では、画素２００のＡ信号およびＡ＋Ｂ信号を、出力部２０９を介して、メモリ基板１１０に転送する場合を例に挙げて示した。しかしながら、Ａ信号およびＡ＋Ｂ信号を、デジタル出力線ＤＳｉｇ１に出力する代わりに、次のようにしてもよい。即ち、メモリ回路６３１の出力毎に垂直貫通電極を設けて、メモリ基板１１０のメモリ制御部１１１と、メモリ回路６３１とを直接接続してもよい。
本実施形態では、以上のようにして、画素２００のＡ信号あるいはＡ＋Ｂ信号を、１行分同時にメモリ基板１１０に転送できるので、転送時間の短縮が可能となる。 In FIG. 6, a case where the A signal and the A + B signal of the pixel 200 are transferred to the memory board 110 via the output unit 209 is shown as an example. However, instead of outputting the A signal and the A + B signal to the digital output line DSig1, the following may be used. That is, a vertical through electrode may be provided for each output of the memory circuit 631 to directly connect the memory control unit 111 of the memory board 110 and the memory circuit 631.
In the present embodiment, as described above, the A signal or the A + B signal of the pixel 200 can be transferred to the memory board 110 at the same time for one line, so that the transfer time can be shortened.

図７は、本実施形態の信号処理の一例を説明する図である。図７（ａ）は、撮像部１０１にある画素領域２０１の画素２００から読み出されるＡ信号およびＡ＋Ｂ信号を示す。本実施形態では、画素領域２０１の画素２００から、Ａ信号またはＡ＋Ｂ信号が、行毎に所定の順番で読み出される。尚、図３では、画素配列が６×４配列（４行６列）である場合を例に挙げて説明したが、図７（ａ）では、画素配列が１０×８配列（８行１０列）である場合を例に挙げて説明する。 FIG. 7 is a diagram illustrating an example of signal processing of the present embodiment. FIG. 7A shows an A signal and an A + B signal read from the pixel 200 of the pixel region 201 in the imaging unit 101. In the present embodiment, the A signal or the A + B signal is read out from the pixel 200 of the pixel area 201 in a predetermined order for each row. In addition, in FIG. 3, the case where the pixel arrangement is a 6 × 4 arrangement (4 rows and 6 columns) has been described as an example, but in FIG. 7 (a), the pixel arrangement is a 10 × 8 arrangement (8 rows and 10 columns). ) Will be described as an example.

図７では、各信号を括弧内に表記し、その前に色フィルタを表記する。前述したように本実施形態では、奇数行がＲ（赤）フィルタとＧ（緑）フィルタとの繰り返しとなり、偶数行がＧ（緑）フィルタとＢ（青）フィルタとの繰り返しとなる２×２配列の色フィルタを用いる。そこで、Ｒ（赤）フィルタに対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＲと表記する。また、Ｇ（緑）フィルタに対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＧと表記する。また、Ｂ（青）に対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＢと表記する。例えば、信号７０１は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ信号であり、Ｒ（Ａ）と表記する。信号７０２は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ＋Ｂ信号であり、Ｒ（Ａ＋Ｂ）と表記する。また、対角となる２行２列目の画素２００から７行９列目の画素２００を囲む領域７０３を、焦点検出領域とする。 In FIG. 7, each signal is shown in parentheses, and a color filter is shown before it. As described above, in the present embodiment, the odd-numbered rows are the repetition of the R (red) filter and the G (green) filter, and the even-numbered rows are the repetition of the G (green) filter and the B (blue) filter. Use an array color filter. Therefore, the signal (A signal and A + B signal) of the pixel 200 corresponding to the R (red) filter is referred to as R. Further, the signal (A signal and A + B signal) of the pixel 200 corresponding to the G (green) filter is referred to as G. Further, the signal (A signal and A + B signal) of the pixel 200 corresponding to B (blue) is referred to as B. For example, the signal 701 is the A signal of the pixel 200 corresponding to the R (red) filter in the first row and the first column of the pixel area 201, and is referred to as R (A). The signal 702 is an A + B signal of the pixel 200 corresponding to the R (red) filter in the first row and the first column of the pixel area 201, and is expressed as R (A + B). Further, the area 703 surrounding the diagonal pixels 200 in the 2nd row and 2nd column to the pixel 200 in the 7th row and 9th column is defined as a focus detection area.

図７（ｂ）は、図７（ａ）の内、信号処理部１３における撮影画像の作成に用いる画素２００のＡ＋Ｂ信号を示す。
本実施形態では、撮影画像の作成に際し、信号処理部１３は、画素領域２０１の全ての画素２００におけるＡ＋Ｂ信号を用いる。例えば、１行１列目の画素２００については、信号処理部１３は、Ａ＋Ｂ信号である信号７０２（Ｒ（Ａ＋Ｂ））を用いる。この時、信号処理部１３は、Ａ信号である信号７０１（Ｒ（Ａ））を用いない。 FIG. 7B shows the A + B signal of the pixel 200 used for creating the captured image in the signal processing unit 13 in FIG. 7A.
In the present embodiment, when creating the captured image, the signal processing unit 13 uses the A + B signals in all the pixels 200 of the pixel area 201. For example, for the pixel 200 in the first row and the first column, the signal processing unit 13 uses a signal 702 (R (A + B)) which is an A + B signal. At this time, the signal processing unit 13 does not use the signal 701 (R (A)) which is the A signal.

図７（ｃ）は、図７（ａ）の内、信号処理部１３における焦点検出処理（ＡＦ処理）に関わる画素２００の信号を示す。
本実施形態では、焦点検出処理（ＡＦ処理）に際し、信号処理部１３が、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号を用いる場合を例に挙げて説明する。そのため、図７（ｃ）に示すように、焦点検出処理（ＡＦ処理）に関わる画素２００は、２行目、４行目、６行目のそれぞれ３列目、５列目、７列目、９列目の、Ｇ（緑）フィルタに対応する画素２００となる。 FIG. 7 (c) shows the signal of the pixel 200 involved in the focus detection process (AF process) in the signal processing unit 13 in FIG. 7 (a).
In the present embodiment, a case where the signal processing unit 13 uses the signal of the pixel 200 corresponding to the even-numbered row G (green) filter in the focus detection area 703 during the focus detection process (AF process) will be described as an example. To do. Therefore, as shown in FIG. 7C, the pixels 200 involved in the focus detection process (AF process) are the third column, the fifth column, and the seventh column, respectively, in the second row, the fourth row, and the sixth row. The pixel 200 corresponds to the G (green) filter in the ninth column.

また、本実施形態では、信号処理部１３は、光電変換素子Ｄ１ａから得られるＡ信号と光電変換素子Ｄ１ｂから得られる信号（Ｂ信号）とを基にした位相差検出方式の焦点検出を実施する。そこで、信号処理部１３は、Ａ＋Ｂ信号の値からＡ信号の値を減算することにより（（Ａ＋Ｂ信号）−（Ａ信号）を計算することにより）Ｂ信号を計算する必要がある。このため、画素２００から読み出したＡ信号とＡ＋Ｂ信号とが必要となる。具体的に説明すると、図７（ｃ）のように、信号処理部１３は、２行３列目の画素２００から６行９列目の画素２００までの、Ｇ（Ａ）およびＧ（Ａ＋Ｂ）の信号を用いることになる。例えば信号処理部１３は、２行３列目の画素２００について、Ａ＋Ｂ信号である信号７０５（Ｇ（Ａ＋Ｂ））からＡ信号である信号７０４（Ｇ（Ａ））を減算して（Ｇ（Ａ＋Ｂ）−Ｇ（Ａ）＝Ｇ（Ｂ）として）Ｂ信号を求めればよい。本実施形態では、例えば、Ａ信号により第１の信号の一例が実現され、Ａ＋Ｂ信号により第２の信号の一例が実現される。
以上のことから、本実施形態では、列信号処理部１０２は、撮像動作８０１の期間に、画素領域２０１のうち、焦点検出領域７０３の画素から、Ａ信号およびＡ＋Ｂ信号を読み出し、画素領域２０１のその他の画素から、Ａ＋Ｂ信号を読み出す。 Further, in the present embodiment, the signal processing unit 13 performs focus detection of a phase difference detection method based on the A signal obtained from the photoelectric conversion element D1a and the signal (B signal) obtained from the photoelectric conversion element D1b. .. Therefore, the signal processing unit 13 needs to calculate the B signal (by calculating (A + B signal) − (A signal)) by subtracting the value of the A signal from the value of the A + B signal. Therefore, the A signal and the A + B signal read from the pixel 200 are required. Specifically, as shown in FIG. 7C, the signal processing unit 13 has G (A) and G (A + B) from the pixel 200 in the second row and the third column to the pixel 200 in the sixth row and the ninth column. Signal will be used. For example, the signal processing unit 13 subtracts the A signal signal 704 (G (A)) from the A + B signal signal 705 (G (A + B)) for the pixel 200 in the second row and third column (G (A + B)). ) -G (A) = G (B)) B signal may be obtained. In the present embodiment, for example, an example of the first signal is realized by the A signal, and an example of the second signal is realized by the A + B signal.
From the above, in the present embodiment, the column signal processing unit 102 reads the A signal and the A + B signal from the pixels of the focus detection area 703 of the pixel area 201 during the period of the imaging operation 801 and reads the A signal and the A + B signal of the pixel area 201. The A + B signal is read from the other pixels.

図８は、本実施形態の撮像装置の動作タイミングの一例を示す図である。図８（ａ）は、撮像動作および動画表示を示し、図８（ｂ）は、画像処理動作を示し、図８（ｃ）は、ＡＦ処理動作を示す。 FIG. 8 is a diagram showing an example of the operation timing of the image pickup apparatus of the present embodiment. 8 (a) shows an image pickup operation and a moving image display, FIG. 8 (b) shows an image processing operation, and FIG. 8 (c) shows an AF processing operation.

図８（ａ）において、撮像部１０１の動作状態を撮像動作８０１と表し、画像処理された撮影画像を画像表示部１７に表示する動作を動画表示８０２と表すことにする。図８（ａ）のグラフの垂直方向のＬは、撮影画像を撮像部１０１から読み出す行の順番と、画像処理された撮影画像を動画表示する行の順番とを示す。水平方向のｔは、行を読み出すタイミングと、動画像を表示する行のタイミングの時間経過を示す。図８（ａ）では、このようにして垂直方向および水平方向の軸を定めることにより、撮像部１０１から読み出される行の状態、動画像を表示する行の状態が、それぞれ撮像動作８０１、動画表示８０２により表される。 In FIG. 8A, the operating state of the imaging unit 101 is referred to as an imaging operation 801 and the operation of displaying the image-processed captured image on the image display unit 17 is referred to as a moving image display 802. The L in the vertical direction of the graph of FIG. 8A indicates the order of the lines for reading the captured image from the imaging unit 101 and the order of the rows for displaying the image-processed captured image as a moving image. T in the horizontal direction indicates the time lapse of the timing of reading the line and the timing of the line displaying the moving image. In FIG. 8A, by defining the vertical and horizontal axes in this way, the state of the line read from the imaging unit 101 and the state of the line displaying the moving image are the imaging operation 801 and the moving image display, respectively. It is represented by 802.

図８（ａ）に示す例では、撮像動作８０１の傾きが、動画表示８０２の傾きよりも大きい。従って、単位時間当たりの動作スピードとしては、撮像動作８０１の方が動画表示８０２よりも速いことになる。
ここで、撮像部１０１からの読み出しが開始してから完了するまでの撮像動作８０１の単位時間あたりのデータ処理量を、必要に応じて撮像レートと称する。また、画像処理された撮影画像の表示のための処理が開始してから完了するまでの動画表示８０２の単位時間あたりのデータ処理量を、必要に応じて動画レートと称する。 In the example shown in FIG. 8A, the tilt of the imaging operation 801 is larger than the tilt of the moving image display 802. Therefore, as the operation speed per unit time, the image pickup operation 801 is faster than the moving image display 802.
Here, the amount of data processing per unit time of the imaging operation 801 from the start to the completion of reading from the imaging unit 101 is referred to as an imaging rate, if necessary. Further, the amount of data processing per unit time of the moving image display 802 from the start to the completion of the processing for displaying the image-processed captured image is referred to as a moving image rate, if necessary.

図８（ｂ）に示す画像処理動作では、主に画像処理に関わる動作として実施される項目をその実施順に上から順番に示す。図８（ｂ）において、水平方向は、図８（ａ）に対応した期間であって、各項目の動作期間を示す。本実施形態では、列信号処理部１０２は、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号を読み出す。この時に読み出される画素２００の信号は、図７（ａ）で説明した画素領域２０１の画素２００の信号となる。
そこで、図８（ｂ）においては、撮像動作８０１の期間をＡ信号およびＡ＋Ｂ信号の読み出し期間とし、「Ａ／Ａ＋Ｂ読み出し」と表すことにする。本実施形態では、例えば、列信号処理部２０３が、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号を読み出すことにより、第１の読み出し手段の一例が実現される。また、例えば、撮像レートに対応する読み出し速度により、第１の読み出し速度の一例が実現される。 In the image processing operation shown in FIG. 8B, items to be executed mainly as operations related to image processing are shown in order from the top in the order of execution. In FIG. 8B, the horizontal direction is a period corresponding to FIG. 8A, and indicates an operation period of each item. In the present embodiment, the column signal processing unit 102 reads the A signal and the A + B signal from the pixel 200 of the imaging unit 101 during the imaging operation 801. The signal of the pixel 200 read out at this time is the signal of the pixel 200 of the pixel region 201 described with reference to FIG. 7A.
Therefore, in FIG. 8B, the period of the imaging operation 801 is defined as the reading period of the A signal and the A + B signal, and is expressed as “A / A + B reading”. In the present embodiment, for example, the column signal processing unit 203 reads the A signal and the A + B signal from the pixels 200 of the image pickup unit 101 during the period of the image pickup operation 801 to realize an example of the first reading means. .. Further, for example, an example of the first read speed is realized by the read speed corresponding to the image pickup rate.

Ａ信号およびＡ＋Ｂ信号の読み出し動作と同時に、列信号処理部１０２は、Ａ信号およびＡ＋Ｂ信号を撮像基板１００からメモリ基板１１０のメモリ制御部１１１に転送する。そして、メモリ制御部１１１は、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録する。図８（ｂ）では、これらの動作の期間を「メモリ書き込み」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録することにより、第１の記憶手段の一例が実現される。また、メモリ制御部１１１が、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録する際の書き込み速度（撮像レートに対応する書き込み速度）により、第２の書き込み速度の一例が実現される。 At the same time as the A signal and A + B signal reading operation, the column signal processing unit 102 transfers the A signal and the A + B signal from the image pickup board 100 to the memory control unit 111 of the memory board 110. Then, the memory control unit 111 records the A signal and the A + B signal in the recording unit 112. In FIG. 8B, the period of these operations is referred to as “memory writing”. In the present embodiment, for example, the memory control unit 111 records the A signal and the A + B signal in the recording unit 112, so that an example of the first storage means is realized. Further, an example of the second writing speed is realized by the writing speed (writing speed corresponding to the imaging rate) when the memory control unit 111 records the A signal and the A + B signal in the recording unit 112.

ここで、図８（ｂ）においては、信号処理部１３における撮影画像に対する信号処理にかかる期間を「画像処理」と表すことにする。画像処理の期間は、信号処理部１３の処理能力や消費電力の大きさおよび発熱量を基に、撮像装置の動作仕様から決められる。また、信号処理部１３における撮影画像に対する信号処理にかかる単位時間あたりのデータ処理量を、必要に応じて処理レートと称する。 Here, in FIG. 8B, the period required for signal processing on the captured image by the signal processing unit 13 is referred to as “image processing”. The period of image processing is determined from the operating specifications of the image pickup apparatus based on the processing capacity of the signal processing unit 13, the magnitude of power consumption, and the amount of heat generated. Further, the amount of data processing per unit time required for signal processing on the captured image by the signal processing unit 13 is referred to as a processing rate, if necessary.

本実施形態では、撮像部１０１から高速に画素２００の信号を読み出すため、信号処理部１３の処理能力である処理レートが撮像レートよりも低い場合について説明する。
そこで、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、撮像レートよりも低い処理レートで読み出し、メモリ基板１１０から回路基板１２０のバス制御部１２１に転送する。図８（ｂ）では、この期間を「メモリ読み出し」と表すことにする。
本実施形態では、以上のようにして、記録部１１２を用いた、高速な撮像レートから低速な処理レートへの、単位時間当たりのデータ処理量の変換（レートの変換）が実施される。 In the present embodiment, in order to read the signal of the pixel 200 from the image pickup unit 101 at high speed, a case where the processing rate, which is the processing capacity of the signal processing unit 13, is lower than the image pickup rate will be described.
Therefore, the memory control unit 111 reads out the signals of all the pixels 200 of the pixel area 201 recorded in the recording unit 112 of the memory board 110 at a processing rate lower than the imaging rate, and reads the signals from the memory board 110 to the circuit board 120. Transfer to the bus control unit 121. In FIG. 8B, this period is referred to as “memory read”.
In the present embodiment, as described above, conversion of the amount of data processing per unit time (rate conversion) from a high-speed imaging rate to a low-speed processing rate is performed using the recording unit 112.

処理レートで回路基板１２０に転送された画素２００の信号は、画像信号前処理部１２２において、必要な信号前処理が実施されて、画像信号出力部１２３を介して、撮像素子１２から信号処理部１３へ出力される。
ここで、信号処理部１３における撮影画像の作成には、画素２００の光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いる。そこで、記録部１１２から読み出す画素２００の信号は、図７（ｂ）で説明したように、Ａ＋Ｂ信号のみでよい。これにより、図７（ｂ）に示すＡ信号およびＡ＋Ｂ信号の２つの信号を撮像素子１２から信号処理部１３へ出力する必要がなくなる。このため、撮像素子１２から信号処理部１３へ出力する時のデータの転送容量を削減させることが可能となる。 The signal of the pixel 200 transferred to the circuit board 120 at the processing rate is subjected to necessary signal preprocessing in the image signal preprocessing unit 122, and the signal processing unit from the image sensor 12 via the image signal output unit 123. It is output to 13.
Here, the A + B signal, which is an addition signal of the photoelectric conversion elements D1a and D1b of the pixel 200, is used to create the captured image in the signal processing unit 13. Therefore, as described in FIG. 7B, the signal of the pixel 200 read from the recording unit 112 may be only the A + B signal. This eliminates the need to output the two signals, the A signal and the A + B signal shown in FIG. 7B, from the image sensor 12 to the signal processing unit 13. Therefore, it is possible to reduce the data transfer capacity when the image sensor 12 outputs the data to the signal processing unit 13.

また、画像信号前処理部１２２において実施される信号前処理としては、キズ補正やノイズ低減処理等がある。しかしながら、Ａ＋Ｂ信号は、撮影画像の作成が可能な信号であるため、画像信号出力部１２３は、Ａ＋Ｂ信号をそのまま信号処理部１３へ出力してもよい。
本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、処理レートで読み出すことにより、第２の読み出し手段の一例が実現される。また、例えば、処理レートに対応する速度により第２の読み出し速度の一例が実現される。また、例えば、画素領域２０１の全ての画素２００のＡ＋Ｂ信号により、第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号の一例が実現される。 Further, the signal preprocessing performed by the image signal preprocessing unit 122 includes scratch correction, noise reduction processing, and the like. However, since the A + B signal is a signal capable of creating a captured image, the image signal output unit 123 may output the A + B signal to the signal processing unit 13 as it is.
In the present embodiment, for example, the memory control unit 111 reads the signals of all the pixels 200 of the pixel area 201 recorded in the recording unit 112 of the memory board 110 at the processing rate, so that the second reading means is used. An example is realized. Further, for example, an example of the second read speed is realized by the speed corresponding to the processing rate. Further, for example, a signal of the pixel stored by the first storage means by the A + B signals of all the pixels 200 of the pixel area 201, which is a signal used to create an image captured by the imaging means. An example is realized.

信号処理部１３において処理レートで画像処理された撮影画像の信号は、信号処理部１３あるいは同期制御部１５にある不図示のバッファに一時的に記憶される。図８（ｂ）では、この期間を「バッファ書き込み」と表すことにする。
そして、信号処理部１３または同期制御部１５は、「画像処理」の期間に画像処理された撮影画像の信号をバッファから読み出して画像表示部１７に転送する。図８（ｂ）では、この期間を「バッファ読み出し」と表すことにする。
バッファから読み出された撮影画像の信号は、動画表示８０２の期間に、画像表示部１７に表示される。従って、図８（ａ）および図８（ｂ）に示すように、「バッファ読み出し」の期間は、動画表示８０２の期間と同じ時間となる。 The signal of the captured image processed at the processing rate by the signal processing unit 13 is temporarily stored in a buffer (not shown) in the signal processing unit 13 or the synchronization control unit 15. In FIG. 8B, this period is referred to as “buffer write”.
Then, the signal processing unit 13 or the synchronization control unit 15 reads the signal of the captured image processed during the "image processing" period from the buffer and transfers it to the image display unit 17. In FIG. 8B, this period is referred to as “buffer read”.
The signal of the captured image read from the buffer is displayed on the image display unit 17 during the period of the moving image display 802. Therefore, as shown in FIGS. 8A and 8B, the period of "buffer read" is the same as the period of the moving image display 802.

この時、画像処理が画像表示よりも遅いと表示に不具合が生じるため、処理レートが動画レートより大きくなければならない。従って、図８（ｂ）において、「画像処理」の期間と同じとなる「バッファ書き込み」の期間は、「バッファ読み出し」の期間もよりも短くなる。
本実施形態では、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに記憶することにより、第２の記憶手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに書き込む速度（処理レートに対応する書き込み速度）により、第１の書き込み速度の一例が実現される。また、例えば、バッファにより第２の記憶媒体の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出すことにより、第４の読み出し手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出す速度（動画レートに対応する読み出し速度）により、第３の読み出し速度の一例が実現される。 At this time, if the image processing is slower than the image display, a display problem occurs, so the processing rate must be higher than the moving image rate. Therefore, in FIG. 8B, the period of "buffer writing", which is the same as the period of "image processing", is shorter than the period of "buffer reading".
In the present embodiment, for example, the signal processing unit 13 or the synchronization control unit 15 stores the signal of the image-processed captured image in the buffer, thereby realizing an example of the second storage means. Further, for example, an example of the first writing speed is realized by the speed at which the signal processing unit 13 or the synchronization control unit 15 writes the signal of the image-processed captured image to the buffer (writing speed corresponding to the processing rate). .. Further, for example, an example of a second storage medium is realized by a buffer. Further, for example, when the signal processing unit 13 or the synchronization control unit 15 reads the signal of the image-processed captured image from the buffer, an example of the fourth reading means is realized. Further, for example, an example of the third reading speed is realized by the speed at which the signal processing unit 13 or the synchronization control unit 15 reads the signal of the image-processed captured image from the buffer (reading speed corresponding to the moving image rate). ..

本実施形態では、以上のようにして、信号処理部１３あるいは同期制御部１５のバッファを用いた、高速な処理レートから低速な動画レートへのレートの変換が実施される。
また、作成された撮影画像は、同期制御部１５の指示により、画像記録部１８に記録することも可能である。 In the present embodiment, as described above, rate conversion from a high-speed processing rate to a low-speed moving image rate is performed using the buffer of the signal processing unit 13 or the synchronization control unit 15.
Further, the created captured image can be recorded in the image recording unit 18 according to the instruction of the synchronization control unit 15.

ここで、図８（ｂ）の説明では、信号処理部１３あるいは同期制御部１５にバッファがあるとしたが、画像表示部１７にバッファを設けてもよい。このようにする場合、画像処理された撮影画像の信号を画像表示部１７にあるバッファに処理レートで転送し、動画レートで読み出して画像表示部１７に表示することになる。 Here, in the description of FIG. 8B, it is assumed that the signal processing unit 13 or the synchronization control unit 15 has a buffer, but the image display unit 17 may be provided with a buffer. In this case, the signal of the image-processed captured image is transferred to the buffer in the image display unit 17 at the processing rate, read out at the moving image rate, and displayed on the image display unit 17.

図８（ｃ）に示すＡＦ処理動作では、主に焦点検出処理（ＡＦ処理）に関わる動作として実施される項目をその実施順に上から順番に示す。図８（ｃ）において、水平方向は、図８（ａ）に対応した期間であって、各項目の動作期間を示す。
撮像動作８０１となる「Ａ／Ａ＋Ｂ読み出し」および「Ａ／Ａ＋Ｂ読み出し」と同時に実施される記録部１１２への「メモリ書き込み」は、図８（ｂ）に示した項目と同じ項目である。従って、ここでは、これらの詳細な説明を省略する。 In the AF processing operation shown in FIG. 8C, items that are mainly performed as operations related to the focus detection processing (AF processing) are shown in order from the top. In FIG. 8C, the horizontal direction is a period corresponding to FIG. 8A, and indicates an operation period of each item.
The “memory writing” to the recording unit 112, which is performed at the same time as the “A / A + B reading” and the “A / A + B reading”, which is the imaging operation 801 is the same item as that shown in FIG. 8 (b). Therefore, detailed description thereof will be omitted here.

図７（ａ）で説明したように、撮像部１０１にある画素領域２０１内に焦点検出領域７０３を設ける。信号処理部１３は、焦点検出領域７０３内の画素２００から得られるＡ信号およびＡ＋Ｂ信号を基に焦点検出処理を実施する。
この時、焦点検出に用いる画素２００は、焦点検出領域７０３内の全ての画素である必要はない。本実施形態では、図７（ｃ）で説明したように、信号処理部１３は、焦点検出処理に際し、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００を用いる。 As described with reference to FIG. 7A, the focus detection region 703 is provided in the pixel region 201 in the imaging unit 101. The signal processing unit 13 performs the focus detection process based on the A signal and the A + B signal obtained from the pixels 200 in the focus detection region 703.
At this time, the pixels 200 used for focus detection do not have to be all the pixels in the focus detection region 703. In the present embodiment, as described with reference to FIG. 7C, the signal processing unit 13 uses pixels 200 corresponding to the even-numbered rows of G (green) filters in the focus detection region 703 during the focus detection process.

ここで、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号が、飛び飛びの画素２００の位置にあることを表すために、図８（ｃ）では、時間隔を空けた１つの矩形を１つの画素２００の信号として表現する。また、図８（ｃ）では、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号（矩形）を「メモリ上ＡＦ情報」と表すことにする。尚、以下の説明では、焦点検出処理に用いる画素２００（本実施形態では焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００）を、必要に応じて焦点検出画素と称する。本実施形態では、例えば、焦点検出領域７０３により、第１の領域よりも狭い領域であって、焦点を検出するために用いる信号を出力する画素を含む領域である第２の領域の一例が実現される。また、例えば、焦点検出画素により、焦点を検出するために用いる信号を出力する画素の一例が実現される。 Here, in order to show that the signal of the pixel 200 corresponding to the even-numbered G (green) filter in the focus detection area 703 is at the position of the discrete pixel 200, the time interval is set in FIG. 8 (c). One open rectangle is represented as a signal of one pixel 200. Further, in FIG. 8C, the signal (rectangle) of the pixel 200 corresponding to the G (green) filter in the even number of rows in the focus detection area 703 is represented as “AF information on the memory”. In the following description, the pixel 200 used for the focus detection process (in the present embodiment, the pixel 200 corresponding to the even-numbered G (green) filter in the focus detection area 703) is referred to as a focus detection pixel, if necessary. .. In the present embodiment, for example, the focus detection region 703 realizes an example of a second region that is narrower than the first region and includes pixels that output signals used for detecting the focus. Will be done. Further, for example, the focus detection pixel realizes an example of a pixel that outputs a signal used for detecting the focus.

「Ａ／Ａ＋Ｂ読み出し」動作において、焦点検出画素を読み出すには、焦点検出領域７０３内の全ての画素２００を読み出す必要があることが分かる。そこで、焦点検出領域７０３から順次読み出される焦点検出画素の信号を用いて、この読み出しと同時に焦点検出処理を実施する場合、焦点検出領域７０３内の全ての画素２００を読み出す期間に亘り、焦点検出処理に関わる回路を動作させ続けなければならない。
しかしながら、本実施形態では、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを、図７（ｃ）のように連続して読み出し、メモリ基板１１０から回路基板１２０に転送する。この時、記録部１１２から読み出される焦点検出画素の信号は、Ａ信号およびＡ＋Ｂ信号となる。図８（ｃ）においては、この期間を「連続読み出し」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを連続して読み出すことにより、第３の読み出し手段の一例が実現される。また、例えば、焦点検出画素のＡ信号およびＡ＋Ｂ信号により、第１の記憶手段により記憶された画素の信号の一部の信号であって、焦点を検出するために用いる信号の一例が実現される。 It can be seen that in the "A / A + B read" operation, it is necessary to read all the pixels 200 in the focus detection area 703 in order to read the focus detection pixels. Therefore, when the focus detection process is performed at the same time as this reading using the signals of the focus detection pixels sequentially read from the focus detection area 703, the focus detection process is performed over a period of reading all the pixels 200 in the focus detection area 703. The circuit involved in must continue to operate.
However, in the present embodiment, the memory control unit 111 continuously reads only the signal of the focus detection pixel recorded in the recording unit 112 of the memory board 110 from the memory board 110 as shown in FIG. 7C. Transfer to the circuit board 120. At this time, the signals of the focus detection pixels read from the recording unit 112 are the A signal and the A + B signal. In FIG. 8C, this period is referred to as “continuous reading”. In the present embodiment, for example, the memory control unit 111 continuously reads only the signal of the focus detection pixel recorded in the recording unit 112 of the memory board 110, thereby realizing an example of the third reading means. .. Further, for example, the A signal and the A + B signal of the focus detection pixel realize an example of a signal used for detecting the focus, which is a part of the signal of the pixel stored by the first storage means. ..

回路基板１２０に転送された焦点検出画素の信号は、ＡＦ信号前処理部１２４において、必要な信号前処理が実施されて、ＡＦ信号出力部１２５を介して、撮像素子１２から信号処理部１３へ出力される。ＡＦ信号前処理部１２４において実施される信号前処理には、例えば、Ｂ信号を計算するための計算式「（Ａ＋Ｂ信号）−（Ａ信号）」が必要となる。ＡＦ信号前処理部１２４は、この計算式を実行する前に、キズ補正やノイズ低減処理等を実施してもよい。これにより、ＡＦ信号前処理部１２４からは、焦点検出画素の信号としてＡ信号およびＢ信号が出力される。図８（ｃ）においては、この期間を「Ａ／Ｂ処理」と表すことにする。 The signal of the focus detection pixel transferred to the circuit board 120 is subjected to necessary signal preprocessing in the AF signal preprocessing unit 124, and is transmitted from the image sensor 12 to the signal processing unit 13 via the AF signal output unit 125. It is output. For the signal preprocessing performed by the AF signal preprocessing unit 124, for example, the calculation formula “(A + B signal) − (A signal)” for calculating the B signal is required. The AF signal preprocessing unit 124 may perform scratch correction, noise reduction processing, and the like before executing this calculation formula. As a result, the AF signal preprocessing unit 124 outputs the A signal and the B signal as the signals of the focus detection pixels. In FIG. 8C, this period is referred to as “A / B processing”.

そして、信号処理部１３が備える不図示の焦点検出処理部は、水平方向の複数の画素に関わる焦点検出用のＡ信号およびＢ信号に基づいて、画素内瞳分割された異なる光電変換素子Ｔａ１、Ｔａ２に対する入射光の位相差を検出する。
次に、焦点検出処理部は、検出した位相差に基づいて、撮像装置から被写体までの距離情報に対応する評価値であって、ＡＦに用いられる評価値であるＡＦ評価値を算出し、同期制御部１５に出力する。本実施形態では、例えば、焦点検出処理部を用いることにより、検出手段の一例が実現される。 Then, the focus detection processing unit (not shown) included in the signal processing unit 13 is a different photoelectric conversion element Ta1 whose intra-pixel pupil is divided based on the A signal and the B signal for focus detection relating to a plurality of pixels in the horizontal direction. The phase difference of the incident light with respect to Ta2 is detected.
Next, the focus detection processing unit calculates an AF evaluation value, which is an evaluation value corresponding to the distance information from the image pickup apparatus to the subject, and is an evaluation value used for AF, based on the detected phase difference, and synchronizes. Output to the control unit 15. In the present embodiment, for example, an example of the detection means is realized by using the focus detection processing unit.

ここまでが、信号処理部１３で実行される焦点検出処理となり、図８（ｃ）においては、この期間を「ＡＦ評価値算出」と表すことにする。
同期制御部１５は、ＡＦ評価値を基にして、撮像光学系１１が備える合焦レンズを駆動して、被写体が合焦するように制御する。図８（ｃ）においては、同期制御部１５による制御に移行することを「ＡＦ制御」と表すことにする。 Up to this point, the focus detection process executed by the signal processing unit 13 is performed, and in FIG. 8C, this period is referred to as “AF evaluation value calculation”.
Based on the AF evaluation value, the synchronization control unit 15 drives the focusing lens included in the imaging optical system 11 to control the subject so that it is in focus. In FIG. 8C, shifting to control by the synchronous control unit 15 is referred to as “AF control”.

信号処理部１３の焦点検出処理部は、「連続読み出し」された焦点検出画素の信号を基に、連続的に焦点検出処理を実施する。ここで、焦点検出画素の焦点検出処理にかかる単位時間あたりのデータ処理量を、必要に応じてＡＦレートと称する。
図８（ｃ）のＡＦ処理動作では、ＡＦ信号前処理部１２４は、記録部１１２からＡＦレートで連続的に読み出された焦点検出画素のＡ信号およびＡ＋Ｂ信号を、焦点検出画素のＡ信号およびＢ信号に変換する。そして、信号処理部１３の焦点検出処理部は、ＡＦレートで焦点検出処理を実施して、ＡＦ評価値を算出し、同期制御部１５に出力する。このため、図８（ｃ）において、「連続読み出し」の期間、「Ａ／Ｂ処理」の期間、および「ＡＦ評価値算出」の期間は等しい期間となる。従って、この時に、記録部１１２を用いた、低速な撮像レートから高速なＡＦレートへのレートの変換が実施される。 The focus detection processing unit of the signal processing unit 13 continuously performs focus detection processing based on the signals of the focus detection pixels that have been “continuously read”. Here, the amount of data processing per unit time required for the focus detection process of the focus detection pixel is referred to as an AF rate, if necessary.
In the AF processing operation of FIG. 8C, the AF signal preprocessing unit 124 converts the A signal and the A + B signal of the focus detection pixel continuously read from the recording unit 112 at the AF rate into the A signal of the focus detection pixel. And convert to B signal. Then, the focus detection processing unit of the signal processing unit 13 executes the focus detection processing at the AF rate, calculates the AF evaluation value, and outputs it to the synchronization control unit 15. Therefore, in FIG. 8C, the period of "continuous reading", the period of "A / B processing", and the period of "AF evaluation value calculation" are the same period. Therefore, at this time, rate conversion from a low-speed imaging rate to a high-speed AF rate is performed using the recording unit 112.

以上のように本実施形態では、１回の撮像動作で焦点検出用の信号と撮影画像用の信号とを同時に取得することが可能になる。また、撮像動作においては、撮像部１０１の画素２００の信号を読み出して記録部１１２へ転送する撮像レートよりも、撮影画像の画像処理にかかる処理レートを遅くする。従って、信号処理部１３の処理能力、消費電力の大きさ、および発熱量を基に画像処理の期間を決めることができる。更に、焦点検出領域７０３内の焦点検出画素の信号のみを連続して読み出す。従って、撮像動作において、焦点検出領域７０３内の全ての画素を読み出しながら、同時に焦点検出処理を実施する場合に比べて、信号処理部１３の焦点検出処理部、ＡＦ信号前処理部１２４、およびＡＦ信号出力部１２５の動作期間を短縮することができる。よって、撮像装置の消費電力を削減することができる。また、撮像素子１２から信号処理部１３への焦点検出画素の信号の転送期間が短縮されるので、焦点検出処理にかかる時間を大幅に短縮することができる。また、撮像素子１２から信号処理部１３へ出力する撮影画像用の信号がＡ＋Ｂ信号のみとなるので、処理レートを更に低減できると共にデータ転送容量を削減させることができる。また、撮像部１０１の画素の信号を記録部１１２に記録させることで、画像処理にかかる処理レートの制約がなくなり、高速に撮像動作を実施できるので、ローリング歪を低減させることができる。以上のように本実施形態では、画素内瞳分割機能を有する画素を備える撮像装置が、位相差検出方式の焦点検出と被写体画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを可能にすることができる。 As described above, in the present embodiment, it is possible to simultaneously acquire the focus detection signal and the captured image signal in one imaging operation. Further, in the imaging operation, the processing rate for image processing of the captured image is slower than the imaging rate for reading the signal of the pixel 200 of the imaging unit 101 and transferring it to the recording unit 112. Therefore, the period of image processing can be determined based on the processing capacity of the signal processing unit 13, the magnitude of power consumption, and the amount of heat generated. Further, only the signals of the focus detection pixels in the focus detection region 703 are continuously read out. Therefore, in the imaging operation, the focus detection processing unit, the AF signal preprocessing unit 124, and the AF of the signal processing unit 13 are compared with the case where the focus detection processing is performed simultaneously while reading all the pixels in the focus detection area 703. The operating period of the signal output unit 125 can be shortened. Therefore, the power consumption of the image pickup apparatus can be reduced. Further, since the transfer period of the signal of the focus detection pixel from the image sensor 12 to the signal processing unit 13 is shortened, the time required for the focus detection process can be significantly shortened. Further, since the signal for the captured image output from the image sensor 12 to the signal processing unit 13 is only the A + B signal, the processing rate can be further reduced and the data transfer capacity can be reduced. Further, by recording the signal of the pixel of the imaging unit 101 in the recording unit 112, the restriction of the processing rate required for the image processing is eliminated, and the imaging operation can be performed at high speed, so that the rolling distortion can be reduced. As described above, in the present embodiment, when the image pickup apparatus including the pixel having the intra-pixel pupil division function performs the focus detection of the phase difference detection method and the creation of the subject image, the reduction in the frame rate is suppressed and the power consumption is reduced. Reduction and can be possible.

本実施形態では、記録部１１２から処理レートで信号を読み出して画像処理を実施し、バッファから動画レートで信号を読み出す場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、記録部１１２から動画レートで信号を読み出して画像処理を実施し、画像表示部１７に表示してもよい。このようにすれば、処理レートよりも遅い動画レートで画像処理を実施することができるので、データの転送レートを更に低減することができる。また、画像表示のためのバッファを省略することも可能となる。本実施形態では、例えば、動画レートにより、第２の読み出し速度（第１の記憶手段により記憶された信号に基づく画像を、その出力先に出力する速度）の一例が実現される。尚、画像表示部１７が出力先の一例である。ただし、画像処理した信号の出力先は、画像表示部１７に限定されない。例えば、画像処理した信号の出力先は、画像記録部１８であってもよい。 In the present embodiment, a case where a signal is read from the recording unit 112 at a processing rate, image processing is performed, and a signal is read from a buffer at a moving image rate has been described as an example. However, it is not always necessary to do this. For example, a signal may be read from the recording unit 112 at a moving image rate, image processing may be performed, and the signal may be displayed on the image display unit 17. By doing so, the image processing can be performed at a moving image rate slower than the processing rate, so that the data transfer rate can be further reduced. It is also possible to omit the buffer for displaying an image. In the present embodiment, for example, an example of a second read-out speed (a speed at which an image based on a signal stored by the first storage means is output to its output destination) is realized by a moving image rate. The image display unit 17 is an example of an output destination. However, the output destination of the image-processed signal is not limited to the image display unit 17. For example, the output destination of the image-processed signal may be the image recording unit 18.

また、本実施形態のように、画素領域２０１のうち、焦点検出領域７０３の画素から、Ａ信号およびＡ＋Ｂ信号を読み出し、画素領域２０１のその他の画素から、Ａ＋Ｂ信号を読み出すようにすれば、読み出す信号を少なくすることができるので好ましい。しかしながら、必ずしもこのようにする必要はない。例えば、画素領域２０１の全ての画素から、Ａ信号およびＡ＋Ｂ信号を読み出してもよい。 Further, as in the present embodiment, the A signal and the A + B signal are read from the pixels of the focus detection area 703 of the pixel area 201, and the A + B signal is read from the other pixels of the pixel area 201. It is preferable because the signal can be reduced. However, it is not always necessary to do this. For example, the A signal and the A + B signal may be read out from all the pixels in the pixel area 201.

（第２の実施形態）
次に、図１〜図６に加えて図９〜図１０を参照して、第２の実施形態を説明する。第１の実施形態では、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号（２つの光電変換素子の一方の焦点検出用の信号と撮影画像用の信号）を読み出して、位相差検出方式の焦点検出と撮影画像の作成とを同時に実施する場合を例に挙げて説明した。これに対し、本実施形態では、撮像部１０１の画素２００から、Ａ信号およびＢ信号（２つの光電変換素子の両方の焦点検出用の信号）を読み出して、位相差検出方式の焦点検出と撮影画像の作成とを同時に実施する場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、撮像部１０１の画素２００から読み出す信号が異なることによる処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。 (Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. 9 to 10 in addition to FIGS. 1 to 6. In the first embodiment, the A signal and the A + B signal (the focus detection signal of one of the two photoelectric conversion elements and the captured image signal) are read from the pixel 200 of the imaging unit 101, and the phase difference detection method is used. The case where the focus detection and the creation of the captured image are performed at the same time has been described as an example. On the other hand, in the present embodiment, the A signal and the B signal (signals for focusing detection of both of the two photoelectric conversion elements) are read from the pixel 200 of the imaging unit 101, and the focus detection and imaging of the phase difference detection method are performed. An example will be described in which the image is created at the same time. As described above, the processing due to the difference in the signal read from the pixel 200 of the imaging unit 101 is mainly different between the present embodiment and the first embodiment. Therefore, in the description of the present embodiment, detailed description of the same parts as those of the first embodiment will be omitted by adding the same reference numerals as those given in FIGS. 1 to 8.

本実施形態では、第１の実施形態と同一の第１の露光制御（光電変換素子Ｄ１ａの露光制御）を実施した後に、第１の実施形態とは異なる第２の露光制御（光電変換素子Ｄ１ｂの露光制御）を実施する。
本実施形態の第２の露光制御では、所定の露光時間の経過後に、リセットトランジスタＴ２のオンおよびオフと、その後の転送トランジスタＴ１ｂのオンおよびオフとにより、光電変換素子Ｄ１ｂの信号電荷のみが読み出される。この時の光電変換素子Ｄ１ｂの出力信号を焦点検出用のＢ信号と称することとする。また、本実施形態の第２の読み出し動作では、第２の露光制御を実施した１行分の画素２００から読み出した光電変換素子Ｄ１ｂの信号、即ち、Ｂ信号に対して列信号処理を実施する。 In the present embodiment, after performing the same first exposure control (exposure control of the photoelectric conversion element D1a) as in the first embodiment, a second exposure control (photoelectric conversion element D1b) different from the first embodiment is performed. Exposure control) is carried out.
In the second exposure control of the present embodiment, after the lapse of a predetermined exposure time, only the signal charge of the photoelectric conversion element D1b is read out by turning on and off the reset transistor T2 and then turning on and off the transfer transistor T1b. Is done. The output signal of the photoelectric conversion element D1b at this time is referred to as a B signal for focus detection. Further, in the second reading operation of the present embodiment, column signal processing is performed on the signal of the photoelectric conversion element D1b read from the pixel 200 of one row for which the second exposure control is performed, that is, the B signal. ..

図９は、本実施形態の信号処理の一例を説明する図である。図９（ａ）は、撮像部１０１にある画素領域２０１の画素２００から読み出されるＡ信号およびＢ信号を示す。本実施形態では、画素領域２０１の画素２００から、Ａ信号またはＢ信号が、行毎に所定の順番で読み出される。
例えば、信号９０１は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ信号であり、Ｒ（Ａ）と表す。信号９０２は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＢ信号であり、Ｒ（Ｂ）と表す。また、対角となる２行２列目の画素２００から７行９列目の画素２００を囲む領域９０３を、焦点検出領域とする。尚、図９（ａ）は、図７（ａ）において、Ａ＋Ｂ信号をＢ信号に置き換えただけなので、図９（ａ）の詳細な説明を省略する。 FIG. 9 is a diagram illustrating an example of signal processing of the present embodiment. FIG. 9A shows an A signal and a B signal read from the pixel 200 of the pixel region 201 in the imaging unit 101. In the present embodiment, the A signal or the B signal is read out from the pixel 200 of the pixel area 201 in a predetermined order for each row.
For example, the signal 901 is the A signal of the pixel 200 corresponding to the R (red) filter in the first row and the first column of the pixel area 201, and is represented as R (A). The signal 902 is a B signal of the pixel 200 corresponding to the R (red) filter in the first row and the first column of the pixel area 201, and is represented as R (B). Further, the area 903 surrounding the diagonal pixels 200 in the 2nd row and 2nd column to the pixel 200 in the 7th row and 9th column is defined as a focus detection area. In FIG. 9A, since the A + B signal is only replaced with the B signal in FIG. 7A, the detailed description of FIG. 9A will be omitted.

図９（ｂ）は、図９（ａ）の内、信号処理部１３における撮影画像の作成に用いる画素２００のＡ信号およびＢ信号を示す。
本実施形態では、撮影画像の作成に際し、信号処理部１３が、画素領域２０１の全ての画素２００の全ての信号を用いる。即ち、信号処理部１３は、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いて撮影画像を作成する。従って、信号処理部１３は、Ａ信号とＢ信号とを加算して（（Ａ信号）＋（Ｂ信号）の計算式を実行して）Ａ＋Ｂ信号を計算するため、それぞれの画素２００におけるＡ信号およびＢ信号が必要となる。例えば、信号処理部１３は、１行１列目の画素２００について、Ａ信号である信号９０１（Ｒ（Ａ））とＢ信号である信号９０２（Ｒ（Ｂ））とを加算して（Ｒ（Ａ）＋Ｒ（Ｂ）＝Ｒ（Ａ＋Ｂ）として）Ａ＋Ｂ信号を求めればよい。 9 (b) shows the A signal and the B signal of the pixel 200 used for creating the captured image in the signal processing unit 13 in FIG. 9 (a).
In the present embodiment, when creating the captured image, the signal processing unit 13 uses all the signals of all the pixels 200 of the pixel area 201. That is, the signal processing unit 13 creates a captured image using the A + B signal which is the addition signal of the photoelectric conversion elements D1a and D1b. Therefore, the signal processing unit 13 adds the A signal and the B signal to calculate the A + B signal (by executing the calculation formula of (A signal) + (B signal)), so that the A signal in each pixel 200 is calculated. And B signal is required. For example, the signal processing unit 13 adds (R) the signal 901 (R (A)) which is the A signal and the signal 902 (R (B)) which is the B signal for the pixel 200 in the first row and the first column. The A + B signal may be obtained (as (A) + R (B) = R (A + B)).

図９（ｃ）は、図９（ａ）の内、信号処理部１３における焦点検出処理（ＡＦ処理）に関わる画素２００の信号を示す。
本実施形態でも、第１の実施形態と同様に、焦点検出処理（ＡＦ処理）に際し、信号処理部１３が、焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号を用いる場合を例に挙げて説明する。尚、図９（ｃ）は、図７（ｃ）において、Ａ＋Ｂ信号をＢ信号に置き換えただけなので、図９（ｃ）の詳細な説明を省略する。 FIG. 9 (c) shows the signal of the pixel 200 involved in the focus detection process (AF process) in the signal processing unit 13 in FIG. 9 (a).
In the present embodiment as well, as in the first embodiment, during the focus detection process (AF process), the signal processing unit 13 signals the pixels 200 corresponding to the even-numbered G (green) filter in the focus detection area 903. Will be described by taking as an example the case of using. Since FIG. 9 (c) merely replaces the A + B signal with the B signal in FIG. 7 (c), the detailed description of FIG. 9 (c) will be omitted.

本実施形態では、信号処理部１３は、光電変換素子Ｄ１ａから得られるＡ信号と光電変換素子Ｄ１ｂから得られるＢ信号とを基にした位相差検出方式の焦点検出を実施する。例えば、図９（ｃ）において、信号処理部１３は、２行３列目の画素について、Ａ信号である信号９０４（Ｇ（Ａ））およびＢ信号である信号９０５（Ｇ（Ｂ））の信号をそのまま用いて位相差検出方式の焦点検出を実施する。本実施形態では、例えば、Ａ信号により第１の信号の一例が実現され、Ｂ信号により第２の信号の一例が実現される。 In the present embodiment, the signal processing unit 13 carries out the focus detection of the phase difference detection method based on the A signal obtained from the photoelectric conversion element D1a and the B signal obtained from the photoelectric conversion element D1b. For example, in FIG. 9C, the signal processing unit 13 has a signal 904 (G (A)) which is an A signal and a signal 905 (G (B)) which is a B signal for the pixels in the second row and the third column. Focus detection of the phase difference detection method is performed using the signal as it is. In the present embodiment, for example, an example of the first signal is realized by the A signal, and an example of the second signal is realized by the B signal.

図１０は、本実施形態の撮像装置の動作タイミングの一例を示す図である。図１０（ａ）は、撮像動作および動画表示を示し、図１０（ｂ）は、画像処理動作を示し、図１０（ｃ）は、ＡＦ処理動作を示す。図１０（ａ）は、図８（ａ）に示した撮像動作および動画表示と同一であるので、図１０（ａ）の詳細な説明を省略する。 FIG. 10 is a diagram showing an example of the operation timing of the image pickup apparatus of the present embodiment. FIG. 10A shows an imaging operation and a moving image display, FIG. 10B shows an image processing operation, and FIG. 10C shows an AF processing operation. Since FIG. 10 (a) is the same as the imaging operation and the moving image display shown in FIG. 8 (a), the detailed description of FIG. 10 (a) will be omitted.

図１０（ｂ）に示す画像処理動作では、主に画像処理に関わる動作として実施される項目をその実施順に上から順番に示す。図１０（ｂ）において、水平方向は、図１０（ａ）に対応した期間であって、各項目の動作期間を示す。本実施形態では、撮像動作８０１の期間に撮像部１０１の画素２００から、Ａ信号およびＢ信号が読み出される。この時に読み出される画素２００の信号は、図９（ａ）で説明した画素領域２０１の全ての画素２００の信号となる。
そこで、図１０（ｂ）においては、撮像動作８０１の期間をＡ信号およびＢ信号の読み出し期間とし、「Ａ／Ｂ読み出し」と表すことにする。本実施形態では、例えば、列信号処理部２０３が、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＢ信号を読み出すことにより、第１の読み出し手段の一例が実現される。また、例えば、撮像レートに対応する読み出し速度により、第１の読み出し速度の一例が実現される。 In the image processing operation shown in FIG. 10B, items to be executed mainly as operations related to image processing are shown in order from the top in the order of execution. In FIG. 10B, the horizontal direction is a period corresponding to FIG. 10A, and indicates an operation period of each item. In the present embodiment, the A signal and the B signal are read out from the pixel 200 of the imaging unit 101 during the imaging operation 801. The signal of the pixel 200 read out at this time is a signal of all the pixels 200 of the pixel area 201 described with reference to FIG. 9A.
Therefore, in FIG. 10B, the period of the imaging operation 801 is defined as the reading period of the A signal and the B signal, and is expressed as “A / B reading”. In the present embodiment, for example, the column signal processing unit 203 reads the A signal and the B signal from the pixels 200 of the image pickup unit 101 during the period of the image pickup operation 801 to realize an example of the first reading means. .. Further, for example, an example of the first read speed is realized by the read speed corresponding to the image pickup rate.

Ａ信号およびＢ信号の読み出し動作と同時に、列信号処理部１０２は、Ａ信号およびＢ信号を撮像基板１００からメモリ基板１１０に転送する。そして、メモリ制御部１１１は、Ａ信号およびＢ信号を記録部１１２に記録する。図１０（ｂ）では、これらの動作の期間を「メモリ書き込み」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、Ａ信号およびＢ信号を記録部１１２に記録することにより、第１の記憶手段の一例が実現される。また、メモリ制御部１１１が、Ａ信号およびＢ信号を記録部１１２に記録する際の書き込み速度（撮像レートに対応する書き込み速度）により、第２の書き込み速度の一例が実現される。 At the same time as the A signal and B signal reading operation, the column signal processing unit 102 transfers the A signal and the B signal from the image pickup board 100 to the memory board 110. Then, the memory control unit 111 records the A signal and the B signal in the recording unit 112. In FIG. 10B, the period of these operations is referred to as “memory writing”. In the present embodiment, for example, the memory control unit 111 records the A signal and the B signal in the recording unit 112, so that an example of the first storage means is realized. Further, an example of the second writing speed is realized by the writing speed (writing speed corresponding to the imaging rate) when the memory control unit 111 records the A signal and the B signal in the recording unit 112.

本実施形態でも、第１の実施形態と同様に、撮像部１０１から高速に画素２００の信号を読み出すため、信号処理部１３の処理能力である処理レートが撮像レートよりも低い場合について説明する。
そこで、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、撮像レートよりも低い処理レートで読み出し、メモリ基板１１０から回路基板１２０のバス制御部１２１に転送する。図１０（ｂ）では、この期間を「メモリ読み出し」と表すことにする。
本実施形態では、以上のようにして、記録部１１２を用いた、高速な撮像レートから低速な処理レートへの、レートの変換が実施される。 In this embodiment as well, as in the first embodiment, since the signal of the pixel 200 is read out from the imaging unit 101 at high speed, a case where the processing rate, which is the processing capacity of the signal processing unit 13, is lower than the imaging rate will be described.
Therefore, the memory control unit 111 reads out the signals of all the pixels 200 of the pixel area 201 recorded in the recording unit 112 of the memory board 110 at a processing rate lower than the imaging rate, and reads the signals from the memory board 110 to the circuit board 120. Transfer to the bus control unit 121. In FIG. 10B, this period is referred to as “memory read”.
In the present embodiment, as described above, rate conversion from a high-speed imaging rate to a low-speed processing rate is performed using the recording unit 112.

処理レートで回路基板１２０に転送された画素２００の信号は、画像信号前処理部１２２において、必要な信号前処理が実施されて、画像信号出力部１２３を介して、撮像素子１２から信号処理部１３へ出力される。
ここで、信号処理部１３における撮影画像の作成には、画素２００の光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いる。そこで、記録部１１２から読み出す画素２００の信号は、図９（ｂ）で説明したように、Ａ信号およびＢ信号となる。画像信号前処理部１２２において実施される信号前処理には、Ａ＋Ｂ信号を計算するための計算式「（Ａ信号）＋（Ｂ信号）」が必要となる。画像信号前処理部１２２は、この計算式を実行する前に、キズ補正やノイズ低減処理等を実施してもよい。これにより、画像信号前処理部１２２からは、撮影画像の作成用の信号としてＡ＋Ｂ信号が出力される。図１０（ｂ）においては、この期間を「Ａ＋Ｂ処理」と表すことにする。本実施形態では、画像信号前処理部１２２が、Ａ＋Ｂ信号を計算することにより、加算手段の一例が実現される。 The signal of the pixel 200 transferred to the circuit board 120 at the processing rate is subjected to necessary signal preprocessing in the image signal preprocessing unit 122, and the signal processing unit from the image sensor 12 via the image signal output unit 123. It is output to 13.
Here, the A + B signal, which is an addition signal of the photoelectric conversion elements D1a and D1b of the pixel 200, is used to create the captured image in the signal processing unit 13. Therefore, the signals of the pixel 200 read from the recording unit 112 are the A signal and the B signal as described with reference to FIG. 9B. The signal preprocessing performed by the image signal preprocessing unit 122 requires the calculation formula "(A signal) + (B signal)" for calculating the A + B signal. The image signal preprocessing unit 122 may perform scratch correction, noise reduction processing, or the like before executing this calculation formula. As a result, the image signal preprocessing unit 122 outputs an A + B signal as a signal for creating a captured image. In FIG. 10B, this period is referred to as “A + B processing”. In the present embodiment, an example of the addition means is realized by the image signal preprocessing unit 122 calculating the A + B signal.

これにより、図９（ｂ）に示すＡ信号およびＢ信号の２つの信号を撮像素子１２から信号処理部１３へ出力する必要がなくなるため、撮像素子１２から信号処理部１３へ出力する時のデータの転送容量を削減させることが可能となる。
本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、処理レートで読み出すことにより、第２の読み出し手段の一例が実現される。また、例えば、処理レートに対応する速度により第２の読み出し速度の一例が実現される。また、例えば、画素領域２０１の全ての画素２００の信号により、第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号の一例が実現される。 As a result, it is not necessary to output the two signals of the A signal and the B signal shown in FIG. 9B from the image sensor 12 to the signal processing unit 13, so that the data when the image sensor 12 outputs the two signals to the signal processing unit 13. It is possible to reduce the transfer capacity of.
In the present embodiment, for example, the memory control unit 111 reads the signals of all the pixels 200 of the pixel area 201 recorded in the recording unit 112 of the memory board 110 at the processing rate, so that the second reading means is used. An example is realized. Further, for example, an example of the second read speed is realized by the speed corresponding to the processing rate. Further, for example, an example of a signal of the pixel stored by the first storage means by the signals of all the pixels 200 of the pixel area 201 and used for creating an image captured by the imaging means. Is realized.

信号処理部１３において処理レートで画像処理された撮影画像の信号は、信号処理部１３あるいは同期制御部１５にある不図示のバッファに一時的に記憶される。図１０（ｂ）では、この期間を「バッファ書き込み」と表すことにする。
そして、信号処理部１３または同期制御部１５は、「画像処理」の期間に画像処理された撮影画像の信号をバッファから読み出して画像表示部１７に転送する。図１０（ｂ）では、この期間を「バッファ読み出し」と表すことにする。
バッファから読み出された撮影画像の信号は、動画表示８０２の期間に、画像表示部１７に表示される。従って、図１０（ａ）および図１０（ｂ）に示すように、「バッファ読み出し」の期間は、動画表示８０２の期間と同じ時間となる。 The signal of the captured image processed at the processing rate by the signal processing unit 13 is temporarily stored in a buffer (not shown) in the signal processing unit 13 or the synchronization control unit 15. In FIG. 10B, this period is referred to as “buffer write”.
Then, the signal processing unit 13 or the synchronization control unit 15 reads the signal of the captured image processed during the "image processing" period from the buffer and transfers it to the image display unit 17. In FIG. 10B, this period is referred to as “buffer read”.
The signal of the captured image read from the buffer is displayed on the image display unit 17 during the period of the moving image display 802. Therefore, as shown in FIGS. 10A and 10B, the period of "buffer read" is the same as the period of the moving image display 802.

この時、画像処理が画像表示よりも遅いと表示に不具合が生じるため、処理レートが動画レートより大きくなければならない。従って、図１０（ｂ）において、「画像処理」の期間と同じとなる「バッファ書き込み」の期間は、「バッファ読み出し」の期間よりも短くなる。
本実施形態では、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに記憶することにより、第２の記憶手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに書き込む速度（処理レートに対応する書き込み速度）により、第１の書き込み速度の一例が実現される。また、例えば、バッファにより第２の記憶媒体の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出すことにより、第４の読み出し手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出す速度（動画レートに対応する読み出し速度）により、第３の読み出し速度の一例が実現される。
本実施形態では、以上のようにして、信号処理部１３あるいは同期制御部１５のバッファを用いた、高速な処理レートから低速な動画レートへのレートの変換が実施される。
また、作成された撮影画像は、同期制御部１５の指示により、画像記録部１８に記録することも可能である。
ここで、図１０（ｂ）の説明では、信号処理部１３あるいは同期制御部１５にバッファがあるとしたが、画像表示部１７にバッファを設けてもよい。このようにする場合、画像処理された撮影画像の信号を画像表示部１７にあるバッファに処理レートで転送し、動画レートで読み出して画像表示部１７に表示することになる。 At this time, if the image processing is slower than the image display, a display problem occurs, so the processing rate must be higher than the moving image rate. Therefore, in FIG. 10B, the period of "buffer writing", which is the same as the period of "image processing", is shorter than the period of "buffer reading".
In the present embodiment, for example, the signal processing unit 13 or the synchronization control unit 15 stores the signal of the image-processed captured image in the buffer, thereby realizing an example of the second storage means. Further, for example, an example of the first writing speed is realized by the speed at which the signal processing unit 13 or the synchronization control unit 15 writes the signal of the image-processed captured image to the buffer (writing speed corresponding to the processing rate). .. Further, for example, an example of a second storage medium is realized by a buffer. Further, for example, when the signal processing unit 13 or the synchronization control unit 15 reads the signal of the image-processed captured image from the buffer, an example of the fourth reading means is realized. Further, for example, an example of the third reading speed is realized by the speed at which the signal processing unit 13 or the synchronization control unit 15 reads the signal of the image-processed captured image from the buffer (reading speed corresponding to the moving image rate). ..
In the present embodiment, as described above, rate conversion from a high-speed processing rate to a low-speed moving image rate is performed using the buffer of the signal processing unit 13 or the synchronization control unit 15.
Further, the created captured image can be recorded in the image recording unit 18 according to the instruction of the synchronization control unit 15.
Here, in the description of FIG. 10B, it is assumed that the signal processing unit 13 or the synchronization control unit 15 has a buffer, but the image display unit 17 may be provided with a buffer. In this case, the signal of the image-processed captured image is transferred to the buffer in the image display unit 17 at the processing rate, read out at the moving image rate, and displayed on the image display unit 17.

図１０（ｃ）に示すＡＦ処理動作では、主に焦点検出処理（ＡＦ処理）に関わる動作として実施される項目をその実施順に上から順番に示す。図１０（ｃ）において、水平方向は、図１０（ａ）に対応した期間であって、各項目の動作期間を示す。
撮像動作８０１となる「Ａ／Ｂ読み出し」と同時に実施される記録部１１２への「メモリ書き込み」は、図１０（ｂ）に示した項目と同じ項目である。従って、ここでは、これらの詳細な説明を省略する。
図９（ａ）に示したように、撮像部１０１にある画素領域２０１内に焦点検出領域９０３を設ける。信号処理部１３は、焦点検出領域９０３内の画素２００から得られるＡ信号およびＢ信号を基に焦点検出処理を実施する。
この時、焦点検出に用いる画素２００（焦点検出画素）は、焦点検出領域９０３内の全ての画素である必要はない。本実施形態では、図９（ｃ）に示したように、信号処理部１３は、焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００を用いる。 In the AF processing operation shown in FIG. 10C, items that are mainly performed as operations related to the focus detection processing (AF processing) are shown in order from the top. In FIG. 10 (c), the horizontal direction is a period corresponding to FIG. 10 (a) and indicates an operation period of each item.
The “memory writing” to the recording unit 112, which is performed at the same time as the “A / B reading” that is the imaging operation 801 is the same item as that shown in FIG. 10 (b). Therefore, detailed description thereof will be omitted here.
As shown in FIG. 9A, the focus detection region 903 is provided in the pixel region 201 in the imaging unit 101. The signal processing unit 13 performs the focus detection process based on the A signal and the B signal obtained from the pixels 200 in the focus detection region 903.
At this time, the pixels 200 (focus detection pixels) used for focus detection do not have to be all the pixels in the focus detection region 903. In this embodiment, as shown in FIG. 9C, the signal processing unit 13 uses pixels 200 corresponding to the even-numbered rows of G (green) filters in the focus detection region 903.

ここで、焦点検出画素（焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００）の信号が、飛び飛びの画素２００の位置にあることを表すために、図１０（ｃ）では、時間隔を空けた１つの矩形を１つの画素２００の信号として表現する。また、図１０（ｃ）では、焦点検出画素の信号（矩形）を「メモリ上ＡＦ情報」と表すことにする。本実施形態では、例えば、焦点検出領域９０３により、第１の領域よりも狭い領域であって、焦点を検出するために用いる信号を出力する画素を含む領域である第２の領域の一例が実現される。また、例えば、焦点検出画素により、焦点を検出するために用いる信号を出力する画素の一例が実現される。 Here, in order to show that the signal of the focus detection pixel (pixel 200 corresponding to the even-numbered G (green) filter in the focus detection area 903) is at the position of the discrete pixel 200, FIG. 10 (c) is shown. Then, one rectangle with a time interval is expressed as a signal of one pixel 200. Further, in FIG. 10C, the signal (rectangle) of the focus detection pixel is represented as “AF information on memory”. In the present embodiment, for example, the focus detection region 903 realizes an example of a second region that is narrower than the first region and includes pixels that output signals used for detecting the focus. Will be done. Further, for example, the focus detection pixel realizes an example of a pixel that outputs a signal used for detecting the focus.

「Ａ／Ｂ読み出し」動作において、焦点検出画素を読み出すには、焦点検出領域９０３内の全ての画素を読み出す必要があることが分かる。そこで、焦点検出領域９０３から順次読み出される焦点検出画素の信号を用いて、この読み出しと同時に焦点検出処理を実施する場合、焦点検出領域９０３内の全ての画素２００を読み出す期間に亘り、焦点検出処理に関わる回路を動作させ続けなければならない。
しかしながら、本実施形態でも第１の実施形態と同様に、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを、図９（ｃ）のように連続して読み出し、メモリ基板１１０から回路基板１２０に転送する。この時、記録部１１２から読み出される焦点検出画素の信号は、Ａ信号およびＢ信号となる。図１０（ｃ）においては、この期間を「連続読み出し」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを連続して読み出すことにより、第３の読み出し手段の一例が実現される。また、例えば、焦点検出画素のＡ信号およびＢ信号により、第１の記憶手段により記憶された画素の信号の一部の信号であって、焦点を検出するために用いる信号の一例が実現される。 It can be seen that in the "A / B read" operation, it is necessary to read all the pixels in the focus detection area 903 in order to read the focus detection pixels. Therefore, when the focus detection process is performed at the same time as this reading using the signals of the focus detection pixels sequentially read from the focus detection area 903, the focus detection process is performed over a period of reading all the pixels 200 in the focus detection area 903. The circuit involved in must continue to operate.
However, in the present embodiment as well as in the first embodiment, the memory control unit 111 continuously transmits only the signals of the focus detection pixels recorded in the recording unit 112 of the memory board 110 as shown in FIG. 9 (c). And read it out, and transfer it from the memory board 110 to the circuit board 120. At this time, the signals of the focus detection pixels read from the recording unit 112 are the A signal and the B signal. In FIG. 10 (c), this period is referred to as "continuous reading". In the present embodiment, for example, the memory control unit 111 continuously reads only the signal of the focus detection pixel recorded in the recording unit 112 of the memory board 110, thereby realizing an example of the third reading means. .. Further, for example, the A signal and the B signal of the focus detection pixel realize an example of a signal used for detecting the focus, which is a part of the signal of the pixel stored by the first storage means. ..

回路基板１２０に転送された焦点検出画素の信号は、ＡＦ信号前処理部１２４において、必要な信号前処理を実施されて、ＡＦ信号出力部１２５を介して、撮像素子１２から信号処理部１３へ出力される。ＡＦ信号前処理部１２４において実施される信号前処理には、キズ補正やノイズ低減処理等がある。しかしながら、Ａ信号およびＢ信号は焦点検出処理が可能な信号であるため、ＡＦ信号出力部１２５は、Ａ信号およびＢ信号をそのまま信号処理部１３へ出力してもよい。これにより、ＡＦ信号前処理部１２４からは、焦点検出画素の信号としてＡ信号およびＢ信号が出力される。 The signal of the focus detection pixel transferred to the circuit board 120 is subjected to necessary signal preprocessing in the AF signal preprocessing unit 124, and is transmitted from the image sensor 12 to the signal processing unit 13 via the AF signal output unit 125. It is output. The signal preprocessing performed by the AF signal preprocessing unit 124 includes scratch correction, noise reduction processing, and the like. However, since the A signal and the B signal are signals capable of focus detection processing, the AF signal output unit 125 may output the A signal and the B signal to the signal processing unit 13 as they are. As a result, the AF signal preprocessing unit 124 outputs the A signal and the B signal as the signals of the focus detection pixels.

そして、信号処理部１３が備える不図示の焦点検出処理部は、水平方向の複数の画素に関わる焦点検出用のＡ信号およびＢ信号に基づいて、画素内瞳分割された異なる光電変換素子Ｔａ１、Ｔａ２に対する入射光の位相差を検出する。
次に、焦点検出処理部は、検出した位相差に基づいて、撮像装置から被写体までの距離情報に対応する評価値であって、ＡＦに用いられる評価値であるＡＦ評価値を算出し、同期制御部１５に出力する。本実施形態では、例えば、焦点検出処理部を用いることにより、検出手段の一例が実現される。 Then, the focus detection processing unit (not shown) included in the signal processing unit 13 is a different photoelectric conversion element Ta1 whose intra-pixel pupil is divided based on the A signal and the B signal for focus detection relating to a plurality of pixels in the horizontal direction. The phase difference of the incident light with respect to Ta2 is detected.
Next, the focus detection processing unit calculates an AF evaluation value, which is an evaluation value corresponding to the distance information from the image pickup apparatus to the subject, and is an evaluation value used for AF, based on the detected phase difference, and synchronizes. Output to the control unit 15. In the present embodiment, for example, an example of the detection means is realized by using the focus detection processing unit.

ここまでが、信号処理部１３で実行される焦点検出処理となり、図１０（ｃ）においては、この期間を「ＡＦ評価値算出」と表すことにする。
同期制御部１５は、ＡＦ評価値を基にして、撮像光学系１１が備える合焦レンズを駆動して、被写体が合焦するように制御する。図１０（ｃ）においては、同期制御部１５による制御に移行することを「ＡＦ制御」と表すことにする。 Up to this point, the focus detection process executed by the signal processing unit 13 is performed, and in FIG. 10C, this period is referred to as “AF evaluation value calculation”.
Based on the AF evaluation value, the synchronization control unit 15 drives the focusing lens included in the imaging optical system 11 to control the subject so that it is in focus. In FIG. 10C, shifting to control by the synchronous control unit 15 is referred to as “AF control”.

信号処理部１３の焦点検出処理部は、「連続読み出し」された焦点検出画素の信号を基に、連続的に焦点検出処理を実施する。ここで、焦点検出画素の焦点検出処理にかかる単位時間あたりのデータ処理量を、必要に応じてＡＦレートと称する。
図１０（ｃ）のＡＦ処理動作では、信号処理部１３の焦点検出処理部は、記録部１１２からＡＦレートで連続的に読み出された焦点検出画素のＡ信号およびＢ信号を用いて、ＡＦレートで焦点検出処理を実施して、ＡＦ評価値を算出する。そして、焦点検出処理部は、ＡＦ評価値を同期制御部１５に出力する。このため、図１０（ｃ）において、「連続読み出し」の期間、および「ＡＦ評価値算出」の期間は等しい期間となる。従って、この時に、記録部１１２を用いた、低速な撮像レートから高速なＡＦレートへのレートの変換が実施される。 The focus detection processing unit of the signal processing unit 13 continuously performs focus detection processing based on the signals of the focus detection pixels that have been “continuously read”. Here, the amount of data processing per unit time required for the focus detection process of the focus detection pixel is referred to as an AF rate, if necessary.
In the AF processing operation of FIG. 10C, the focus detection processing unit of the signal processing unit 13 uses the A signal and the B signal of the focus detection pixels continuously read from the recording unit 112 at the AF rate to perform AF. The focus detection process is performed at the rate to calculate the AF evaluation value. Then, the focus detection processing unit outputs the AF evaluation value to the synchronization control unit 15. Therefore, in FIG. 10 (c), the period of "continuous reading" and the period of "AF evaluation value calculation" are the same period. Therefore, at this time, rate conversion from a low-speed imaging rate to a high-speed AF rate is performed using the recording unit 112.

以上のように本実施形態では、１回の撮像動作で焦点検出用の信号と撮影画像用の信号とを同時に取得することが可能となる。また、撮像動作においては、撮像部１０１の画素２００の信号を読み出して記録部１１２へ転送する撮像レートよりも、撮影画像の画像処理にかかる処理レートを遅くする。従って、信号処理部１３の処理能力、消費電力の大きさ、および発熱量を基に画像処理の期間を決めることができる。更に、焦点検出領域９０３内の焦点検出画素の信号のみを連続して読み出す。従って、撮像動作において、焦点検出領域９０３内の全ての画素を読み出しながら、同時に焦点検出処理を実施する場合に比べて、信号処理部１３の焦点検出処理部、およびＡＦ信号前処理部１２４の動作期間を短縮することができる。よって、撮像装置の消費電力を削減することができる。また、撮像素子１２から信号処理部１３への焦点検出用の信号の転送期間が短縮されるので、焦点検出処理にかかる時間を大幅に短縮することができる。また、撮像素子１２から信号処理部１３へ出力する撮影画像用の信号がＡ＋Ｂ信号のみとなるので、処理レートを更に低減できると共にデータの転送容量を削減させることができる。また、撮像部１０１の画素の信号を記録部１１２に記録させることで、画像処理にかかる処理レートの制約がなくなり、高速に撮像動作を実施できるので、ローリング歪を低減させることができる。以上のように本実施形態でも、第１の実施形態と同様に、画素内瞳分割機能を有する画素を備える撮像装置が、位相差検出方式の焦点検出と被写体画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを可能にすることができる。 As described above, in the present embodiment, it is possible to simultaneously acquire the focus detection signal and the captured image signal in one imaging operation. Further, in the imaging operation, the processing rate for image processing of the captured image is slower than the imaging rate for reading the signal of the pixel 200 of the imaging unit 101 and transferring it to the recording unit 112. Therefore, the period of image processing can be determined based on the processing capacity of the signal processing unit 13, the magnitude of power consumption, and the amount of heat generated. Further, only the signals of the focus detection pixels in the focus detection area 903 are continuously read out. Therefore, in the imaging operation, the operation of the focus detection processing unit of the signal processing unit 13 and the AF signal preprocessing unit 124 is compared with the case where all the pixels in the focus detection region 903 are read out and the focus detection processing is performed at the same time. The period can be shortened. Therefore, the power consumption of the image pickup apparatus can be reduced. Further, since the transfer period of the focus detection signal from the image sensor 12 to the signal processing unit 13 is shortened, the time required for the focus detection process can be significantly shortened. Further, since the signal for the captured image output from the image sensor 12 to the signal processing unit 13 is only the A + B signal, the processing rate can be further reduced and the data transfer capacity can be reduced. Further, by recording the signal of the pixel of the imaging unit 101 in the recording unit 112, the restriction of the processing rate required for the image processing is eliminated, and the imaging operation can be performed at high speed, so that the rolling distortion can be reduced. As described above, also in the present embodiment, as in the first embodiment, when the imaging device including the pixel having the intra-pixel pupil division function performs the focus detection of the phase difference detection method and the creation of the subject image, the frame It is possible to suppress the decrease in the rate and reduce the power consumption.

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other Examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１１：撮像光学系、１２：撮像素子、１３；信号処理部、１５：同期制御部、１７：画像表示部 11: Imaging optical system, 12: Image sensor, 13; Signal processing unit, 15: Synchronous control unit, 17: Image display unit

Claims (13)

それぞれが第１の光電変換部および第２の光電変換部を有する複数の画素を備える撮像手段と、
前記第１の光電変換部から出力された第１の信号と、前記第２の光電変換部から出力された第２の信号とを前記撮像手段から第１の読み出し速度で読み出す第１の読み出し手段と、
前記第１の読み出し手段により読み出された前記第１の信号および前記第２の信号を第１の記憶媒体に記憶する第１の記憶手段と、
前記撮像手段により撮像された画像を作成するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶手段から第２の読み出し速度で読み出す第２の読み出し手段と、
焦点を検出するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶手段から連続的に読み出す第３の読み出し手段と、を有し、
前記第１の読み出し速度よりも前記第２の読み出し速度の方が遅いことを特徴とする撮像装置。 An imaging means including a plurality of pixels, each having a first photoelectric conversion unit and a second photoelectric conversion unit.
A first reading means for reading a first signal output from the first photoelectric conversion unit and a second signal output from the second photoelectric conversion unit from the imaging means at a first reading speed. When,
A first storage means for storing the first signal and the second signal read by the first reading means in the first storage medium, and
As a signal used to create the image captured by the pre-Symbol image pickup means, and a second reading means for reading said first signal and said second signal from said first memory means at a second readout speed ,
As a signal used to detect focal point, has a third reading means for continuously reading from said first signal and said second signal to said first memory means,
Imaging and wherein the slow towards the second reading speed than the first readout speed. 前記第２の読み出し手段により読み出された前記第１の信号および前記第２の信号を加算する加算手段を更に有することを特徴とする請求項１に記載の撮像装置。 The imaging apparatus according to claim 1, further comprising a summing means for adding the first signal and the second signal read by the pre-Symbol second reading means. 前記加算手段により前記第１の信号および前記第２の信号が加算された信号に所定の画像処理を施して、前記撮像手段により撮像された画像の信号を生成する画像処理手段を更に有することを特徴とする請求項２に記載の撮像装置。 Provide Reinforced predetermined image processing on the signal of the first signal and the second signal are added by the adding means, further comprising an image processing means for generating a signal of the image captured by the image pickup means 2. The image pickup apparatus according to claim 2. 前記第２の読み出し速度は、前記第１の記憶手段により記憶された前記信号に基づく画像を、その出力先である前記画像処理手段に出力する速度に応じた速度であることを特徴とする請求項３に記載の撮像装置。 The second read speed is a speed corresponding to a speed at which an image based on the signal stored by the first storage means is output to the image processing means which is an output destination thereof. Item 3. The imaging device according to item 3. 前記画像処理手段により生成された前記信号を、前記第１の読み出し速度よりも遅い第１の書き込み速度で第２の記憶媒体に記憶する第２の記憶手段と、
前記第２の記憶手段により記憶された前記信号を、前記第１の読み出し速度よりも遅い第３の読み出し速度で読み出す第４の読み出し手段と、を更に有することを特徴とする請求項３または４に記載の撮像装置。 A second storage means for storing the signal generated by the image processing means in the second storage medium at a first writing speed slower than the first reading speed.
3 or 4 according to claim 3, further comprising a fourth reading means for reading the signal stored by the second storage means at a third reading speed slower than the first reading speed. The imaging apparatus according to. 前記第３の読み出し速度は、前記第２の読み出し速度および前記第１の書き込み速度よりも遅いことを特徴とする請求項５に記載の撮像装置。 The imaging device according to claim 5 , wherein the third read speed is slower than the second read speed and the first write speed. 前記第２の読み出し速度および前記第１の書き込み速度は同じであることを特徴とする請求項５または６に記載の撮像装置。 The imaging device according to claim 5 or 6 , wherein the second read speed and the first write speed are the same. 前記第１の読み出し速度と、前記第１の記憶手段による前記第１の信号および前記第２の信号の第１の記憶媒体への書き込み速度である第２の書き込み速度は同じであることを特徴とする請求項１〜７の何れか１項に記載の撮像装置。 The first read speed is the same as the second write speed, which is the write speed of the first signal and the second signal to the first storage medium by the first storage means. The imaging device according to any one of claims 1 to 7. 前記焦点を検出するために、前記第１の信号および前記第２の信号の位相差を検出する検出手段を更に有することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。 To detect the focal point, according to any one of claims 1-8, characterized by further comprising a detection means for detecting a phase difference between the first signal and the second issue signal Imaging device. 前記撮像手段は、前記複数の画素を備える第１の基板と、
前記第１の記憶媒体を備える第２の基板と
前記第２の読み出し手段および前記第３の読み出し手段により読み出された前記信号を前記撮像手段の外部に出力する出力手段を備える第３の基板と、を有し、
前記第１の基板、前記第２の基板、および前記第３の基板は、前記第１の基板および前記第３の基板により前記第２の基板を挟むように積層され、且つ、相互に電気的に接続されることを特徴とする請求項１〜９の何れか１項に記載の撮像装置。 The imaging means includes the first substrate including the plurality of pixels and
A third substrate including a second substrate including the first storage medium, the second reading means, and an output means for outputting the signal read by the third reading means to the outside of the imaging means. And have
The first substrate, the second substrate, and the third substrate are laminated so as to sandwich the second substrate between the first substrate and the third substrate , and are electrically connected to each other. The imaging device according to any one of claims 1 to 9, wherein the image pickup apparatus is connected to the image device. 前記第１の基板の面のうち、被写体光が入射する側の面に前記複数の画素が配置されることを特徴とする請求項１０に記載の撮像装置。 The imaging device according to claim 10 , wherein the plurality of pixels are arranged on the surface of the first substrate on the side on which the subject light is incident. それぞれが第１の光電変換部および第２の光電変換部を有する複数の画素を備えた撮像手段を有する撮像装置の制御方法であって、
前記第１の光電変換部から出力された第１の信号と、前記第２の光電変換部から出力された第２の信号とを前記撮像手段から第１の読み出し速度で読み出す第１の読み出し工程と、
前記第１の読み出し工程により読み出された前記第１の信号および前記第２の信号を第１の記憶媒体に記憶する第１の記憶工程と、
前記撮像手段により撮像された画像を作成するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶媒体から第２の読み出し速度で読み出す第２の読み出し工程と、
焦点を検出するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶媒体から連続的に読み出す第３の読み出し工程と、を有し、
前記第１の読み出し速度よりも前記第２の読み出し速度の方が遅いことを特徴とする撮像装置の制御方法。 Each is a control method of an image pickup apparatus having an image pickup means including a plurality of pixels having a first photoelectric conversion unit and a second photoelectric conversion unit.
A first readout step of reading out a first signal output from the first photoelectric conversion unit and a second signal output from the second photoelectric conversion unit from the imaging means at a first readout speed. When,
A first storage step of storing the first signal and the second signal read by the first reading step in the first storage medium, and
As a signal used to create the image captured by the pre-Symbol imaging means, a second read step of reading the first signal and the second signal from the first storage medium at a second readout speed ,
As a signal used to detect focal point, has a third reading step of reading sequentially the first signal and the second signal from the first storage medium,
Control method for an imaging apparatus characterized by slow towards the second reading speed than the first readout speed. それぞれが第１の光電変換部および第２の光電変換部を有する複数の画素を備えた撮像手段を有する撮像装置を制御することをコンピュータに実行させるためのプログラムであって、
前記第１の光電変換部から出力された第１の信号と、前記第２の光電変換部から出力された第２の信号とを前記撮像手段から第１の読み出し速度で読み出す第１の読み出し工程と、
前記第１の読み出し工程により読み出された前記第１の信号および前記第２の信号を第１の記憶媒体に記憶する第１の記憶工程と、
前記撮像手段により撮像された画像を作成するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶媒体から第２の読み出し速度で読み出す第２の読み出し工程と、
焦点を検出するために用いる信号として、前記第１の信号および前記第２の信号を前記第１の記憶媒体から連続的に読み出す第３の読み出し工程と、をコンピュータに実行させ、
前記第１の読み出し速度よりも前記第２の読み出し速度の方が遅いことを特徴とするプログラム。 A program for causing a computer to control an image pickup apparatus having an image pickup means including a plurality of pixels, each of which has a first photoelectric conversion unit and a second photoelectric conversion unit.
A first readout step of reading out a first signal output from the first photoelectric conversion unit and a second signal output from the second photoelectric conversion unit from the imaging means at a first readout speed. When,
A first storage step of storing the first signal and the second signal read by the first reading step in the first storage medium, and
As a signal used to create the image captured by the pre-Symbol imaging means, a second read step of reading the first signal and the second signal from the first storage medium at a second readout speed ,
As a signal used to detect focal point, by executing the third read step of reading the first signal and the second signal continuously from the first storage medium, to a computer,
A program characterized by slow towards the second reading speed than the first readout speed.
JP2017023810A 2017-02-13 2017-02-13 Image pickup device, control method of image pickup device, and program Active JP6884590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017023810A JP6884590B2 (en) 2017-02-13 2017-02-13 Image pickup device, control method of image pickup device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017023810A JP6884590B2 (en) 2017-02-13 2017-02-13 Image pickup device, control method of image pickup device, and program

Publications (2)

Publication Number Publication Date
JP2018133600A JP2018133600A (en) 2018-08-23
JP6884590B2 true JP6884590B2 (en) 2021-06-09

Family

ID=63248608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017023810A Active JP6884590B2 (en) 2017-02-13 2017-02-13 Image pickup device, control method of image pickup device, and program

Country Status (1)

Country Link
JP (1) JP6884590B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113498604B (en) * 2019-03-13 2023-01-20 富士胶片株式会社 Imaging element, imaging apparatus, method of operating imaging element, and computer-readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4289377B2 (en) * 2006-08-21 2009-07-01 ソニー株式会社 Physical quantity detection device and imaging device
JP5893572B2 (en) * 2012-03-01 2016-03-23 キヤノン株式会社 Imaging device, imaging system, and driving method of imaging device
TWI583195B (en) * 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device

Also Published As

Publication number Publication date
JP2018133600A (en) 2018-08-23

Similar Documents

Publication Publication Date Title
JP5026951B2 (en) Imaging device driving device, imaging device driving method, imaging device, and imaging device
JP4448888B2 (en) Imaging apparatus and signal processing method of imaging apparatus
US20110032395A1 (en) Imaging unit and image sensor
JP5820627B2 (en) Solid-state imaging device, imaging device, and signal readout method
JP5317591B2 (en) Imaging device
JP4609092B2 (en) Physical information acquisition method and physical information acquisition device
JP5255790B2 (en) Imaging device
JP2006352843A (en) Imaging apparatus and control method
JP6614133B2 (en) Imaging device, control method, and imaging apparatus
US8896736B2 (en) Solid-state imaging device, imaging apparatus and signal reading method having photoelectric conversion elements that are targets from which signals are read in the same group
CN109474781B (en) Image pickup apparatus, control method for image pickup apparatus, and recording medium
JP6802642B2 (en) Imaging device and its control method, program, and storage medium
JP5721518B2 (en) Imaging device and imaging apparatus
JP2018019296A (en) Imaging apparatus and control method therefor
JP6884590B2 (en) Image pickup device, control method of image pickup device, and program
JP2006228801A (en) Solid state imaging element
JP5235701B2 (en) Imaging device
JP7433793B2 (en) Imaging device and its control method
JP6256054B2 (en) Solid-state imaging device and imaging apparatus
JP6600375B2 (en) Solid-state imaging device, imaging apparatus, control method thereof, program, and storage medium
JP6918517B2 (en) Image sensor, its control method, and image sensor
JP6798532B2 (en) Image sensor and image sensor
JP2020010177A (en) Imaging apparatus and control method of the same
JP6128776B2 (en) Solid-state imaging device, imaging device, and signal readout method
JP2003309771A (en) Ccd imaging device and photographic system with image inversion function

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210512

R151 Written notification of patent or utility model registration

Ref document number: 6884590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151