JP2021108501A - Image pickup device and imaging apparatus - Google Patents

Abstract

To obtain appropriate exposure for each area of an image.SOLUTION: An image pickup device includes: a first semiconductor substrate which has a plurality of pixels arranged in each of row and column directions; a second semiconductor substrate which has a first conversion part for converting a signal read in a first output wiring from a first pixel of the plurality of pixels into a digital signal and a second conversion part for converting a signal read in a second output wiring from a second pixel arranged at a position on the column direction side from the first pixel of the plurality of pixels into a digital signal; a first adder which executes addition processing on a first signal converted into a digital signal by the first conversion part, of the signal read from the first pixel in the first output wiring; and a third semiconductor substrate which has a second adder for executing addition processing on a second signal converted into a digital signal by the second conversion part, of the signal read from the second pixel in the second output wiring.SELECTED DRAWING: Figure 4

Description

本発明は、撮像素子、及び撮像装置に関する。 The present invention relates to an image pickup device and an image pickup device.

撮像素子に画像取得用の光電変換部および輝度評価用の光電変換部を備え、この輝度評価用光電変換部から繰り返し出力される信号の加算値が所定値に達すると、画像取得用の光電変換部から画像信号を出力させる撮像装置が知られている（特許文献１参照）。 The image sensor is provided with a photoelectric conversion unit for image acquisition and a photoelectric conversion unit for brightness evaluation, and when the added value of signals repeatedly output from the photoelectric conversion unit for brightness evaluation reaches a predetermined value, photoelectric conversion for image acquisition is performed. An image pickup device that outputs an image signal from a unit is known (see Patent Document 1).

特開２０１２−２０４９３８号公報Japanese Unexamined Patent Publication No. 2012-204938

従来の技術では、画像を１または２以上の上記領域を有するブロックに分けて、該ブロックごとに撮像画像を取得する場合への適用が困難であった。 In the conventional technique, it is difficult to apply the image to a case where the image is divided into blocks having one or more of the above regions and the captured image is acquired for each block.

本発明による撮像素子は、行方向と列方向とにおいてそれぞれ配置される複数の画素を有する第１半導体基板と、前記複数の画素のうち第１画素から第１出力配線に読み出された信号をデジタル信号に変換する第１変換部と、前記複数の画素のうち、前記第１画素から前記列方向側の位置に配置される第２画素から第２出力配線に読み出された信号をデジタル信号に変換する第２変換部とを有する第２半導体基板と、前記第１画素から前記第１出力配線に読み出された信号のうち、前記第１変換部でデジタル信号に変換された第１信号に加算処理を行う第１加算器と、前記第２画素から前記第２出力配線に読み出された信号のうち、前記第２変換部でデジタル信号に変換された第２信号に加算処理を行う第２加算器とを有する第３半導体基板と、を備える。
また、本発明による撮像装置は、上記に記載の撮像素子を備える。 The image pickup device according to the present invention has a first semiconductor substrate having a plurality of pixels arranged in the row direction and the column direction, and a signal read from the first pixel of the plurality of pixels to the first output wiring. A digital signal is a signal read from a first conversion unit that converts a digital signal and a signal read from a second pixel arranged at a position on the column direction side from the first pixel to a second output wiring among the plurality of pixels. Of the signals read from the first pixel to the first output wiring, the first signal converted into a digital signal by the first conversion unit and the second semiconductor substrate having the second conversion unit. Of the signals read from the second pixel to the second output wiring, the second signal converted into a digital signal by the second conversion unit is subjected to the addition processing. It includes a third semiconductor substrate having a second adder.
Further, the image pickup apparatus according to the present invention includes the image pickup device described above.

本発明によれば、画像のエリアごとに適正露出が得られる。 According to the present invention, proper exposure can be obtained for each area of the image.

積層型撮像素子の断面図である。It is sectional drawing of the laminated type image sensor. 撮像チップの画素配列と単位ブロックを説明する図である。It is a figure explaining the pixel arrangement and the unit block of an image pickup chip. 撮像チップのブロックを説明する回路図である。It is a circuit diagram explaining the block of an image pickup chip. 撮像素子の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of an image sensor. １画素当たりの画素信号の流れを説明する図である。It is a figure explaining the flow of the pixel signal per pixel. 撮像素子を有する撮像装置の構成を例示するブロック図である。It is a block diagram which illustrates the structure of the image pickup apparatus which has an image pickup element. ブロックにおける複数の画素配置を説明する図である。It is a figure explaining the arrangement of a plurality of pixels in a block. ブロックにおける画素位置と画素信号レベルとの関係を示す図である。It is a figure which shows the relationship between a pixel position and a pixel signal level in a block. 読み出しタイミング、蓄積時間、および演算回路を介して撮像素子から読み出される画素信号を説明する図である。It is a figure explaining the read-out timing, the accumulation time, and the pixel signal read out from an image sensor via an arithmetic circuit. 正規化処理を説明する図である。It is a figure explaining the normalization process. 制御部が実行する撮影動作の流れを説明するフローチャートである。It is a flowchart explaining the flow of the shooting operation executed by the control unit.

以下、図面を参照して本発明を実施するための形態について説明する。
＜積層型撮像素子の説明＞
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
<Explanation of stacked image sensor>
First, a stacked image sensor 100 mounted on an electronic device (for example, an image pickup device 1) according to an embodiment of the present invention will be described. The stacked image sensor 100 is described in Japanese Patent Application No. 2012-139026 previously filed by the applicant of the present application. FIG. 1 is a cross-sectional view of the stacked image sensor 100. The image sensor 100 includes a back-illuminated image pickup chip 113 that outputs a pixel signal corresponding to incident light, a signal processing chip 111 that processes the pixel signal, and a memory chip 112 that stores the pixel signal. The imaging chip 113, the signal processing chip 111, and the memory chip 112 are laminated and electrically connected to each other by a conductive bump 109 such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 As shown in the figure, the incident light is mainly incident in the Z-axis plus direction indicated by the white arrow. In the present embodiment, in the image pickup chip 113, the surface on the side where the incident light is incident is referred to as the back surface. Further, as shown in the coordinate axes, the left direction of the paper surface orthogonal to the Z axis is defined as the X-axis plus direction, and the Z-axis and the front direction of the paper surface orthogonal to the X-axis are defined as the Y-axis plus direction. In some subsequent figures, the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。 An example of the image pickup chip 113 is a back-illuminated MOS image sensor. The PD layer 106 is arranged on the back surface side of the wiring layer 108. The PD layer 106 has a plurality of PDs (photodiodes) 104 arranged two-dimensionally and accumulating charges according to incident light, and a transistor 105 provided corresponding to the PD 104.

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。 A color filter 102 is provided on the incident side of the incident light in the PD layer 106 via the passivation film 103. The color filter 102 has a plurality of types that transmit different wavelength regions from each other, and has a specific arrangement corresponding to each of the PD 104. The arrangement of the color filters 102 will be described later. A set of a color filter 102, a PD 104, and a transistor 105 forms one pixel.

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。 A microlens 101 is provided on the incident side of the incident light in the color filter 102 corresponding to each pixel. The microlens 101 collects incident light toward the corresponding PD 104.

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。 The wiring layer 108 has a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111. The wiring 107 may have multiple layers, and may be provided with passive elements and active elements.

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 A plurality of bumps 109 are arranged on the surface of the wiring layer 108. The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the facing surfaces of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are aligned by pressurization or the like. The bumps 109 are joined together and electrically connected.

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 Similarly, a plurality of bumps 109 are arranged on the surfaces of the signal processing chip 111 and the memory chip 112 facing each other. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized, so that the aligned bumps 109 are joined to each other and electrically connected.

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。 The bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be adopted. Further, for example, about one bump 109 may be provided for one unit area described later. Therefore, the size of the bumps 109 may be larger than the pitch of the PD 104. Further, in the peripheral region other than the pixel region in which the pixels are arranged, a bump larger than the bump 109 corresponding to the pixel region may be provided together.

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。 The signal processing chip 111 has TSVs (Through Silicon Vias) 110 that connect circuits provided on the front and back surfaces to each other. The TSV 110 is preferably provided in the peripheral region. Further, the TSV 110 may also be provided in the peripheral area of the image pickup chip 113 and the memory chip 112.

図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する８画素×８画素の６４画素が１つのブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されてブロック１３１を形成する概念を示す。ブロック１３１を形成する画素の数は、これに限られず、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。本実施形態において、複数のブロック１３１の間には回路や配線などはなく、複数のブロック同士が密に配置されており、これにより省スペース化を実現している。 FIG. 2 is a diagram for explaining the pixel arrangement of the image pickup chip 113 and the unit block 131. In particular, the state in which the image pickup chip 113 is observed from the back surface side is shown. For example, 20 million or more pixels are arranged in a matrix in the pixel area. In the present embodiment, for example, 64 pixels of adjacent 8 pixels × 8 pixels form one block 131. The grid lines in the figure show the concept that adjacent pixels are grouped to form a block 131. The number of pixels forming the block 131 is not limited to this, and may be, for example, 32 pixels × 64 pixels, more or less. In the present embodiment, there is no circuit or wiring between the plurality of blocks 131, and the plurality of blocks are densely arranged with each other, thereby saving space.

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に１６個内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。 As shown in the partially enlarged view of the pixel region, the block 131 includes 16 so-called Bayer arrays including four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R in the vertical and horizontal directions. The green pixel is a pixel having a green filter as the color filter 102, and receives light in the green wavelength band among the incident light. Similarly, a blue pixel is a pixel having a blue filter as a color filter 102 and receives light in a blue wavelength band, and a red pixel is a pixel having a red filter as a color filter 102 and receives light in a red wavelength band. Receive light.

本実施形態において、１ブロック１３１につき緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの組を少なくとも１つ含むように複数のブロック１３１が定義され、各ブロック１３１はそれぞれ異なる制御パラメータで各ブロック１３１に含まれる画素を制御できる。つまり、あるブロック１３１に含まれる画素群と、別のブロック１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。 In the present embodiment, a plurality of blocks 131 are defined so that each block 131 includes at least one set of green pixels Gb, Gr, blue pixels B, and red pixels R, and each block 131 has different control parameters. The pixels included in 131 can be controlled. That is, it is possible to acquire an imaging signal having different imaging conditions between the pixel group included in a certain block 131 and the pixel group included in another block 131. Examples of control parameters are frame rate, gain, thinning rate, number of rows or columns to be added to add pixel signals, charge accumulation time or number of times, digitization bits, and the like. Further, the control parameter may be a parameter in image processing after acquiring the image signal from the pixel.

図３は、撮像チップ１１３のブロック１３１を説明する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。図３の例では、ブロック１３１を形成する６４画素のうち１６画素分例示している。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。 FIG. 3 is a circuit diagram illustrating block 131 of the imaging chip 113. In FIG. 3, a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel. In the example of FIG. 3, 16 pixels out of 64 pixels forming the block 131 are illustrated. At least a part of each transistor described below corresponds to the transistor 105 of FIG.

各画素におけるＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７（転送部制御線）に接続される。本実施形態において、ＴＸ配線３０７は、６４個の転送トランジスタ３０２に対して共通接続される。 The PD 104 in each pixel is connected to the transfer transistor 302, and each gate of each transfer transistor 302 is connected to the TX wiring 307 (transfer unit control line) to which the transfer pulse is supplied. In this embodiment, the TX wiring 307 is commonly connected to the 64 transfer transistors 302.

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、６４個のリセットトランジスタ３０３に対して共通接続される。 The drain of each transfer transistor 302 is connected to the source of each corresponding reset transistor 303, and the so-called floating diffusion FD between the drain of the transfer transistor 302 and the source of the reset transistor 303 is connected to the gate of the amplification transistor 304. The drain of the reset transistor 303 is connected to the Vdd wiring 310 to which the power supply voltage is supplied, and its gate is connected to the reset wiring 306 to which the reset pulse is supplied. In the present embodiment, the reset wiring 306 is commonly connected to the 64 reset transistors 303.

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、６４個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。 The drain of each amplification transistor 304 is connected to the Vdd wiring 310 to which the power supply voltage is supplied. Also, the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305. Each gate of the selection transistor 305 is connected to a decoder wiring 308 to which a selection pulse is supplied. In this embodiment, the decoder wiring 308 is provided independently for each of the 64 selection transistors 305. Then, the source of each selection transistor 305 is connected to the common output wiring 309. The load current source 311 supplies current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by the source follower. The load current source 311 may be provided on the imaging chip 113 side or the signal processing chip 111 side.

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。 Here, the flow from the start of charge accumulation to the pixel output after the end of accumulation will be described. When a reset pulse is applied to the reset transistor 303 through the reset wiring 306 and at the same time a transfer pulse is applied to the transfer transistor 302 through the TX wiring 307, the potentials of the PD 104 and the floating diffusion FD are reset.

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。 When the application of the transfer pulse is released, the PD 104 converts the received incident light into an electric charge and accumulates it. After that, when the transfer pulse is applied again without the reset pulse being applied, the accumulated charge is transferred to the floating diffusion FD, and the potential of the floating diffusion FD changes from the reset potential to the signal potential after charge accumulation. .. Then, when the selection pulse is applied to the selection transistor 305 through the decoder wiring 308, the fluctuation of the signal potential of the floating diffusion FD is transmitted to the output wiring 309 via the amplification transistor 304 and the selection transistor 305. As a result, the pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 309.

図３に示すように、本実施形態においては、ブロック１３１を形成する６４画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、６４画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、ブロック１３１毎に別個に設けられる。 As shown in FIG. 3, in the present embodiment, the reset wiring 306 and the TX wiring 307 are common to the 64 pixels forming the block 131. That is, the reset pulse and the transfer pulse are applied to all 64 pixels at the same time. Therefore, all the pixels forming the block 131 start the charge accumulation at the same timing and end the charge accumulation at the same timing. However, the pixel signal corresponding to the accumulated charge is selectively output from the output wiring 309 by sequentially applying the selection pulse to each selection transistor 305. Further, the reset wiring 306, the TX wiring 307, and the output wiring 309 are separately provided for each block 131.

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに電荷蓄積時間を制御することができる。換言すると、ブロック１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方のブロック１３１に１回の電荷蓄積を行わせている間に、他方のブロック１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらのブロック１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。 By configuring the circuit with the block 131 as a reference in this way, the charge accumulation time can be controlled for each block 131. In other words, pixel signals with different frame rates can be output between the blocks 131. Furthermore, while one block 131 is made to perform one charge accumulation, the other block 131 is made to repeat the charge accumulation many times to output a pixel signal each time, so that these blocks 131 are output. It is also possible to output each frame for video at different frame rates.

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック１３１を形成する６４個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。 FIG. 4 is a block diagram showing a functional configuration of the image sensor 100. The analog multiplexer 411 sequentially selects 64 PD 104s forming the block 131, and outputs each pixel signal to the output wiring 309 provided corresponding to the block 131. The multiplexer 411 is formed on the imaging chip 113 together with the PD 104.

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡される。デマルチプレクサ４１３から出力された画素信号は、それぞれの画素に対応する加算器４１６へ入力される。加算器４１６は、それぞれの画素に対応させて、デマルチプレクサ４１３から出力された画素信号と画素メモリ４１４から読み出された画素信号とを加算し、加算後の画素信号を再び画素メモリ４１４へ出力する。 The pixel signal output via the multiplexer 411 is CDS and A / by a signal processing circuit 412 formed on the signal processing chip 111 that performs correlated double sampling (CDS) analog / digital (A / D) conversion. D conversion is performed. The A / D converted pixel signal is passed to the demultiplexer 413. The pixel signal output from the demultiplexer 413 is input to the adder 416 corresponding to each pixel. The adder 416 adds the pixel signal output from the demultiplexer 413 and the pixel signal read from the pixel memory 414 in correspondence with each pixel, and outputs the added pixel signal to the pixel memory 414 again. do.

画素メモリ４１４は、加算器４１６からの画素信号を格納する。画素メモリ４１４のそれぞれは、加算後の画素信号を格納できる容量を有する。デマルチプレクサ４１３、加算器４１６および画素メモリ４１４は、メモリチップ１１２に形成される。 The pixel memory 414 stores the pixel signal from the adder 416. Each of the pixel memories 414 has a capacity capable of storing the pixel signal after addition. The demultiplexer 413, the adder 416, and the pixel memory 414 are formed on the memory chip 112.

図５は、１画素当たりの画素信号の流れを説明する図である。図５において、デマルチプレクサ４１３から出力された画素信号Ｓが、加算器４１６のうち対応する加算器ｎへ入力される。このとき、画素メモリ４１４の対応するメモリｎに格納されている画素信号Ｐが、該メモリｎから読み出されて加算器ｎへ入力される。 FIG. 5 is a diagram illustrating a flow of pixel signals per pixel. In FIG. 5, the pixel signal S output from the demultiplexer 413 is input to the corresponding adder n in the adder 416. At this time, the pixel signal P stored in the corresponding memory n of the pixel memory 414 is read from the memory n and input to the adder n.

加算器ｎは、入力された画素信号Ｓと画素信号Ｐとを加算し、加算後の画素信号Ｓ＋Ｐを画素メモリｎへ出力する。画素メモリｎは、入力された画素信号Ｓ＋Ｐを格納し、演算回路４１５へ読み出されるのを待つ。ここで、加算器ｎにより加算が行われる際に、画素メモリｎに格納されている画素信号Ｐを読み出さないように画素メモリ４１４を制御することにより、加算器ｎに入力された画素信号Ｓのみをそのまま加算器ｎから画素メモリｎへ出力させることができる。すなわち、加算器ｎで加算することなく、撮像チップ１１３からの画素信号Ｓをそのままメモリｎから演算回路４１５へ読み出させることもできる。 The adder n adds the input pixel signal S and the pixel signal P, and outputs the added pixel signal S + P to the pixel memory n. The pixel memory n stores the input pixel signal S + P and waits for it to be read out to the arithmetic circuit 415. Here, only the pixel signal S input to the adder n is obtained by controlling the pixel memory 414 so that the pixel signal P stored in the pixel memory n is not read when the addition is performed by the adder n. Can be output from the adder n to the pixel memory n as it is. That is, the pixel signal S from the image pickup chip 113 can be directly read from the memory n to the arithmetic circuit 415 without being added by the adder n.

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。 The arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and hands it over to the image processing unit in the subsequent stage. The arithmetic circuit 415 may be provided on the signal processing chip 111 or the memory chip 112.

駆動制御部４１７は、撮像チップ１１３から信号処理チップ１１１およびメモリチップ１１２へ画素信号が送られるタイミングと、画素メモリ４１４における画素信号の読み出しおよび格納タイミングと、加算器４１６における画素信号の加算タイミングと、演算回路４１５に対する画素信号の受け渡しタイミングとを同期させるため、タイミング制御信号を生成する。 The drive control unit 417 determines the timing at which the pixel signal is sent from the image pickup chip 113 to the signal processing chip 111 and the memory chip 112, the read / store timing of the pixel signal in the pixel memory 414, and the addition timing of the pixel signal in the adder 416. , A timing control signal is generated in order to synchronize with the transfer timing of the pixel signal to the arithmetic circuit 415.

なお、図４では１つのブロック１３１についての接続を示すが、実際にはこれらがブロック１３１ごとに存在して、並列で動作する。ただし、演算回路４１５はブロック１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロック１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。 Although the connection for one block 131 is shown in FIG. 4, these actually exist for each block 131 and operate in parallel. However, the arithmetic circuit 415 does not have to exist for each block 131. For example, one arithmetic circuit 415 may sequentially refer to the value of the pixel memory 414 corresponding to each block 131 for processing.

上記の通り、ブロック１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。 As described above, the output wiring 309 is provided corresponding to each of the blocks 131. Since the image sensor 100 has an image pickup chip 113, a signal processing chip 111, and a memory chip 112 stacked on top of each other, by using an electrical connection between the chips using bumps 109 for these output wirings 309, each chip is placed in the plane direction. Wiring can be routed without making it large.

＜撮像装置の説明＞
図６は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図６において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。 <Explanation of imaging device>
FIG. 6 is a block diagram illustrating the configuration of the image pickup apparatus 1 having the image pickup device 100 described above. In FIG. 6, the image pickup apparatus 1 includes an image pickup optical system 10, an image pickup unit 20, an image processing unit 30, a work memory 40, a display unit 50, a recording unit 60, and a control unit 70.

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。 The imaging optical system 10 is composed of a plurality of lenses, and guides a light flux from the field of view to the imaging unit 20. The image pickup optical system 10 may be integrally configured with the image pickup device 1 or may be interchangeably configured with respect to the image pickup device 1. Further, the imaging optical system 10 may have a built-in focus lens or a built-in zoom lens.

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１が出力する制御信号によって駆動制御されることにより、上述したブロック１３１ごとの蓄積制御が可能である。駆動部２１に対する蓄積制御の指示は、制御部７０が行う。 The image pickup unit 20 includes the above-mentioned image pickup element 100 and a drive unit 21 that drives the image pickup element 100. By driving and controlling the image sensor 100 by the control signal output from the driving unit 21, the accumulation control for each block 131 described above is possible. The control unit 70 gives an instruction for storage control to the drive unit 21.

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する他、撮像部２０で撮像された画像のバッファメモリとして使用される。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画、動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。 The image processing unit 30 cooperates with the work memory 40 to perform image processing on the image data captured by the image capturing unit 20. In the present embodiment, the work memory 40 temporarily stores image data before and after JPEG compression and before and after MPEG compression, and is also used as a buffer memory for images captured by the imaging unit 20. The display unit 50 is composed of, for example, a liquid crystal display panel 51, and displays images (still images, moving images) captured by the image pickup unit 20 and various information, and displays an operation input screen. The display unit 50 has a configuration in which the touch panel 52 is laminated on the display surface of the liquid crystal display panel 51. The touch panel 52 outputs a signal indicating a position where the user touches the liquid crystal display panel 51.

記録部６０は、メモリカードなどの記憶媒体に、撮像指示（後述するレリーズ操作）に応じて取得した画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。制御部７０は、撮像素子１００（撮像チップ１１３）の各ブロック１３１において所定のフレームレート（蓄積時間）、ゲインで画像を取得させ、かつ、取得した画像のデータの読み出し制御をするように、制御パラメータを駆動部２１へ指示する。 The recording unit 60 stores various data such as image data acquired in response to an imaging instruction (release operation described later) in a storage medium such as a memory card. The control unit 70 has a CPU and controls the entire operation of the image pickup apparatus 1. The control unit 70 controls each block 131 of the image sensor 100 (imaging chip 113) to acquire an image at a predetermined frame rate (accumulation time) and gain, and to control reading of the acquired image data. The parameters are instructed to the drive unit 21.

また、制御部７０は、画像データに基づいて、ホワイトバランス調整をＡＷＢ演算部７１により行わせる。さらに、制御部７０は、画素信号に基づいて再生表示用の画像を生成して表示部５０に表示させる。 Further, the control unit 70 causes the AWB calculation unit 71 to perform white balance adjustment based on the image data. Further, the control unit 70 generates an image for reproduction display based on the pixel signal and displays it on the display unit 50.

＜モニタリングセンサ＞
本実施形態では、モニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての画素の蓄積時間を決定する。ここで、画素における電荷蓄積量を調べるセンサをモニタリングセンサと呼ぶ。図７は、各ブロック１３１における複数の画素配置を説明する図である。撮像装置１は、ブロック１３１において略中央に位置する１つの緑色画素Ｇｒ（３，４）を、そのブロック１３１を代表するモニタリングセンサとして機能させる。 <Monitoring sensor>
In the present embodiment, the accumulation time of all the pixels included in the block 131 is determined based on the charge accumulation amount by the monitoring sensor. Here, a sensor that examines the amount of charge accumulated in a pixel is called a monitoring sensor. FIG. 7 is a diagram illustrating a plurality of pixel arrangements in each block 131. The image pickup apparatus 1 causes one green pixel Gr (3, 4) located substantially in the center of the block 131 to function as a monitoring sensor representing the block 131.

制御部７０は、例えば静止画像を撮影する際に駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）の各ブロック１３１から、あらかじめ定めた所定時間間隔で画素信号を読み出す。例えば、時刻ｔ１、ｔ２、ｔ３、…、ｔ７、ｔ８の複数回に分けて画素信号を読み出す。 The control unit 70 sends an instruction to the drive unit 21 when, for example, captures a still image, and reads out pixel signals from each block 131 of the image sensor 100 (imaging chip 113) at predetermined time intervals. For example, the pixel signal is read out in a plurality of times at times t1, t2, t3, ..., T7, and t8.

制御部７０は、読み出した画素信号のうちモニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルをチェックする。そして、読み出した画素信号の積算値があらかじめ定めた判定閾値を超えた時点（例えば時刻ｔ５）で、その時刻の１つ前の時刻（時刻ｔ４）までを、そのブロック１３１内の全画素の蓄積時間として決定する。この場合は、そのブロック１３１から時刻ｔ６以降の画素信号の読み出しを省略する。 The control unit 70 checks the pixel signal level from the monitoring sensor (green pixel Gr (3, 4)) among the read pixel signals. Then, when the integrated value of the read pixel signal exceeds a predetermined determination threshold value (for example, time t5), all the pixels in the block 131 are accumulated up to the time immediately before that time (time t4). Determined as time. In this case, the reading of the pixel signal from the block 131 after the time t6 is omitted.

図８は、ブロック１３１における全ての画素位置と、画素信号レベルとの関係を示す図である。制御部７０は、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えると、他の画素からの画素信号レベルが判定閾値より小さい場合でも、ブロック１３１内の全画素に対する蓄積を終了する。逆にいうと、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えない場合には、仮に他の画素からの画素信号レベルが判定閾値を超えている場合でも、ブロック１３１内の全画素に対する蓄積を継続する。 FIG. 8 is a diagram showing the relationship between all the pixel positions in the block 131 and the pixel signal level. When the pixel signal level from the monitoring sensor (green pixel Gr (3,4)) exceeds the determination threshold value, the control unit 70 determines all of the pixels in the block 131 even if the pixel signal levels from other pixels are smaller than the determination threshold value. The accumulation for the pixel is finished. Conversely, if the pixel signal level from the monitoring sensor (green pixel Gr (3,4)) does not exceed the judgment threshold, even if the pixel signal level from other pixels exceeds the judgment threshold. , The accumulation for all the pixels in the block 131 is continued.

ただし、制御部７０は、時刻ｔ８において読み出したモニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが上記判定閾値を超えない場合でも、時刻ｔ８までの時間を蓄積時間の上限とする。 However, even if the pixel signal level from the monitoring sensor (green pixel Gr (3, 4)) read out at time t8 does not exceed the above determination threshold value, the control unit 70 sets the time up to time t8 as the upper limit of the accumulation time. do.

＜画素信号の読み出し例＞
画素信号の読み出しタイミングと、撮像チップ１１３における蓄積時間と、演算回路４１５を介して撮像素子１００から読み出される画素信号とを説明する図９を参照して、ブロック１３１からの画素信号の読み出しを説明する。 <Example of reading pixel signal>
The reading of the pixel signal from the block 131 will be described with reference to FIG. 9, which explains the reading timing of the pixel signal, the accumulation time in the image pickup chip 113, and the pixel signal read from the image pickup element 100 via the arithmetic circuit 415. do.

駆動部２１は、以下のように撮像素子１００を制御する。すなわち、蓄積開始時刻ｔ０から時刻t１までを第１蓄積時間とし、時刻ｔ０から時刻ｔ２までを第２蓄積時間とする。駆動部２１は、時刻ｔ０において、ブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ１において、図５に例示した画素メモリｎに格納されている画素信号を読み出さないように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、第１蓄積時間（時刻ｔ０から時刻ｔ１）の間に蓄積された画素信号ａがデマルチプレクサ４１３から出力され、そのまま信号Ａとして演算回路４１５を介して出力される。この画素信号Ａ（＝ａ）は、画素メモリｎにも格納される。 The drive unit 21 controls the image sensor 100 as follows. That is, the accumulation start time t0 to the time t1 is set as the first accumulation time, and the time t0 to the time t2 is set as the second accumulation time. At time t0, the drive unit 21 starts charge accumulation for the pixels included in the block 131. Then, at time t1, the pixel signal is output from the block 131 while controlling the pixel memory 414 so as not to read the pixel signal stored in the pixel memory n illustrated in FIG. As a result, the pixel signal a accumulated during the first storage time (time t0 to time t1) is output from the demultiplexer 413 and is output as it is as the signal A via the arithmetic circuit 415. This pixel signal A (= a) is also stored in the pixel memory n.

駆動部２１はさらに、時刻ｔ１において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ２において、図５に例示した画素メモリｎに格納されている画素信号ａを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻ｔ１から時刻ｔ２までの間に蓄積された画素信号ｂがデマルチプレクサ４１３から出力され、この画素信号ｂと、画素メモリｎから読み出された画素信号ａとが加算器ｎで加算される。加算後の画素信号ａ＋ｂは、信号Ｂとして演算回路４１５を介して出力される。この画素信号Ｂは、画素メモリｎにも格納される。画素信号Ｂ（＝ａ＋ｂ）は、時刻ｔ０から時刻ｔ１までと、時刻ｔ１から時刻ｔ２までに蓄積された画素信号の和であるため、第２蓄積時間（時刻ｔ０から時刻ｔ２）の間に蓄積される画素信号に相当する。 Further, when the drive unit 21 reads out the pixel signal at time t1, the drive unit 21 immediately starts charge accumulation for the pixels included in the block 131. Then, at time t2, the pixel signal is output from the block 131 while controlling the pixel memory 414 so as to read the pixel signal a stored in the pixel memory n illustrated in FIG. As a result, the pixel signal b accumulated between the time t1 and the time t2 is output from the demultiplexer 413, and the pixel signal b and the pixel signal a read from the pixel memory n are added by the adder n. Will be done. The added pixel signals a + b are output as signal B via the arithmetic circuit 415. This pixel signal B is also stored in the pixel memory n. Since the pixel signal B (= a + b) is the sum of the pixel signals accumulated from time t0 to time t1 and from time t1 to time t2, it is accumulated during the second accumulation time (time t0 to time t2). Corresponds to the pixel signal to be generated.

同様に、駆動部２１は、時刻ｔ２において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ３において、図５に例示した画素メモリｎに格納されている画素信号Ｂを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻ｔ２から時刻ｔ３までの間に蓄積された画素信号ｃがデマルチプレクサ４１３から出力され、この画素信号ｃと、画素メモリｎから読み出された画素信号Ｂとが加算器ｎで加算される。加算後の画素信号Ｂ＋ｃは、信号Ｃとして演算回路４１５を介して出力される。この画素信号Ｃは、画素メモリｎにも格納される。画素信号Ｃ（＝Ｂ＋ｃ）は、時刻ｔ０から時刻ｔ２までと、時刻ｔ２から時刻ｔ３までに蓄積された画素信号の和であるため、第３蓄積時間（時刻ｔ０から時刻ｔ３）の間に蓄積される画素信号に相当する。 Similarly, when the drive unit 21 reads out the pixel signal at time t2, the drive unit 21 immediately starts charge accumulation for the pixels included in the block 131. Then, at time t3, the pixel signal is output from the block 131 while controlling the pixel memory 414 so as to read the pixel signal B stored in the pixel memory n illustrated in FIG. As a result, the pixel signal c accumulated between the time t2 and the time t3 is output from the demultiplexer 413, and the pixel signal c and the pixel signal B read from the pixel memory n are added by the adder n. Will be done. The added pixel signal B + c is output as a signal C via the arithmetic circuit 415. This pixel signal C is also stored in the pixel memory n. Since the pixel signal C (= B + c) is the sum of the pixel signals accumulated from time t0 to time t2 and from time t2 to time t3, it is accumulated during the third storage time (time t0 to time t3). Corresponds to the pixel signal to be generated.

以降同様に、時刻ｔ４から時刻ｔ８まで画素信号の読み出しを行うことにより、第４蓄積時間（時刻ｔ０から時刻ｔ４）と、第５蓄積時間（時刻ｔ０から時刻ｔ５）と、第６蓄積時間（時刻ｔ０から時刻ｔ６）と、第７蓄積時間（時刻ｔ０から時刻ｔ７）と、第８蓄積時間（時刻ｔ０から時刻ｔ８）と、の間に蓄積される画素信号が、それぞれ得られる。なお、上述したように第８蓄積時間（時刻ｔ０から時刻ｔ８）まで蓄積するのは、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号の積算値が、あらかじめ定めた判定閾値を超えない場合のみである。 Similarly, by reading the pixel signal from time t4 to time t8, the fourth storage time (time t0 to time t4), the fifth storage time (time t0 to time t5), and the sixth storage time (time t0 to time t5) A pixel signal accumulated between the time t0 to the time t6), the seventh storage time (time t0 to the time t7), and the eighth storage time (time t0 to the time t8) is obtained, respectively. As described above, the accumulation value of the pixel signals from the monitoring sensor (green pixel Gr (3, 4)) accumulates from the eighth accumulation time (time t0 to time t8) to a predetermined determination threshold value. Only if it does not exceed.

＜正規化処理＞
以上説明したように、ブロック１３１ごとに蓄積時間を決定する場合、異なるブロック１３１の間で入射光量が異なると、ブロック１３１の間で蓄積時間が相違する場合が生じる。そのため、制御部７０は、ブロック１３１の間において蓄積時間に関して正規化処理を行って画像を生成する。 <Normalization process>
As described above, when the storage time is determined for each block 131, if the amount of incident light differs between the different blocks 131, the storage time may differ between the blocks 131. Therefore, the control unit 70 performs a normalization process on the accumulation time between the blocks 131 to generate an image.

図１０は、正規化処理を説明する図である。例えば、蓄積時間が第８蓄積時間（時刻ｔ０から時刻ｔ８）のブロック１３１の画素信号値を基準にすると、蓄積時間が第２蓄積時間（時刻ｔ０から時刻ｔ２）のブロック１３１に対しては、画素信号値を４（＝８／２）倍に演算する。また、蓄積時間が第４蓄積時間（時刻ｔ０から時刻ｔ４）のブロック１３１に対しては、画素信号値を２（＝８／４）倍に演算する。さらに、蓄積時間が第５蓄積時間（時刻ｔ０から時刻ｔ５）のブロック１３１に対しては、画素信号値を８／５倍に演算する。他の蓄積時間についても同様である。 FIG. 10 is a diagram illustrating the normalization process. For example, based on the pixel signal value of the block 131 of the eighth storage time (time t0 to time t8), the storage time of the block 131 of the second storage time (time t0 to time t2) is The pixel signal value is multiplied by 4 (= 8/2). Further, for the block 131 having the fourth storage time (time t0 to time t4), the pixel signal value is multiplied by 2 (= 8/4). Further, the pixel signal value is calculated 8/5 times for the block 131 having the fifth accumulation time (time t0 to time t5). The same applies to other accumulation times.

制御部７０は、上述したようにブロック１３１ごとに蓄積時間の差に応じて画素信号値を調節した上で、画素信号値を所定のビット長（例えば１４ビット）の空間へ正規化する。これにより、異なるブロック１３１間における蓄積時間の相違に起因する画素信号値の大小が補正された広ダイナミックレンジの画像が得られる。制御部７０は、このように正規化処理を行った後の画素信号に基づいて、ＡＷＢ演算部７１にホワイトバランス調整をさせる。 As described above, the control unit 70 adjusts the pixel signal value according to the difference in the accumulation time for each block 131, and then normalizes the pixel signal value to a space having a predetermined bit length (for example, 14 bits). As a result, an image having a wide dynamic range in which the magnitude of the pixel signal value corrected due to the difference in the accumulation time between the different blocks 131 can be obtained can be obtained. The control unit 70 causes the AWB calculation unit 71 to adjust the white balance based on the pixel signal after the normalization process is performed in this way.

＜フローチャートの説明＞
図１１は、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチが電源オン操作され、撮像装置１の各部に対して通電が行われている場合に、図１１による処理を繰り返し起動させる。制御部７０は、不図示のレリーズボタンが半押し操作された場合にも、図１１による処理を起動させる。半押し操作は、レリーズボタンが全押し操作時より浅く押し下げられた操作態様をいう。 <Explanation of flowchart>
FIG. 11 is a flowchart illustrating a flow of a shooting operation executed by the control unit 70 of the imaging device 1. The control unit 70 repeatedly activates the process according to FIG. 11 when an ON-OFF switch (not shown) is turned on and each part of the image pickup apparatus 1 is energized. The control unit 70 activates the process according to FIG. 11 even when the release button (not shown) is half-pressed. The half-press operation refers to an operation mode in which the release button is pressed down more shallowly than when the release button is fully pressed.

図１１のステップＳ１０１において、制御部７０は、レリーズ操作（すなわちレリーズボタンの全押し操作）されたか否かを判定する。制御部７０は、レリーズボタンが全押し操作されたことを示す操作信号が入力されると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。一方、制御部７０は、上記全押し操作がなされない場合にはステップＳ１０１を否定判定し、当該判定処理を繰り返す。 In step S101 of FIG. 11, the control unit 70 determines whether or not a release operation (that is, a full release operation of the release button) has been performed. When the operation signal indicating that the release button has been fully pressed is input, the control unit 70 positively determines step S101 and proceeds to step S102. On the other hand, if the full pressing operation is not performed, the control unit 70 makes a negative determination in step S101 and repeats the determination process.

ステップＳ１０２において、制御部７０は駆動部２１へ指示を送り、撮像素子１００の全ブロック１３１を対象に電荷蓄積を開始させてステップＳ１０３へ進む（上記時刻ｔ０に相当）。ステップＳ１０３において、撮像チップ１１３からブロック１３１単位で画素信号が読み出される。ステップＳ１０４において、加算器４１６が、各画素に対応させて、読み出された画素信号と画素メモリ４１４に格納されている画素信号とを加算する。加算後の画素信号は、再び画素メモリ４１４へ格納される。 In step S102, the control unit 70 sends an instruction to the drive unit 21, starts charge accumulation for all the blocks 131 of the image sensor 100, and proceeds to step S103 (corresponding to the above time t0). In step S103, the pixel signal is read from the image pickup chip 113 in block 131 units. In step S104, the adder 416 adds the read pixel signal and the pixel signal stored in the pixel memory 414 corresponding to each pixel. The pixel signal after addition is stored in the pixel memory 414 again.

ステップＳ１０５において、制御部７０は、モニタリングセンサからの画素信号に関し、加算後の積算値があらかじめ定めた判定閾値を超えたか否かをブロック１３１ごとに判定する。制御部７０は、判定閾値を超えたブロック１３１についてはステップＳ１０５を肯定判定してステップＳ１０６へ進む。制御部７０は、判定閾値を超えないブロック１３１についてはステップＳ１０５を否定判定してステップＳ１０３へ戻る。ステップＳ１０３へ戻る場合は、当該ブロック１３１について上述した処理を継続する。 In step S105, the control unit 70 determines for each block 131 whether or not the integrated value after addition exceeds a predetermined determination threshold value with respect to the pixel signal from the monitoring sensor. The control unit 70 positively determines step S105 for the block 131 that exceeds the determination threshold value, and proceeds to step S106. The control unit 70 negates step S105 for the block 131 that does not exceed the determination threshold value, and returns to step S103. When returning to step S103, the above-described processing for the block 131 is continued.

ステップＳ１０６において、制御部７０は駆動部２１へ指示を送り、対応するブロック１３１を対象に電荷蓄積を終了させてステップＳ１０７へ進む。ステップＳ１０７において、制御部７０は、上述したようにブロック１３１の間で蓄積時間に関して正規化処理を行ってステップＳ１０８へ進む。 In step S106, the control unit 70 sends an instruction to the drive unit 21, ends charge accumulation for the corresponding block 131, and proceeds to step S107. In step S107, the control unit 70 performs a normalization process on the accumulation time between the blocks 131 as described above, and proceeds to step S108.

ステップＳ１０８において、制御部７０はＡＷＢ演算部７１へ指示を送り、ホワイトバランス処理を行わせてステップＳ１０９へ進む。ステップＳ１０９において、制御部７０は記録部６０へ指示を送り、画像データをメモリカードなどの記憶媒体に記録させて図１１による処理を終了する。 In step S108, the control unit 70 sends an instruction to the AWB calculation unit 71, performs white balance processing, and proceeds to step S109. In step S109, the control unit 70 sends an instruction to the recording unit 60 to record the image data on a storage medium such as a memory card, and ends the process according to FIG.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、複数のＰＤ１０４が配列された撮像チップ１１３と、ＰＤ１０４を複数含む複数のエリアブロック１３１に撮像チップ１１３を区分けし、エリアブロック１３１単位でＰＤ１０４の蓄積時間を制御し、かつ蓄積信号をエリアブロック１３１単位で読み出視可能な制御部７０と、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに配され、ＰＤ１０４による電荷蓄積量を読み出し可能な第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）と、を備えるようにした。これにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。 According to the embodiment described above, the following effects can be obtained.
(1) The image pickup apparatus 1 divides the image pickup chip 113 into an image pickup chip 113 in which a plurality of PD 104s are arranged and a plurality of area blocks 131 including a plurality of PD 104s, and controls the accumulation time of the PD 104 in each area block 131. A first monitoring sensor that is arranged in the control unit 70 that can read and view the accumulated signal in units of the area block 131 and at least each of the first area block 131 and the second area block 131 and can read the charge accumulated amount by the PD 104. Gr (3,4) and a second monitoring sensor Gr (3,4) are provided. As a result, proper exposure can be obtained for each area of the image corresponding to each block 131. For example, even when shooting against the sun, proper exposure can be obtained for a main subject without saturating the background. Further, since the proper exposure can be obtained by one shooting operation, it is not necessary to redo the shooting operation.

（２）複数のＰＤ１０４は、それぞれ緑色Ｇｒ（Ｇｂ）または緑色Ｇｒ（Ｇｂ）以外の他色（Ｂ、Ｒ）のカラーフィルタ１０２が配されており、第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）は、第１エリアブロック１３１および第２エリアブロック１３１の中で緑色Ｇｒ（Ｇｂ）のカラーフィルタ１０２が配されているＰＤ１０４によって構成される。一般に感度が高いとされる緑色のカラーフィルタ１０２が配されているＰＤ１０４をモニタリングセンサとして用いることで、電荷蓄積量を適切に求めることができる。 (2) The plurality of PD 104s are provided with color filters 102 of colors (B, R) other than green Gr (Gb) or green Gr (Gb), respectively, and the first monitoring sensor Gr (3, 4) and The second monitoring sensor Gr (3, 4) is composed of a PD 104 in which a green Gr (Gb) color filter 102 is arranged in the first area block 131 and the second area block 131. By using the PD 104 to which the green color filter 102, which is generally considered to have high sensitivity, is arranged, as a monitoring sensor, the amount of electric charge accumulated can be appropriately obtained.

（３）第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）は、第１エリアブロック１３１および第２エリアブロック１３１の略中央に配されるようにしたので、そのブロック１３１に対する代表的な入射光に基づいて電荷蓄積量を求めることができる。 (3) The first monitoring sensor Gr (3, 4) and the second monitoring sensor Gr (3, 4) are arranged substantially in the center of the first area block 131 and the second area block 131. The amount of charge accumulated can be determined based on the typical incident light on the block 131.

（４）制御部７０は、第１モニタリングセンサＧｒ（３，４）による電荷蓄積量が所定の蓄積量に達した場合に、対応する第１エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第１エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。 (4) When the charge accumulation amount by the first monitoring sensor Gr (3, 4) reaches a predetermined accumulation amount, the control unit 70 ends the charge accumulation of the PD 104 included in the corresponding first area block 131. Therefore, the accumulation time of the first area block 131 with respect to PD 104 can be appropriately controlled.

（５）制御部７０は、第２モニタリングセンサＧｒ（３，４）による電荷蓄積量が所定の蓄積量に達した場合に、対応する第２エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第２エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。 (5) When the charge accumulation amount by the second monitoring sensor Gr (3, 4) reaches a predetermined accumulation amount, the control unit 70 ends the charge accumulation of the PD 104 included in the corresponding second area block 131. Therefore, the accumulation time of the second area block 131 with respect to PD 104 can be appropriately controlled.

（６）制御部７０は、電荷蓄積を終了したＰＤ１０４からの蓄積信号をエリアブロック１３１単位で読み出すので、各ブロック１３１に対応する画像のエリアごとの画素信号を適切に読み出すことができる。 (6) Since the control unit 70 reads the stored signal from the PD 104 that has completed charge storage in units of area blocks 131, it is possible to appropriately read the pixel signal for each area of the image corresponding to each block 131.

（７）制御部７０は、レリーズ操作に応じて第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）から電荷蓄積量の読み出しを開始するので、レリーズ操作以降（すなわち撮影指示以降）の電荷蓄積量を適切に検出できる。 (7) Since the control unit 70 starts reading the charge accumulation amount from the first monitoring sensor Gr (3,4) and the second monitoring sensor Gr (3,4) in response to the release operation, after the release operation (that is, that is, The amount of charge accumulated (after the shooting instruction) can be detected appropriately.

（８）撮像チップ１１３に複数のＰＤ１０４が配列された撮像素子１００であって、ＰＤ１０４を複数含むように撮像チップ１１３を区分けした複数のエリアブロック１３１単位でＰＤ１０４の蓄積時間が制御可能にされ、エリアブロック１３１単位でＰＤ１０４の蓄積信号が読み出し可能にされ、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）が配され、第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）から、第１エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量、および第２エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量がそれぞれ読み出し可能にされるようにした。このような撮像素子１００を用いることにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。 (8) The image sensor 100 in which a plurality of PD 104s are arranged on the image pickup chip 113, and the accumulation time of the PD 104 can be controlled in units of a plurality of area blocks 131 in which the image pickup chips 113 are divided so as to include the plurality of PD 104s. The accumulated signal of the PD 104 is made readable in units of the area block 131, and the first monitoring sensor Gr (3, 4) and the second monitoring sensor Gr (3, 4) are provided in at least the first area block 131 and the second area block 131, respectively. ) Are arranged, and the charge accumulation amount obtained from the first monitoring sensor Gr (3, 4) and the second monitoring sensor Gr (3, 4) in the PD 104 of the first area block 131, and the PD 104 of the second area block 131. The amount of charge accumulated in each of the above is made readable. By using such an image sensor 100, it is possible to obtain an appropriate exposure for each area of the image corresponding to each block 131. For example, even when shooting against the sun, proper exposure can be obtained for a main subject without saturating the background. Further, since the proper exposure can be obtained by one shooting operation, it is not necessary to redo the shooting operation.

（変形例１）
上述した実施形態に係る撮像装置１を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。 (Modification example 1)
The image pickup apparatus 1 according to the above-described embodiment may be configured by a high-performance mobile phone or a tablet terminal. In this case, the camera unit mounted on the high-performance mobile phone (or tablet terminal) is configured by using the stacked image sensor 100.

（変形例２）
上述した実施形態では、静止画撮影時のレリーズ操作後において記録用画像を撮像する際の蓄積時間をブロック１３１ごとに制御する例を説明した。ブロック１３１ごとの蓄積時間の制御は静止画撮影時に限ることなく、ライブビュー画像の撮影時や、動画撮影時においても制御するようにしてよい。例えば、動画像を撮像する場合の各フレームの画像を撮像する際に、各フレームにおける蓄積時間をブロック１３１ごとに制御する。 (Modification 2)
In the above-described embodiment, an example of controlling the accumulation time when capturing a recording image after the release operation during still image shooting has been described for each block 131. The control of the accumulation time for each block 131 is not limited to the time of still image shooting, but may be controlled at the time of shooting a live view image or at the time of moving image shooting. For example, when capturing an image of each frame when capturing a moving image, the accumulation time in each frame is controlled for each block 131.

このような変形例２によれば、ライブビュー画像や動画像の撮影時においても、各フレームにおいて適切に蓄積時間を制御することができる。 According to such a modification 2, the accumulation time can be appropriately controlled in each frame even when the live view image or the moving image is taken.

（変形例３）
上述した説明では、蓄積時間を８段階に分けて行う例を説明したが、蓄積時間の分割は４段階でも１６段階でもよく、適宜変更して構わない。 (Modification example 3)
In the above description, an example in which the accumulation time is divided into 8 stages has been described, but the accumulation time may be divided into 4 stages or 16 stages, and may be changed as appropriate.

（変形例４）
以上の説明では、緑色画素Ｇｒ（３，４）をブロック１３１のモニタリングセンサとして機能させる例を説明した。モニタリングセンサは、画素を構成するフォトダイオードＰＤと別に設けるようにしてもよい。 (Modification example 4)
In the above description, an example in which the green pixel Gr (3, 4) functions as a monitoring sensor for the block 131 has been described. The monitoring sensor may be provided separately from the photodiode PD constituting the pixel.

（変形例５）
以上の説明では、ブロック１３１のモニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）と、同ブロック１３１内の他の画素との間で構成を共通にするようにした。この代わりに、モニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）以外の画素については、時刻ｔ１〜時刻ｔ８までの蓄積時間を複数回に分けることなく蓄積を行い、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えるまで蓄積を継続させるようにしてもよい。この場合は、モニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）以外の他の画素については、蓄積中の読み出しおよび加算処理が不要となる。 (Modification 5)
In the above description, the green pixel Gr (3, 4) that functions as the monitoring sensor of the block 131 and the other pixels in the block 131 have a common configuration. Instead, for pixels other than the green pixel Gr (3, 4) that functions as a monitoring sensor, the accumulation time from time t1 to time t8 is accumulated without being divided into a plurality of times, and the monitoring sensor (green pixel Gr (green pixel Gr (green pixel Gr)) is accumulated. Accumulation may be continued until the pixel signal level from 3, 4)) exceeds the determination threshold. In this case, for the pixels other than the green pixel Gr (3, 4) that functions as the monitoring sensor, the reading and addition processing during accumulation becomes unnecessary.

（変形例６）
モニタリングセンサとして機能させる画素として、ブロック１３１における略中央に位置する緑色画素Ｇｒ（３，４）を選ぶ例を説明したが、モニタリングセンサとして機能させる画素位置は、ブロック１３１における略中央に限らず、ブロック１３１内において適宜変更して構わない。 (Modification 6)
An example of selecting a green pixel Gr (3, 4) located substantially in the center of the block 131 as a pixel to function as a monitoring sensor has been described, but the pixel position to function as a monitoring sensor is not limited to the substantially center of the block 131. It may be changed as appropriate in the block 131.

（変形例７）
上記実施形態では、各ブロック１３１においてそれぞれモニタリングセンサを配する例を説明したが、モニタリングセンサをもたないブロック１３１を設けてもよい。この場合、モニタリングセンサを持たないブロック１３１における画素の蓄積時間は、モニタリングセンサが配されている複数の近隣のブロック１３１における複数のモニタリングセンサによる電荷蓄積量に基づいて決定する。近接する１つのブロック１３１におけるモニタリングセンサによる電荷蓄積量に基づいて決定してもよいし、近接する複数のブロック１３１（例えば、該当のブロックの周囲にある８つもしくは４つのブロック）における複数のモニタリングセンサによる電荷蓄積量に基づいて決定してもよい。 (Modification 7)
In the above embodiment, the example in which the monitoring sensor is arranged in each block 131 has been described, but the block 131 having no monitoring sensor may be provided. In this case, the pixel accumulation time in the block 131 without the monitoring sensor is determined based on the charge accumulation amount by the plurality of monitoring sensors in the plurality of neighboring blocks 131 in which the monitoring sensor is arranged. It may be determined based on the amount of charge accumulated by the monitoring sensor in one adjacent block 131, or a plurality of monitoring in a plurality of adjacent blocks 131 (for example, eight or four blocks surrounding the block). It may be determined based on the amount of charge accumulated by the sensor.

（変形例８）
上述した説明では、緑色画素Ｇｒをモニタリングセンサとして機能させ、青色や赤色などの他の色を代表させる例を説明した（緑色画素はＧｒでもＧｂでも構わない）。この代わりに、モニタリングセンサとして機能させる画素を、異なる色にそれぞれ設けるようにしてもよい。すなわち、緑色画素Ｇｒと、青色画素Ｂと、赤色画素Ｒとに対し、それぞれモニタリングセンサとして機能させる。 (Modification 8)
In the above description, an example in which the green pixel Gr functions as a monitoring sensor to represent other colors such as blue and red has been described (the green pixel may be Gr or Gb). Instead, pixels that function as monitoring sensors may be provided in different colors. That is, the green pixel Gr, the blue pixel B, and the red pixel R are made to function as monitoring sensors, respectively.

変形例８の場合、緑色画素Ｇｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（緑色）画素ＧｒおよびＧｂについて蓄積時間を決定する。また、青色画素Ｂからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（青色）画素Ｂについて蓄積時間を決定する。さらに、赤色画素Ｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（赤色）画素Ｒについて蓄積時間を決定する。 In the case of the modification 8, the accumulation time is determined for all the same color (green) pixels Gr and Gb contained in the block 131 based on the charge accumulation amount by the monitoring sensor composed of the green pixels Gr. Further, the accumulation time is determined for all the same color (blue) pixels B included in the block 131 based on the charge accumulation amount by the monitoring sensor composed of the blue pixels B. Further, the accumulation time is determined for all the same color (red) pixels R included in the block 131 based on the charge accumulation amount by the monitoring sensor composed of the red pixels R.

変形例８の場合の正規化処理は、緑色画素ＧｒおよびＧｂと、青色画素Ｂと、赤色画素Ｒとに分けて、それぞれ行う。そして、色別に正規化処理を行った後から、各色間についての画素信号値の調整をホワイトバランス処理として行う。 The normalization process in the case of the modification 8 is performed separately for the green pixels Gr and Gb, the blue pixel B, and the red pixel R, respectively. Then, after the normalization processing is performed for each color, the pixel signal values for each color are adjusted as the white balance processing.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。 The above description is merely an example, and is not limited to the configuration of the above embodiment. The above-described embodiment and the configurations of the respective modifications may be combined as appropriate.

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…液晶表示パネル
５２…タッチパネル
６０…記録部
７０…制御部
７１…ＡＷＢ演算部
１００…撮像素子
１０４…ＰＤ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…ブロック
４１３…デマルチプレクサ
４１４…画素メモリ
４１５…演算回路
４１６…加算器
４１７…駆動制御部 1 ... Image sensor 10 ... Imaging optical system 20 ... Imaging unit 30 ... Image processing unit 40 ... Work memory 50 ... Display unit 51 ... Liquid crystal display panel 52 ... Touch panel 60 ... Recording unit 70 ... Control unit 71 ... AWB calculation unit 100 ... Imaging Element 104 ... PD
111 ... Signal processing chip 112 ... Memory chip 113 ... Imaging chip 131 ... Block 413 ... Demultiplexer 414 ... Pixel memory 415 ... Arithmetic circuit 416 ... Adder 417 ... Drive control unit

Claims (22)

行方向と列方向とにおいてそれぞれ配置される複数の画素を有する第１半導体基板と、
前記複数の画素のうち第１画素から第１出力配線に読み出された信号をデジタル信号に変換する第１変換部と、前記複数の画素のうち、前記第１画素から前記列方向側の位置に配置される第２画素から第２出力配線に読み出された信号をデジタル信号に変換する第２変換部とを有する第２半導体基板と、
前記第１画素から前記第１出力配線に読み出された信号のうち、前記第１変換部でデジタル信号に変換された第１信号に加算処理を行う第１加算器と、前記第２画素から前記第２出力配線に読み出された信号のうち、前記第２変換部でデジタル信号に変換された第２信号に加算処理を行う第２加算器とを有する第３半導体基板と、
を備える撮像素子。 A first semiconductor substrate having a plurality of pixels arranged in the row direction and the column direction, respectively.
A first conversion unit that converts a signal read from the first pixel to the first output wiring of the plurality of pixels into a digital signal, and a position of the plurality of pixels on the column direction side from the first pixel. A second semiconductor substrate having a second conversion unit that converts a signal read from the second pixel arranged in the second output wiring into a digital signal, and
From the first adder that adds processing to the first signal converted into a digital signal by the first conversion unit among the signals read from the first pixel to the first output wiring, and from the second pixel. A third semiconductor substrate having a second adder that adds processing to the second signal converted into a digital signal by the second conversion unit among the signals read out to the second output wiring.
An image sensor comprising. 請求項１に記載の撮像素子において、
前記第３半導体基板は、前記第１加算器により加算処理が行われた、前記第１信号を含む第１加算信号を格納する第１格納部と、前記第２加算器により加算処理が行われた、前記第２信号を含む第２加算信号を格納する第２格納部とを有する撮像素子。 In the image pickup device according to claim 1,
The third semiconductor substrate is subjected to addition processing by a first storage unit for storing a first addition signal including the first signal, which has been subjected to addition processing by the first adder, and by the second adder. An imaging element having a second accommodating portion for accommodating the second addition signal including the second signal. 請求項２に記載の撮像素子において、
前記第２半導体基板は、前記第１格納部に格納された前記第１加算信号を外部に出力するための第１演算回路と、前記第２格納部に格納された前記第２加算信号を外部に出力するための第２演算回路とを有する撮像素子。 In the image pickup device according to claim 2,
The second semiconductor substrate externally outputs a first arithmetic circuit for outputting the first addition signal stored in the first storage unit to the outside, and the second addition signal stored in the second storage unit. An image sensor having a second arithmetic circuit for outputting to. 請求項２に記載の撮像素子において、
前記第３半導体基板は、前記第１格納部に格納された前記第１加算信号を外部に出力するための第１演算回路と、前記第２格納部に格納された前記第２加算信号を外部に出力するための第２演算回路とを有する撮像素子。 In the image pickup device according to claim 2,
The third semiconductor substrate externally outputs a first arithmetic circuit for outputting the first addition signal stored in the first storage unit to the outside, and the second addition signal stored in the second storage unit. An image sensor having a second arithmetic circuit for outputting to. 請求項２に記載の撮像素子において、
前記第２半導体基板は、前記第１格納部に格納された前記第１加算信号と、前記第２格納部に格納された前記第２加算信号とを外部に出力するための演算回路を有する撮像素子。 In the image pickup device according to claim 2,
The second semiconductor substrate is an image pickup having an arithmetic circuit for outputting the first addition signal stored in the first storage unit and the second addition signal stored in the second storage unit to the outside. element. 請求項２に記載の撮像素子において、
前記第３半導体基板は、前記第１格納部に格納された前記第１加算信号と、前記第２格納部に格納された前記第２加算信号とを外部に出力するための演算回路を有する撮像素子。 In the image pickup device according to claim 2,
The third semiconductor substrate is an image pickup having an arithmetic circuit for outputting the first addition signal stored in the first storage unit and the second addition signal stored in the second storage unit to the outside. element. 請求項２から請求項６のいずれか一項に記載の撮像素子において、
前記第１加算器は、前記第１信号と、前記第１画素から前記第１出力配線に読み出された信号のうち、前記第１信号よりも前に前記第１画素から前記第１出力配線に読み出された信号とに基づいて前記第１加算信号を生成し、
前記第２加算器は、前記第２信号と、前記第２画素から前記第２出力配線に読み出された信号のうち、前記第２信号よりも前に前記第２画素から前記第２出力配線に読み出された信号とに基づいて前記第２加算信号を生成する撮像素子。 The image sensor according to any one of claims 2 to 6.
Among the first signal and the signal read from the first pixel to the first output wiring, the first adder is the first output wiring from the first pixel before the first signal. The first addition signal is generated based on the signal read out in
Of the second signal and the signal read from the second pixel to the second output wiring, the second adder is the second output wiring from the second pixel before the second signal. An image pickup device that generates the second addition signal based on the signal read out from the above. 請求項１から請求項７のいずれか一項に記載の撮像素子において、
前記第３半導体基板は、前記第１画素の駆動を制御する第１駆動制御部と、前記第２画素の駆動を制御する第２駆動制御部とを有する撮像素子。 The image sensor according to any one of claims 1 to 7.
The third semiconductor substrate is an image sensor having a first drive control unit that controls the drive of the first pixel and a second drive control unit that controls the drive of the second pixel. 請求項８に記載の撮像素子において、
前記第１駆動制御部は、前記第１画素の駆動を制御するための制御信号を出力し、
前記第２駆動制御部は、前記第２画素の駆動を制御するための制御信号を出力する撮像素子。 In the image pickup device according to claim 8,
The first drive control unit outputs a control signal for controlling the drive of the first pixel, and outputs a control signal.
The second drive control unit is an image pickup device that outputs a control signal for controlling the drive of the second pixel. 請求項８または請求項９に記載の撮像素子において、
前記第１駆動制御部は、前記第１変換部の駆動を制御し、
前記第２駆動制御部は、前記第２変換部の駆動を制御する撮像素子。 In the image pickup device according to claim 8 or 9.
The first drive control unit controls the drive of the first conversion unit.
The second drive control unit is an image sensor that controls the drive of the second conversion unit. 請求項１０に記載の撮像素子において、
前記第１駆動制御部は、前記第１変換部の駆動を制御するための制御信号を出力し、
前記第２駆動制御部は、前記第２変換部の駆動を制御するための制御信号を出力する撮像素子。 In the image pickup device according to claim 10,
The first drive control unit outputs a control signal for controlling the drive of the first conversion unit, and outputs a control signal.
The second drive control unit is an image pickup device that outputs a control signal for controlling the drive of the second conversion unit. 請求項１から請求項７のいずれか一項に記載の撮像素子において、
前記第３半導体基板は、前記第１変換部の駆動を制御する第１駆動制御部と、前記第２変換部の駆動を制御する第２駆動制御部とを有する撮像素子。 The image sensor according to any one of claims 1 to 7.
The third semiconductor substrate is an image sensor having a first drive control unit that controls the drive of the first conversion unit and a second drive control unit that controls the drive of the second conversion unit. 請求項１２に記載の撮像素子において、
前記第１駆動制御部は、前記第１変換部の駆動を制御するための制御信号を出力し、
前記第２駆動制御部は、前記第２変換部の駆動を制御するための制御信号を出力する撮像素子。 In the image pickup device according to claim 12,
The first drive control unit outputs a control signal for controlling the drive of the first conversion unit, and outputs a control signal.
The second drive control unit is an image pickup device that outputs a control signal for controlling the drive of the second conversion unit. 請求項１から請求項１３のいずれか一項に記載の撮像素子において、
前記第１半導体基板は、前記第１出力配線に電流を供給する第１負荷電流源と、前記第２出力配線に電流を供給する第２負荷電流源とを有する撮像素子。 The image sensor according to any one of claims 1 to 13.
The first semiconductor substrate is an image pickup device having a first load current source that supplies a current to the first output wiring and a second load current source that supplies a current to the second output wiring. 請求項１から請求項９のいずれか一項に記載の撮像素子において、
前記第２半導体基板は、前記第１出力配線に電流を供給する第１負荷電流源と、前記第２出力配線に電流を供給する第２負荷電流源とを有する撮像素子。 The image sensor according to any one of claims 1 to 9.
The second semiconductor substrate is an image pickup device having a first load current source that supplies a current to the first output wiring and a second load current source that supplies a current to the second output wiring. 請求項１から請求項１５のいずれか一項に記載の撮像素子において、
前記第２半導体基板は、前記第１画素から前記第１出力配線に読み出された信号に含まれるノイズを除去する第１ノイズ除去部と、前記第２画素から前記第２出力配線に読み出された信号に含まれるノイズを除去する第２ノイズ除去部とを有する撮像素子。 The image sensor according to any one of claims 1 to 15.
The second semiconductor substrate has a first noise removing unit that removes noise contained in a signal read from the first pixel to the first output wiring, and a second noise removing unit that reads from the second pixel to the second output wiring. An image pickup device having a second noise removing unit that removes noise contained in the signal. 請求項１から請求項１６のいずれか一項に記載の撮像素子において、
前記第１変換部は、前記複数の画素のうち、前記行方向において前記第１画素の隣りに並んで配置される第３画素から前記第１出力配線に読み出された信号をデジタル信号に変換し、
前記第２変換部は、前記複数の画素のうち、前記行方向において前記第２画素の隣りに並んで配置される第４画素から前記第２出力配線に読み出された信号をデジタル信号に変換する撮像素子。 The image sensor according to any one of claims 1 to 16.
The first conversion unit converts a signal read from a third pixel arranged next to the first pixel in the row direction into a digital signal among the plurality of pixels to the first output wiring. death,
The second conversion unit converts a signal read from the fourth pixel arranged next to the second pixel in the row direction into the second output wiring among the plurality of pixels into a digital signal. Image sensor. 請求項１７に記載の撮像素子において、
前記第１変換部は、前記複数の画素のうち、前記列方向において前記第１画素と前記第２画素との間に配置される第５画素から前記第１出力配線に読み出された信号をデジタル信号に変換し、
前記第２変換部は、前記複数の画素のうち、前記列方向において前記第１画素と前記第２画素との間に配置される第６画素から前記第２出力配線に読み出された信号をデジタル信号に変換する撮像素子。 In the image pickup device according to claim 17,
The first conversion unit outputs a signal read from the fifth pixel arranged between the first pixel and the second pixel in the column direction to the first output wiring among the plurality of pixels. Convert to a digital signal
The second conversion unit outputs a signal read from the sixth pixel arranged between the first pixel and the second pixel in the column direction to the second output wiring among the plurality of pixels. An image sensor that converts to a digital signal. 請求項１８に記載の撮像素子において、
前記第５画素は、前記列方向において前記第１画素の隣りに並んで配置され、
前記第６画素は、前記列方向において前記第２画素の隣りに並んで配置される撮像素子。 In the image pickup device according to claim 18,
The fifth pixel is arranged side by side next to the first pixel in the column direction.
The sixth pixel is an image pickup device arranged side by side next to the second pixel in the row direction. 請求項１から請求項１６のいずれか一項に記載の撮像素子において、
前記第１変換部は、前記複数の画素のうち、前記列方向において前記第１画素と前記第２画素との間に配置される第３画素から前記第１出力配線に読み出された信号をデジタル信号に変換し、
前記第２変換部は、前記複数の画素のうち、前記列方向において前記第１画素と前記第２画素との間に配置される第４画素から前記第２出力配線に読み出された信号をデジタル信号に変換する撮像素子。 The image sensor according to any one of claims 1 to 16.
The first conversion unit outputs a signal read from the third pixel arranged between the first pixel and the second pixel in the column direction to the first output wiring among the plurality of pixels. Convert to a digital signal
The second conversion unit outputs a signal read from the fourth pixel arranged between the first pixel and the second pixel in the column direction to the second output wiring among the plurality of pixels. An image sensor that converts to a digital signal. 請求項２０に記載の撮像素子において、
前記第３画素は、前記列方向において前記第１画素の隣りに並んで配置され、
前記第４画素は、前記列方向において前記第２画素の隣りに並んで配置される撮像素子。 In the image pickup device according to claim 20,
The third pixel is arranged side by side next to the first pixel in the column direction.
The fourth pixel is an image pickup device arranged side by side next to the second pixel in the column direction. 請求項１から請求項２１のいずれか一項に記載の撮像素子を備える撮像装置。 An image pickup apparatus comprising the image pickup device according to any one of claims 1 to 21.

Images