JP7230946B2 - Imaging element and imaging device - Google Patents

Description

本発明は、撮像素子、及び撮像装置に関する。 The present invention relates to an imaging device and an imaging device.

撮像素子に画像取得用の光電変換部および輝度評価用の光電変換部を備え、この輝度評価用光電変換部から繰り返し出力される信号の加算値が所定値に達すると、画像取得用の光電変換部から画像信号を出力させる撮像装置が知られている（特許文献１参照）。 The image pickup device is provided with a photoelectric conversion unit for image acquisition and a photoelectric conversion unit for luminance evaluation. An imaging device is known that outputs an image signal from a unit (see Patent Document 1).

特開２０１２－２０４９３８号公報JP 2012-204938 A

従来の技術では、画像を１または２以上の上記領域を有するブロックに分けて、該ブロックごとに撮像画像を取得する場合への適用が困難であった。 It is difficult to apply the conventional technique to the case where an image is divided into blocks having one or more of the above regions and a captured image is acquired for each block.

本発明による撮像装置は、光学系からの光が入射される撮像装置であって、第１被写体と第２被写体とを撮像する第１撮像素子と、前記第１被写体と前記第２被写体とを撮像する第２撮像素子と、前記第１撮像素子および前記第２撮像素子でそれぞれ撮像された前記第１被写体の画像と前記第２被写体の画像とに基づいて、前記撮像装置から前記第１被写体までの距離と前記撮像装置から前記第２被写体までの距離とを算出する制御部と、前記制御部で算出された前記撮像装置から前記第１被写体までの距離と前記撮像装置から前記第２被写体までの距離とに基づいて、所定の上限値までの範囲で前記第１被写体の明るさと前記第２被写体の明るさとの差が低減されるように、前記第１撮像素子および前記第２撮像素子により撮像された前記第１被写体の第１信号と、前記第１撮像素子および前記第２撮像素子により撮像された前記第２被写体の第２信号と、に対してそれぞれ異なるゲインを設定する設定部と、前記設定部で設定されたゲインにより前記第１信号及び前記第２信号を処理し、１つの画像を生成する信号処理部と、を備える。 An image pickup apparatus according to the present invention is an image pickup apparatus into which light from an optical system is incident, and includes a first image pickup element for picking up a first subject and a second subject, and the first subject and the second subject. based on a second imaging element for imaging, and an image of the first subject and an image of the second subject captured by the first imaging element and the second imaging element, respectively, from the imaging device to the first subject; and a distance from the imaging device to the second subject; and a distance from the imaging device to the first subject calculated by the control unit and the distance from the imaging device to the second subject. Based on the distance to the first imaging element and the second imaging element, the difference between the brightness of the first subject and the brightness of the second subject is reduced within a range up to a predetermined upper limit value. A setting unit that sets different gains for a first signal of the first object imaged by and a second signal of the second object imaged by the first imaging element and the second imaging element and a signal processing unit that processes the first signal and the second signal according to the gain set by the setting unit to generate one image .

本発明によれば、画像のエリアごとに適正露出が得られる。 The present invention provides the correct exposure for each area of the image.

積層型撮像素子の断面図である。1 is a cross-sectional view of a stacked imaging device; FIG. 撮像チップの画素配列と単位ブロックを説明する図である。It is a figure explaining the pixel arrangement|sequence of an imaging chip, and a unit block. 撮像チップのブロックを説明する回路図である。3 is a circuit diagram illustrating blocks of an imaging chip; FIG. 撮像素子の機能的構成を示すブロック図である。3 is a block diagram showing the functional configuration of an imaging device; FIG. １画素当たりの画素信号の流れを説明する図である。It is a figure explaining the flow of the pixel signal per pixel. 撮像素子を有する撮像装置の構成を例示するブロック図である。1 is a block diagram illustrating the configuration of an imaging device having an imaging element; FIG. ブロックにおける複数の画素配置を説明する図である。It is a figure explaining the several pixel arrangement|positioning in a block. ブロックにおける画素位置と画素信号レベルとの関係を示す図である。FIG. 4 is a diagram showing the relationship between pixel positions and pixel signal levels in a block; 読み出しタイミング、蓄積時間、および演算回路を介して撮像素子から読み出される画素信号を説明する図である。4A and 4B are diagrams for explaining pixel signals read out from an image sensor via a readout timing, an accumulation time, and an arithmetic circuit; FIG. 正規化処理を説明する図である。It is a figure explaining normalization processing. 制御部が実行する撮影動作の流れを説明するフローチャートである。4 is a flowchart for explaining the flow of photographing operations executed by a control unit;

以下、図面を参照して本発明を実施するための形態について説明する。
＜積層型撮像素子の説明＞
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２－１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated with reference to drawings.
<Description of stacked image sensor>
First, a stacked imaging device 100 to be mounted on an electronic device (for example, an imaging device 1) according to one embodiment of the present invention will be described. The stacked imaging device 100 is described in Japanese Patent Application No. 2012-139026 previously filed by the applicant of the present application. FIG. 1 is a cross-sectional view of a stacked imaging device 100. FIG. The imaging device 100 includes a back-illuminated imaging chip 113 that outputs pixel signals corresponding to incident light, a signal processing chip 111 that processes the pixel signals, and a memory chip 112 that stores the pixel signals. These imaging chip 113, signal processing chip 111 and memory chip 112 are stacked and electrically connected to each other by conductive bumps 109 such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。 Incidentally, as shown in the figure, the incident light is mainly incident in the Z-axis plus direction indicated by the white arrow. In the present embodiment, the surface of the imaging chip 113 on which incident light is incident is referred to as the rear surface. As shown in the coordinate axes, the left direction perpendicular to the Z-axis is the positive X-axis direction, and the frontward direction perpendicular to the Z-axis and the X-axis is the positive Y-axis direction. In the following several figures, the coordinate axes are displayed with reference to the coordinate axes of FIG. 1 so that the direction of each figure can be understood.

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。 An example of the imaging chip 113 is a back-illuminated MOS image sensor. The PD layer 106 is arranged on the back side of the wiring layer 108 . The PD layer 106 has a plurality of PDs (photodiodes) 104 that are two-dimensionally arranged and accumulate charges according to incident light, and transistors 105 that are provided corresponding to the PDs 104 .

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。 A color filter 102 is provided on the incident light side of the PD layer 106 with a passivation film 103 interposed therebetween. The color filters 102 have a plurality of types that transmit different wavelength regions, and have specific arrangements corresponding to the respective PDs 104 . The arrangement of the color filters 102 will be described later. A set of color filter 102, PD 104 and transistor 105 forms one pixel.

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。 A microlens 101 is provided on the incident light side of the color filter 102 so as to correspond to each pixel. The microlens 101 collects incident light toward the corresponding PD 104 .

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。 The wiring layer 108 has wiring 107 for transmitting pixel signals from the PD layer 106 to the signal processing chip 111 . The wiring 107 may be multi-layered and may be provided with passive and active elements.

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 A plurality of bumps 109 are arranged on the surface of the wiring layer 108 . The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the opposing surface of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are pressed and aligned. The bumps 109 are joined together and electrically connected.

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。 Similarly, a plurality of bumps 109 are arranged on surfaces of the signal processing chip 111 and the memory chip 112 facing each other. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized, so that the aligned bumps 109 are bonded and electrically connected.

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。 The bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and may be microbump bonding by solder melting. In addition, about one bump 109 may be provided for one unit region, which will be described later, for example. Therefore, the size of bumps 109 may be larger than the pitch of PDs 104 . Also, bumps larger than the bumps 109 corresponding to the pixel regions may be provided in peripheral regions other than the pixel regions where the pixels are arranged.

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。 The signal processing chip 111 has TSVs (through silicon vias) 110 that connect circuits provided on the front and rear surfaces thereof. The TSV 110 is preferably provided in the peripheral area. The TSV 110 may also be provided in the peripheral area of the imaging chip 113 and the memory chip 112 .

図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する８画素×８画素の６４画素が１つのブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されてブロック１３１を形成する概念を示す。ブロック１３１を形成する画素の数は、これに限られず、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。本実施形態において、複数のブロック１３１の間には回路や配線などはなく、複数のブロック同士が密に配置されており、これにより省スペース化を実現している。 FIG. 2 is a diagram for explaining the pixel array of the imaging chip 113 and the unit block 131. As shown in FIG. In particular, a state of observing the imaging chip 113 from the back side is shown. For example, more than 20 million pixels are arranged in a matrix in the pixel area. In the present embodiment, for example, one block 131 is formed by 64 pixels of adjacent 8 pixels×8 pixels. The grid lines in the figure illustrate the concept of adjacent pixels being grouped together to form blocks 131 . The number of pixels forming the block 131 is not limited to this, and may be, for example, 32 pixels×64 pixels, or may be more or less. In this embodiment, there are no circuits or wires between the plurality of blocks 131, and the plurality of blocks are densely arranged, thereby realizing space saving.

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に１６個内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。 As shown in the partial enlarged view of the pixel area, the block 131 contains 16 so-called Bayer arrays consisting of 4 pixels of green pixels Gb and Gr, blue pixels B and red pixels R in the vertical and horizontal directions. A green pixel is a pixel having a green filter as the color filter 102, and receives light in the green wavelength band among incident light. Similarly, a blue pixel is a pixel having a blue filter as the color filter 102 and receives light in the blue wavelength band, and a red pixel is a pixel having a red filter as the color filter 102 and receives light in the red wavelength band. receive light.

本実施形態において、１ブロック１３１につき緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの組を少なくとも１つ含むように複数のブロック１３１が定義され、各ブロック１３１はそれぞれ異なる制御パラメータで各ブロック１３１に含まれる画素を制御できる。つまり、あるブロック１３１に含まれる画素群と、別のブロック１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。 In this embodiment, a plurality of blocks 131 are defined such that each block 131 includes at least one set of green pixels Gb, Gr, blue pixels B and red pixels R, and each block 131 has different control parameters. 131 can be controlled. That is, it is possible to acquire imaging signals with different imaging conditions for a pixel group included in one block 131 and a pixel group included in another block 131 . Examples of control parameters are frame rate, gain, thinning rate, number of addition rows or columns for adding pixel signals, charge accumulation time or number of times, digitization bit number, and the like. Furthermore, the control parameter may be a parameter in image processing after acquiring image signals from pixels.

図３は、撮像チップ１１３のブロック１３１を説明する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。図３の例では、ブロック１３１を形成する６４画素のうち１６画素分例示している。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。 FIG. 3 is a circuit diagram illustrating the block 131 of the imaging chip 113. As shown in FIG. In FIG. 3, a rectangle encircled by dotted lines typically represents a circuit corresponding to one pixel. In the example of FIG. 3, 16 pixels out of 64 pixels forming the block 131 are illustrated. Note that at least part of each transistor described below corresponds to the transistor 105 in FIG.

各画素におけるＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７（転送部制御線）に接続される。本実施形態において、ＴＸ配線３０７は、６４個の転送トランジスタ３０２に対して共通接続される。 The PD 104 in each pixel is connected to a transfer transistor 302, and each gate of each transfer transistor 302 is connected to a TX wiring 307 (transfer section control line) to which a transfer pulse is supplied. In this embodiment, the TX wiring 307 is commonly connected to 64 transfer transistors 302 .

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、６４個のリセットトランジスタ３０３に対して共通接続される。 The drain of each transfer transistor 302 is connected to the source of each corresponding reset transistor 303 , and the so-called floating diffusion FD between the drain of the transfer transistor 302 and the source of the reset transistor 303 is connected to the gate of the amplification transistor 304 . The reset transistor 303 has a drain connected to a Vdd wiring 310 supplied with a power supply voltage, and a gate connected to a reset wiring 306 supplied with a reset pulse. In this embodiment, the reset wiring 306 is commonly connected to the 64 reset transistors 303 .

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、６４個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。 A drain of each amplifying transistor 304 is connected to a Vdd wiring 310 supplied with a power supply voltage. Also, the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305 . Each gate of the selection transistor 305 is connected to a decoder wiring 308 to which a selection pulse is supplied. In this embodiment, the decoder wiring 308 is provided independently for each of the 64 selection transistors 305 . A source of each selection transistor 305 is connected to a common output wiring 309 . A load current source 311 supplies current to the output wiring 309 . That is, the output wiring 309 for the selection transistor 305 is formed by a source follower. The load current source 311 may be provided on the imaging chip 113 side or may be provided on the signal processing chip 111 side.

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。 Here, the flow from the start of charge accumulation to the pixel output after the end of charge accumulation will be described. When a reset pulse is applied to the reset transistor 303 through the reset wiring 306 and a transfer pulse is simultaneously applied to the transfer transistor 302 through the TX wiring 307, the potentials of the PD 104 and the floating diffusion FD are reset.

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。 When the application of the transfer pulse is released, the PD 104 converts the incident light it receives into charges and accumulates them. After that, when the transfer pulse is applied again while the reset pulse is not applied, the accumulated charges are transferred to the floating diffusion FD, and the potential of the floating diffusion FD changes from the reset potential to the signal potential after charge accumulation. . Then, when a selection pulse is applied to the selection transistor 305 through the decoder wiring 308 , fluctuations in the signal potential of the floating diffusion FD are transmitted to the output wiring 309 via the amplification transistor 304 and the selection transistor 305 . Accordingly, the pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 309 .

図３に示すように、本実施形態においては、ブロック１３１を形成する６４画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、６４画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、ブロック１３１毎に別個に設けられる。 As shown in FIG. 3, in this embodiment, the reset wiring 306 and the TX wiring 307 are common to the 64 pixels forming the block 131 . That is, the reset pulse and the transfer pulse are applied simultaneously to all 64 pixels. Therefore, all the pixels forming the block 131 start charge accumulation at the same timing and finish charge accumulation at the same timing. However, pixel signals corresponding to the accumulated charges are selectively output from the output wiring 309 by sequentially applying selection pulses to the respective selection transistors 305 . Also, the reset wiring 306 , the TX wiring 307 , and the output wiring 309 are provided separately for each block 131 .

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに電荷蓄積時間を制御することができる。換言すると、ブロック１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方のブロック１３１に１回の電荷蓄積を行わせている間に、他方のブロック１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらのブロック１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。 By configuring the circuit based on the block 131 in this way, the charge accumulation time can be controlled for each block 131 . In other words, the blocks 131 can output pixel signals with different frame rates. Furthermore, while one block 131 is caused to perform one charge accumulation, the other block 131 is caused to repeat charge accumulation many times and to output a pixel signal each time. You can also output each frame for video at different frame rates between.

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック１３１を形成する６４個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。 FIG. 4 is a block diagram showing the functional configuration of the imaging device 100. As shown in FIG. The analog multiplexer 411 sequentially selects the 64 PDs 104 forming the block 131 and outputs the respective pixel signals to the output wiring 309 provided corresponding to the block 131 . A multiplexer 411 is formed in the imaging chip 113 together with the PD 104 .

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡される。デマルチプレクサ４１３から出力された画素信号は、それぞれの画素に対応する加算器４１６へ入力される。加算器４１６は、それぞれの画素に対応させて、デマルチプレクサ４１３から出力された画素信号と画素メモリ４１４から読み出された画素信号とを加算し、加算後の画素信号を再び画素メモリ４１４へ出力する。 The pixel signal output via the multiplexer 411 is converted into CDS and A/D by a signal processing circuit 412 formed in the signal processing chip 111 that performs correlated double sampling (CDS) and analog/digital (A/D) conversion. A D conversion is performed. A/D-converted pixel signals are delivered to the demultiplexer 413 . A pixel signal output from the demultiplexer 413 is input to an adder 416 corresponding to each pixel. The adder 416 adds the pixel signal output from the demultiplexer 413 and the pixel signal read from the pixel memory 414 corresponding to each pixel, and outputs the pixel signal after the addition to the pixel memory 414 again. do.

画素メモリ４１４は、加算器４１６からの画素信号を格納する。画素メモリ４１４のそれぞれは、加算後の画素信号を格納できる容量を有する。デマルチプレクサ４１３、加算器４１６および画素メモリ４１４は、メモリチップ１１２に形成される。 Pixel memory 414 stores the pixel signal from adder 416 . Each of the pixel memories 414 has a capacity capable of storing pixel signals after addition. Demultiplexer 413 , adder 416 and pixel memory 414 are formed in memory chip 112 .

図５は、１画素当たりの画素信号の流れを説明する図である。図５において、デマルチプレクサ４１３から出力された画素信号Ｓが、加算器４１６のうち対応する加算器ｎへ入力される。このとき、画素メモリ４１４の対応するメモリｎに格納されている画素信号Ｐが、該メモリｎから読み出されて加算器ｎへ入力される。 FIG. 5 is a diagram for explaining the flow of pixel signals per pixel. In FIG. 5, the pixel signal S output from the demultiplexer 413 is input to the corresponding adder n of the adders 416 . At this time, the pixel signal P stored in the corresponding memory n of the pixel memory 414 is read out from the memory n and input to the adder n.

加算器ｎは、入力された画素信号Ｓと画素信号Ｐとを加算し、加算後の画素信号Ｓ＋Ｐを画素メモリｎへ出力する。画素メモリｎは、入力された画素信号Ｓ＋Ｐを格納し、演算回路４１５へ読み出されるのを待つ。ここで、加算器ｎにより加算が行われる際に、画素メモリｎに格納されている画素信号Ｐを読み出さないように画素メモリ４１４を制御することにより、加算器ｎに入力された画素信号Ｓのみをそのまま加算器ｎから画素メモリｎへ出力させることができる。すなわち、加算器ｎで加算することなく、撮像チップ１１３からの画素信号Ｓをそのままメモリｎから演算回路４１５へ読み出させることもできる。 The adder n adds the input pixel signal S and the pixel signal P, and outputs the added pixel signal S+P to the pixel memory n. The pixel memory n stores the input pixel signal S+P and waits for it to be read out to the arithmetic circuit 415 . Here, by controlling the pixel memory 414 so as not to read out the pixel signal P stored in the pixel memory n when addition is performed by the adder n, only the pixel signal S input to the adder n is can be directly output from the adder n to the pixel memory n. In other words, the pixel signal S from the imaging chip 113 can be read from the memory n to the arithmetic circuit 415 as it is without addition by the adder n.

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。 The arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and transfers it to the subsequent image processing unit. The arithmetic circuit 415 may be provided in the signal processing chip 111 or may be provided in the memory chip 112 .

駆動制御部４１７は、撮像チップ１１３から信号処理チップ１１１およびメモリチップ１１２へ画素信号が送られるタイミングと、画素メモリ４１４における画素信号の読み出しおよび格納タイミングと、加算器４１６における画素信号の加算タイミングと、演算回路４１５に対する画素信号の受け渡しタイミングとを同期させるため、タイミング制御信号を生成する。 The drive control unit 417 controls the timing of sending pixel signals from the imaging chip 113 to the signal processing chip 111 and the memory chip 112, the timing of reading and storing the pixel signals in the pixel memory 414, and the timing of adding the pixel signals in the adder 416. , a timing control signal is generated in order to synchronize the transfer timing of the pixel signal to the arithmetic circuit 415 .

なお、図４では１つのブロック１３１についての接続を示すが、実際にはこれらがブロック１３１ごとに存在して、並列で動作する。ただし、演算回路４１５はブロック１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロック１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。 Note that FIG. 4 shows connections for one block 131, but actually these exist for each block 131 and operate in parallel. However, the arithmetic circuit 415 does not have to exist for each block 131, and for example, one arithmetic circuit 415 may sequentially refer to the values of the pixel memory 414 corresponding to each block 131 and process them sequentially.

上記の通り、ブロック１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。 As described above, the output wiring 309 is provided corresponding to each of the blocks 131 . Since the imaging device 100 has an imaging chip 113, a signal processing chip 111, and a memory chip 112 stacked, by using electrical connection between the chips using the bumps 109 for the output wiring 309, each chip can be arranged in the plane direction. Wiring can be drawn around without increasing the size.

＜撮像装置の説明＞
図６は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図６において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。 <Explanation of imaging device>
FIG. 6 is a block diagram illustrating the configuration of the imaging device 1 having the imaging element 100 described above. In FIG. 6 , the imaging apparatus 1 has an imaging optical system 10 , an imaging section 20 , an image processing section 30 , a work memory 40 , a display section 50 , a recording section 60 and a control section 70 .

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。 The imaging optical system 10 is composed of a plurality of lenses and guides the light flux from the object field to the imaging section 20 . The imaging optical system 10 may be configured integrally with the imaging device 1 or configured to be replaceable with respect to the imaging device 1 . Further, the imaging optical system 10 may incorporate a focus lens or a zoom lens.

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１が出力する制御信号によって駆動制御されることにより、上述したブロック１３１ごとの蓄積制御が可能である。駆動部２１に対する蓄積制御の指示は、制御部７０が行う。 The imaging unit 20 has the imaging device 100 described above and a driving unit 21 that drives the imaging device 100 . The imaging device 100 is driven and controlled by the control signal output by the driving section 21, so that accumulation control for each block 131 described above is possible. The control unit 70 instructs the drive unit 21 to perform accumulation control.

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する他、撮像部２０で撮像された画像のバッファメモリとして使用される。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画、動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。 The image processing unit 30 cooperates with the work memory 40 to perform image processing on image data captured by the imaging unit 20 . In this embodiment, the work memory 40 temporarily stores image data before and after JPEG compression and before and after MPEG compression, and is also used as a buffer memory for images captured by the imaging unit 20 . The display unit 50 is configured by, for example, a liquid crystal display panel 51, and displays images (still images and moving images) captured by the imaging unit 20, various information, and an operation input screen. The display unit 50 has a configuration in which a touch panel 52 is laminated on the display surface of a liquid crystal display panel 51 . The touch panel 52 outputs a signal indicating the position where the user touches the liquid crystal display panel 51 .

記録部６０は、メモリカードなどの記憶媒体に、撮像指示（後述するレリーズ操作）に応じて取得した画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。制御部７０は、撮像素子１００（撮像チップ１１３）の各ブロック１３１において所定のフレームレート（蓄積時間）、ゲインで画像を取得させ、かつ、取得した画像のデータの読み出し制御をするように、制御パラメータを駆動部２１へ指示する。 The recording unit 60 stores various data such as image data acquired in response to an imaging instruction (a release operation to be described later) in a storage medium such as a memory card. The control unit 70 has a CPU and controls the overall operation of the imaging device 1 . The control unit 70 causes each block 131 of the imaging device 100 (imaging chip 113) to acquire an image at a predetermined frame rate (accumulation time) and gain, and controls reading of data of the acquired image. A parameter is instructed to the drive unit 21 .

また、制御部７０は、画像データに基づいて、ホワイトバランス調整をＡＷＢ演算部７１により行わせる。さらに、制御部７０は、画素信号に基づいて再生表示用の画像を生成して表示部５０に表示させる。 Further, the control unit 70 causes the AWB calculation unit 71 to perform white balance adjustment based on the image data. Furthermore, the control unit 70 generates an image for reproduction display based on the pixel signal and causes the display unit 50 to display the image.

＜モニタリングセンサ＞
本実施形態では、モニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての画素の蓄積時間を決定する。ここで、画素における電荷蓄積量を調べるセンサをモニタリングセンサと呼ぶ。図７は、各ブロック１３１における複数の画素配置を説明する図である。撮像装置１は、ブロック１３１において略中央に位置する１つの緑色画素Ｇｒ（３，４）を、そのブロック１３１を代表するモニタリングセンサとして機能させる。 <Monitoring sensor>
In this embodiment, the accumulation time for all pixels included in the block 131 is determined based on the amount of charge accumulated by the monitoring sensor. Here, a sensor that checks the amount of charge accumulated in a pixel is called a monitoring sensor. FIG. 7 is a diagram for explaining the arrangement of a plurality of pixels in each block 131. As shown in FIG. The imaging device 1 causes one green pixel Gr (3, 4) located substantially in the center of the block 131 to function as a monitoring sensor representing that block 131 .

制御部７０は、例えば静止画像を撮影する際に駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）の各ブロック１３１から、あらかじめ定めた所定時間間隔で画素信号を読み出す。例えば、時刻ｔ１、ｔ２、ｔ３、…、ｔ７、ｔ８の複数回に分けて画素信号を読み出す。 For example, when a still image is captured, the control unit 70 sends an instruction to the driving unit 21 to read out pixel signals from each block 131 of the imaging element 100 (imaging chip 113) at predetermined time intervals. For example, pixel signals are read out at times t1, t2, t3, . . . , t7, and t8.

制御部７０は、読み出した画素信号のうちモニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルをチェックする。そして、読み出した画素信号の積算値があらかじめ定めた判定閾値を超えた時点（例えば時刻ｔ５）で、その時刻の１つ前の時刻（時刻ｔ４）までを、そのブロック１３１内の全画素の蓄積時間として決定する。この場合は、そのブロック１３１から時刻ｔ６以降の画素信号の読み出しを省略する。 The control unit 70 checks the pixel signal level from the monitoring sensor (green pixel Gr (3, 4)) among the read pixel signals. Then, when the integrated value of the read pixel signals exceeds a predetermined determination threshold value (for example, time t5), all the pixels in the block 131 are accumulated until the time (time t4) immediately before that time. Decide as time. In this case, readout of pixel signals from the block 131 after time t6 is omitted.

図８は、ブロック１３１における全ての画素位置と、画素信号レベルとの関係を示す図である。制御部７０は、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えると、他の画素からの画素信号レベルが判定閾値より小さい場合でも、ブロック１３１内の全画素に対する蓄積を終了する。逆にいうと、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えない場合には、仮に他の画素からの画素信号レベルが判定閾値を超えている場合でも、ブロック１３１内の全画素に対する蓄積を継続する。 FIG. 8 is a diagram showing the relationship between all pixel positions in block 131 and pixel signal levels. When the pixel signal level from the monitoring sensor (green pixel Gr(3,4)) exceeds the determination threshold, the control unit 70 controls all pixels in the block 131 even if the pixel signal levels from other pixels are smaller than the determination threshold. End the accumulation for the pixel. Conversely, when the pixel signal level from the monitoring sensor (green pixel Gr (3, 4)) does not exceed the determination threshold, even if the pixel signal levels from other pixels exceed the determination threshold, , continue accumulating for all pixels in block 131 .

ただし、制御部７０は、時刻ｔ８において読み出したモニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが上記判定閾値を超えない場合でも、時刻ｔ８までの時間を蓄積時間の上限とする。 However, even if the pixel signal level from the monitoring sensor (green pixel Gr (3, 4)) read out at time t8 does not exceed the determination threshold, the control unit 70 sets the time up to time t8 as the upper limit of the accumulation time. do.

＜画素信号の読み出し例＞
画素信号の読み出しタイミングと、撮像チップ１１３における蓄積時間と、演算回路４１５を介して撮像素子１００から読み出される画素信号とを説明する図９を参照して、ブロック１３１からの画素信号の読み出しを説明する。 <Example of pixel signal readout>
Readout of pixel signals from block 131 will be described with reference to FIG. do.

駆動部２１は、以下のように撮像素子１００を制御する。すなわち、蓄積開始時刻ｔ０から時刻t１までを第１蓄積時間とし、時刻ｔ０から時刻ｔ２までを第２蓄積時間とする。駆動部２１は、時刻ｔ０において、ブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ１において、図５に例示した画素メモリｎに格納されている画素信号を読み出さないように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、第１蓄積時間（時刻ｔ０から時刻ｔ１）の間に蓄積された画素信号ａがデマルチプレクサ４１３から出力され、そのまま信号Ａとして演算回路４１５を介して出力される。この画素信号Ａ（＝ａ）は、画素メモリｎにも格納される。 The drive unit 21 controls the imaging element 100 as follows. That is, the period from the accumulation start time t0 to the time t1 is defined as the first accumulation time, and the period from the time t0 to the time t2 is defined as the second accumulation time. The drive unit 21 causes the pixels included in the block 131 to start charge accumulation at time t0. Then, at time t1, pixel signals are output from the block 131 while controlling the pixel memory 414 so as not to read the pixel signals stored in the pixel memory n illustrated in FIG. As a result, the pixel signal a accumulated during the first accumulation time (from time t0 to time t1) is output from the demultiplexer 413 and directly output as the signal A through the arithmetic circuit 415 . This pixel signal A (=a) is also stored in the pixel memory n.

駆動部２１はさらに、時刻ｔ１において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ２において、図５に例示した画素メモリｎに格納されている画素信号ａを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻ｔ１から時刻ｔ２までの間に蓄積された画素信号ｂがデマルチプレクサ４１３から出力され、この画素信号ｂと、画素メモリｎから読み出された画素信号ａとが加算器ｎで加算される。加算後の画素信号ａ＋ｂは、信号Ｂとして演算回路４１５を介して出力される。この画素信号Ｂは、画素メモリｎにも格納される。画素信号Ｂ（＝ａ＋ｂ）は、時刻ｔ０から時刻ｔ１までと、時刻ｔ１から時刻ｔ２までに蓄積された画素信号の和であるため、第２蓄積時間（時刻ｔ０から時刻ｔ２）の間に蓄積される画素信号に相当する。 Further, when the pixel signal is read out at time t1, the drive section 21 immediately causes the pixels included in the block 131 to start charge accumulation. At time t2, the block 131 outputs a pixel signal while controlling the pixel memory 414 to read out the pixel signal a stored in the pixel memory n illustrated in FIG. As a result, the pixel signal b accumulated between time t1 and time t2 is output from the demultiplexer 413, and the pixel signal b and the pixel signal a read from the pixel memory n are added by the adder n. be done. The pixel signal a+b after addition is output as the signal B through the arithmetic circuit 415 . This pixel signal B is also stored in the pixel memory n. Since the pixel signal B (=a+b) is the sum of the pixel signals accumulated from time t0 to time t1 and from time t1 to time t2, it is accumulated during the second accumulation time (from time t0 to time t2). corresponds to the pixel signal to be processed.

同様に、駆動部２１は、時刻ｔ２において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ３において、図５に例示した画素メモリｎに格納されている画素信号Ｂを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻ｔ２から時刻ｔ３までの間に蓄積された画素信号ｃがデマルチプレクサ４１３から出力され、この画素信号ｃと、画素メモリｎから読み出された画素信号Ｂとが加算器ｎで加算される。加算後の画素信号Ｂ＋ｃは、信号Ｃとして演算回路４１５を介して出力される。この画素信号Ｃは、画素メモリｎにも格納される。画素信号Ｃ（＝Ｂ＋ｃ）は、時刻ｔ０から時刻ｔ２までと、時刻ｔ２から時刻ｔ３までに蓄積された画素信号の和であるため、第３蓄積時間（時刻ｔ０から時刻ｔ３）の間に蓄積される画素信号に相当する。 Similarly, when the pixel signal is read out at time t2, the drive section 21 immediately causes the pixels included in the block 131 to start charge accumulation. Then, at time t3, the pixel signal is output from the block 131 while controlling the pixel memory 414 to read out the pixel signal B stored in the pixel memory n illustrated in FIG. As a result, the pixel signal c accumulated between time t2 and time t3 is output from the demultiplexer 413, and the pixel signal c and the pixel signal B read from the pixel memory n are added by the adder n. be done. The pixel signal B+c after addition is output as the signal C through the arithmetic circuit 415 . This pixel signal C is also stored in the pixel memory n. Since the pixel signal C (=B+c) is the sum of the pixel signals accumulated from time t0 to time t2 and from time t2 to time t3, it is accumulated during the third accumulation time (from time t0 to time t3). corresponds to the pixel signal to be processed.

以降同様に、時刻ｔ４から時刻ｔ８まで画素信号の読み出しを行うことにより、第４蓄積時間（時刻ｔ０から時刻ｔ４）と、第５蓄積時間（時刻ｔ０から時刻ｔ５）と、第６蓄積時間（時刻ｔ０から時刻ｔ６）と、第７蓄積時間（時刻ｔ０から時刻ｔ７）と、第８蓄積時間（時刻ｔ０から時刻ｔ８）と、の間に蓄積される画素信号が、それぞれ得られる。なお、上述したように第８蓄積時間（時刻ｔ０から時刻ｔ８）まで蓄積するのは、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号の積算値が、あらかじめ定めた判定閾値を超えない場合のみである。 Thereafter, similarly, by reading pixel signals from time t4 to time t8, a fourth accumulation time (from time t0 to time t4), a fifth accumulation time (from time t0 to time t5), and a sixth accumulation time ( Pixel signals accumulated during the seventh accumulation time (from time t0 to time t6), the seventh accumulation time (from time t0 to time t7), and the eighth accumulation time (from time t0 to time t8) are obtained. As described above, the accumulation from the eighth accumulation time (time t0 to time t8) is because the integrated value of the pixel signal from the monitoring sensor (green pixel Gr (3, 4)) exceeds the predetermined determination threshold. Only if it does not exceed

＜正規化処理＞
以上説明したように、ブロック１３１ごとに蓄積時間を決定する場合、異なるブロック１３１の間で入射光量が異なると、ブロック１３１の間で蓄積時間が相違する場合が生じる。そのため、制御部７０は、ブロック１３１の間において蓄積時間に関して正規化処理を行って画像を生成する。 <Normalization processing>
As described above, when the accumulation time is determined for each block 131 , if the amount of incident light differs between different blocks 131 , the accumulation times may differ between the blocks 131 . Therefore, the control unit 70 normalizes the accumulation time during block 131 to generate an image.

図１０は、正規化処理を説明する図である。例えば、蓄積時間が第８蓄積時間（時刻ｔ０から時刻ｔ８）のブロック１３１の画素信号値を基準にすると、蓄積時間が第２蓄積時間（時刻ｔ０から時刻ｔ２）のブロック１３１に対しては、画素信号値を４（＝８／２）倍に演算する。また、蓄積時間が第４蓄積時間（時刻ｔ０から時刻ｔ４）のブロック１３１に対しては、画素信号値を２（＝８／４）倍に演算する。さらに、蓄積時間が第５蓄積時間（時刻ｔ０から時刻ｔ５）のブロック１３１に対しては、画素信号値を８／５倍に演算する。他の蓄積時間についても同様である。 FIG. 10 is a diagram for explaining normalization processing. For example, when the pixel signal value of the block 131 whose accumulation time is the eighth accumulation time (time t0 to time t8) is used as a reference, for the block 131 whose accumulation time is the second accumulation time (time t0 to time t2), The pixel signal value is multiplied by 4 (=8/2). For the block 131 whose accumulation time is the fourth accumulation time (time t0 to time t4), the pixel signal value is multiplied by 2 (=8/4). Further, for the block 131 whose accumulation time is the fifth accumulation time (from time t0 to time t5), the pixel signal value is multiplied by 8/5. The same applies to other accumulation times.

制御部７０は、上述したようにブロック１３１ごとに蓄積時間の差に応じて画素信号値を調節した上で、画素信号値を所定のビット長（例えば１４ビット）の空間へ正規化する。これにより、異なるブロック１３１間における蓄積時間の相違に起因する画素信号値の大小が補正された広ダイナミックレンジの画像が得られる。制御部７０は、このように正規化処理を行った後の画素信号に基づいて、ＡＷＢ演算部７１にホワイトバランス調整をさせる。 The control unit 70 adjusts the pixel signal values according to the difference in accumulation time for each block 131 as described above, and then normalizes the pixel signal values into a space of a predetermined bit length (eg 14 bits). As a result, an image with a wide dynamic range is obtained in which pixel signal values caused by differences in accumulation time between different blocks 131 are corrected. The control unit 70 causes the AWB calculation unit 71 to adjust the white balance based on the pixel signal after the normalization processing.

＜フローチャートの説明＞
図１１は、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチが電源オン操作され、撮像装置１の各部に対して通電が行われている場合に、図１１による処理を繰り返し起動させる。制御部７０は、不図示のレリーズボタンが半押し操作された場合にも、図１１による処理を起動させる。半押し操作は、レリーズボタンが全押し操作時より浅く押し下げられた操作態様をいう。 <Description of flow chart>
FIG. 11 is a flow chart for explaining the flow of the shooting operation executed by the control unit 70 of the imaging device 1. As shown in FIG. When an ON-OFF switch (not shown) is turned on to turn on the power to each part of the imaging apparatus 1, the control part 70 repeatedly activates the process shown in FIG. The control unit 70 also activates the process shown in FIG. 11 when a release button (not shown) is half-pressed. A half-press operation refers to an operation mode in which the release button is pressed more shallowly than in a full-press operation.

図１１のステップＳ１０１において、制御部７０は、レリーズ操作（すなわちレリーズボタンの全押し操作）されたか否かを判定する。制御部７０は、レリーズボタンが全押し操作されたことを示す操作信号が入力されると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。一方、制御部７０は、上記全押し操作がなされない場合にはステップＳ１０１を否定判定し、当該判定処理を繰り返す。 In step S101 of FIG. 11, the control unit 70 determines whether or not a release operation (that is, an operation of fully pressing the release button) has been performed. When an operation signal indicating that the release button has been fully pressed is input, the control unit 70 makes an affirmative determination in step S101 and proceeds to step S102. On the other hand, when the full-press operation is not performed, the control unit 70 makes a negative determination in step S101, and repeats the determination process.

ステップＳ１０２において、制御部７０は駆動部２１へ指示を送り、撮像素子１００の全ブロック１３１を対象に電荷蓄積を開始させてステップＳ１０３へ進む（上記時刻ｔ０に相当）。ステップＳ１０３において、撮像チップ１１３からブロック１３１単位で画素信号が読み出される。ステップＳ１０４において、加算器４１６が、各画素に対応させて、読み出された画素信号と画素メモリ４１４に格納されている画素信号とを加算する。加算後の画素信号は、再び画素メモリ４１４へ格納される。 In step S102, the control unit 70 sends an instruction to the driving unit 21 to start charge accumulation in all the blocks 131 of the imaging element 100, and the process proceeds to step S103 (corresponding to time t0). In step S<b>103 , pixel signals are read from the imaging chip 113 in units of blocks 131 . In step S104, the adder 416 adds the read pixel signal and the pixel signal stored in the pixel memory 414 corresponding to each pixel. The pixel signal after addition is stored in the pixel memory 414 again.

ステップＳ１０５において、制御部７０は、モニタリングセンサからの画素信号に関し、加算後の積算値があらかじめ定めた判定閾値を超えたか否かをブロック１３１ごとに判定する。制御部７０は、判定閾値を超えたブロック１３１についてはステップＳ１０５を肯定判定してステップＳ１０６へ進む。制御部７０は、判定閾値を超えないブロック１３１についてはステップＳ１０５を否定判定してステップＳ１０３へ戻る。ステップＳ１０３へ戻る場合は、当該ブロック１３１について上述した処理を継続する。 In step S<b>105 , the control unit 70 determines for each block 131 whether or not the integrated value after the addition exceeds a predetermined determination threshold for the pixel signals from the monitoring sensor. The control unit 70 makes an affirmative decision in step S105 for the block 131 exceeding the decision threshold, and proceeds to step S106. The control unit 70 makes a negative determination in step S105 for blocks 131 that do not exceed the determination threshold, and returns to step S103. When returning to step S103, the above-described processing of block 131 is continued.

ステップＳ１０６において、制御部７０は駆動部２１へ指示を送り、対応するブロック１３１を対象に電荷蓄積を終了させてステップＳ１０７へ進む。ステップＳ１０７において、制御部７０は、上述したようにブロック１３１の間で蓄積時間に関して正規化処理を行ってステップＳ１０８へ進む。 In step S106, the control unit 70 sends an instruction to the driving unit 21 to end charge accumulation for the corresponding block 131, and the process proceeds to step S107. In step S107, the control unit 70 normalizes the accumulation time between blocks 131 as described above, and proceeds to step S108.

ステップＳ１０８において、制御部７０はＡＷＢ演算部７１へ指示を送り、ホワイトバランス処理を行わせてステップＳ１０９へ進む。ステップＳ１０９において、制御部７０は記録部６０へ指示を送り、画像データをメモリカードなどの記憶媒体に記録させて図１１による処理を終了する。 In step S108, the control unit 70 sends an instruction to the AWB calculation unit 71 to perform white balance processing, and the process proceeds to step S109. In step S109, the control section 70 sends an instruction to the recording section 60 to record the image data in a storage medium such as a memory card, and the processing in FIG. 11 ends.

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、複数のＰＤ１０４が配列された撮像チップ１１３と、ＰＤ１０４を複数含む複数のエリアブロック１３１に撮像チップ１１３を区分けし、エリアブロック１３１単位でＰＤ１０４の蓄積時間を制御し、かつ蓄積信号をエリアブロック１３１単位で読み出視可能な制御部７０と、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに配され、ＰＤ１０４による電荷蓄積量を読み出し可能な第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）と、を備えるようにした。これにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。 According to the embodiment described above, the following effects are obtained.
(1) The imaging device 1 divides the imaging chip 113 into an imaging chip 113 in which a plurality of PDs 104 are arranged and a plurality of area blocks 131 each including a plurality of PDs 104, and controls the accumulation time of the PDs 104 for each area block 131, A controller 70 that can read out and visualize accumulated signals in units of area blocks 131, and a first monitoring sensor that is arranged in each of at least the first area block 131 and the second area block 131 and can read out the amount of charge accumulated by the PD 104. Gr (3, 4) and a second monitoring sensor Gr (3, 4) are provided. Accordingly, proper exposure can be obtained for each area of the image corresponding to each block 131 . For example, even when shooting in backlight, the main subject can be properly exposed without saturating the background. In addition, since the correct exposure can be obtained by one photographing operation, it is not necessary to repeat the photographing operation.

（２）複数のＰＤ１０４は、それぞれ緑色Ｇｒ（Ｇｂ）または緑色Ｇｒ（Ｇｂ）以外の他色（Ｂ、Ｒ）のカラーフィルタ１０２が配されており、第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）は、第１エリアブロック１３１および第２エリアブロック１３１の中で緑色Ｇｒ（Ｇｂ）のカラーフィルタ１０２が配されているＰＤ１０４によって構成される。一般に感度が高いとされる緑色のカラーフィルタ１０２が配されているＰＤ１０４をモニタリングセンサとして用いることで、電荷蓄積量を適切に求めることができる。 (2) Each of the plurality of PDs 104 is provided with a color filter 102 of a color (B, R) other than green Gr (Gb) or green Gr (Gb), and the first monitoring sensor Gr (3, 4) and The second monitoring sensor Gr (3, 4) is composed of the PD 104 in which the green Gr (Gb) color filter 102 is arranged in the first area block 131 and the second area block 131 . By using the PD 104 provided with the green color filter 102, which is generally considered to have high sensitivity, as a monitoring sensor, the charge storage amount can be obtained appropriately.

（３）第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）は、第１エリアブロック１３１および第２エリアブロック１３１の略中央に配されるようにしたので、そのブロック１３１に対する代表的な入射光に基づいて電荷蓄積量を求めることができる。 (3) Since the first monitoring sensor Gr(3,4) and the second monitoring sensor Gr(3,4) are arranged substantially in the center of the first area block 131 and the second area block 131, The amount of charge accumulation can be determined based on typical incident light on block 131 .

（４）制御部７０は、第１モニタリングセンサＧｒ（３，４）による電荷蓄積量が所定の蓄積量に達した場合に、対応する第１エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第１エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。 (4) When the charge accumulation amount by the first monitoring sensor Gr (3, 4) reaches a predetermined accumulation amount, the control unit 70 terminates the charge accumulation of the PD 104 included in the corresponding first area block 131. Therefore, the accumulation time for the PD 104 of the first area block 131 can be appropriately controlled.

（５）制御部７０は、第２モニタリングセンサＧｒ（３，４）による電荷蓄積量が所定の蓄積量に達した場合に、対応する第２エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第２エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。 (5) When the amount of charge accumulated by the second monitoring sensor Gr (3, 4) reaches a predetermined amount, the control unit 70 terminates the charge accumulation of the PD 104 included in the corresponding second area block 131. Therefore, the accumulation time for the PD 104 of the second area block 131 can be appropriately controlled.

（６）制御部７０は、電荷蓄積を終了したＰＤ１０４からの蓄積信号をエリアブロック１３１単位で読み出すので、各ブロック１３１に対応する画像のエリアごとの画素信号を適切に読み出すことができる。 (6) Since the control unit 70 reads out the accumulated signal from the PD 104 that has completed the charge accumulation in units of the area blocks 131, it is possible to appropriately read out the pixel signals for each area of the image corresponding to each block 131. FIG.

（７）制御部７０は、レリーズ操作に応じて第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）から電荷蓄積量の読み出しを開始するので、レリーズ操作以降（すなわち撮影指示以降）の電荷蓄積量を適切に検出できる。 (7) Since the control unit 70 starts reading the accumulated charge amount from the first monitoring sensor Gr(3,4) and the second monitoring sensor Gr(3,4) in response to the release operation, after the release operation (that is, After the photographing instruction), the charge accumulation amount can be appropriately detected.

（８）撮像チップ１１３に複数のＰＤ１０４が配列された撮像素子１００であって、ＰＤ１０４を複数含むように撮像チップ１１３を区分けした複数のエリアブロック１３１単位でＰＤ１０４の蓄積時間が制御可能にされ、エリアブロック１３１単位でＰＤ１０４の蓄積信号が読み出し可能にされ、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）が配され、第１モニタリングセンサＧｒ（３，４）および第２モニタリングセンサＧｒ（３，４）から、第１エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量、および第２エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量がそれぞれ読み出し可能にされるようにした。このような撮像素子１００を用いることにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。 (8) The imaging element 100 in which a plurality of PDs 104 are arranged in the imaging chip 113, and the accumulation time of the PDs 104 can be controlled in units of a plurality of area blocks 131 obtained by dividing the imaging chip 113 so as to include a plurality of PDs 104; The accumulated signal of the PD 104 can be read in units of area blocks 131, and at least the first area block 131 and the second area block 131 are provided with the first monitoring sensor Gr(3,4) and the second monitoring sensor Gr(3,4), respectively. ) are arranged, and from the first monitoring sensor Gr (3, 4) and the second monitoring sensor Gr (3, 4), the accumulated charge amount obtained by the PD 104 of the first area block 131 and the PD 104 of the second area block 131 The amount of accumulated charge obtained in 1 is made readable. By using such an imaging device 100 , proper exposure can be obtained for each area of the image corresponding to each block 131 . For example, even when shooting in backlight, the main subject can be properly exposed without saturating the background. In addition, since the correct exposure can be obtained by one photographing operation, it is not necessary to repeat the photographing operation.

（変形例１）
上述した実施形態に係る撮像装置１を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。 (Modification 1)
The imaging device 1 according to the above-described embodiments may be configured by a high-performance mobile phone or a tablet terminal. In this case, a camera unit mounted on a high-performance mobile phone (or tablet terminal) is configured using the stacked imaging device 100 .

（変形例２）
上述した実施形態では、静止画撮影時のレリーズ操作後において記録用画像を撮像する際の蓄積時間をブロック１３１ごとに制御する例を説明した。ブロック１３１ごとの蓄積時間の制御は静止画撮影時に限ることなく、ライブビュー画像の撮影時や、動画撮影時においても制御するようにしてよい。例えば、動画像を撮像する場合の各フレームの画像を撮像する際に、各フレームにおける蓄積時間をブロック１３１ごとに制御する。 (Modification 2)
In the above-described embodiment, an example of controlling the accumulation time for each block 131 when capturing an image for recording after a release operation during still image capturing has been described. The control of the accumulation time for each block 131 is not limited to still image shooting, and may also be performed during live view image shooting and moving image shooting. For example, when capturing an image of each frame when capturing a moving image, the accumulation time in each frame is controlled for each block 131 .

このような変形例２によれば、ライブビュー画像や動画像の撮影時においても、各フレームにおいて適切に蓄積時間を制御することができる。 According to Modification 2 as described above, it is possible to appropriately control the accumulation time for each frame even when shooting a live view image or a moving image.

（変形例３）
上述した説明では、蓄積時間を８段階に分けて行う例を説明したが、蓄積時間の分割は４段階でも１６段階でもよく、適宜変更して構わない。 (Modification 3)
In the above description, an example in which the accumulation time is divided into 8 stages has been described, but the division of the accumulation time may be 4 stages or 16 stages, and may be changed as appropriate.

（変形例４）
以上の説明では、緑色画素Ｇｒ（３，４）をブロック１３１のモニタリングセンサとして機能させる例を説明した。モニタリングセンサは、画素を構成するフォトダイオードＰＤと別に設けるようにしてもよい。 (Modification 4)
In the above description, an example in which the green pixel Gr (3, 4) functions as the monitoring sensor for the block 131 has been described. The monitoring sensor may be provided separately from the photodiode PD that constitutes the pixel.

（変形例５）
以上の説明では、ブロック１３１のモニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）と、同ブロック１３１内の他の画素との間で構成を共通にするようにした。この代わりに、モニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）以外の画素については、時刻ｔ１～時刻ｔ８までの蓄積時間を複数回に分けることなく蓄積を行い、モニタリングセンサ（緑色画素Ｇｒ（３，４））からの画素信号レベルが判定閾値を超えるまで蓄積を継続させるようにしてもよい。この場合は、モニタリングセンサとして機能させる緑色画素Ｇｒ（３，４）以外の他の画素については、蓄積中の読み出しおよび加算処理が不要となる。 (Modification 5)
In the above description, the configuration is shared between the green pixel Gr (3, 4) functioning as the monitoring sensor of the block 131 and the other pixels within the same block 131 . Instead, for the pixels other than the green pixel Gr (3, 4) functioning as the monitoring sensor, accumulation is performed without dividing the accumulation time from time t1 to time t8 into multiple times, and the monitoring sensor (green pixel Gr ( The accumulation may be continued until the pixel signal level from 3, 4)) exceeds the determination threshold. In this case, the pixels other than the green pixel Gr(3, 4) functioning as a monitoring sensor do not require readout and addition during accumulation.

（変形例６）
モニタリングセンサとして機能させる画素として、ブロック１３１における略中央に位置する緑色画素Ｇｒ（３，４）を選ぶ例を説明したが、モニタリングセンサとして機能させる画素位置は、ブロック１３１における略中央に限らず、ブロック１３１内において適宜変更して構わない。 (Modification 6)
Although the example of selecting the green pixel Gr (3, 4) located substantially in the center of the block 131 as the pixel that functions as the monitoring sensor has been described, the position of the pixel that functions as the monitoring sensor is not limited to the substantially center of the block 131. It may be changed in block 131 as appropriate.

（変形例７）
上記実施形態では、各ブロック１３１においてそれぞれモニタリングセンサを配する例を説明したが、モニタリングセンサをもたないブロック１３１を設けてもよい。この場合、モニタリングセンサを持たないブロック１３１における画素の蓄積時間は、モニタリングセンサが配されている複数の近隣のブロック１３１における複数のモニタリングセンサによる電荷蓄積量に基づいて決定する。近接する１つのブロック１３１におけるモニタリングセンサによる電荷蓄積量に基づいて決定してもよいし、近接する複数のブロック１３１（例えば、該当のブロックの周囲にある８つもしくは４つのブロック）における複数のモニタリングセンサによる電荷蓄積量に基づいて決定してもよい。 (Modification 7)
In the above embodiment, an example in which each block 131 has a monitoring sensor has been described, but a block 131 without a monitoring sensor may be provided. In this case, the pixel integration time in blocks 131 without monitoring sensors is determined based on the amount of charge storage by the monitoring sensors in the neighboring blocks 131 where the monitoring sensors are located. It may be determined based on the amount of charge accumulated by the monitoring sensor in one adjacent block 131, or multiple monitoring in multiple adjacent blocks 131 (e.g., 8 or 4 blocks surrounding the block in question) It may be determined based on the amount of charge accumulated by the sensor.

（変形例８）
上述した説明では、緑色画素Ｇｒをモニタリングセンサとして機能させ、青色や赤色などの他の色を代表させる例を説明した（緑色画素はＧｒでもＧｂでも構わない）。この代わりに、モニタリングセンサとして機能させる画素を、異なる色にそれぞれ設けるようにしてもよい。すなわち、緑色画素Ｇｒと、青色画素Ｂと、赤色画素Ｒとに対し、それぞれモニタリングセンサとして機能させる。 (Modification 8)
In the above description, an example was described in which the green pixel Gr functions as a monitoring sensor and represents other colors such as blue and red (the green pixel may be either Gr or Gb). Alternatively, pixels functioning as monitoring sensors may be provided in different colors. That is, the green pixel Gr, the blue pixel B, and the red pixel R are made to function as monitoring sensors, respectively.

変形例８の場合、緑色画素Ｇｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（緑色）画素ＧｒおよびＧｂについて蓄積時間を決定する。また、青色画素Ｂからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（青色）画素Ｂについて蓄積時間を決定する。さらに、赤色画素Ｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（赤色）画素Ｒについて蓄積時間を決定する。 In the case of modification 8, the accumulation time is determined for all the same color (green) pixels Gr and Gb included in the block 131 based on the amount of charge accumulated by the monitoring sensor consisting of the green pixels Gr. Also, based on the amount of charge accumulated by the monitoring sensor composed of the blue pixels B, the accumulation time is determined for all the same color (blue) pixels B included in the block 131 . Furthermore, based on the amount of charge accumulated by the monitoring sensor composed of the red pixels R, the accumulation time is determined for all the pixels R of the same color (red) included in the block 131 .

変形例８の場合の正規化処理は、緑色画素ＧｒおよびＧｂと、青色画素Ｂと、赤色画素Ｒとに分けて、それぞれ行う。そして、色別に正規化処理を行った後から、各色間についての画素信号値の調整をホワイトバランス処理として行う。 Normalization processing in the case of Modification 8 is performed separately for the green pixels Gr and Gb, the blue pixel B, and the red pixel R, respectively. Then, after normalization processing is performed for each color, adjustment of pixel signal values between colors is performed as white balance processing.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。 The above description is merely an example, and the configuration of the embodiment is not limited in any way. The configurations of the above-described embodiment and modifications may be appropriately combined.

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…液晶表示パネル
５２…タッチパネル
６０…記録部
７０…制御部
７１…ＡＷＢ演算部
１００…撮像素子
１０４…ＰＤ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…ブロック
４１３…デマルチプレクサ
４１４…画素メモリ
４１５…演算回路
４１６…加算器
４１７…駆動制御部 DESCRIPTION OF SYMBOLS 1... Imaging device 10... Imaging optical system 20... Imaging part 30... Image processing part 40... Work memory 50... Display part 51... Liquid crystal display panel 52... Touch panel 60... Recording part 70... Control part 71... AWB calculating part 100... Imaging Element 104...PD
DESCRIPTION OF SYMBOLS 111... Signal processing chip 112... Memory chip 113... Imaging chip 131... Block 413... Demultiplexer 414... Pixel memory 415... Arithmetic circuit 416... Adder 417... Drive control part

Claims (40)

複数の画素を有する第１半導体基板と、
前記複数の画素のうち第１画素から読み出された第１信号をデジタル信号に変換する第１変換部と、前記複数の画素のうち第２画素から読み出された第２信号をデジタル信号に変換する第２変換部とを有する第２半導体基板と、
前記第１変換部でデジタル信号に変換された前記第１信号に加算処理を行う第１加算器と、前記第２変換部でデジタル信号に変換された前記第２信号に加算処理を行う第２加算器とを有する第３半導体基板と、
を備える撮像素子。 a first semiconductor substrate having a plurality of pixels;
a first conversion unit that converts a first signal read from a first pixel among the plurality of pixels into a digital signal; and a second signal read from a second pixel among the plurality of pixels . a second semiconductor substrate having a second converter for converting a signal into a digital signal;
a first adder for performing addition processing on the first signal converted into a digital signal by the first conversion unit ; and performing addition processing on the second signal converted into a digital signal by the second conversion unit. a third semiconductor substrate having a second adder;
An image sensor. 請求項１に記載の撮像素子において、In the imaging device according to claim 1,
前記第１信号を前記第１変換部に出力する第１出力配線と、a first output wiring that outputs the first signal to the first conversion unit;
前記第２信号を前記第２変換部に出力する第２出力配線とa second output wiring that outputs the second signal to the second conversion unit;
を備える撮像素子。An image sensor. 請求項１または請求項２に記載の撮像素子において、 In the imaging device according to claim 1 or claim 2,
前記第１加算器は、前記第１信号よりも前に前記第１画素から読み出された第３信号を用いて、前記第１信号に加算処理を行い、 the first adder performs addition processing on the first signal using a third signal read from the first pixel before the first signal;
前記第２加算器は、前記第２信号よりも前に前記第２画素から読み出された第４信号を用いて、前記第２信号に加算処理を行う撮像素子。The second adder is an imaging device that performs addition processing on the second signal using a fourth signal read from the second pixel before the second signal. 請求項１から３のうちいずれか一項に記載の撮像素子において、
前記第３半導体基板は、前記第１加算器により加算処理が行われた、前記第１信号を含む第１加算信号を格納する第１格納部と、前記第２加算器により加算処理が行われた、前記第２信号を含む第２加算信号を格納する第２格納部とを有する撮像素子。 In the imaging device according to any one of claims 1 to 3 ,
The third semiconductor substrate includes: a first storage unit for storing a first added signal including the first signal added by the first adder; and an added signal added by the second adder. and a second storage section for storing a second addition signal including the second signal. 請求項４に記載の撮像素子において、
前記第２半導体基板は、前記第１格納部に格納された前記第１加算信号を外部に出力するための第１演算回路と、前記第２格納部に格納された前記第２加算信号を外部に出力するための第２演算回路とを有する撮像素子。 In the imaging device according to claim 4 ,
The second semiconductor substrate includes: a first arithmetic circuit for outputting the first sum signal stored in the first storage unit; and a second sum signal stored in the second storage unit. and a second arithmetic circuit for outputting to the image sensor. 請求項４に記載の撮像素子において、
前記第３半導体基板は、前記第１格納部に格納された前記第１加算信号を外部に出力するための第１演算回路と、前記第２格納部に格納された前記第２加算信号を外部に出力するための第２演算回路とを有する撮像素子。 In the imaging device according to claim 4 ,
The third semiconductor substrate includes: a first arithmetic circuit for outputting the first sum signal stored in the first storage unit; and a second sum signal stored in the second storage unit. and a second arithmetic circuit for outputting to the image sensor. 請求項４に記載の撮像素子において、
前記第２半導体基板は、前記第１格納部に格納された前記第１加算信号と、前記第２格納部に格納された前記第２加算信号とを外部に出力するための演算回路を有する撮像素子。 In the imaging device according to claim 4 ,
The second semiconductor substrate has an arithmetic circuit for outputting the first addition signal stored in the first storage unit and the second addition signal stored in the second storage unit to the outside. element. 請求項４に記載の撮像素子において、
前記第３半導体基板は、前記第１格納部に格納された前記第１加算信号と、前記第２格納部に格納された前記第２加算信号とを外部に出力するための演算回路を有する撮像素子。 In the imaging device according to claim 4 ,
The third semiconductor substrate has an arithmetic circuit for outputting the first addition signal stored in the first storage unit and the second addition signal stored in the second storage unit to the outside. element. 請求項５から請求項８のいずれか一項に記載の撮像素子において、
前記第３半導体基板は、前記第１画素の駆動を制御する第１駆動制御部と、前記第２画素の駆動を制御する第２駆動制御部とを有する撮像素子。 In the imaging device according to any one of claims 5 to 8 ,
The third semiconductor substrate is an imaging device having a first drive control section that controls driving of the first pixels and a second drive control section that controls driving of the second pixels. 請求項９に記載の撮像素子において、In the imaging device according to claim 9,
前記第１駆動制御部は、前記第１加算信号に基づいて前記第１画素の駆動を制御し、The first drive control unit controls driving of the first pixel based on the first addition signal,
前記第２駆動制御部は、前記第２加算信号に基づいて前記第２画素の駆動を制御する撮像素子。A said 2nd drive control part is an image pick-up element which controls a drive of a said 2nd pixel based on a said 2nd addition signal. 請求項９または請求項１０に記載の撮像素子において、In the imaging device according to claim 9 or claim 10,
前記第１画素は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で変換された電荷を転送する第１転送部とを有し、The first pixel has a first photoelectric conversion unit that converts light into electric charge, and a first transfer unit that transfers the electric charge converted by the first photoelectric conversion unit,
前記第２画素は、光を電荷に変換する第２光電変換部と、前記第２光電変換部で変換された電荷を転送する第２転送部とを有し、The second pixel has a second photoelectric conversion unit that converts light into electric charge, and a second transfer unit that transfers the electric charge converted by the second photoelectric conversion unit,
前記第１駆動制御部は、前記第１転送部を制御し、The first drive control unit controls the first transfer unit,
前記第２駆動制御部は、前記第２転送部を制御する撮像素子。The second drive control section is an imaging device that controls the second transfer section. 請求項１１に記載の撮像素子において、In the imaging device according to claim 11,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１転送部を制御し、The first drive control unit controls the first transfer unit so that the charge converted by the first photoelectric conversion unit is accumulated for a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２転送部を制御する撮像素子。The second drive control section controls the second transfer section so that the charge accumulated time converted by the second photoelectric conversion section becomes a second accumulation time. 請求項１１または請求項１２に記載の撮像素子において、In the imaging device according to claim 11 or claim 12,
前記第１画素は、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、前記第１フローティングディフュージョンの電位をリセットする第１リセット部とを有し、The first pixel has a first floating diffusion to which charges converted by the first photoelectric conversion unit are transferred, and a first reset unit that resets the potential of the first floating diffusion,
前記第２画素は、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、前記第２フローティングディフュージョンの電位をリセットする第２リセット部とを有し、The second pixel has a second floating diffusion to which the charge converted by the second photoelectric conversion unit is transferred, and a second reset unit that resets the potential of the second floating diffusion,
前記第１駆動制御部は、前記第１リセット部を制御し、The first drive control unit controls the first reset unit,
前記第２駆動制御部は、前記第２リセット部を制御する撮像素子。A said 2nd drive control part is an imaging device which controls a said 2nd reset part. 請求項１３に記載の撮像素子において、In the imaging device according to claim 13,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１リセット部を制御し、The first drive control unit controls the first reset unit so that the accumulation time of the charges converted by the first photoelectric conversion unit is a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２リセット部を制御する撮像素子。The second drive control section controls the second reset section so that the accumulation time of the charges converted by the second photoelectric conversion section is the second accumulation time. 請求項９または請求項１０に記載の撮像素子において、In the imaging device according to claim 9 or claim 10,
前記第１画素は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、前記第１フローティングディフュージョンの電位をリセットする第１リセット部とを有し、The first pixel includes a first photoelectric conversion unit that converts light into an electric charge, a first floating diffusion to which the electric charge converted by the first photoelectric conversion unit is transferred, and a potential of the first floating diffusion that is reset. a first reset unit;
前記第２画素は、光を電荷に変換する第２光電変換部と、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、前記第２フローティングディフュージョンの電位をリセットする第２リセット部とを有し、The second pixel includes a second photoelectric conversion unit that converts light into electric charge, a second floating diffusion to which the electric charge converted by the second photoelectric conversion unit is transferred, and a potential of the second floating diffusion that is reset. a second reset unit;
前記第１駆動制御部は、前記第１リセット部を制御し、The first drive control unit controls the first reset unit,
前記第２駆動制御部は、前記第２リセット部を制御する撮像素子。A said 2nd drive control part is an imaging device which controls a said 2nd reset part. 請求項１５に記載の撮像素子において、In the imaging device according to claim 15,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１リセット部を制御し、The first drive control unit controls the first reset unit so that the accumulation time of the charges converted by the first photoelectric conversion unit is a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２リセット部を制御する撮像素子。The second drive control section controls the second reset section so that the accumulation time of the charges converted by the second photoelectric conversion section is the second accumulation time. 請求項９から請求項１６のいずれか一項に記載の撮像素子において、
前記第１駆動制御部は、前記第１変換部の駆動を制御し、
前記第２駆動制御部は、前記第２変換部の駆動を制御する撮像素子。 In the imaging device according to any one of claims 9 to 16,
The first drive control unit controls driving of the first conversion unit,
A said 2nd drive control part is an imaging device which controls the drive of a said 2nd conversion part. 請求項１７に記載の撮像素子において、
前記第１駆動制御部は、前記第１加算信号に基づいて前記第１変換部の駆動を制御し、
前記第２駆動制御部は、前記第２加算信号に基づいて前記第２変換部の駆動を制御する撮像素子。 In the imaging device according to claim 17 ,
The first drive control unit controls driving of the first conversion unit based on the first addition signal ,
A said 2nd drive control part is an imaging device which controls the drive of a said 2nd conversion part based on a said 2nd addition signal . 請求項５から請求項８のいずれか一項に記載の撮像素子において、
前記第３半導体基板は、前記第１変換部の駆動を制御する第１駆動制御部と、前記第２変換部の駆動を制御する第２駆動制御部とを有する撮像素子。 In the imaging device according to any one of claims 5 to 8 ,
A said 3rd semiconductor substrate is an imaging device which has a 1st drive control part which controls the drive of a said 1st conversion part, and a 2nd drive control part which controls a drive of the said 2nd conversion part. 請求項１９に記載の撮像素子において、
前記第１駆動制御部は、前記第１加算信号に基づいて前記第１変換部の駆動を制御し、
前記第２駆動制御部は、前記第２加算信号に基づいて前記第２変換部の駆動を制御する撮像素子。 In the imaging device according to claim 19 ,
The first drive control unit controls driving of the first conversion unit based on the first addition signal ,
A said 2nd drive control part is an imaging device which controls the drive of a said 2nd conversion part based on a said 2nd addition signal . 請求項１から請求項３のいずれか一項に記載の撮像素子において、In the imaging device according to any one of claims 1 to 3,
前記第３半導体基板は、前記第１画素の駆動を制御する第１駆動制御部と、前記第２画素の駆動を制御する第２駆動制御部とを有する撮像素子。The third semiconductor substrate is an imaging device having a first drive control section that controls driving of the first pixels and a second drive control section that controls driving of the second pixels. 請求項２１に記載の撮像素子において、22. The imaging device according to claim 21,
前記第１駆動制御部は、前記第１加算器により加算処理が行われた前記第１信号に基づいて前記第１画素の駆動を制御し、The first drive control unit controls driving of the first pixel based on the first signal added by the first adder,
前記第２駆動制御部は、前記第２加算器により加算処理が行われた前記第２信号に基づいて前記第２画素の駆動を制御する撮像素子。A said 2nd drive control part is an imaging device which controls the drive of a said 2nd pixel based on the said 2nd signal to which the addition process was performed by the said 2nd adder. 請求項２１または請求項２２に記載の撮像素子において、In the imaging device according to claim 21 or 22,
前記第１画素は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で変換された電荷を転送する第１転送部とを有し、The first pixel has a first photoelectric conversion unit that converts light into electric charge, and a first transfer unit that transfers the electric charge converted by the first photoelectric conversion unit,
前記第２画素は、光を電荷に変換する第２光電変換部と、前記第２光電変換部で変換された電荷を転送する第２転送部とを有し、The second pixel has a second photoelectric conversion unit that converts light into electric charge, and a second transfer unit that transfers the electric charge converted by the second photoelectric conversion unit,
前記第１駆動制御部は、前記第１転送部を制御し、The first drive control unit controls the first transfer unit,
前記第２駆動制御部は、前記第２転送部を制御する撮像素子。The second drive control section is an imaging device that controls the second transfer section. 請求項２３に記載の撮像素子において、24. The imaging device according to claim 23,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１転送部を制御し、The first drive control unit controls the first transfer unit so that the charge converted by the first photoelectric conversion unit is accumulated for a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２転送部を制御する撮像素子。The second drive control section controls the second transfer section so that the charge accumulated time converted by the second photoelectric conversion section becomes a second accumulation time. 請求項２３または請求項２４に記載の撮像素子において、In the imaging device according to claim 23 or 24,
前記第１画素は、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、前記第１フローティングディフュージョンの電位をリセットする第１リセット部とを有し、The first pixel has a first floating diffusion to which charges converted by the first photoelectric conversion unit are transferred, and a first reset unit that resets the potential of the first floating diffusion,
前記第２画素は、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、前記第２フローティングディフュージョンの電位をリセットする第２リセット部とを有し、The second pixel has a second floating diffusion to which the charge converted by the second photoelectric conversion unit is transferred, and a second reset unit that resets the potential of the second floating diffusion,
前記第１駆動制御部は、前記第１リセット部を制御し、The first drive control unit controls the first reset unit,
前記第２駆動制御部は、前記第２リセット部を制御する撮像素子。A said 2nd drive control part is an imaging device which controls a said 2nd reset part. 請求項２５に記載の撮像素子において、In the imaging device according to claim 25,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１リセット部を制御し、The first drive control unit controls the first reset unit so that the accumulation time of the charges converted by the first photoelectric conversion unit is a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２リセット部を制御する撮像素子。The second drive control section controls the second reset section so that the accumulation time of the charges converted by the second photoelectric conversion section is the second accumulation time. 請求項２１または請求項２２に記載の撮像素子において、In the imaging device according to claim 21 or 22,
前記第１画素は、光を電荷に変換する第１光電変換部と、前記第１光電変換部で変換された電荷が転送される第１フローティングディフュージョンと、前記第１フローティングディフュージョンの電位をリセットする第１リセット部とを有し、The first pixel includes a first photoelectric conversion unit that converts light into an electric charge, a first floating diffusion to which the electric charge converted by the first photoelectric conversion unit is transferred, and a potential of the first floating diffusion that is reset. a first reset unit;
前記第２画素は、光を電荷に変換する第２光電変換部と、前記第２光電変換部で変換された電荷が転送される第２フローティングディフュージョンと、前記第２フローティングディフュージョンの電位をリセットする第２リセット部とを有し、The second pixel includes a second photoelectric conversion unit that converts light into electric charge, a second floating diffusion to which the electric charge converted by the second photoelectric conversion unit is transferred, and a potential of the second floating diffusion that is reset. a second reset unit;
前記第１駆動制御部は、前記第１リセット部を制御し、The first drive control unit controls the first reset unit,
前記第２駆動制御部は、前記第２リセット部を制御する撮像素子。A said 2nd drive control part is an imaging device which controls a said 2nd reset part. 請求項２７に記載の撮像素子において、28. The imaging device according to claim 27,
前記第１駆動制御部は、前記第１光電変換部で変換された電荷の蓄積時間が第１蓄積時間になるように前記第１リセット部を制御し、 The first drive control unit controls the first reset unit so that the accumulation time of the charges converted by the first photoelectric conversion unit is a first accumulation time,
前記第２駆動制御部は、前記第２光電変換部で変換された電荷の蓄積時間が第２蓄積時間になるように前記第２リセット部を制御する撮像素子。The second drive control section controls the second reset section so that the accumulation time of the charges converted by the second photoelectric conversion section is the second accumulation time. 請求項２１から請求項２８のいずれか一項に記載の撮像素子において、In the imaging device according to any one of claims 21 to 28,
前記第１駆動制御部は、前記第１変換部の駆動を制御し、The first drive control unit controls driving of the first conversion unit,
前記第２駆動制御部は、前記第２変換部の駆動を制御する撮像素子。A said 2nd drive control part is an imaging device which controls the drive of a said 2nd conversion part. 請求項２９に記載の撮像素子において、30. The imaging device according to claim 29,
前記第１駆動制御部は、前記第１加算器で加算処理が行われた前記第１信号に基づいて前記第１変換部の駆動を制御し、The first drive control unit controls driving of the first conversion unit based on the first signal added by the first adder,
前記第２駆動制御部は、前記第２加算器で加算処理が行われた前記第２信号に基づいて前記第２変換部の駆動を制御する撮像素子。A said 2nd drive control part is an image pick-up element which controls the drive of a said 2nd conversion part based on the said 2nd signal to which the addition process was performed by the said 2nd adder. 請求項１から請求項３のいずれか一項に記載の撮像素子において、 In the imaging device according to any one of claims 1 to 3,
前記第３半導体基板は、前記第１変換部の駆動を制御する第１駆動制御部と、前記第２変換部の駆動を制御する第２駆動制御部とを有する撮像素子。A said 3rd semiconductor substrate is an imaging device which has a 1st drive control part which controls the drive of a said 1st conversion part, and a 2nd drive control part which controls a drive of the said 2nd conversion part. 請求項３１に記載の撮像素子において、32. The imaging device according to claim 31,
前記第１駆動制御部は、前記第１加算器により加算処理が行われた前記第１信号に基づいて前記第１変換部の駆動を制御し、The first drive control unit controls driving of the first conversion unit based on the first signal added by the first adder,
前記第２駆動制御部は、前記第２加算器により加算処理が行われた前記第２信号に基づいて前記第２変換部の駆動を制御する撮像素子。A said 2nd drive control part is an image pick-up element which controls the drive of a said 2nd conversion part based on the said 2nd signal to which the addition process was performed by the said 2nd adder. 請求項１から請求項３２のいずれか一項に記載の撮像素子において、In the imaging device according to any one of claims 1 to 32,
前記第１画素と前記第２画素とは、行方向において並んで配置される撮像素子。The first pixel and the second pixel are image sensors arranged side by side in a row direction. 請求項１から請求項３３のいずれか一項に記載の撮像素子において、
前記第１半導体基板は、前記第１画素に電流を供給する第１負荷電流源と、前記第２画素に電流を供給する第２負荷電流源とを有する撮像素子。 In the imaging device according to any one of claims 1 to 33 ,
The first semiconductor substrate is an imaging device having a first load current source that supplies current to the first pixels and a second load current source that supplies current to the second pixels . 請求項１から請求項３３のいずれか一項に記載の撮像素子において、
前記第２半導体基板は、前記第１画素に電流を供給する第１負荷電流源と、前記第２画素に電流を供給する第２負荷電流源とを有する撮像素子。 In the imaging device according to any one of claims 1 to 33 ,
The second semiconductor substrate is an imaging device having a first load current source that supplies current to the first pixels and a second load current source that supplies current to the second pixels . 請求項１から請求項３５のいずれか一項に記載の撮像素子において、
前記第２半導体基板は、前記第１画素から読み出された前記第１信号に含まれるノイズを除去する第１ノイズ除去部と、前記第２画素から読み出された前記第２信号に含まれるノイズを除去する第２ノイズ除去部とを有する撮像素子。 In the imaging device according to any one of claims 1 to 35 ,
The second semiconductor substrate includes a first noise removal section for removing noise included in the first signal read out from the first pixel, and the second noise removal section read out from the second pixel. and a second noise removal section that removes noise contained in the signal. 請求項１から請求項３６のいずれか一項に記載の撮像素子において、
前記第１変換部は、前記複数の画素のうち、前記第１画素の隣に並んで配置される第３画素から読み出された信号をデジタル信号に変換し、
前記第２変換部は、前記複数の画素のうち、前記第２画素の隣に並んで配置される第４画素から読み出された信号をデジタル信号に変換する撮像素子。 In the imaging device according to any one of claims 1 to 36 ,
The first conversion unit converts a signal read from a third pixel arranged next to the first pixel among the plurality of pixels into a digital signal,
The second conversion unit is an imaging device configured to convert a signal read from a fourth pixel arranged next to the second pixel among the plurality of pixels into a digital signal. 請求項３７に記載の撮像素子において、38. The imaging device according to claim 37,
前記第１画素と前記第３画素とは、行方向に並んで配置され、the first pixel and the third pixel are arranged side by side in a row direction,
前記第２画素と前記第４画素とは、前記行方向に並んで配置される撮像素子。The second pixel and the fourth pixel are image sensors arranged side by side in the row direction. 請求項３７に記載の撮像素子において、38. The imaging device according to claim 37,
前記第１画素と前記第３画素とは、列方向に並んで配置され、the first pixel and the third pixel are arranged side by side in a column direction,
前記第２画素と前記第４画素とは、前記列方向に並んで配置される撮像素子。The second pixel and the fourth pixel are arranged side by side in the column direction. 請求項１から請求項３９のいずれか一項に記載の撮像素子を備える撮像装置。 An imaging device comprising the imaging device according to any one of claims 1 to 39 .

Images