JP2018207544A - 撮像装置および撮像素子 - Google Patents

Abstract

【課題】画像のエリアごとに適正露出を得ること。【解決手段】撮像装置は、複数の光電変換部１０４が配列された撮像部１１３と、光電変換部１０４を複数含む複数のエリアブロックに撮像部１１３を区分けし、エリアブロック単位で光電変換部１０４の蓄積時間を制御し、かつ蓄積信号をエリアブロック単位で読み出し可能な制御部と、少なくとも第１エリアブロックおよび第２エリアブロックのそれぞれに配され、光電変換部１０４による電荷蓄積量を読み出し可能な第１モニタリングセンサおよび第２モニタリングセンサと、を備える。【選択図】図４

Description

本発明は、撮像装置および撮像素子に関する。

撮像素子に画像取得用の光電変換部および輝度評価用の光電変換部を備え、この輝度評価用光電変換部から繰り返し出力される信号の加算値が所定値に達すると、画像取得用の光電変換部から画像信号を出力させる撮像装置が知られている（特許文献１参照）。

特開２０１２−２０４９３８号公報

従来の技術では、画像を１または２以上の上記領域を有するブロックに分けて、該ブロックごとに撮像画像を取得する場合への適用が困難であった。

本発明による撮像装置は、複数の光電変換部が配列された撮像部と、光電変換部を複数含む複数のエリアブロックに撮像部を区分けし、エリアブロック単位で光電変換部の蓄積時間を制御し、かつ蓄積信号をエリアブロック単位で読み出し可能な制御部と、少なくとも第１エリアブロックおよび第２エリアブロックのそれぞれに配され、光電変換部による電荷蓄積量を読み出し可能な第１モニタリングセンサおよび第２モニタリングセンサと、を備える。
本発明による撮像素子は、撮像部に複数の光電変換部が配列された撮像素子に適用される。そして、光電変換部を複数含むように撮像部を区分けした複数のエリアブロック単位で光電変換部の蓄積時間が制御可能にされ、エリアブロック単位で光電変換部の蓄積信号が読み出し可能にされ、少なくとも第１エリアブロックおよび第２エリアブロックのそれぞれに第１モニタリングセンサおよび第２モニタリングセンサが配され、第１モニタリングセンサおよび第２モニタリングセンサから、第１エリアブロックの光電変換部で得られる電荷蓄積量、および第２エリアブロックの光電変換部で得られる電荷蓄積量がそれぞれ読み出し可能にされている。

本発明によれば、画像のエリアごとに適正露出が得られる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位ブロックを説明する図である。 撮像チップのブロックを説明する回路図である。 撮像素子の機能的構成を示すブロック図である。 １画素当たりの画素信号の流れを説明する図である。 撮像素子を有する撮像装置の構成を例示するブロック図である。 ブロックにおける複数の画素配置を説明する図である。 ブロックにおける画素位置と画素信号レベルとの関係を示す図である。 読み出しタイミング、蓄積時間、および演算回路を介して撮像素子から読み出される画素信号を説明する図である。 正規化処理を説明する図である。 制御部が実行する撮影動作の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。
＜積層型撮像素子の説明＞
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列と単位ブロック１３１を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する８画素×８画素の６４画素が１つのブロック１３１を形成する。図の格子線は、隣接する画素がグループ化されてブロック１３１を形成する概念を示す。ブロック１３１を形成する画素の数は、これに限られず、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。本実施形態において、複数のブロック１３１の間には回路や配線などはなく、複数のブロック同士が密に配置されており、これにより省スペース化を実現している。

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に１６個内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロック１３１につき緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの組を少なくとも１つ含むように複数のブロック１３１が定義され、各ブロック１３１はそれぞれ異なる制御パラメータで各ブロック１３１に含まれる画素を制御できる。つまり、あるブロック１３１に含まれる画素群と、別のブロック１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図３は、撮像チップ１１３のブロック１３１を説明する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。図３の例では、ブロック１３１を形成する６４画素のうち１６画素分例示している。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

各画素におけるＰＤ１０４は、それぞれ転送トランジスタ３０２に接続され、各転送トランジスタ３０２の各ゲートには、転送パルスが供給されるＴＸ配線３０７（転送部制御線）に接続される。本実施形態において、ＴＸ配線３０７は、６４個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されると共に、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが増幅トランジスタ３０４のゲートに接続される。リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続され、そのゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、６４個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。選択トランジスタ３０５の各ゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、６４個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時にＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加されると、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、ブロック１３１を形成する６４画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、６４画素全てに対して同時に印加される。したがって、ブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、ブロック１３１毎に別個に設けられる。

このようにブロック１３１を基準として回路を構成することにより、ブロック１３１ごとに電荷蓄積時間を制御することができる。換言すると、ブロック１３１間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方のブロック１３１に１回の電荷蓄積を行わせている間に、他方のブロック１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらのブロック１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック１３１を形成する６４個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡される。デマルチプレクサ４１３から出力された画素信号は、それぞれの画素に対応する加算器４１６へ入力される。加算器４１６は、それぞれの画素に対応させて、デマルチプレクサ４１３から出力された画素信号と画素メモリ４１４から読み出された画素信号とを加算し、加算後の画素信号を再び画素メモリ４１４へ出力する。

画素メモリ４１４は、加算器４１６からの画素信号を格納する。画素メモリ４１４のそれぞれは、加算後の画素信号を格納できる容量を有する。デマルチプレクサ４１３、加算器４１６および画素メモリ４１４は、メモリチップ１１２に形成される。

図５は、１画素当たりの画素信号の流れを説明する図である。図５において、デマルチプレクサ４１３から出力された画素信号Ｓが、加算器４１６のうち対応する加算器ｎへ入力される。このとき、画素メモリ４１４の対応するメモリｎに格納されている画素信号Ｐが、該メモリｎから読み出されて加算器ｎへ入力される。

加算器ｎは、入力された画素信号Ｓと画素信号Ｐとを加算し、加算後の画素信号Ｓ＋Ｐを画素メモリｎへ出力する。画素メモリｎは、入力された画素信号Ｓ＋Ｐを格納し、演算回路４１５へ読み出されるのを待つ。ここで、加算器ｎにより加算が行われる際に、画素メモリｎに格納されている画素信号Ｐを読み出さないように画素メモリ４１４を制御することにより、加算器ｎに入力された画素信号Ｓのみをそのまま加算器ｎから画素メモリｎへ出力させることができる。すなわち、加算器ｎで加算することなく、撮像チップ１１３からの画素信号Ｓをそのままメモリｎから演算回路４１５へ読み出させることもできる。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。

駆動制御部４１７は、撮像チップ１１３から信号処理チップ１１１およびメモリチップ１１２へ画素信号が送られるタイミングと、画素メモリ４１４における画素信号の読み出しおよび格納タイミングと、加算器４１６における画素信号の加算タイミングと、演算回路４１５に対する画素信号の受け渡しタイミングとを同期させるため、タイミング制御信号を生成する。

なお、図４では１つのブロック１３１についての接続を示すが、実際にはこれらがブロック１３１ごとに存在して、並列で動作する。ただし、演算回路４１５はブロック１３１ごとに存在しなくても良く、例えば、一つの演算回路４１５がそれぞれのブロック１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、ブロック１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像装置の説明＞
図６は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図６において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１が出力する制御信号によって駆動制御されることにより、上述したブロック１３１ごとの蓄積制御が可能である。駆動部２１に対する蓄積制御の指示は、制御部７０が行う。

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する他、撮像部２０で撮像された画像のバッファメモリとして使用される。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画、動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。

記録部６０は、メモリカードなどの記憶媒体に、撮像指示（後述するレリーズ操作）に応じて取得した画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。制御部７０は、撮像素子１００（撮像チップ１１３）の各ブロック１３１において所定のフレームレート（蓄積時間）、ゲインで画像を取得させ、かつ、取得した画像のデータの読み出し制御をするように、制御パラメータを駆動部２１へ指示する。

また、制御部７０は、画像データに基づいて、ホワイトバランス調整をＡＷＢ演算部７１により行わせる。さらに、制御部７０は、画素信号に基づいて再生表示用の画像を生成して表示部５０に表示させる。

＜モニタリングセンサ＞
本実施形態では、モニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての画素の蓄積時間を決定する。ここで、画素における電荷蓄積量を調べるセンサをモニタリングセンサと呼ぶ。図７は、各ブロック１３１における複数の画素配置を説明する図である。撮像装置１は、ブロック１３１において略中央に位置する１つの緑色画素Ｇｒ(３，４)を、そのブロック１３１を代表するモニタリングセンサとして機能させる。

制御部７０は、例えば静止画像を撮影する際に駆動部２１へ指示を送り、撮像素子１００（撮像チップ１１３）の各ブロック１３１から、あらかじめ定めた所定時間間隔で画素信号を読み出す。例えば、時刻ｔ１、ｔ２、ｔ３、…、ｔ７、ｔ８の複数回に分けて画素信号を読み出す。

制御部７０は、読み出した画素信号のうちモニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号レベルをチェックする。そして、読み出した画素信号の積算値があらかじめ定めた判定閾値を超えた時点（例えば時刻ｔ５）で、その時刻の１つ前の時刻（時刻ｔ４）までを、そのブロック１３１内の全画素の蓄積時間として決定する。この場合は、そのブロック１３１から時刻ｔ６以降の画素信号の読み出しを省略する。

図８は、ブロック１３１における全ての画素位置と、画素信号レベルとの関係を示す図である。制御部７０は、モニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号レベルが判定閾値を超えると、他の画素からの画素信号レベルが判定閾値より小さい場合でも、ブロック１３１内の全画素に対する蓄積を終了する。逆にいうと、モニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号レベルが判定閾値を超えない場合には、仮に他の画素からの画素信号レベルが判定閾値を超えている場合でも、ブロック１３１内の全画素に対する蓄積を継続する。

ただし、制御部７０は、時刻ｔ８において読み出したモニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号レベルが上記判定閾値を超えない場合でも、時刻ｔ８までの時間を蓄積時間の上限とする。

＜画素信号の読み出し例＞
画素信号の読み出しタイミングと、撮像チップ１１３における蓄積時間と、演算回路４１５を介して撮像素子１００から読み出される画素信号とを説明する図９を参照して、ブロック１３１からの画素信号の読み出しを説明する。

駆動部２１は、以下のように撮像素子１００を制御する。すなわち、蓄積開始時刻t０から時刻t１までを第１蓄積時間とし、時刻t０から時刻t２までを第２蓄積時間とする。駆動部２１は、時刻ｔ０において、ブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ１において、図５に例示した画素メモリｎに格納されている画素信号を読み出さないように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、第１蓄積時間（時刻t０から時刻t１）の間に蓄積された画素信号ａがデマルチプレクサ４１３から出力され、そのまま信号Ａとして演算回路４１５を介して出力される。この画素信号Ａ（＝ａ）は、画素メモリｎにも格納される。

駆動部２１はさらに、時刻ｔ１において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ２において、図５に例示した画素メモリｎに格納されている画素信号ａを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻t１から時刻t２までの間に蓄積された画素信号ｂがデマルチプレクサ４１３から出力され、この画素信号ｂと、画素メモリｎから読み出された画素信号ａとが加算器ｎで加算される。加算後の画素信号ａ＋ｂは、信号Ｂとして演算回路４１５を介して出力される。この画素信号Ｂは、画素メモリｎにも格納される。画素信号Ｂ（＝ａ＋ｂ）は、時刻t０から時刻t１までと、時刻t１から時刻t２までに蓄積された画素信号の和であるため、第２蓄積時間（時刻t０から時刻t２）の間に蓄積される画素信号に相当する。

同様に、駆動部２１は、時刻ｔ２において上記画素信号の読み出しを行うと、ただちにブロック１３１に含まれる画素に対して電荷蓄積を開始させる。そして、時刻ｔ３において、図５に例示した画素メモリｎに格納されている画素信号Ｂを読み出すように画素メモリ４１４を制御しながら、ブロック１３１から画素信号を出力させる。これにより、時刻t２から時刻t３までの間に蓄積された画素信号ｃがデマルチプレクサ４１３から出力され、この画素信号ｃと、画素メモリｎから読み出された画素信号Ｂとが加算器ｎで加算される。加算後の画素信号Ｂ＋ｃは、信号Ｃとして演算回路４１５を介して出力される。この画素信号Ｃは、画素メモリｎにも格納される。画素信号Ｃ（＝Ｂ＋ｃ）は、時刻t０から時刻t２までと、時刻t２から時刻t３までに蓄積された画素信号の和であるため、第３蓄積時間（時刻t０から時刻t３）の間に蓄積される画素信号に相当する。

以降同様に、時刻ｔ４から時刻ｔ８まで画素信号の読み出しを行うことにより、第４蓄積時間（時刻t０から時刻t４）と、第５蓄積時間（時刻t０から時刻t５）と、第６蓄積時間（時刻t０から時刻t６）と、第７蓄積時間（時刻t０から時刻t７）と、第８蓄積時間（時刻t０から時刻t８）と、の間に蓄積される画素信号が、それぞれ得られる。なお、上述したように第８蓄積時間（時刻t０から時刻t８）まで蓄積するのは、モニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号の積算値が、あらかじめ定めた判定閾値を超えない場合のみである。

＜正規化処理＞
以上説明したように、ブロック１３１ごとに蓄積時間を決定する場合、異なるブロック１３１の間で入射光量が異なると、ブロック１３１の間で蓄積時間が相違する場合が生じる。そのため、制御部７０は、ブロック１３１の間において蓄積時間に関して正規化処理を行って画像を生成する。

図１０は、正規化処理を説明する図である。例えば、蓄積時間が第８蓄積時間（時刻ｔ０から時刻ｔ８）のブロック１３１の画素信号値を基準にすると、蓄積時間が第２蓄積時間（時刻ｔ０から時刻ｔ２）のブロック１３１に対しては、画素信号値を４（＝８／２）倍に演算する。また、蓄積時間が第４蓄積時間（時刻ｔ０から時刻ｔ４）のブロック１３１に対しては、画素信号値を２（＝８／４）倍に演算する。さらに、蓄積時間が第５蓄積時間（時刻ｔ０から時刻ｔ５）のブロック１３１に対しては、画素信号値を８／５倍に演算する。他の蓄積時間についても同様である。

制御部７０は、上述したようにブロック１３１ごとに蓄積時間の差に応じて画素信号値を調節した上で、画素信号値を所定のビット長（例えば１４ビット）の空間へ正規化する。これにより、異なるブロック１３１間における蓄積時間の相違に起因する画素信号値の大小が補正された広ダイナミックレンジの画像が得られる。制御部７０は、このように正規化処理を行った後の画素信号に基づいて、ＡＷＢ演算部７１にホワイトバランス調整をさせる。

＜フローチャートの説明＞
図１１は、撮像装置１の制御部７０が実行する撮影動作の流れを説明するフローチャートである。制御部７０は、不図示のON-OFFスイッチが電源オン操作され、撮像装置１の各部に対して通電が行われている場合に、図１１による処理を繰り返し起動させる。制御部７０は、不図示のレリーズボタンが半押し操作された場合にも、図１１による処理を起動させる。半押し操作は、レリーズボタンが全押し操作時より浅く押し下げられた操作態様をいう。

図１１のステップＳ１０１において、制御部７０は、レリーズ操作（すなわちレリーズボタンの全押し操作）されたか否かを判定する。制御部７０は、レリーズボタンが全押し操作されたことを示す操作信号が入力されると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。一方、制御部７０は、上記全押し操作がなされない場合にはステップＳ１０１を否定判定し、当該判定処理を繰り返す。

ステップＳ１０２において、制御部７０は駆動部２１へ指示を送り、撮像素子１００の全ブロック１３１を対象に電荷蓄積を開始させてステップＳ１０３へ進む（上記時刻ｔ０に相当）。ステップＳ１０３において、撮像チップ１１３からブロック１３１単位で画素信号が読み出される。ステップＳ１０４において、加算器４１６が、各画素に対応させて、読み出された画素信号と画素メモリ４１４に格納されている画素信号とを加算する。加算後の画素信号は、再び画素メモリ４１４へ格納される。

ステップＳ１０５において、制御部７０は、モニタリングセンサからの画素信号に関し、加算後の積算値があらかじめ定めた判定閾値を超えたか否かをブロック１３１ごとに判定する。制御部７０は、判定閾値を超えたブロック１３１についてはステップＳ１０５を肯定判定してステップＳ１０６へ進む。制御部７０は、判定閾値を超えないブロック１３１についてはステップＳ１０５を否定判定してステップＳ１０３へ戻る。ステップＳ１０３へ戻る場合は、当該ブロック１３１について上述した処理を継続する。

ステップＳ１０６において、制御部７０は駆動部２１へ指示を送り、対応するブロック１３１を対象に電荷蓄積を終了させてステップＳ１０７へ進む。ステップＳ１０７において、制御部７０は、上述したようにブロック１３１の間で蓄積時間に関して正規化処理を行ってステップＳ１０８へ進む。

ステップＳ１０８において、制御部７０はＡＷＢ演算部７１へ指示を送り、ホワイトバランス処理を行わせてステップＳ１０９へ進む。ステップＳ１０９において、制御部７０は記録部６０へ指示を送り、画像データをメモリカードなどの記憶媒体に記録させて図１１による処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、複数のＰＤ１０４が配列された撮像チップ１１３と、ＰＤ１０４を複数含む複数のエリアブロック１３１に撮像チップ１１３を区分けし、エリアブロック１３１単位でＰＤ１０４の蓄積時間を制御し、かつ蓄積信号をエリアブロック１３１単位で読み出視可能な制御部７０と、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに配され、ＰＤ１０４による電荷蓄積量を読み出し可能な第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)と、を備えるようにした。これにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。

（２）複数のＰＤ１０４は、それぞれ緑色Ｇｒ（Ｇｂ）または緑色Ｇｒ（Ｇｂ）以外の他色（Ｂ、Ｒ）のカラーフィルタ１０２が配されており、第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)は、第１エリアブロック１３１および第２エリアブロック１３１の中で緑色Ｇｒ（Ｇｂ）のカラーフィルタ１０２が配されているＰＤ１０４によって構成される。一般に感度が高いとされる緑色のカラーフィルタ１０２が配されているＰＤ１０４をモニタリングセンサとして用いることで、電荷蓄積量を適切に求めることができる。

（３）第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)は、第１エリアブロック１３１および第２エリアブロック１３１の略中央に配されるようにしたので、そのブロック１３１に対する代表的な入射光に基づいて電荷蓄積量を求めることができる。

（４）制御部７０は、第１モニタリングセンサＧｒ(３，４)による電荷蓄積量が所定の蓄積量に達した場合に、対応する第１エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第１エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。

（５）制御部７０は、第２モニタリングセンサＧｒ(３，４)による電荷蓄積量が所定の蓄積量に達した場合に、対応する第２エリアブロック１３１に含まれるＰＤ１０４の電荷蓄積を終了させるので、第２エリアブロック１３１のＰＤ１０４に対する蓄積時間を適切に制御できる。

（６）制御部７０は、電荷蓄積を終了したＰＤ１０４からの蓄積信号をエリアブロック１３１単位で読み出すので、各ブロック１３１に対応する画像のエリアごとの画素信号を適切に読み出すことができる。

（７）制御部７０は、レリーズ操作に応じて第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)から電荷蓄積量の読み出しを開始するので、レリーズ操作以降（すなわち撮影指示以降）の電荷蓄積量を適切に検出できる。

（８）撮像チップ１１３に複数のＰＤ１０４が配列された撮像素子１００であって、ＰＤ１０４を複数含むように撮像チップ１１３を区分けした複数のエリアブロック１３１単位でＰＤ１０４の蓄積時間が制御可能にされ、エリアブロック１３１単位でＰＤ１０４の蓄積信号が読み出し可能にされ、少なくとも第１エリアブロック１３１および第２エリアブロック１３１のそれぞれに第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)が配され、第１モニタリングセンサＧｒ(３，４)および第２モニタリングセンサＧｒ(３，４)から、第１エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量、および第２エリアブロック１３１のＰＤ１０４で得られる電荷蓄積量がそれぞれ読み出し可能にされるようにした。このような撮像素子１００を用いることにより、各ブロック１３１に対応する画像のエリアごとに、適正露出を得ることができる。例えば、逆光における撮影でも、背景を飽和させることなく、主要被写体に対しても適正な露出が得られる。また、１回の撮影動作で適正露出が得られるので、撮影動作のやり直しが不要である。

（変形例１）
上述した実施形態に係る撮像装置１を、高機能携帯電話機、またはタブレット端末によって構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。

（変形例２）
上述した実施形態では、静止画撮影時のレリーズ操作後において記録用画像を撮像する際の蓄積時間をブロック１３１ごとに制御する例を説明した。ブロック１３１ごとの蓄積時間の制御は静止画撮影時に限ることなく、ライブビュー画像の撮影時や、動画撮影時においても制御するようにしてよい。例えば、動画像を撮像する場合の各フレームの画像を撮像する際に、各フレームにおける蓄積時間をブロック１３１ごとに制御する。

このような変形例２によれば、ライブビュー画像や動画像の撮影時においても、各フレームにおいて適切に蓄積時間を制御することができる。

（変形例３）
上述した説明では、蓄積時間を８段階に分けて行う例を説明したが、蓄積時間の分割は４段階でも１６段階でもよく、適宜変更して構わない。

（変形例４）
以上の説明では、緑色画素Ｇｒ(３，４)をブロック１３１のモニタリングセンサとして機能させる例を説明した。モニタリングセンサは、画素を構成するフォトダイオードＰＤと別に設けるようにしてもよい。

（変形例５）
以上の説明では、ブロック１３１のモニタリングセンサとして機能させる緑色画素Ｇｒ(３，４)と、同ブロック１３１内の他の画素との間で構成を共通にするようにした。この代わりに、モニタリングセンサとして機能させる緑色画素Ｇｒ(３，４)以外の画素については、時刻ｔ１〜時刻ｔ８までの蓄積時間を複数回に分けることなく蓄積を行い、モニタリングセンサ（緑色画素Ｇｒ(３，４)）からの画素信号レベルが判定閾値を超えるまで蓄積を継続させるようにしてもよい。この場合は、モニタリングセンサとして機能させる緑色画素Ｇｒ(３，４)以外の他の画素については、蓄積中の読み出しおよび加算処理が不要となる。

（変形例６）
モニタリングセンサとして機能させる画素として、ブロック１３１における略中央に位置する緑色画素Ｇｒ(３，４)を選ぶ例を説明したが、モニタリングセンサとして機能させる画素位置は、ブロック１３１における略中央に限らず、ブロック１３１内において適宜変更して構わない。

（変形例７）
上記実施形態では、各ブロック１３１においてそれぞれモニタリングセンサを配する例を説明したが、モニタリングセンサをもたないブロック１３１を設けてもよい。この場合、モニタリングセンサを持たないブロック１３１における画素の蓄積時間は、モニタリングセンサが配されている複数の近隣のブロック１３１における複数のモニタリングセンサによる電荷蓄積量に基づいて決定する。近接する１つのブロック１３１におけるモニタリングセンサによる電荷蓄積量に基づいて決定してもよいし、近接する複数のブロック１３１（例えば、該当のブロックの周囲にある８つもしくは４つのブロック）における複数のモニタリングセンサによる電荷蓄積量に基づいて決定してもよい。

（変形例８）
上述した説明では、緑色画素Ｇｒをモニタリングセンサとして機能させ、青色や赤色などの他の色を代表させる例を説明した（緑色画素はＧｒでもＧｂでも構わない）。この代わりに、モニタリングセンサとして機能させる画素を、異なる色にそれぞれ設けるようにしてもよい。すなわち、緑色画素Ｇｒと、青色画素Ｂと、赤色画素Ｒとに対し、それぞれモニタリングセンサとして機能させる。

変形例８の場合、緑色画素Ｇｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（緑色）画素ＧｒおよびＧｂについて蓄積時間を決定する。また、青色画素Ｂからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（青色）画素Ｂについて蓄積時間を決定する。さらに、赤色画素Ｒからなるモニタリングセンサによる電荷蓄積量に基づいて、そのブロック１３１に含まれる全ての同色（赤色）画素Ｒについて蓄積時間を決定する。

変形例８の場合の正規化処理は、緑色画素ＧｒおよびＧｂと、青色画素Ｂと、赤色画素Ｒとに分けて、それぞれ行う。そして、色別に正規化処理を行った後から、各色間についての画素信号値の調整をホワイトバランス処理として行う。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
５１…液晶表示パネル
５２…タッチパネル
６０…記録部
７０…制御部
７１…ＡＷＢ演算部
１００…撮像素子
１０４…ＰＤ
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…ブロック
４１３…デマルチプレクサ
４１４…画素メモリ
４１５…演算回路
４１６…加算器
４１７…駆動制御部

Claims (11)

1. 複数の光電変換部が配列された撮像部と、
   前記光電変換部を複数含む複数のエリアブロックに前記撮像部を区分けし、前記エリアブロック単位で前記光電変換部の蓄積時間を制御し、かつ蓄積信号を前記エリアブロック単位で読み出し可能な制御部と、
   少なくとも第１エリアブロックおよび第２エリアブロックのそれぞれに配され、前記光電変換部による電荷蓄積量を読み出し可能な第１モニタリングセンサおよび第２モニタリングセンサと、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第１モニタリングセンサおよび前記第２モニタリングセンサは、前記第１エリアブロックおよび前記第２エリアブロックの中で緑色のカラーフィルタが配されている前記光電変換部によって構成されることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記第１モニタリングセンサおよび前記第２モニタリングセンサは、前記第１エリアブロックおよび前記第２エリアブロックの略中央に配されていることを特徴とする撮像装置。
4. 請求項１〜３のいずれか一項に記載の撮像装置において、
   前記制御部は、前記第１モニタリングセンサによる前記電荷蓄積量が所定の蓄積量に達した場合に、対応する前記第１エリアブロックに含まれる前記光電変換部の電荷蓄積を終了させることを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記制御部は、前記第２モニタリングセンサによる前記電荷蓄積量が所定の蓄積量に達した場合に、対応する前記第２エリアブロックに含まれる前記光電変換部の電荷蓄積を終了させることを特徴とする撮像装置。
6. 請求項４または５に記載の撮像装置において、
   前記制御部は、前記電荷蓄積を終了した前記光電変換部からの蓄積信号を前記エリアブロック単位で読み出すことを特徴とする撮像装置。
7. 請求項４に記載の撮像装置において、
   前記制御部は、レリーズ操作に応じて前記第１モニタリングセンサおよび前記第２モニタリングセンサから前記電荷蓄積量の読み出しを開始することを特徴とする撮像装置。
8. 請求項５に記載の撮像装置において、
   前記制御部は、前記第１モニタリングセンサおよび前記第２モニタリングセンサを有しない第３エリアブロックについて、前記第１モニタリングセンサおよび前記第２モニタリングセンサの少なくとも一方による電荷蓄積量に基づいて、前記第３エリアブロックに含まれる前記光電変換部の電荷蓄積を終了させることを特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   前記第１モニタリングセンサおよび前記第２モニタリングセンサは、前記第１エリアブロックおよび前記第２エリアブロックの中で異なる色のカラーフィルタが配されている複数の前記光電変換部によって構成されることを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記制御部は、前記第１モニタリングセンサによる前記電荷蓄積量が所定の蓄積量に達した場合に、前記第１エリアブロックに含まれる前記光電変換部のうち前記第１モニタリングセンサのカラーフィルタと同色のカラーフィルタが配された前記光電変換部の電荷蓄積を終了させることを特徴とする撮像装置。
11. 撮像部に複数の光電変換部が配列された撮像素子であって、
    前記光電変換部を複数含むように前記撮像部を区分けした複数のエリアブロック単位で前記光電変換部の蓄積時間が制御可能にされ、
    前記エリアブロック単位で前記光電変換部の蓄積信号が読み出し可能にされ、
    少なくとも第１エリアブロックおよび第２エリアブロックのそれぞれに第１モニタリングセンサおよび第２モニタリングセンサが配され、
    前記第１モニタリングセンサおよび第２モニタリングセンサから、前記第１エリアブロックの前記光電変換部で得られる電荷蓄積量、および前記第２エリアブロックの前記光電変換部で得られる電荷蓄積量がそれぞれ読み出し可能にされている
    ことを特徴とする撮像素子。

Images