JP2015111761A - 電子機器 - Google Patents

Abstract

【課題】使い勝手のよい電子機器を提供すること。
【解決手段】電子機器１は、２次元に離散的に配置された複数のブロックを有する第１領域と、第１領域とは異なり、２次元に離散的に配置された複数のブロックを有する第２領域と、を有した撮像素子１００と、第１、第２領域のフレームレートの１つのフレーム時間に対して、第１領域を前記フレーム時間よりも長い第１蓄積時間により蓄積し、第２領域を前記フレーム時間よりも長い第２蓄積時間により蓄積する蓄積制御部７０と、を備える。
【選択図】図５

Description

本発明は、電子機器に関する。

画素信号を行単位で複数のグループに分割し、グループごとにローリングシャッター制御を行う撮像装置が知られている（特許文献１参照）。

特開２０１１−２４４２５３号公報

従来技術では、例えば同一行に含まれる画素信号を複数のグループに分割することが困難であり、使い勝手がよくなかった。

本発明による電子機器は、２次元に離散的に配置された複数のブロックを有する第１領域と、第１領域とは異なり、２次元に離散的に配置された複数のブロックを有する第２領域と、を有した撮像素子と、第１、第２領域のフレームレートの１つのフレーム時間に対して、第１領域を前記フレーム時間よりも長い第１蓄積時間により蓄積し、第２領域を前記フレーム時間よりも長い第２蓄積時間により蓄積する蓄積制御部と、を備えることを特徴とする。

本発明によれば、使い勝手のよい電子機器が得られる。

積層型撮像素子の断面図である。 撮像チップの画素配列とブロックを説明する図である。 撮像チップのユニットに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 撮像装置の構成を例示するブロック図である。 撮像チップにおけるグループの配置を説明する図である。 ４枚の画像を例示する図である。 動画像の撮影時において取得するフレームの順番と、動画像の８倍スロー再生時において表示するフレームの順番を例示する図である。 動画像の撮影時において取得するフレームの順番と、他の８倍スロー再生時において表示するフレームの順番を例示する図である。 動画像の撮影時において取得するフレームの順番と、動画像の２倍スロー再生時において表示するフレームの順番を例示する図である。 動画像の撮影時において取得するフレームの順番と、動画像の通常再生時において表示するフレームの順番を例示する図である。 動画像の撮影時において取得するフレームの順番と、他の２倍スロー再生時において表示するフレームの順番を例示する図である。 撮像装置の制御部が実行する撮影動作の流れを説明するフローチャートである。 変形例１の撮像チップにおけるグループの配置を説明する図である。 変形例２の撮像チップにおけるグループの配置を説明する図である。 変形例３の撮像チップのユニットに対応する回路図である。 変形例３の撮像素子の機能的構成を示すブロック図である。

以下、図面を参照して本発明を実施するための形態について説明する。
＜積層型撮像素子の説明＞
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１）に搭載する積層型撮像素子１００について説明する。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。図１は、積層型撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する
複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。

図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。画素領域には、例えば８００万個以上の画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する２画素×２画素の４画素で１つのブロック１３１を形成する。そして、隣接する２ブロック×２ブロックの４ブロックで１つのユニットＵを形成する。図の格子線は、隣接する画素をまとめてブロック１３１およびユニットＵを形成する概念を示す。ブロック１３１を形成する画素の数や、ユニットＵを形成するブロック１３１の数は、上記例に限らず、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、ブロック１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロック１３１につきＧｂ、Ｇｒ、ＢおよびＲの４画素を少なくとも１つ含むように複数のブロック１３１が定義される。各ブロック１３１はそれぞれ、ブロック１３１内の４画素をブロック１３１ごとに定めた制御パラメータで制御できる。つまり、あるブロック１３１に含まれる画素群と、別のブロック１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

図３は、撮像チップ１１３における１つのユニットＵに対応する回路図である。図３において、代表的に点線で囲む矩形が、１つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック１３１に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、ユニットＵは４つのブロック１３１から形成される。ユニットＵに含まれる画素のリセットトランジスタ３０３は、ブロック１３１単位でオン／オフされる。また、ユニットＵに含まれる画素の転送トランジスタ３０２も、ブロック１３１単位でオン／オフされる。図３に示す例において、左上ブロック１３１−１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００−１が設けられており、同ブロック１３１−１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７−１も設けられる。

同様に、左下ブロック１３１−３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００−３が、上記リセット配線３００−１とは別個に設けられる。また、同ブロック１３１−３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７−３が、上記ＴＸ配線３０７−１と別個に設けられる。

右上ブロック１３１−２や右下ブロック１３１−４についても同様に、それぞれリセット配線３００−２とＴＸ配線３０７−２、およびリセット配線３００−４とＴＸ配線３０７−４が、それぞれのブロック１３１に設けられている。

各画素に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記ブロック１３１ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。

各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記ブロック１３１ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック１３１ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記ブロック１３１ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記ブロック１３１ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

上述したように、本実施形態においては、ブロック１３１を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック１３１内の４画素に対して同時に印加される。したがって、あるブロック１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。

このように、本実施形態ではブロック１３１ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック１３１間では、異なったタイミングで撮像することができる。

図４は、撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、ユニットＵを形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ユニットＵに対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。

演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つのユニットＵの分の接続を示すが、実際にはこれらがユニットＵごとに存在して、並列で動作する。ただし、演算回路４１５はユニットＵごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれのユニットＵに対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記の通り、ユニットＵのそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

＜撮像装置の説明＞
図５は、上述した撮像素子１００を有する撮像装置１の構成を例示するブロック図である。図５において、撮像装置１は、撮像光学系１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、記録部６０、および制御部７０を有する。

撮像光学系１０は、複数のレンズから構成され、被写界からの光束を撮像部２０へ導く。撮像光学系１０は、撮像装置１と一体に構成されていても、撮像装置１に対して交換可能に構成されていてもよい。また、撮像光学系１０には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。

撮像部２０は、上述した撮像素子１００と、撮像素子１００を駆動する駆動部２１とを有する。撮像素子１００は、駆動部２１が出力する制御信号によって駆動制御されることにより、上述したブロック１３１ごとの撮像タイミング制御が可能である。駆動部２１に対する撮像制御の指示は、制御部７０が行う。

画像処理部３０は、ワークメモリ４０と協働して、撮像部２０で撮像された画像データに対する画像処理を行う。本実施形態において、ワークメモリ４０は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する他、撮像部２０で撮像された画像のバッファメモリとして使用される。表示部５０は、例えば液晶表示パネル５１によって構成され、撮像部２０で撮像された画像（静止画、動画）や各種情報を表示したり、操作入力用画面を表示したりする。表示部５０は、液晶表示パネル５１の表示面にタッチパネル５２が積層された構成を有する。タッチパネル５２は、液晶表示パネル５１にユーザが触れた位置を示す信号を出力する。

記録部６０は、メモリカードなどの記憶媒体に、撮像指示（例えばタッチパネル５２の操作）に応じて取得した画像データなどの各種データを記憶させる。制御部７０はＣＰＵを有し、撮像装置１による全体の動作を制御する。制御部７０は、撮像素子１００（撮像チップ１１３）の各ブロック１３１において所定のフレームレート、ゲインで画像を取得させ、かつ、取得した画像のデータの読み出し制御をするように、制御パラメータを駆動部２１へ指示する。また、制御部７０は、撮像素子１００から読み出した画素信号に基づいて、画像を表示部５０に表示させるための再生処理を再生処理部７１に行わせる。

＜動画撮影＞
撮像装置１で行う動画撮影について説明する。動画像の撮影を指示するタッチ操作が行われると、制御部７０は、例えば２４０ｆｐｓのフレームレートで画像を取得するように、撮像素子１００（撮像チップ１１３）の蓄積制御を行う。図８は、動画像の撮影時において取得するフレームの順番と、動画像の再生時において表示するフレームの順番を例示する図である。動画撮影時は、後述するグループ１、グループ２、グループ３、グループ４の順に所定時間（本例では１／２４０秒）ずつタイミングをずらして、上記４つのグループ別にそれぞれ１／６０秒ごとに撮像を繰り返す。

撮像チップ１１３に対する蓄積制御は、１つのユニットＵをブロック１３１単位で４つのグループ（グループ１〜グループ４）に分け、各ユニットＵ間でグループごとの蓄積制御を協調して行わせる。図６は、撮像チップ１１３におけるグループ１〜グループ４の配置を説明する図である。

水平方向に約４０００画素×垂直方向に約２０００画素の約８００万画素を有する場合のユニットＵの数は、水平方向に約１０００個×垂直方向に約５００個で総計約５０万ユニットである。１ユニットＵ内の４つのブロック１３１の電荷蓄積の開始タイミングを上記１／２４０秒ずつずらして４段階に分けて撮像させることにより、１ユニットＵ当たり取得タイミングが異なる４組の画素信号が得られる。図６において、取得タイミングが早いブロック１３１から順に、符号１、２、３、４で表すことにする。図６によれば、ユニットＵに含まれる４つのブロック１３１について、ユニットＵ内での画像取得の順番（符号１、２、３、４）が全てのユニットＵの間で同じである。

本実施形態では、符号１で表されるブロック１３１を撮像チップ１１３の全ユニットＵから集めてグループ１を構成する。また、符号２で表されるブロック１３１を撮像チップ１１３の全ユニットＵから集めてグループ２を構成する。さらに、符号３で表されるブロック１３１を撮像チップ１１３の全ユニットＵから集めてグループ３を構成する。同様に、符号４で表されるブロック１３１を撮像チップ１１３の全ユニットＵから集めてグループ４を構成する。

上記グループごとの蓄積制御を撮像チップ１１３の全てのユニットＵの間で協調して行うことにより、グループ１を構成する全てのブロック１３１の撮像タイミング（電荷蓄積タイミング）は、異なるユニットＵに含まれていても同一に制御される。同様に、グループ２、グループ３、およびグループ４を構成する全てのブロック１３１の撮像タイミング（電荷蓄積タイミング）も、それぞれのグループにおいて同一に制御される。

＜動画再生表示＞
制御部７０は、撮像素子１００から読み出した画素信号に基づいて、動画像を表示部５０に表示させる。動画像の再生表示は、撮像時のフレームレートと同じフレームレートで再生表示する通常再生と、撮像時のフレームレートより遅いフレームレートで再生表示するスロー再生とが選択可能に構成される。制御部７０は、タッチパネル５２を介して行われた操作に応じて、再生処理部７１へ通常再生表示またはスロー再生表示を指示する。

＜８倍スロー再生＞
８倍スロー再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば２４０ｆｐｓ）の１／８のフレームレート（３０ｆｐｓ）でスロー再生処理を行う。再生処理部７１は、図７に示すように、グループ１（すなわち図６において符号１で示されたブロック１３１）に属する画素信号を抽出して１枚の画像８１を得る。また、再生処理部７１は、グループ２（すなわち図６において符号２で示されたブロック１３１）に属する画素信号を抽出して１枚の画像８２を得る。再生処理部７１はさらに、グループ３（すなわち図６において符号３で示されたブロック１３１）に属する画素信号を抽出して１枚の画像８３を得る。さらにまた、再生処理部７１は、グループ４（すなわち図６において符号４で示されたブロック１３１）に属する画素信号を抽出して１枚の画像８４を得る。図７は、このように抽出された４枚の画像８１〜８４を例示する図である。画像８１〜８４の各縦横比は、撮像素子１００（撮像チップ１１３）の撮像領域全体で撮像される画像の縦横比と略等しい。

４枚の画像８１〜８４の画素サイズは、それぞれ水平方向に約２０００個×垂直方向に約１０００個を有する総計約２００万個である（いわゆるフルＨＤ相当）。再生処理部７１は、図８に例示するように、取得タイミングが早いグループ１の画像から順に、グループ２の画像、グループ３の画像、グループ４の画像、次のグループ１の画像、次のグループ２の画像、…を３０ｆｐｓで再生表示する。

＜８倍スロー再生（その２）＞
蓄積時間がフレームレートより長い場合において８倍スロー再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば２４０ｆｐｓ）の１／８のフレームレート（３０ｆｐｓ）でスロー再生処理を行う。本例の場合、１フレーム当たりの蓄積時間が１／６０秒であり、撮影時のフレームレートより長い。

再生処理部７１は、図７に例示したように、グループ１〜グループ４に対応する４枚の画像８１〜８４を得る。そして、再生処理部７１は、図９に例示するように取得タイミングが早いグループ１の画像から順に、グループ２の画像、グループ３の画像、グループ４の画像、次のグループ１の画像、次のグループ２の画像、…を３０ｆｐｓで再生表示する。

蓄積時間がフレームレートより長いため、動きの速い被写体を撮影する場合は各フレームにおいて被写体像がブレる可能性があるものの、スロー再生を行うことによって自然な表示が可能となる。

＜２倍スロー再生＞
２倍スロー再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば６０ｆｐｓ）の１／２のフレームレート（３０ｆｐｓ）でスロー再生処理を行う。再生処理部７１は、８倍スロー再生の場合と同様に、グループ１〜グループ４に対応する４枚の画像８１〜８４を得る（図７）。

再生処理部７１は、グループ１〜グループ４に対応し、取得タイミングが連続する４枚の画像８１〜８４を画素加算して１枚の画像を得る。画素加算は、対応するユニットＵにおいて同色の対応する画素信号同士を加算する。４枚の画像８１〜８４の画素サイズは、それぞれ水平方向に約２０００個×垂直方向に約１０００個を有する総計約２００万個（いわゆるフルＨＤ相当）であるので、これらを加算した後の画像の画素サイズも、水平方向に約２０００個×垂直方向に約１０００個を有する総計約２００万個（いわゆるフルＨＤ相当）である。

図１０に示すように、１／２４０秒ずつ撮像タイミングが異なる４枚の画像８１〜８４を画素加算するので、加算後の画像のフレームレートは６０ｆｐｓ相当となる。ここで、グループ１〜グループ４の画像８１〜８４を構成するブロック１３１は、それぞれユニットＵ内における相対位置が異なるので、グループ１〜グループ４の画像はそれぞれ空間的な不感帯を有する可能性がある。しかしながら、上記画素加算によって空間的な不感帯をなくすことができる。

再生処理部７１は、図１０に例示するように、グループ１〜グループ４に対応する４枚の画像８１〜８４を加算するごとに（６０ｆｐｓ）、加算後の画像を３０ｆｐｓで再生表示する。なお、上記８倍スロー再生（その２）のように、１フレーム当たりの蓄積時間を撮影時のフレームレートより長くしてもよい。

＜通常再生＞
通常再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば３０ｆｐｓ）と同じフレームレート（３０ｆｐｓ）で再生処理を行う。再生処理部７１は、８倍スロー再生の場合と同様に、グループ１〜グループ４に対応する４枚の画像８１〜８４を得る（図７）。

再生処理部７１は、グループ１〜グループ４に対応する４枚の画像８１〜８４を１サイクル分として、連続する２サイクル分にわたる８枚の画像を画素加算して１枚の画像を得る。画素加算は、対応するユニットＵにおいて同色の対応する画素信号同士を加算する。２サイクル分の８枚の画像の画素サイズは、それぞれ水平方向に約２０００個×垂直方向に約１０００個を有する総計約２００万個であるので（いわゆるフルＨＤ相当）、これらを加算した後の画像の画素サイズも、水平方向に約２０００個×垂直方向に約１０００個を有する総計約２００万個（いわゆるフルＨＤ相当）である。

図１１に示すように、１／２４０秒ずつ撮像タイミングが異なる８枚の画像を画素加算するので、加算後の画像のフレームレートは３０ｆｐｓ相当となる。グループ１〜グループ４の画像８１〜８４を構成するブロック１３１は、それぞれユニットＵ内における相対位置が異なるので、グループ１〜グループ４の画像はそれぞれ空間的な不感帯を有する可能性があるところ、上記画素加算によって空間的な不感帯をなくすことができる。

再生処理部７１は、図１１に例示するように、グループ１〜グループ４に対応する４枚の画像８１〜８４を２サイクル分加算するごとに（３０ｆｐｓ）、加算後の画像を３０ｆｐｓで再生表示する。なお、上記のように１フレーム当たりの蓄積時間を撮影時のフレームレートより長くしてもよい。

＜２倍スロー再生（その２）＞
他の２倍スロー再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば、６０ｆｐｓ）の１／２のフレームレート（３０ｆｐｓ）でスロー再生処理を行う。再生処理部７１は、例えばグループ１に対応する画像８１のみを得る。

再生処理部７１は、図１２に例示するように、グループ１〜グループ４に対応する４枚の画像８１〜８４を取得するごとに（６０ｆｐｓ）、上記グループ１の画像を３０ｆｐｓで再生表示する。ここで、２倍スロー再生（その２）に用いる画像は、グループ１に対応する画像８１に限らなくてもよい。例えば、グループ２に対応する画像８２のみを用いたり、グループ４に対応する画像８４のみを用いたりすることができる。なお、上記のように１フレーム当たりの蓄積時間を撮影時のフレームレートより長くしてもよい。

＜４倍スロー再生＞
４倍スロー再生を指示された再生処理部７１は、撮像素子１００から読み出した画素信号に基づいて、撮影時のフレームレート（例えば６０ｆｐｓ）の１／４のフレームレート（１５ｆｐｓ相当）でスロー再生処理を行う。再生処理部７１は、例えばグループ１およびグループ３に対応する画像８１および画像８３を得る。

再生処理部７１は、グループ１〜グループ４に対応する４枚の画像８１〜８４を取得するごとに（６０ｆｐｓ）、上記グループ１の画像と、上記グループ３の画像とをそれぞれ１／３０秒ずつ再生表示する。ここで、４倍スロー再生に用いる画像は、グループ１およびグループ３に対応する画像８１、画像８３に限らなくてもよく、グループ２およびグループ４に対応する画像８２、画像８４を用いることもできる。なお、上記のように１フレーム当たりの蓄積時間を撮影時のフレームレートより長くしてもよい。

＜フローチャートの説明＞
図１３は、撮像装置１の制御部７０が動画モード時に実行する撮影動作の流れを説明するフローチャートである。制御部７０は、撮像装置１が動画モードに設定されている場合に、図１３による処理を繰り返し行う。図１３のステップＳ１０１において、制御部７０は、撮像部２０による撮像を開始させる。ステップＳ１０１で開始する画像の取得は、図８に例示したように、グループ１からグループ４について、電荷蓄積の開始タイミングを１／２４０秒ずつずらして４段階に分けて撮像させる。

ステップＳ１０２において、制御部７０は、撮像部２０により取得された画像データに基づいて、モニタ用画像を表示部５０に表示させる。制御部７０は、例えば図９に例示したように通常再生を行わせる。具体的には、グループ１〜グループ４に対応する４枚の画像８１〜８４を２サイクル分加算するごとに（３０ｆｐｓ）、加算後の画像を３０ｆｐｓで再生表示する。

ステップＳ１０３において、制御部７０は、設定されている撮像条件（シャッター速度等）、および表示条件（通常再生またはスロー再生）に基づいて、撮像部２０に対する制御と、表示部５０に対する表示制御とを行う。

ステップＳ１０４において、制御部７０は、変更操作がなされたか否かを判定する。制御部７０は、タッチパネル５２を介して操作が行われるとステップＳ１０４を肯定判定してステップＳ１０３へ戻る。この場合の制御部７０は、行われた操作に応じて撮像部２０へ撮像条件の変更を指示したり、再生処理部７１へ再生速度の変更を指示したりする。制御部７０は、タッチパネル５２を介して操作が行われない場合には、ステップＳ１０４を否定判定してステップＳ１０５へ進む。

ステップＳ１０５において、制御部７０は、録画開始操作がなされたか否かを判定する。制御部７０は、タッチパネル５２を介して操作が行われるとステップＳ１０５を肯定判定し、録画処理を開始してステップＳ１０６へ進む。録画処理は、例えば上記グループ１からグループ４についての全ての取得画像のデータを記録部６０によってメモリカードなどに記憶させる。制御部７０は、録画開始操作が行われない場合には、ステップＳ１０５を否定判定してステップＳ１０３へ戻る。

ステップＳ１０６において、制御部７０は、録画終了操作がなされたか否かを判定する。制御部７０は、タッチパネル５２を介して操作が行われるとステップＳ１０６を肯定判定し、録画処理を終了して図１３による処理を終了する。制御部７０は、録画終了操作が行われない場合には、ステップＳ１０６を否定判定して終了操作が行われるのを待つ。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１は、２次元に離散的に配置された複数のブロック１３１を有する第１領域（符号１）と、第１領域（符号１）とは異なり、２次元に離散的に配置された複数のブロック１３１を有する第２領域（例えば符号２）と、を有した撮像素子１００と、第１、第２領域のフレームレートの１つのフレーム時間（１／２４０秒）に対して、第１領域をフレーム時間（１／２４０秒）よりも長い第１蓄積時間（１／６０秒）により蓄積し、第２領域をフレーム時間（１／２４０秒）よりも長い第２蓄積時間（１／６０秒）により蓄積する制御部７０と、を備える。これにより、例えば同じ被写体に対して蓄積タイミングが異なる複数の画像が得られ、使い勝手がよくなる。とくに、暗い被写体の場合には好適である。

（２）制御部７０は、第１蓄積時間と第２蓄積時間とを略同じにするので、蓄積時間が共通する複数の画像が得られる。

（３）制御部７０は、第１領域（符号１）のすべてのブロック１３１の蓄積を略同時に開始し、第２領域（例えば符号２）のすべてのブロックの蓄積を略同時に開始するので、各領域においてブロック１３１の蓄積開始タイミングを揃えることができる。

（４）撮像素子１００の蓄積電荷を読み出す制御部７０を有し、制御部７０は、第１領域（符号１）で撮像される画像の縦横比を、撮像素子１００の全体の領域により撮像される画像の縦横比と略同じにするので、画像間の縦横比を揃えることができる。

（５）撮像素子１００の蓄積電荷を読み出す制御部７０を有し、制御部７０は、第１領域（符号１）の複数のブロック１３１と第２領域（例えば符号２）の複数のブロック１３１とを規則性に基づいて配置するので、不規則に配置する場合に比べて撮像素子１００の製造を容易にすることができる。

（６）制御部７０による第１、第２領域の蓄積の制御により撮像された撮像データを処理する制御部７０（再生処理部７１）を備えるようにしたので、離散的に配置されたブロック１３１による撮像データを適切に処理できる。

（７）制御部７０（再生処理部７１）は、撮像データの再生表示時のフレームレートを、撮像データの撮影時のフレームレートよりも遅くするようにしたので、動画像を適切にスロー再生表示できる。

（８）制御部７０（再生処理部７１）は、第１領域（符号１）で撮像された撮像データと第２領域（例えば符号２）で撮像された撮像データとを各ブロック１３１の位置に対応させて加算して加算撮像データを生成し、加算撮像データの再生表示時のフレームレートを、撮像データの撮影時のフレームレートよりも遅くするようにしたので、動画像を適切にスロー再生表示できる。また、仮に、第１領域（符号１）で撮像された撮像データまたは第２領域（符号２）で撮像された撮像データに空間的な不感帯が含まれるとしても、これらを加算した加算撮像データにおいて空間的な不感帯をなくす効果も期待できる。

（９）制御部７０（再生処理部７１）は、第１領域（符号１）の撮影が前後する複数の撮像データと、第２領域（例えば符号２）の撮影が前後する複数の撮像データとを各ブロック１３１の位置に対応させて順次加算して加算撮像データを生成し、加算撮像データを順次再生表示するようにしたので、動画像を適切に通常再生表示できる。また、仮に、第１領域（符号１）で撮像された撮像データまたは第２領域（符号２）で撮像された撮像データに空間的な不感帯が含まれるとしても、これらを加算した加算撮像データにおいて空間的な不感帯をなくす効果も期待できる。

（１０）制御部７０（再生処理部７１）は、第１領域（符号１）で撮像された撮像データまたは第２領域（例えば符号２）で撮像された撮像データのいずれかの画像を順次再生表示させ、かつ順次再生表示するフレームレートを撮像データの撮影時のフレームレートよりも遅くするようにしたので、動画像を適切にスロー再生表示できる。

（１１）制御部７０（再生処理部７１）は、蓄積時間より長い時間に対応するフレームレートで、第１領域（符号１）の撮像データおよび第２領域（例えば符号２）の撮像データを順次再生表示するための処理を行うので、動画像を適切にスロー再生表示できる。

（１２）撮像素子１００は、第１領域（符号１）と第２領域（符号２）との他に第１領域と第２領域とに含まれるブロック１３１とは異なる複数のブロック１３１が２次元に離散的に配置された少なくとも1つの他の領域（例えば符号３）をさらに有し、制御部７０は、各領域のフレームレートの１つのフレーム時間（１／２４０秒）に対して、各領域をフレーム時間（１／２４０秒）よりも長い蓄積時間（１／６０秒）によりそれぞれ蓄積する。これにより、例えば同じ被写体に対して蓄積タイミングが異なる少なくとも３枚の画像が得られ、使い勝手がよくなる。とくに、暗い被写体の場合には好適である。

（１３）撮像素子１００の蓄積電荷を読み出す制御部７０を有し、制御部７０は、各領域の複数のブロック１３１を規則性に基づいて配置するので、不規則に配置する場合に比べて撮像素子１００の製造を容易にすることができる。

（１４）撮像素子１００は、裏面照射型撮像チップと信号処理チップとが積層された構造を採用するので、各チップを面方向に大きくすることなく配線することができる。

（変形例１）
上述した実施形態では、ユニットＵに含まれる４つのブロック１３１について、ユニットＵ内での画像取得の順番（符号１、２、３、４）を全てのユニットＵの間で同じにする例を説明した。この代わりに、ユニットＵに含まれる４つのブロック１３１について、ユニットＵ内での画像取得の順番を、他のユニットＵとの間でランダムに異なるようにしてもよい。

図１４は、変形例１の撮像チップにおけるグループ１〜グループ４の配置を説明する図である。図１４において、１つのユニットＵにおける符号１、２、３、４の相対位置は、各ユニットＵにおいてランダムに異ならせている。すなわち、あるユニットＵ内の４つのブロック１３１の画像取得の順番（符号１、２、３、４）は、隣接するユニットＵとの間で異なる。ユニットＵ内における画像取得の順番の規則性を排することで、例えば規則的な繰り返し模様を有する被写体を撮像する場合に発生しがちなモアレの低減に役立つ。

（変形例２）
ユニットＵに含まれる４つのブロック１３１について、ユニットＵ内における画像取得の順番（符号１、２、３、４）を、他のユニットＵとの間で所定の規則性をもたせるようにしてもよい。図１５は、変形例２の撮像チップにおけるグループ１〜グループ４の配置を説明する図である。図１５において、隣接するユニットＵの間で、ユニットＵ内における画像取得の順番（符号１、２、３、４）が同じブロック１３１同士が隣接するように、ユニットＵ内における画像取得の順番（符号１、２、３、４）に規則性をもたせる。

図１５によれば、あるユニットＵ内の符号１、２、３、４が、隣接するユニットＵ間においてそれぞれ隣接する結果、同符号のブロック１３１が４つ寄せ集まる。図１５において斜線で示す領域は、同符号のブロック１３１が４つ集まっている領域を例示したものである。このように、撮像タイミングが同じブロック１３１を寄せて配置することで、撮像タイミングが異なるブロック１３１が寄せ集まる場合に比べて、撮像素子１００の製造を容易にすることができる。

（変形例３）
上述した実施形態では、ユニットＵに含まれる４つのブロック１３１に設けられた計１６個の選択トランジスタ３０５のソースを共通の出力配線３０９に接続する例を説明した。これに代えて、ブロック１３１ごとに設けられた４個の選択トランジスタ３０５のソースをブロック１３１ごとに設けた出力配線にそれぞれ接続する構成にしてもよい。

図１６は、変形例３の撮像チップ１１３における１つのユニットＵに対応する回路図である。図３の場合と比較すると、図１６においてはブロック単位で出力配線３０９−１〜３０９−４が設けられる点において相違する。すなわち、左上ブロック１３１−１に対応する４つの選択トランジスタ３０５のソースは、左上ブロック用の出力配線３０９−１に接続される。

また、右上ブロック１３１−２に対応する４つの選択トランジスタ３０５のソースは、右上ブロック用の出力配線３０９−２に接続される。左下ブロック１３１−３に対応する４つの選択トランジスタ３０５のソースは、左下ブロック用の出力配線３０９−３に接続される。さらに、右下ブロック１３１−４に対応する４つの選択トランジスタ３０５のソースは、右下ブロック用の出力配線３０９−４に接続される。負荷電流源３１１−１〜３１１−４は、それぞれ対応する出力配線３０９−１〜３０９−４に電流を供給する。

図１７は、変形例３の撮像素子１００の機能的構成を示すブロック図である。図４の場合と比較すると、図１７においては、１つのユニットＵに対してマルチプレクサ４１１、信号処理回路４１２、およびデマルチプレクサ４１３の組が４組設けられる点が相違する。すなわち、１つのマルチプレクサ４１１が、対応するブロック１３１の４個のＰＤ１０４を順番に選択して、それぞれの画素信号を対応する出力配線３０９へ出力させる。

マルチプレクサ４１１を介して出力された画素信号は、信号処理回路４１２によりＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。このように、１つのユニットＵの１６個の画素信号は、４組の経路に分配され並列に処理される。変形例３によれば、１つの信号処理回路４１２が４個の画素信号に対するＡ／Ｄ変換処理を行えばよいので、図３、図４の場合のように１つの信号処理回路４１２が１６個の画素信号に対するＡ／Ｄ変換処理を行う場合に比べて駆動時間が１／４に短縮される。駆動時間の短縮は、回路の発熱量を小さく抑える点において有効である。

（変形例４）
上述した実施形態では、電子機器としてカメラを例示したが、高機能携帯電話機またはタブレット端末によって電子機器を構成してもよい。この場合、高機能携帯電話機（またはタブレット端末）に搭載されるカメラユニットを、上記積層型撮像素子１００を用いて構成する。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。

１…撮像装置
１０…撮像光学系
２０…撮像部
３０…画像処理部
４０…ワークメモリ
５０…表示部
６０…記録部
７０…制御部
７１…再生処理部
８１〜８４…画像
１００…撮像素子
１１１…信号処理チップ
１１２…メモリチップ
１１３…撮像チップ
１３１…ブロック
Ｕ…ユニット

Claims (16)

1. ２次元に離散的に配置された複数のブロックを有する第１領域と、前記第１領域とは異なり、２次元に離散的に配置された複数のブロックを有する第２領域と、を有した撮像素子と、
   前記第１、第２領域のフレームレートの１つのフレーム時間に対して、前記第１領域を前記フレーム時間よりも長い第１蓄積時間により蓄積し、前記第２領域を前記フレーム時間よりも長い第２蓄積時間により蓄積する蓄積制御部と、を備える電子機器。
2. 請求項１に記載の電子機器において、
   前記蓄積制御部は、前記第１蓄積時間と前記第２蓄積時間とを略同じにすることを特徴とする電子機器。
3. 請求項１または２に記載の電子機器において、
   前記蓄積制御部は、前記第１領域のすべてのブロックの蓄積を略同時に開始し、前記第２領域のすべてのブロックの蓄積を略同時に開始することを特徴とする電子機器。
4. 請求項１から３のいずれか一項に記載の電子機器において、
   前記撮像素子の蓄積電荷を読み出す読み出し部を有し、
   前記読み出し部は、前記第１領域で撮像される画像の縦横比を、前記撮像素子の全体の領域により撮像される画像の縦横比と略同じにすることを特徴とする電子機器。
5. 請求項１から４のいずれか一項に記載の電子機器において、
   前記撮像素子の蓄積電荷を読み出す読み出し部を有し、
   前記読み出し部は、前記第１領域の前記複数のブロックと前記第２領域の前記複数のブロックとを規則性に基づいて配置することを特徴とする電子機器。
6. 請求項１から５のいずれか一項に記載の電子機器において、
   前記蓄積制御部による前記第１、第２領域の蓄積の制御により撮像された撮像データを処理する処理部を備えることを特徴とする電子機器。
7. 請求項６に記載の電子機器において、
   前記処理部は、前記撮像データの再生表示時のフレームレートを、前記撮像データの撮影時のフレームレートよりも遅くすることを特徴とする電子機器。
8. 請求項６に記載の電子機器において、
   前記処理部は、前記第１領域で撮像された撮像データと前記第２領域で撮像された撮像データとを前記各ブロックの位置に対応させて加算して加算撮像データを生成し、前記加算撮像データの再生表示時のフレームレートを、前記撮像データの撮影時のフレームレートよりも遅くすることを特徴とする電子機器。
9. 請求項６に記載の電子機器において、
   前記処理部は、前記第１領域の撮影が前後する複数の撮像データと、前記第２領域の撮影が前後する複数の撮像データとを前記各ブロックの位置に対応させて順次加算して加算撮像データを生成し、前記加算撮像データを順次再生表示することを特徴とする電子機器。
10. 請求項６に記載の電子機器において、
    前記処理部は、前記第１領域で撮像された撮像データまたは前記第２領域で撮像された撮像データのいずれかの画像を順次再生表示させ、かつ前記順次再生表示するフレームレートを前記撮像データの撮影時のフレームレートよりも遅くすることを特徴とする電子機器。
11. 請求項６に記載の電子機器において、
    前記処理部は、前記蓄積時間より長い時間に対応するフレームレートで、前記第１領域の撮像データおよび前記第２領域の撮像データを順次再生表示するための処理を行うことを特徴とする電子機器。
12. 請求項１から１１のいずれか一項に記載の電子機器において、
    前記撮像素子は、前記第１領域と前記第２領域との他に前記第１領域と前記第２領域とに含まれる前記ブロックとは異なる複数の前記ブロックが２次元に離散的に配置された少なくとも1つの他の領域をさらに有し、
    前記蓄積制御部は、前記各領域のフレームレートの１つのフレーム時間に対して、前記各領域を前記フレーム時間よりも長い蓄積時間によりそれぞれ蓄積することを特徴とする電子機器。
13. 請求項１２に記載の電子機器において、
    前記撮像素子の蓄積電荷を読み出す読み出し部を有し、
    前記読み出し部は、前記各領域の前記複数のブロックを規則性に基づいて配置することを特徴とする電子機器。
14. 請求項１２に記載の電子機器において、
    前記撮像素子の蓄積電荷を読み出す読み出し部を有し、
    前記読み出し部は、前記撮像素子の前記各領域において、前記複数のブロックが隣接する前記領域間においてそれぞれ隣接するように配置することを特徴とする電子機器。
15. 請求項１２に記載の電子機器において、
    前記撮像素子の蓄積電荷を読み出す読み出し部を有し、
    前記読み出し部は、前記撮像素子の前記各領域において、前記複数のブロックが隣接する前記領域間で異なるように配置することを特徴とする電子機器。
16. 請求項１から１５のいずれか一項に記載の電子機器において、
    前記撮像素子は、裏面照射型撮像チップと信号処理チップとが積層された構造であることを特徴とする電子機器。

Images