以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、撮像装置500のブロック図である。撮像装置500は、撮像レンズ520を含む光学系と、撮像素子100、システム制御部501、駆動部502、測光部503、ワークメモリ504、記録部505および表示部506を含む電子回路とを備える。
撮像レンズ520を含む光学系は、光軸OAに沿って伝播する入射光束を撮像素子100に導く。図中では、瞳近傍に配置された仮想的な1枚の撮像レンズ520により代表して示すが、光学系は、複数の光学レンズを含み、入射光束を撮像素子100の撮像面に結像させる。撮像レンズ520は、撮像装置500に対して着脱できる交換式であってもよい。
駆動部502は、撮像素子100に対して、画素信号の蓄積制御および読出制御を実行する。これにより、駆動部502は、システム制御部501の制御の下に、撮像素子100に対して、画素信号の蓄積制御および読み出し制御等を実行する。
測光部503は、撮像レンズ520への入射光束の一部を受光して輝度を検出する受光素子を有する。これにより、測光部503は、撮像シーンの輝度分布等を検出する。測光部503は、撮像素子100の一部を受光素子として利用してもよい。なお、図示の撮像装置500においては、駆動部502も測光部503の検出結果を参照している。
ワークメモリ504は、システム制御部501が処理を実行する場合の作業領域として用いられる。また、ワークメモリ504は、記録部505に記録する情報、表示部506が表示する情報等のバッファとしても機能する。
システム制御部501は、画像処理部511、演算部512等を含む。画像処理部511は、ワークメモリ504を作業領域として画像処理を実行して画像データを生成する。例えば、生成する画像データがJPEG形式の画像データである場合は、ホワイトバランス処理、ガンマ処理、圧縮処理等を実行する。
画像処理部511が生成した画像データは、記録部505に記録される。また、生成された画像データは、表示部506に表示される場合もある。更に、通信回線を通じて、外部の格納部、例えばクラウドサーバに転送される場合もある。演算部512は、例えば、システム制御部501が測光部503から取得した輝度情報に基づいて、撮像装置500の撮像動作におけるシャッタ速度、絞り値、ISO感度等を決定する。
撮像素子100は、撮像レンズ520への入射光束に対応した画素信号を発生する。撮像素子100が発生した画素信号は、システム制御部501の画像処理部511において画像データとなる。
図2は、撮像素子100の断面図である。撮像素子100は、互いに積層された受光基板113、信号処理基板111およびメモリ基板112を備える。受光基板113、信号処理基板111およびメモリ基板112は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図中に白抜き矢印で示すように、被写体光束は、撮像素子100に対して、Z軸プラス方向に入射する。本実施形態において、受光基板113に対して被写体光束が入射する面を、以降の説明において裏面と記載する。また、図中の座標軸により示す通り、Z軸に直交する図中右方向をX軸プラス方向、Z軸およびX軸に直交して紙面を手前に向かって交差する方向をY軸プラス方向と記載する。
受光基板113は、電気的要素として光電変換素子層106および配線層108を有する。光電変換素子層106は、配線層108の裏面側に配される。光電変換素子層106は、二次元的に配された複数のフォトダイオード104および複数のトランジスタ105を有する。複数のトランジスタ105の各々は、複数のフォトダイオード104のいずれかに対応して設けられる。
光電変換素子層106は、入射光に対応した画素信号を出力する光電変換素子を含む。受光基板113の一例は裏面照射型のCMOSイメージセンサであり、光電変換素子層106には、光電変換素子としてのフォトダイオード104が配される。
受光基板113において、配線層108は、光電変換素子層106からの画素信号を信号処理基板111に伝送する配線107を有する。配線107は多層に配されてもよく、更に、受動素子および能動素子を含んでもよい。
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理基板111の対向する面に設けられた複数のバンプ109と位置合わせされて、受光基板113と信号処理基板111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
また、受光基板113は、光学的要素として、カラーフィルタ102およびマイクロレンズ101を有する。受光基板113において、カラーフィルタ102は、光電変換素子層106における入射光の入射側に、パシベーション膜103を介して配される。よって、複数のフォトダイオード104の各々には、カラーフィルタ102を通じて入射光が入射する。
また、カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類が含まれる。種類の異なるカラーフィルタ102は、フォトダイオード104のそれぞれに対応して特定の配列を有する。これらカラーフィルタ102、フォトダイオード104およびトランジスタ105の組が一つの画素を形成する。
マイクロレンズ101は、カラーフィルタ102に対する入射光の入射側に、それぞれの画素に対応して配される。マイクロレンズ101の各々は、対応するフォトダイオード104へ向けて入射光を集光する。
信号処理基板111は、受光基板113から取得した画素信号を処理する。また、メモリ基板112は、画素信号を記憶する。信号処理基板111およびメモリ基板112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理基板111とメモリ基板112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用しても良い。また、バンプ109は、例えば後述する一つの出力配線に対して一つ程度設ければ良い。したがって、バンプ109の大きさは、フォトダイオード104のピッチよりも大きくても良い。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けても良い。
信号処理基板111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、受光基板113の周辺領域、メモリ基板112にも設けられて良い。
図3は、撮像素子100の光電変換素子層106における画素150および単位ブロック131のレイアウトを示す模式図である。図中のレイアウトは、受光基板113を裏面側から見た様子を示す。
光電変換素子層106には、行方向および列方向に二次元的に配列された複数の単位ブロック131が配される。更に、単位ブロック131の各々は、単位ブロック131と同じ行方向および列方向に二次元的に配列された複数の画素150を含む。よって、撮像素子100には、2000万個以上の画素150が二次元的に配置される。
図示の例では、単位ブロック131の各々は、互いに隣接する4画素×4画素の16個の画素150により形成される。なお、図中に示す部分拡大図に記入したように、単位ブロック131を形成する16個の画素150は、例えばベイヤー配列に従って、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素のいずれかを割当られる。
緑色画素Gb、Grは、カラーフィルタ102として緑色フィルタを有し、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Bは、カラーフィルタ102として青色フィルタを有し、青色波長帯の光を受光し、赤色画素Rは、カラーフィルタ102として赤色フィルタを有し、赤色波長帯の光を受光する。
なお、単位ブロック131を形成する画素150の数が上記に限られないことはもちろんである。また、複数の画素150により形成された単位ブロック131の形状も、正方形に限られない。よって、受光基板113全体の画素数が2000万画素程度ある場合に単位ブロック131の配列数が、例えば64行32列、48行114列等になるレイアウトにしてもよい。
図4は、撮像素子100に形成された単位ブロック131のひとつに対する接続関係の概略を示す。図示の単位ブロック131は、L行およびP列の画素150を含み、行制御部200および周辺回路133が接続される。
撮像素子100において、行制御部200は、配線Rst_l(ただし、lは1からLの整数)、配線Tx_l、配線Sel_lを通じて単位ブロック131に結合される。配線Rst_l、配線Tx_l、配線Sel_lの各々は、単位ブロック131内における1行目のP個の画素150に共通に接続される。同様に、配線Tx_l、配線Sel_lも、単位ブロック131内におけるl行目のP個の画素150に共通に接続される。
行制御部200は、行選択部、垂直走査回路等と呼ばれる場合もある。行制御部200は、単位ブロック131ごとに設けられる。撮像素子100において、行制御部200は信号処理基板111側に設けられてもよい。
撮像素子100において、周辺回路133は、列伝送路170_p(ただし、pは1からPの整数)を通じて単位ブロック131に結合される。列伝送路170_pは、同一列の画素150毎に設けられる。
また、列伝送路170_pは、単位ブロック131におけるp列目のL個の画素150に共通に接続される。これにより、列伝送路170は単位ブロック131内の同一列の画素150で共有され、当該列に含まれる画素150からの画素信号を伝送する。
撮像素子100において、列伝送路170_pは受光基板113側から、バンプ109を通じて、信号処理基板111に実装された周辺回路133に接続される。信号処理基板111における周辺回路133は、受光基板113における単位ブロック131に対応する位置に、単位ブロック131毎に配される。
周辺回路133の各々は、列伝送路170_p毎に直列に接続されたアナログ/デジタル変換回路202およびCDS回路204を有する。アナログ/デジタル変換回路202とCDS回路204との組は、単位ブロック131あたり、列数と同じP個設けられる。
周辺回路133はさらに、CDS回路204の出力側に配されたシフトレジスタ206を有する。図示の例において、シフトレジスタ206は、単位ブロック131毎に配される。シフトレジスタ206の出力は、列バスライン172を通じて画素メモリ414に接続される。シフトレジスタ206は、水平走査回路、マルチプレクサ等と呼ばれる場合もある。
図5は、単位ブロック131を形成する画素150の構造を示す回路図である。ただし、図示の回路は二つのフォトダイオード104−1、104−2を含み、二つ分の画素150に相当する。これら2つの画素は、単位ブロック131において同一の列に含まれる。
フォトダイオード104−1、104−2は、各々に対応して配された選択トランジスタ61−1、61−2の一端にカソードを個別に結合される。フォトダイオード104−1、104−2は、各々受光量に応じた電荷を蓄積する。
選択トランジスタ61−1、61−2は、フォトダイオード104−1、104−2が蓄積した電荷量に応じた電圧を出力するか否かを切り替える。選択トランジスタ61は、例えば、行制御部200から与えられる配線Tx_lを通じて与えられる画素選択信号により導通状態を制御される。
更に、画素150は、フォトダイオード104−1、104−2共通に設けられたリセットトランジスタ59、増幅トランジスタ60、接地側トランジスタ65、第1トランジスタ78、第2トランジスタ63、増幅トランジスタ66、転送トランジスタ64、および、コンデンサ10を有する。これら共通に設けられるトランジスタは、コンデンサ10の状態(両極にどのような電圧が印加されるかを示す状態)を制御するスイッチ部として機能する。
図示の例において、画素150は、フォトダイオード104−1、104−2のそれぞれの出力におけるフィードスルー電圧および信号電圧を、一つのコンデンサ10により順番に保持する。これにより、画素150の各々にCDS用の回路を設けつつ、各画素150のCDS用回路の面積を低減することができる。また、共通のコンデンサ10でフィードスルー電圧および信号電圧を保持するので、画素値を精度よく検出できる。
リセットトランジスタ59は、それぞれの選択トランジスタ61を介してフォトダイオード104に接続される。リセットトランジスタ59は、フォトダイオード104−1、104−2のカソードを、基準電圧VCCに接続するか否かを切り替える。リセットトランジスタ59は、行制御部200の配線Rst_lを通じて印可されるリセット信号により制御される。
増幅トランジスタ60のゲートは、選択トランジスタ61−1、61−2をそれぞれ介してフォトダイオード104−1、104−2に接続される。増幅トランジスタ60は、選択トランジスタ61がオン状態になることにより選択されたフォトダイオード104−1、104−2のいずれかが出力する電圧を増幅する。増幅トランジスタ60は、基準電圧VCCおよび接地電位の間に配される。
また、増幅トランジスタ60と接地電位との間には、接地側トランジスタ65が配される。接地側トランジスタ65のゲートには、Pコントロール電圧が印可される。
コンデンサ10は、3つの電極を有し、第1電極および第2電極が対向して配置され、第2電極および第3電極が対向して配置される。これにより、コンデンサ10は3端子コンデンサを形成し、フォトダイオード104−1、104−2に蓄積された電荷量に応じた電圧で充放電される。
コンデンサ10の第1電極は、第1トランジスタ78を介して、増幅トランジスタ60の出力端に接続される。第1トランジスタ78は、増幅トランジスタ60により増幅されたフォトダイオード104−1、104−2の出力を、第1電極に接続するか否かを切り替える第1スイッチとして機能する。第1トランジスタ78は、ゲートに印可される第1制御信号SH1により制御される。
コンデンサ10の第2電極は、第2トランジスタ63を介して、増幅トランジスタ60の出力端に接続される。第2トランジスタ63は、増幅トランジスタ60により増幅されたフォトダイオード104の出力を、第2電極に接続するか否かを切り替える第2スイッチとして機能する。第2トランジスタ63は、ゲートに印可される第2制御信号SH2により制御される。
コンデンサ10の第3電極は、基準電位に接続される。第2電極と第3電極との間の容量により、基準電位に対する第2電極の電位が維持される。なお、コンデンサ10は、同一の領域に重ねて形成された第1電極、第2電極および第3電極を有する。よって、複数の2端子のコンデンサを用いる場合に比較して実装面積を縮小できる。しかしながら、コンデンサ10は、ノードBおよびノードCの間に設けられた2端子コンデンサと、ノードBおよび基準電位間に設けられた2端子コンデンサとの2素子を用いて形成してもよい。
増幅トランジスタ66は、コンデンサ10の第1電極における電圧を増幅して出力する。転送トランジスタ64は、増幅トランジスタ66が出力する電圧を、読み出し線170−pに転送するか否かを切り替える転送部として機能する。転送トランジスタ64は、行制御部200から配線Sel_lを通じて与えられる行選択信号により制御される。
コンデンサ10は、行制御部200から与えられる各制御信号により、第2電極にフィードスルー電圧が印加される第1状態と、第2電極に信号電圧が印加される第2状態とを順番に遷移させる。周辺回路133は、少なくとも第2状態において転送トランジスタ64をオンにして、コンデンサ10の第1電極の電圧レベルを転送させる。これにより、周辺回路133は、転送された電圧レベルに基づいて画素信号の画素値を算出できる。
図6は、画素150の動作を示すタイミングチャートであり、図5に示したノードA、B、Cにおける信号波形を示す。ノードAは増幅トランジスタ60の出力端に、ノードBはコンデンサ10の第2電極に、ノードCはコンデンサ10の第1電極に、それぞれ対応する。
フォトダイオード104−1の出力を読み出す場合について説明する。まず、リセット信号RSTがHレベルになり、リセットトランジスタ59がオン状態になる。また、選択トランジスタ61−1がオン状態に制御される。これにより、フォトダイオード104−1のカソード電圧がリセットされ、ノードAにおける電圧は基準電圧VCCとなる。なお、増幅トランジスタ60および66の増幅率は1とする。
リセットしてから時間が経過すると、ノードAにおける電圧はフィードスルー電圧Vftとなる。行制御部200は、リセット信号RSTを入力して所定の時間が経過してから、第1制御信号SH1および第2制御信号SH2をHレベルにする。これにより、第1トランジスタ78および第2トランジスタ63は共にオン状態となる。このとき、コンデンサ10の第1電極(ノードC)には基準電圧VCCが印加され、第2電極(ノードB)にはフィードスルー電圧Vftが印加される(第1状態)。
次に、第1制御信号SH1および第2制御信号SH2をLレベルにする。これにより、コンデンサ10の第1電極はフローティング状態となり、コンデンサ10の電極間電圧が維持される。
続いて、フォトダイオード104−1における当該フレームの受光が終了するタイミングで、ノードAにおける電圧は、フォトダイオード104−1における蓄積電荷量に応じた電圧sig1に応じた電圧となる。具体的には、フィードスルー電圧Vftから電圧sig1だけ下がった電圧となる。
更に、第1制御信号SH1をLレベルに維持しつつ、第2制御信号SH2をHレベルにする。これにより、第2トランジスタ63はオン状態となる(第2状態)。
第1制御信号SH1がLレベルに維持されているので、コンデンサ10が第2状態に遷移すると、第1電極はフローティング状態となる。これにより、第1状態におけるコンデンサ10の電極間電圧を維持しつつ、フォトダイオード104−1が出力する信号電圧が第2電極に印加される。第2電極の電圧は、第1状態に比べて電圧sig1だけ低下するので、第1電極の電圧も第1状態に比べて電圧sig1だけ低下する。
周辺回路133は、少なくとも第2状態において、第1電極(ノードC)の電圧を読み出す。なお、第1状態における第1電極の電圧は、基準電圧VCCであるので、当該基準電圧が既知である場合、周辺回路133は、第1状態における第1電極の電圧を読み出さなくともよい。この場合、周辺回路133は、既知の基準電圧VCCから、第2状態における第1電極の電圧を減算することで、電圧sig1を検出する。
周辺回路133は、当該既知の基準電圧VCCの値を、撮像素子100の温度等に応じて補正してもよい。また、周辺回路133は、第1状態および第2状態のそれぞれにおいて、第1電極(ノードC)の電圧を読み出して、差分を算出してもよい。これにより、フォトダイオード104−1における蓄積電荷量に応じた電圧sig1、すなわち画素値を算出する。
次に、フォトダイオード104−2の出力を読み出す。このとき、リセット信号RSTがHレベルとなり、リセットトランジスタ59がオン状態となる。また、選択トランジスタ61−2はオン状態に制御される。これにより、フォトダイオード104−2のカソード電圧がリセットされ、ノードAにおける電圧は基準電圧VCCとなる。以降の動作は、フォトダイオード104−1の場合と同様である。周辺回路133は、第2状態において読み出した電圧により、フォトダイオード104−2における蓄積電荷量に応じた電圧sig2を算出する。
このような構成および動作により、一つのコンデンサ10を用いて、フォトダイオード104−1、104−2の出力を相関二重サンプリングできる。このため、回路面積を低減することができ、また、コンデンサのバラツキによる誤差を無くすことができる。また、本実施例においては、2つのフォトダイオード104で一つのコンデンサ10および周辺のスイッチ部を共有するので、更に回路面積を低減することができる。
なお、コンデンサ10およびスイッチ部は、それぞれのフォトダイオード104に対応して設けられるが、図示のように、複数のフォトダイオード104−1、104−2に対して一組のコンデンサ10およびスイッチ部を共通に設けてもよい。また、一つのフォトダイオード104に対して一組のコンデンサ10およびスイッチ部を設けてもよい。
スイッチ部は、コンデンサ10毎に設けられる。コンデンサ10が2以上のフォトダイオード104に共有される場合、コンデンサ10は、それぞれのフォトダイオード104−1、104−2の出力値を順番に保持する。また、複数のコンデンサ10は、対応するフォトダイオード104−1、104−2の出力値を同時に保持してもよい。
図7は、撮像素子100を駆動する駆動部502のブロック図である。駆動部502は、駆動制御部420、センサ制御部441、ブロック制御部442、同期制御部443、信号制御部444および画素メモリ414を有する。
駆動部502において、センサ制御部441は、撮像素子100の画素150における各画素の電荷蓄積、電荷読み出しに関わる制御信号を、受光基板113へ送信する。より具体的には、センサ制御部441は、単位ブロック131の各々に対応する行制御部200へ、リセット信号および画素選択信号を送信して、制御対象となる画素150の電荷蓄積の開始と終了とを制御する。また、読み出し画素に対して列選択信号等を送信することにより、画素信号を列伝送路170へ出力させる。
駆動部502において、ブロック制御部442は、単位ブロック131を特定する制御信号を受光基板113へ送信する。より具体的には、ブロック制御部442は、制御対象となる単位ブロック131を特定する特定信号を送信する。
単位ブロック特定信号は、画素150の各々が配線Tx_j等を介して受ける転送パルス等は、センサ制御部441が送出する選択信号と、ブロック制御部442が送出する特定信号との論理積となる。これにより、受光基板113に略均等に配列された画素150を、領域毎に相互に独立したブロックとして制御できる。
なお、ブロック制御部442は、複数の単位ブロック131に対して、同時に測定信号を送信できる。これにより、撮像素子100は、複数の単位ブロック131を同期して動作させ、あるいは、複数の単位ブロック131にまたがって動作を実行させることができる。
駆動部502において、同期制御部443は、同期信号を受光基板113に供給する。これにより、受光基板113に実装された複数の要素を、同期してアクティブにすることができる。よって、例えば、同期信号を調整することにより、同一の単位ブロック131に属する画素の特定画素のみを制御対象とするランダム制御、間引き制御等を実行できる。
駆動部502において、信号制御部444は、アナログ/デジタル変換回路202、CDS回路204およびシフトレジスタ206に対するタイミング制御を担う。これにより、画像処理部511は、複数の単位ブロック131から読み出された画素信号から、高速且つ高品質にひとつの画像データを生成できる。
駆動部502において、画素メモリ414は、画素150から読み出されてデジタル化された画素信号を格納するメモリ空間を有する。画素メモリ414は、各単位ブロック131に対応して設けてもよい。I/F回路418は、駆動制御部420とシステム制御部501と間の通信を担う。
なお、画素メモリ414は、引渡要求に従って画素信号を画像処理部511に転送するデータ転送インタフェースを更に備えてもよい。データ転送インタフェースは、画像処理部511と繋がるデータ転送ラインと接続される。このようなデータ転送ラインは、例えば、データバスの一部により形成され、アドレスバスを利用したアドレス指定により、システム制御部501から駆動制御部420への引渡要求が実行される。
データ転送インタフェースによる画素信号の伝送は、アドレス指定方式の他にも、例えば、データ転送を行う場合に、各回路の同期に用いられるクロック信号の立ち上がりと立ち下がりとの両方を利用してダブルデータレート方式にすることもできる。また、アドレス指定などの手順を一部省略することにより、データを一気に転送して高速化を図るバースト転送方式を採用し得る。
更に、データ転送インタフェースによる画素信号の伝送は、また、制御部、メモリ部、入出力部を並列に接続している回線を用いたバス方式、直列にデータを1ビットずつ転送するシリアル方式などを組み合わせて採用することもできる。
上記のようなデータ転送インタフェースを用いることにより、画像処理部511は、要求する画素信号に限って受け取ることができる。これにより、例えば、低解像度の画像を形成する場合には、画像処理を高速に完了できる。なお、駆動部502、図5の行制御部200および周辺回路133が、複数の単位ブロック131にまたがって、画素150から画素信号を順次読み出す読出部として機能する。
駆動部502において、駆動制御部420は、タイミングメモリ430を参照して、駆動部502がシステム制御部501から受けた指示を、上記の各制御部が実行可能な制御信号に変換して引き渡す。タイミングメモリ430は、フラッシュRAM等により形成される。こうして、駆動制御部420は、上記のセンサ制御部441、ブロック制御部442、同期制御部443および信号制御部444を統括制御する。
更に、図示の駆動部502は、相関算出部472および撮像制御部474を有する。相関算出部472は、画素メモリ414から読み出した画素信号に基づいて、画素信号に含まれるローリングシャッタ歪みの大きさを検出する。撮像制御部474は、相関算出部472が算出した相関値に基づいて、単位ブロック131の各々に撮像条件として設定される値、例えば、フレームレート、露光時間等を決定する。これら、相関算出部472および撮像制御部474の動作については、他の図を参照して改めて説明する。
図8は、撮像素子100におけるローリングシャッタモードを説明するタイミングチャートである。ローリングシャッタモードにおいては、単位ブロック131の各々において、画素150が選択されて画素信号が蓄積される動作と、蓄積された画素信号が読み出される動作が、行毎に順次実行される。
図示の例では、駆動部502は、まず、行制御部200を介して1行目の画素150に対する配線Rst_1およびTx_1に駆動信号を与える。これにより、単位ブロック131の各々の1行目の画素150の電荷蓄積を開始する。
次に、駆動部502は、蓄積期間の終わりに、行制御部200を介して1行目の画素150に対する配線Sel_1に駆動信号を与える。これにより、1行目の画素150の画素信号の読み出しを開始する。読み出し期間は、1行目の各画素150から画素信号が読み出されて、アナログ/デジタル変換回路202およびCDS回路204で処理されてシフトレジスタ206から順次、画素メモリ414に書き込まれるまでの時間を含む。
以下同様に、2行目の画素150に対する配線Rst_2、Tx_2およびSel_2に駆動信号が与えられて、蓄積および読出が行われる。2行目の画素150に対する蓄積期間の長さは1行目の画素150と同じであるが、時間的には、ほぼ読出期間分だけ遅れている。3行目以降、L行目まで、配線Rst_l、Tx_lおよびSel_lに駆動信号が与えられて、順次、蓄積および読出が行われる。
複数の単位ブロック131のいずれに対しても、選択される行の順序は同じであり、図示の例では、いずれに対しても、−Y側の行から+Y側の行に向けて一行ずつ選択される。さらに、複数の単位ブロック131の間で、同一行の蓄積および読出のタイミングは同期している。ただし、 複数の単位ブロック131の間で、同一行の蓄積および読出の少なくとも一方のタイミングが同期していなくてもよい。
図9は、撮像素子100を用いてローリングシャッタモードで撮像する被写体300を示す模式図である。被写体300は、撮像素子100に入射する直前の像光を+Z側から見た状態で示される。
被写体300には、速度V1で高速に移動する直線像301と、速度V2で低速に移動する直線像302と、静止した直線像303とが混在する。直線像301、302、303は、撮像素子100に入射する直前の像光を+Z側から見た場合に、それぞれ垂直な直線をなす。また、移動する直線像301、303は、いずれも図中水平に、−X方向に移動している。
図10は、上記の移動する直線像301、302、303を含む被写体300を、ローリングシャッタモードで動作する撮像素子100により撮像した場合に得られる撮像画像311、312、313を示す模式図である。撮像画像311、312、313は、出力、表示等される場合の向きで描かれる。
撮像画像311、312、313は、それぞれが縦横4個の画素150を含む12個の単位ブロック131により撮像されたものとする。図8を参照して説明したように、ローリングシャッタモードにおいては、ひとつの単位ブロック131内において、画素信号が蓄積されるタイミングが行毎に順次ずれていく。このため、被写体300において移動している直線像301、303は、画素信号を蓄積するタイミングに応じて、異なる位置で撮像される。
移動する直線像301、302を撮像するA列およびB列の単位ブロック131の各々において、図中上側の行と、図中下側の行では、画素信号を蓄積するタイミングが異なる。このため、被写体300における直線像301が垂直な直線であるにもかかわらず、撮像画像311、312はいずれも傾斜する。即ち、撮像画像311においては、画素信号の蓄積期間が時間的に遅い行ほど、移動方向である+X方向にずれて撮像され、単位ブロック131毎にローリングシャッタ歪みが生じる。
なお、上記のずれとは、4個の単位ブロック131の各々において、最初に画素信号を蓄積した行を初期位置とした変位を意味する。換言すれば、各単位ブロック131において最初に画素信号を蓄積した行(図示の例では最下行)にはずれがないと考えることができる。よって、撮像素子100全体では、図中に点線Bで示すように、互いに隣接する単位ブロック131の境界で隣り合う画素150の行において、撮像画像311に不連続なずれが生じる。
上記のようなローリングシャッタ歪みに起因するずれは、直線像301、302の移動速度V0の水平成分が大きい程顕著に顕れる。換言すれば、単位ブロック131の境界における撮像画像311、312のずれ量を検出することにより、被写体300において移動する直線像301、302の移動速度を検出することができる。
図11は、駆動部502における撮像制御部474の動作手順を説明する流れ図である。図示の手順は、制御対象となる単位ブロック131から、撮像画像311、312、313に対応する画素信号が画素メモリ414に格納された時点で開始される。
撮像制御部474は、まず、撮像素子100に含まれる単位ブロック131のいずれかを制御対象として選択する(ステップS101)。次に、撮像制御部474は、選択した単位ブロック131の被写体300に含まれる移動成分の移動速度を検出する(ステップS102)。ステップS102の内容については、図12を参照して後述する。
被写体300における移動成分の移動速度が判明すると、撮像制御部474は、判明した移動速度に応じて、制御対象となる単位ブロック131における撮影条件の値を決定する。ここで決定される撮影条件の値とは、例えば、撮像素子100を用いて動画を撮像する場合のフレームレートである。
即ち、被写体300の移動成分が高い速度で移動している場合は、単位ブロック131におけるフレームレートを上昇させて、より鮮明な画像を撮像する。一方、被写体300の移動成分の移動速度が低い場合、または静止している場合は、フレームレートを上昇させないか、あるいはむしろ低下させることにより撮像素子から出力される画素信号の情報量を削減できる。また、この場合は、フレームレートを低下させても、撮像画像の品質低下は生じない。
よって、撮像制御部474は、ステップS102において検出された被写体300の移動成分の移動速度を取得することにより、制御対象となる単位ブロック131における適切なフレームレートを算出できる(ステップS103)。更に、撮像制御部474は、算出したフレームレートを、制御対象となる単位ブロック131に設定して(ステップS104)、適切な撮像条件の下で撮像動作を実行させる。
こうして、ひとつの単位ブロック131に対して撮像条件の値を算出して設定した撮像制御部474は、次に、撮像条件が未だ設定されていない単位ブロック131が残っていないかどうかを調べ(ステップS105)、そのような単位ブロック131が残っている場合は、その単位ブロック131を制御対象として特定して(ステップS101)、再び、ステップS102からの手順を実行する。
また、ステップS105において、全ての単位ブロック131に対して撮像条件が設定されたことが判った場合は、図示の手順を終了する。ただし、撮像素子100が撮像を継続している場合は、再び、ステップS101からの一連の手順を繰り返してもよい。
図12は、被写体300における移動成分の移動速度を検出する場合の動作手順を示す流れ図であり、上記ステップS102の内容に対応する。図示の手順は、撮像素子100からの画素信号が画素メモリ414に格納された時点で開始される。
単位ブロック131の各々はローリングシャッタモードで画素信号を生成する。相関算出部472は、列方向に隣接する単位ブロック131について、単位ブロック131の境界で隣接する画素150の行に対応する画素信号を画素メモリ414から読み出す(ステップS201)。
次に、相関算出部472は、単位ブロック131の境界において隣接する画素150の行の相関値を算出する(ステップS202)。相関値の大きさは、一列の画素信号の一致度であるともいえ、相関値が高いほど、隣接する行の画像が一致する。
相関値としては、隣接する画素の行における画素信号の差分を2乗してそれらの和をとった残差2乗和の算出を例示できる。ここで、残差2乗和が小さいほど相関が大きいという関係になる。
相関算出部472は、残差2乗和の値が予め定めた閾値と比較して、ローリングシャッタ歪みが発生しているか否かを判断する(ステップS203)。残差2乗和の大きさが閾値よりも大きい場合(ステップS203:NO)、相関算出部472は、被写体300の成分が移動していないと判断して処理を終了する。
一方、残差2乗和の大きさが閾値より小さい場合は(ステップS203:YES)、被写体300の移動成分が移動していると判断して、その移動速度に対応した相関値を算出する。即ち、相関算出部472は、単位ブロック131の境界において隣接する画素150の行の一方を他方に対して行方向に1画素分ずらして(ステップS204)、再び残差2乗和を算出する(ステップS205)。以下、相関算出部472は、単位ブロック131における画素150の列数p画素分ずらすまで、残差2乗和の算出を繰り返す(ステップS206:NO)。
相関算出部472は、p画素分ずらした後に(ステップS206:YES)、ローリングシャッタ歪みにより単位ブロック131の境界で生じていたずれを画素数として特定する(ステップS207)。こうして、単位ブロック131において被写体300の移動成分により生じていたローリングシャッタ歪みの大きさが判り、当該移動成分の移動速度を検出できる。
図13は、駆動部502における撮像制御部474の他の動作手順を説明する流れ図である。図示の動作手順は、次に説明するステップを除くと、図11に示した動作手順と同じ内容を有する。そこで、共通のステップには同じ参照番号を付して、重複する説明を省く。
図13に示した動作手順は、ステップS103において撮像条件を決定する前に、撮像制御部474が、測光部503から得られた輝度情報も参照するステップS106が加わっている点において、図11に示した手順と異なる。即ち、図13に示す動作手順において、撮像制御部474は、相関算出部472の算出結果から検出した被写体300の移動成分の移動速度に加えて、測光部503が検出した被写体輝度も参照して、撮像条件を決定する。
また、図13に示した動作手順は、図11におけるステップS103に代わって、撮像制御部474が撮像条件の値を決定する場合に、テーブルを検索して決定値を選択するステップS107において、図11に示した動作手順とは異なる。即ち、図13に示す動作手順において撮像制御部474は、取得した移動速度および被写体輝度をキーとして、テーブルに予め格納された候補値から、決定する撮像条件を検索する。
図14は、上記のようなステップS107において、撮像制御部474が参照するテーブルの内容を例示する図である。図示のように、テーブルは、被写体300における移動成分の動きの速さと、被写体輝度との2つの参照条件に対して、単位ブロック131におけるフレームの長さと露光時間の長さとの2つの撮像条件の値をそれぞれ対応させて格納する。これにより、参照する情報の種類、決定すべき撮像条件の種類、制御対象となる単位ブロック131の数等が増加した場合も、処理の負荷を抑制することができる。
なお、単位ブロック131がベイヤー配列等のカラーフィルタを有している場合は、補間処理をする前に上記の動作を実行することが好ましい。また、アナログ/デジタル変換された画素信号がJPEG等の予め定められたフォーマット形式に変換された撮像画像として出力される場合に、上記図13の動作はアナログ/デジタル変換後であって、当該フォーマット形式に変換する前に実行されることが好ましい。また、少なくとも上記相関算出部472および撮像制御部474は、信号処理基板111内に設けられることが好ましい。
このように、撮像素子100においては、単位ブロック131毎に、被写体300における撮像対象に応じて撮像条件の設定値を変更できる。よって、ひとつの被写界内に、移動速度、輝度等が互いに異なる対象物が含まれている場合であっても、それぞれの単位ブロック131に適切な撮像条件を個別に設定できる。これにより、最終的に得られる画像データの品質を向上させることができる。
また、撮像素子100は、単位ブロック131のいずれかに対応する撮像対象が、静止している場合、十分に明るい場合は、フレームレートを低くし、あるいは、露光時間を短縮することにより、撮像素子100から出力される画素信号を削減できる。これにより、画素信号の転送を容易にすると共に、画像処理の負荷を低減できる。
図15は、撮像素子100における単位ブロック131の他の動作モードであるグローバルシャッタモードを説明するタイミングチャートである。グローバルシャッタモードにおいては、単位ブロック131に含まれる全ての画素150が同時にリセットされた後に選択されて画素信号が蓄積される。グローバルシャッタモードにおいて、蓄積された画素信号は、ローリングシャッタモードと同様に行単位で順次読み出されてもよい。
上記のようなグローバルシャッタモードでは、単位ブロック131内で画素信号を蓄積するタイミングが同じなので、撮像画像311にローリングシャッタ歪みは生じない。よって、ある単位ブロック131において特に大きなローリングシャッタ歪みが生じた場合に、撮像制御部474は、当該単位ブロック131における蓄積制御を、グローバルシャッタモードに切り替えてもよい。
ただし、ローリングシャッタ歪みが生じないグローバルシャッタモードで動作している単位ブロック131に対しては、被写体の移動成分の速度を検出できない。よって、撮像制御部474は、グローバルシャッタモードで画素信号を蓄積している単位ブロック131に関しては、被写体の移動速度に応じて撮像条件を設定する動作を実行せず、ローリングシャッタモードで動作している単位ブロック131に限って図11および図13に示した処理を実行する。
また、グローバルシャッタモードでは、単位ブロック121内の全ての画素150を一斉にリセットするので大きな電流が流れること、隣接する行で相互に電荷の漏れが生じやすいこと等から、ローリングシャッタモードに比較すると、撮像した画像にノイズが乗りやすい。よって、被写体の移動成分の速度が低下した場合には、グローバルシャッタモードに切り替えた単位ブロック131を、ローリングシャッタモードに戻してもよい。
そこで、グローバルシャッタモードで動作する撮像素子においては、被写体の移動成分の速度を検出する目的で、当該単位ブロック131の動作モードを一時的に、または間欠的にローリングシャッタモードにしてもよい。このローリングシャッタモードによる動作は、被写体の移動成分を検出することを目的として実行されるので、この過程で得られた画素信号から画像データを生成しなくてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。