JP2011082925A

JP2011082925A - 信号積算型高速撮像装置

Info

Publication number: JP2011082925A
Application number: JP2009235597A
Authority: JP
Inventors: Hideki Muto; 秀樹武藤; Koji Eto; 剛治江藤
Original assignee: LINK RES KK; LINK RESEARCH KK
Current assignee: LINK RES KK; LINK RESEARCH KK
Priority date: 2009-10-09
Filing date: 2009-10-09
Publication date: 2011-04-21

Abstract

【課題】再現性のある高速度現象による光信号を積算可能な高速撮像素子を実現する。
【解決手段】光電変換部と信号増幅部と信号蓄積部を含む画素から構成される撮像装置において、信号増幅部そのものとして、または信号増幅部の後段にオペアンプを接続し、信号蓄積容量をオペアンプの入出力間にスイッチを介して帰還容量として設けることにより、再現性のある高速度現象による光信号を積算可能な高速撮像素子を実現できる。また、オペアンプの正負２つの入力部にリセット・レベルと信号レベルを入力することにより、画素内で相関２重サンプリングを行うことができる。
【選択図】図９

Description

再現性のある高速度現象で、1回の撮影では速度に対応した十分な光量が得られない場合の撮影に好適である。

高速度撮影のための撮像素子としては、並列・部分読み出し方式と、画素周辺記録方式がある。

並列・部分読み出し方式は、多数の信号読み出し線を通して、撮像素子から並列に画像信号を読み出すことと、それでも撮影速度が足りない場合には、画面の一部を読み出すことにより、読み出し画素数を減らして撮影速度を上げる。すなわち１画素づつ走査して画像信号を読み出す場合に比べて、１フレームの読み出し時間が信号読み出し線の本数分の１になる。さらに部分読み出しにより、読みだす画像信号を減らして１フレームの読み出し時間を短縮する。この方式では３０万画素程度の画素数では１万フレーム／秒（フレームインタバル１００マイクロ秒）程度の撮影速度を持つ高速度ビデオカメラが市販されている。

画素周辺記録型は、各画素内、もしくは各画素に近接して多数の画像信号記録要素を作り込み、全画素一斉に画像信号を記録する方式である。撮影中は画像信号は撮像素子内に保存しておき、撮像素子外には読み出さない。読み出しは撮影終了後に読み出す。

撮影中は全ての画素で同時に画像信号を記録するので、１画素づつ走査して読み出す場合に比べて撮影速度は、画素数倍、例えば１００万画素の撮像素子であれば１００万倍の撮影速度となる。撮影時間間隔は各画素で１個の画像信号を記録要素に送るために必要な時間に等しくなる。ただし、小さな各画素周辺に作り込める記録要素の数が限られるため、連続撮影枚数が限られる。この方式では３０万画素で連続１４４枚の画像を１００万コマ／秒の撮影速度（時間分解能１マイクロ秒）で撮影できる超高速度ビデオカメラが実現されている。

Goji Etoh, T., Poggemann, D., Ruckelshausen, A., Theuwissen, A., Kreider, G., Folkerts, H.-O., Mutoh, H., Kondo, Y., Maruno, H., Takubo, K., Soya, H., Takehara, K., Okinaka, T., Takano, Y., Reisinger, T., Lohmann, C.:A CCD image sensor of 1 Mframes/s for continuous image capturing 103 frames,ISSCC2002 Digest of Technical Papers, vol.45. pp. 46-47, 443, 2002.

Hiroshi OHTAKE, Tetsuya HAYASHIDA, Kazuya KITAMURA, Toshiki ARAI, Jun YONAI, Kenkichi TANIOKA, Hirotaka MARUYAMA and Takeharu ETOH:300,000-pixel Ultrahigh-speed High-sensitivity CCD and a Single-chip Color Camera Mounting This CCD,NHK STRL Bulletin, Broadcast Technology, No.28, pp.2-9, 2006.

非常に速い撮影速度の高速度撮影では光量の不足が課題になる。これに対処するためにいくつかの技術が考案されている。何らかの刺激を与えた直後に起きる現象に再現性がある場合には、実験を繰り返し、得られた連続する画像信号を、刺激を与えた時刻を基準にして並べ、各画素の画像信号を積算するという方法がある。

このような例として大型の加速器を用いた実験がある。加速器で発生させた粒子をターゲットに衝突させ、その結果生じる現象を可視化する場合、再現性が高ければ、実験効率を上げるために、１秒間に６０回程度の割合で連続して衝突を起こさせ、引き続いて非常に短い時間の間に起こる現象を何度も撮影し、画像データを積算してダイナミックレンジの高いデータを得るという技術を用いる。

この場合、衝突直後の現象は1マイクロ秒程度の非常に短いフレームインタバルで撮影する必要があり、並列読み出し方式では撮影速度が不足することが多い。部分読み出しを併用すれば画像の空間解像度が下がる。したがって画素周辺記録方式を採用せざるを得ない。

画素周辺記録方式を用いると、例えば３０万画素で連続１００枚撮影する場合、３０００万個の画像信号を１／６０秒間に読み出す必要がある。これは現在の技術でも難しい。

加速した粒子の衝突により生じる粒子等は一般的に非常に強いエネルギーを持っているが、そのまま撮像素子に入射すると撮像素子に致命的な損傷を与える。したがって多くの場合、シンチレータにより蛍光等に直して、撮像素子で撮影する。このため撮像素子に入射する光量はそれほど強くない。一方フレームインタバルが非常に短いので、１フレーム当たりの入射光量は小さくなり、非常に暗いダイナミックレンジの狭い画像しか得ることができない。

M×N（M≧２、N≧２）の２次元的に配列された画素を持ち、各々の画素の内部もしくは画素に近接して、各画素に非常に短いフレームインタバル内に入射した電磁波の強度に対応して生じる電気信号（以後、「画像信号」と呼ぶ）を記録する画像信号記録要素をK（K≧２）個備える画像信号記録部を備える撮像素子であって、
各画素について、K個の異なる画像信号記録要素に既に記録されている画像信号のいずれかに、新たに撮影された画像信号を加えて記録する手段を備えることを特徴とする撮像素子、および撮影装置により、
不十分な光量下で、非常に短いフレームインタバルで、再現性のある現象を、十分高いダイナミックレンジで連続撮影することができる。

光信号を信号電荷に変換する手段と、該信号電荷または該信号電荷を増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする撮像装置により、信号対雑音比の高い画像信号を得ることができる。

光信号を信号電荷に変換する手段と、該信号電荷を電圧に変換する手段と、該信号電荷を増幅する手段と、該増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする固体撮像装置において、該オペアンプの一時保持容量が接続される入力部と別の入力部に、信号電荷を電圧に変換する手段のリセット・レベルを入力することにより、リセット雑音を低減することを特徴とする撮像装置により、高感度でかつ信号対雑音比の高い画像信号を得ることができる。

光信号を信号電荷に変換する手段と、該信号電荷を電圧に変換する手段と、該信号電荷を増幅する手段と、該増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする固体撮像装置において、該一時保持容量の両端に複数のスイッチを設けることにより、該一時保持容量の両端を逆転してオペアンプに接続できるようにすることにより、リセット雑音を低減し、高感度でかつ信号対雑音比の高い画像信号を得ることができる。

さらに、各画素に入射する電磁波の強度をあらかじめ予測する手段を備えるとともに、その強度に応じて各画素の画像信号記録要素での信号の加算回数を指定する手段を備える撮影装置によって、
Ｌ回（Ｌ≧１）の撮影で得られるＫフレームの連続画像の各画素の信号強度に逆比例して、以後の撮影における画像信号の積算回数を変え、暗い画素は多数回、明るい画素は少数回画像信号を積算することにより、もともとの信号強度の弱い画素についてもダイナミックレンジの高い画像を得ることができる。

図１は本発明の撮影装置を示している。毎秒２５回，すなわち４０ｍｓの時間間隔で試料110を透過した中性子束100が，中性子から可視光への変換装置101により，可視光102に変換された後，レンズ103に入射し，撮像素子104上に結像する。撮像素子内で画像信号に変換され，撮影終了後に撮像素子から読み出されてバッファメモリ105に保存される。バッファメモリに保存された画像信号は画像信号処理装置106により連続する画像に変換されメインメモリ107に保存される。さらに出力装置108を通してディスプレイ（記載されていない）や外部記録装置（記載されていない）に出力される。撮像素子，画像信号処理装置，バッファメモリ，メインメモリ，出力装置は制御装置109により統合制御される。

図２は本発明の撮像素子104の全体構成を示している。各画素200のサイズが５０μｍ×５０μｍ程度と仮定すれば、比較的容易に４００行×４００列の１６０，０００画素からなる素子が実現できる。

図３は本発明の第１実施例の撮像素子の各画素の構造を示し、図４と５は駆動タイミングを示している。
時刻t0においてリセット・トランジスタ306がオンしているときに、積算容量接続トランジスタ331, 332, 333 がオンすることにより、積算容量に蓄積された電荷量がゼロにリセットされるとともに、フローティング・ディフュージョンの電位がオペアンプ304の正側入力305に印加されている参照電位Vrefに設定され、かつ読出しトランジスタ301がオンすることにより、フォトダイオードに蓄積された電荷がリセットされる。

リセット・トランジスタと積算容量接続トランジスタ331, 332, 333および読出しトランジスタ301をオフすると、光電変換部301で信号は光から電荷に変換され、一定期間301に蓄積される。時刻t1においてリセット・トランジスタ306が再びオンして、フローティング・ディフュージョン303の電位は参照電位Vrefに設定した後、306をオフして、時刻t2で読出しトランジスタ302をオンすることにより、信号電荷Qsは容量Cfdを持つフローティング・ディフュージョン303に転送される。

このとき303の電荷量Qfdはもともと存在していた電荷量Q0=Cfd*Vref に対して、信号電荷量Qs分だけ減少するので、Qfd=Q0-Qs=Cfd*Vref-Qs になる。次に読出しトランジスタ302をオフして、時刻t3でトランジスタ331をオンすると、容量C1を持つ積算容量321にはもともとQ1の電荷量が存在していたと仮定し、オペアンプの利得をa、オペアンプの出力電圧をVout、C1の電荷量変化をΔQ1とすると、Vout は以下の式で表される。
Vout=a(Qs-ΔQ1)/Cfd=(Q0-Qs+ΔQ1)/Cfd+(Q1+?Q1)/C1
上の式をΔQ1について解くと、
ΔQ1={(a+1)Qs-(Q0+Q1*Cfd/C1)}/(a+1+Cfd/C1)

aは通常100〜10000程度なので、Cfd/C1がaと比較して充分小さいと仮定すると、ΔQ1≒Qsとなり、常に信号電荷量が積算容量321に加算される。信号電荷加算後にトランジスタ331をオフし、306をオンすることにより、303を参照電位Vrefにリセットする。一定時間経過後に306をオフして、読出しトランジスタ302のゲートをオンすることにより、信号電荷Qsは容量Cfdを持つフローティング・ディフュージョン303に転送され、さらに読出しトランジスタ302をオフして、時刻t4においてトランジスタ332をオンすることにより、容量322に信号電荷を加算蓄積することができる。同様にして時刻t5において容量323に、信号電荷を加算蓄積することができる。

撮像対象が、高速で変化するが、一定周期を持つ事象の場合は、一定周期ごとに画像信号を加算蓄積すれば、高いS/Nを得ることができる。したがって、次の周期の初めに、容量321に再度信号電荷を加算蓄積し、順に322、323に信号電荷を加算蓄積していけば、高いS/Nの画像信号を得ることができる。十分高いS/Nが得られたと判断できた段階で、各容量に蓄積された信号を読み出す。

まず図５の時刻t6で306をオンすることにより、303を参照電位にリセットした後、306をオフする。時刻t7でトランジスタ331をオンして、そのときのオペアンプの出力電圧Voutを選択トランジスタ307を介して読み出す。この場合、321 の電荷量の変化をΔQ1とすると、Voutは以下の式で表される。
Vout=aΔQ1/Cfd=(Q0-ΔQ1)/Cfd+(Q1-ΔQ1)/C1
上の式をΔQ1について解くと、ΔQ1=(Q0+Q1*Cfd/C1)/(a+1+Cfd/C1) なので、
Vout=a(Q0/Cfd+Q1/C1)/(a+1+Cfd/C1)≒Q0/Cfd+Q1/C1=Vref+Q1/C1
となり、積算された電荷量Q1に線形に対応した出力を得ることができる。

全画素の信号電荷量Q1に対応した出力を図５の時刻t8までに読み出した後、同様にして、全画素の322と323に蓄積された電荷量に対応した出力を読出す。全画素の全ての積算容量内の電荷に対応する出力を読み出した後、リセット・トランジスタ306をオンにしたまま、331, 332, 333をオンにして、積算容量321, 322, 323をリセットすることにより、時刻t0の状態に戻る。

図３では３つの容量だけを示したが、必要な数の容量を用意すれば、必要なフレーム数に応じた画像信号を記録することができる。なお、積算容量に接続されるトランジスタ331、332、333はオペアンプの入力側にあっても良いし、入力側と出力側の両側にあっても良い。上記の構成を持つ画素を、要求される解像度に応じて必要な数だけ図２に示すように２次元に配列し、行選択回路350と列選択回路351で画素を選択して出力アンプ352を通して出力することにより、十分な解像度を持つ、高速で高S/Nの固体撮像装置を実現することができる。

なお、オペアンプはCMOS回路を用いると、最小の構成で図６に示すような11個程度のトランジスタで構成することができるので、数十〜百フレーム程度の画像を記録するために100個程度の積算容量を設ける場合には、容量に必要な面積と比較して、少ない面積で実現できる。

J. メーバー, M. A. ジャック, P. B. デニア著, 菅野卓雄, 桜井貴康監訳、「MOS LSI 設計入門」, 産業図書, 図8.5, p. 225, 1986

図７に本発明の第２実施例の画素構成を示す。トランジスタ312と313で構成されるソース・フォロワ回路がオペアンプの前段に設置することにより、積算容量321, 322, 323および信号保持容量315として実施例１の場合よりも大きな容量を使用できるので、積算容量のリセットに伴って発生する熱雑音を抑制することができる。

図８にタイミング・チャートを示す。リセット・トランジスタ309をオンしてオフした後、読出しトランジスタ302をオンしてオフすることにより、312と313で構成されるソース・フォロワ回路出力に信号電荷に応じた電位が出力される。この電位をトランジスタ313を介して信号保持容量315に保持する。トランジスタ331をオンすることにより、積算容量321に信号量に応じた電荷量を加算蓄積する。一定時間経過後に同様の手順を繰返し、トランジスタ332をオンすることにより、積算容量322に信号量に応じた電荷量を加算蓄積する。同様に積算容量323にも別の期間の信号電荷量に応じた電荷量が加算蓄積される。全ての積算容量の加算蓄積が終わった後、実施例１と同様のタイミングで、全画素に蓄積された信号を読み出す。

図９に本発明の第３実施例の画素構成を示す。フローティング・ディフュージョン303のリセット・ノイズを抑制するために、相関２重サンプリングを行うためにトランジスタ318とリセット・レベル保持容量319を設けてある。図８のタイミング・チャートにおいて、リセット・トランジスタ309をオンしてオフした直後にトランジスタ318をオンすることにより、リセット・レベルを保持容量319に保持し、オペアンプの正入力に接続する。以上により、リセット・レベルと信号レベルの差に対応する電荷が積算容量に蓄積されるので、リセット・ノイズを抑制した高感度な撮像信号を得ることができる。図９では、寄生容量削減のために積算容量の両側にトランジスタを設ける例を示したが、第一、第２実施例と同様、どちらか一方の側だけに設けてもよい。

図１０に本発明の第４実施例の画素構成を示す。フローティング・ディフュージョン303のリセット・ノイズを抑制することを目的とする相関２重サンプリングを行うために、トランジスタ314, 361, 362, 363を追加して、リセット・レベルを信号保持容量315に保持した後、315の両端を逆転してオペアンプの入力部に接続できるようにした。

図１１のタイミング・チャートに示すように、時刻t1でリセット・レベルを315に保持し、時刻t2で保持容量を逆転してオペアンプに入力して、トランジスタ331, 341をオンすることにより、積算容量321において電荷の減算を行い、時刻t3で信号レベルを315に保持し、時刻t4で保持容量をそのままオペアンプに入力して、トランジスタ331, 341をオンすることにより、積算容量321において電荷の加算を行う。このことにより、リセット・レベルと信号レベルの差分に対応する電荷が積算容量に加算蓄積されるので、リセット・ノイズを抑制した高感度な撮像信号を得ることができる。また、この構造を用いると、光信号に応じた電荷量の加算と減算が容易に実行できるので、バックグラウンドの除去等の高速なアナログ演算が素子内で可能になるという利点がある。

なお、図１において、制御装置109で撮像素子104そのもの、または試料110と撮像素子104の間か別の部分に設けた検出器の信号強度に応じて、加算回数を設定すれば、充分なダイナミックレンジの画像信号を効率よく得ることができる。

本発明の撮影装置の構成を示した図である。本発明の撮像素子の全体構成を示した図である。本発明の実施例１の撮像素子の各画素の構造を示した図である。本発明の実施例１の受光積算時タイミングチャートを示した図である。本発明の実施例１〜４の積算信号読出し時タイミングチャートを示した図である。オペアンプの回路例を示した図である。本発明の実施例２の撮像素子の各画素の構造を示した図である。本発明の実施例２と３の受光積算時タイミングチャートを示した図である。本発明の実施例３の撮像素子の各画素の構造を示した図である。本発明の実施例４の撮像素子の各画素の構造を示した図である。本発明の実施例４の受光積算時タイミングチャートを示した図である。

100 中性子束
101 中性子から可視光への変換装置
102 可視光
103 レンズ
104 撮像素子
105 バッファメモリ
106 画像信号
107 メインメモリ
108 出力装置
109 制御装置
110 試料
200 画素
300 光電変換および電荷積算部
301 フォトダイオード
302 読出しトランジスタ
303 フローティング・ディフュージョン
304 オペアンプ
305 参照電位印加部
306 オペアンプ部リセット・トランジスタ
307 画素選択トランジスタ
308 画素出力
309 フローティング・ディフュージョン部リセット・トランジスタ
310 電源
311 ソース・フォロワ駆動トランジスタ
312 ソース・フォロワ負荷トランジスタ
313 ソース・フォロワと信号レベル保持容量間接続トランジスタ
314 信号レベル保持容量とオペアンプ間接続トランジスタ
315 信号レベル保持容量
318 ソース・フォロワとリセット・レベル保持容量間接続トランジスタ
319 リセット・レベル保持容量
321 積算容量１
322 積算容量２
323 積算容量３
331 積算容量１用出力側接続トランジスタ
332 積算容量２用出力側接続トランジスタ
333 積算容量３用出力側接続トランジスタ
341 積算容量１用入力側接続トランジスタ
342 積算容量２用入力側接続トランジスタ
343 積算容量３用入力側接続トランジスタ
350 行選択回路
351 列選択回路
352 出力アンプ
361 信号レベル容量と参照電位間順方向接続トランジスタ
362 信号レベル容量と参照電位間逆方向接続トランジスタ
363 信号レベル保持容量とオペアンプ間逆方向接続トランジスタ

Claims

M×N（M≧２、N≧２）の２次元的に配列された画素を持ち、各々の画素の内部もしくは画素に近接して、各画素にあらかじめ指定したフレームインタバル内に入射した電磁波の強度に対応して生じる電気信号（以後、「画像信号」と呼ぶ）を記録する画像信号記録要素をK（K≧２）個備える画像信号記録部を備える撮像素子であって、
各画素について、K個の異なる画像信号記録要素に既に記録されている画像信号のいずれかに、新たに撮影された画像信号を加えて記録する手段を備えることを特徴とする撮像素子、および撮影装置。
光信号を信号電荷に変換する手段と、該信号電荷または該信号電荷を増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して入力部に接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする固体撮像装置。
光信号を信号電荷に変換する手段と、該信号電荷を電圧に変換する手段と、該信号電荷を増幅する手段と、該増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して入力部に接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする固体撮像装置において、該オペアンプの一時保持容量が接続される入力部と別の入力部に、信号電荷を電圧に変換する手段のリセット・レベルを入力することにより、リセット雑音を低減することを特徴とする固体撮像装置。
光信号を信号電荷に変換する手段と、該信号電荷を電圧に変換する手段と、該信号電荷を増幅する手段と、該増幅した電荷を一時保持する容量と、該容量と直接またはスイッチを介して入力部に接続されたオペアンプと、該オペアンプの出力と該容量が接続される入力部との間に、スイッチを介して接続された複数の電荷積算容量を備え、該一時保持容量の電荷を一定時間ごとに繰り返し該電荷積算容量に加算して蓄積することを特徴とする固体撮像装置において、該一時保持容量の両端に複数のスイッチを設けることにより、該一時保持容量の両端を逆転してオペアンプに接続できるようにすることを特徴とする固体撮像装置。
各画素に入射する電磁波の強度をあらかじめ予測する手段を備えるとともに、その強度に応じて各画素の画像信号記録要素での信号の加算回数を指定する手段を備える撮影装置。