JP2009239668A - 撮像装置とその信号処理方法 - Google Patents

Abstract

【課題】固体撮像素子の画素が規則的に配列された撮像装置において、高度な画像処理を行う。
【解決手段】画素２は、センサ部３で光を光電変換して得た電荷が所定値以上発生しているか否かを画素回路４で観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する。画像信号処理回路１４は、読み出し制御回路１２を介して入力される各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する。また、画像信号処理回路１４は、所定の画素の周辺画素から出力されたデジタル信号を、所定の画素からの距離により重み付けして所定の画素からのデジタル信号に加算処理する。
【選択図】図１

Description

本発明は撮像装置とその信号処理方法に係り、特に高度な画像処理を行うことができる撮像装置とその信号処理方法に関する。

従来、フォトダイオードに光が入射されたか否かを「０」，「１」のデジタル値で出力する撮像素子が提案されている（例えば、特許文献１参照）。図１８は、従来の撮像装置に用いる固体撮像素子の一例の構成図を示す。この固体撮像素子２０１は、アバランシェ・フォト・ダイオード（ＡＰＤ）２０４、抵抗２０５、１ビットメモリ２０６からなる画素２０３を所定の画素敷き詰め領域２０２内に規則的に並べた構成である。この固体撮像素子２０１の画素動作は、行コントロール回路２０７により行単位でコントロールされ、以下のように行われる。

まず、ＡＰＤ２０４に光が入射されると、電荷が発生する。発生した電荷は、ＡＰＤ２０４により数十倍、数百倍に増幅され、それが電流として抵抗２０５に流れると電圧降下を起こし、ＡＰＤ２０４と抵抗２０５との接続点における電位が下がる。電荷が流れきると、また電源電圧に戻る。従って、上記の接続点にパルスが発生する。１ビットメモリ２０６は、そのパルスを記録する。

次に、１ビットメモリ２０６に「０」，「１」のデジタル値で記録された画素信号は、列読み出し回路２０８により列単位で読み出され１ビットの信号があった場合にはその画素に対応するカウンタ２０９の数字が１個進む。そして所定時間の後（例えば６０分の１秒後）、カウンタ２０９の数値を出力する。カウンタ２０９の数値は、カウンタ情報出力回路２１０を介して出力される。

特開２００４−１９３６７５号公報

上記の固体撮像素子２０１のように、画素に「０」あるいは「１」のデジタル値で光信号を記録する固体撮像素子の場合、その出力結果はカウンタ２０９により所定時間毎に加算してまとめられるので、多くの情報を失っている。具体的にはどのタイミングでどの画素に光が入射したかという情報である。その結果、高度な画像処理を行うことができない。

本発明は上記の点に鑑みなされたもので、高度な画像処理を行うことができる撮像装置とその信号処理方法を提供することを目的とする。

上記の目的を達成するため、本発明の撮像装置は、複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、上記の複数個の画素の各画素は、
入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有しており、
複数個の画素を駆動する駆動回路と、複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する読み出し回路と、読み出し回路から出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する信号処理回路とを有することを特徴とする。

ここで、上記信号処理回路は、複数個の画素のうち、所定の画素から出力されたデジタル信号に、所定の画素の周辺画素から出力されたデジタル信号を加算処理して所定の画素のデジタル信号として出力する構成としてもよい。また、上記信号処理回路は、所定の画素から出力されたデジタル信号に、その所定の画素の周辺画素から出力されたデジタル信号をその周辺画素の所定の画素からの距離により重み付け加算処理して所定の画素のデジタル信号として出力する処理を行うようにしてもよい。

また、上記の目的を達成するため、本発明の撮像装置の信号処理方法は、入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「０」あるいは「１」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第１のステップと、第１のステップで出力された各画素毎のデジタル信号のうち、同一画素から出力された所定の観測回数毎のデジタル信号同士を一部重複させた加算処理又は所定の観測回数毎のデジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する第２のステップとを含むことを特徴とする。

また、本発明方法は、上記の第１及び第２のステップに加えて、デジタル信号及び画像信号のいずれかの信号を圧縮処理する第３のステップと、圧縮処理された信号を伸張処理する第４のステップとを更に含んでもよい。

また、上記の目的を達成するため、本発明の撮像装置の信号処理方法は、入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
複数個の画素からそれぞれ出力されるデジタル信号を所定の順序で出力する第１のステップと、第１のステップで出力された各画素毎のデジタル信号のうち、所定の画素から出力されたデジタル信号に、所定の画素の周辺画素から出力されたデジタル信号を加算処理して所定の画素のデジタル信号として出力する第２のステップとを含むことを特徴とする。

ここで、上記の第２のステップは、所定の画素から出力されたデジタル信号に、その所定の画素の周辺画素から出力されたデジタル信号をその周辺画素の所定の画素からの距離により重み付け加算処理して所定の画素のデジタル信号として出力する処理を更に行う処理を行うようにしてもよい。

本発明の撮像装置及びその信号処理方法は、各画素から所定値以上の電荷の発生の有無の観測結果を示す「０」あるいは「１」の値のデジタル信号を出力し、そのデジタル信号に対して加算処理を行うことにより、その加算処理後の全画素の信号から適切な画像を形成することができる。

本発明によれば、各画素から出力されるデジタル信号を所定の加算処理して得た信号に基づいて適切な画像を形成することで、高度な画像処理を行うことができる。

次に、本発明の一実施の形態について図面と共に詳細に説明する。

図１は、本発明になる撮像装置の一実施形態の構成図を示す。画素敷き詰め領域１は、複数の画素が縦方向及び横方向に規則的に配列された領域である。１つの画素２は、光を電荷に変換（光電変換）し電荷を検出するセンサ部３と、センサ部３の駆動と画素信号の信号処理とを行う画素回路４とを有している。画素回路４は、デジタル信号を記憶する画素メモリ５を有する。画素敷き詰め領域１の周辺には、画素を駆動する画素駆動回路６と、読み出し回路部１２とがある。読み出し回路部１２で読み出された画像情報は、画像処理回路１４で処理され、出力される。

画素駆動回路６は、画素敷き詰め領域１内の複数の画素のうち行方向に並ぶ３個の画素毎に接続された配線７−１〜７−３を介して、行単位で画素２を駆動する。なお、この配線７−１〜７−３は複数本をまとめて表示している。動作については図１０のタイミングチャートにより後述する。

画素２からは列配線８−１〜８−３を通じてデジタル信号が読み出し回路部１２に出力される。読み出し回路部１２は、読み出し制御回路１１がスイッチ９−１〜９−３により列配線８−１〜８−３から出力されるデジタル信号を切り替えている。スイッチ９−１〜９−３の切り替えは、どれか１つのスイッチをオンにし、２つを同時にオンしない。図１２（Ａ）、（Ｂ）、（Ｃ）は、スイッチ９−１、９−２、９−３の制御信号を示し、制御信号がハイレベルの時スイッチはオン、ローレベルのときはオフに制御される。

スイッチ９−１〜９−３により選択された各信号は、インバータ１０−１〜１０−３を通して反転し、１つの出力信号線１３から出力される。出力信号線１３を通して出力された信号は、画像信号処理回路１４により処理され、出力される。この処理内容についてはデジタル出力する画素に特有のもので、後述する。

なお、この実施の形態では、便宜上、画素２の配列を３行３列の９画素としており、３本の列配線８−１〜８−３を切り替えて１つの出力信号線１３から信号を出力しているが、このような構成は例として描いているのであり、本発明はこの構成にとらわれない。例えば、画素数は高精細ＴＶの横方向１９２０画素、縦方向１０８０画素やそれ以上ある場合も勿論である。また、出力信号線１３の数は１つとは限らず複数個で並列出力になる場合もあり得るし、また読み出し回路部１２がなく、直接列配線８−１〜８−３が画像信号処理回路１４に繋がっている場合もあり得る。

図２は、図１中の画素１個の一実施の形態の構成を示す。図２において、図１と同一構成部分には同一符号を付してある。図２中、破線で囲まれた部分が１個の画素２であり、画素２は、センサ部３と画素回路４とを有している。画素回路４は、図２には示していない画素駆動回路６により配線７を介してコントロールされる。なお、画素回路４については後に詳述する。

センサ部３は、ソース領域２１と光電変換領域２２とｎ型領域２３とを有している。図３は、センサ部３のさらに詳しい断面構造図を示す。図３において、センサ部３は、例えば深さ３μｍ、幅４μｍであり、その中に深さ２μｍ、直径３μｍの光電変換領域２２が形成されている。光電変換領域２２は、ｐ型でドーパント濃度が１×１０¹⁴ｃｍ^-3と非常に低濃度である。その周辺の領域はｎ型領域２３であり、そのドーパント濃度は１×１０¹⁶ｃｍ^-3〜１×１０¹⁸ｃｍ^-3程度である。基板の表面中央部には、ｎ型の領域がありこれはソース領域２１を形成している。

ｐ型の光電変換領域２２はゲート電極、ｎ型領域２３がドレイン電極、ソース領域２１がソース電極として機能する。つまり、図３に示す構成のセンサ部３は、ジャンクションＦＥＴ（以下Ｊ−ＦＥＴ）を形成している。ただし、通常のＪ−ＦＥＴと異なり、ゲート電極はどこにも接続されず、電気的に浮いている状態である。

センサ部３の動作をさらに説明するために、ソース領域２１の周辺部Ａの範囲を拡大して図４に示す。図４において、ｎ型のソース領域２１は幅０.０５μｍ、深さ０.０２μｍと非常に微細な大きさであり、１×１０¹⁶ｃｍ^-3〜１×１０¹⁹ｃｍ^-3程度のドーパント濃度である。その周辺には０.０２μｍ幅でドーパント濃度が５×１０¹⁷ｃｍ^-3〜５×１０¹⁹ｃｍ^-3程度のｐ型領域が取り囲んでおり、ここには光電変換されたホールが集まるので、これを電荷集中領域４０と呼ぶことにする。

次に、このセンサ部３がどのような動作をするか説明する。

図５は、ｎ型領域２３（ドレイン）に０Ｖを印加し、ソース領域２１に−０.６Ｖを印加した場合のポテンシャル図を示す。ここで光電変換領域２２にはホールが存在していないとして計算している。また、ポテンシャルの基準は真性半導体のバンドギャップの中央のエネルギーレベルであり、ｎ型、ｐ型ともに不純物による拡散電位の影響を考慮している。また座標の原点はｘ座標が中央部であり、ｙ座標は基板表面である。

さて、光電変換領域２２は０.４Ｖぐらいからソース領域２１に向かってポテンシャルが変化していることが、図５から分かる。光電変換領域２２に光が入射されると電子ホール対が発生する。この電子ホール対のうち電子は、ポテンシャルの傾きに従ってｎ型領域２３に向かい吸収される。一方、ホールはソース領域２１の方向に向かって進む。

図６は、ソース領域２１周辺の拡大図を示す。図６から分かるように、ソース領域２１の周辺の電荷集中領域４０にポテンシャルの低い領域ができている。図７は、図５のｘ座標０（図４ソース領域２１の真ん中）での断面図を示す。図７から分かるように、光電変換領域２２ではポテンシャルが緩やかに変化しているのに対し、ソース領域２１の周辺の電荷集中領域４０にてポテンシャルが急激に低下し、ポテンシャルの低い領域ができていることがわかる。

さて、ホールがない状態では、図６、図７のポテンシャル図が示すソース領域２１の周辺のポテンシャルの低い領域（電荷集中領域４０）がバリアとなってソース領域２１から電荷がｎ型領域２３に流れ込まず、ドレイン・ソース間には電流は殆ど流れない。ところが、光電変換によりホールが発生し、電荷集中領域４０にホールが集まると、電荷集中領域４０のポテンシャルが上昇し、ゲート・ソース間のポテンシャル障壁が下がり、ソース電流が流れるようになる。

このソース電流対ソース電圧特性を示したものが図８で、電荷集中領域４０にホールがある場合の特性をIで示し、ホールがない場合の特性をIIで示す。これらの特性I、IIから分かるように、電荷集中領域４０にホールが有る場合の方が、無い場合に比べて、ソース電流値に２桁〜４桁の差ができる。

図９は、ソース領域２１の容量特性を示す。図９において、ソース領域２１の容量（キャパシタンス）は、ソース電圧が０.２Ｖ以上では２×１０^-18（Ｆ）〜７×１０^-18（Ｆ）程度の容量特性を示していることが分かる。このソース領域２１の容量は、ホール１個の電荷量１.６×１０^-19（Ｃ）と比較して１０倍程度であるから、ホール１個当たり０.１Ｖ程度の変化が起こるので、十分検出可能であることが分かる。

さて、図２に戻って説明するに、このようなセンサ部３の特性に対して、それを駆動し検出結果をデジタル信号にする画素回路４は以下のようになっている。センサ部３のソース領域２１に繋がっている配線は、コンデンサ２４とスイッチ２５、２６の各一方の端子にそれぞれ接続されると共に、インバータを構成しているｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８のゲート共通接続点に接続されている。この共通接続点の電圧をＶｓとする。スイッチ２５のもう一方の端子は０Ｖの配線に繋がっており、スイッチ２６のもう一方の端子は−５Ｖの配線に繋がっている。スイッチ２５はセットの配線により、スイッチ２６はリセットの配線によりそれぞれコントロールされる。

また、ｐＭＯＳＦＥＴ２７のソースは１.２Ｖの配線につながり、ｎＭＯＳＦＥＴ２８のソースはグランド（０Ｖ）に繋がっている。インバータの出力端子であるｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８の各ドレイン共通接続点は、メモリ５の入力端に接続されている。このドレイン共通接続点の電圧をＶｏとする。また、メモリ５の出力端はスイッチ２９を介してアンプ３０につながり、アンプ３０の出力は列出力線８に繋がっている。スイッチ２９は画素選択用のスイッチであり、画素選択配線によりコントロールされる。また、センサ部３のｎ型領域２３には、０.６Ｖの電源が接続されている。

次に、この画素２の動作について図１０のタイミングチャートと共に説明する。まず、光が光電変換領域２２に入射されてホールが発生し、電荷集中領域４０にホール蓄積があった場合について説明する。

まず、セット信号にパルスを発生させ、図１０（Ａ）にハイレベルで模式的に示すように、スイッチ２５を一時的にオンする。この結果、センサ部３のソース領域２１の印加電圧Ｖｓは、図１０（Ｃ）に示すように０Ｖになる。また、ｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８で作るインバータの出力電圧Ｖｏは、図１０（Ｄ）に示すように１.２Ｖになる。

この状態で、光電変換領域２２に光が入射されると、電荷が発生し、図８と共に説明したように電荷集中領域４０にホールが無い場合よりも何桁も多いソース電流が流れる。その結果、コンデンサ２４に電荷が溜まっていき、図１０（Ｃ）に示すように、ソース領域２１の印加電圧Ｖｓは０Ｖから０.６Ｖに向かって上昇していく。

ここで、ｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８で作るインバータの反転電圧が０.４Ｖに設定されているとする。すると、上記電圧Ｖｓが０.４Ｖになったところでインバータは反転し、出力電圧Ｖｏが１．２Ｖから０Ｖに変化する（デジタル的には「１」から「０」に変化する。）。メモリ５は、このときのインバータの出力電圧Ｖｏを「０」と記憶する。

このあと、リセット信号がパルス状に発生し、図１０（Ｂ）にハイレベルで模式的に示すようにスイッチ２６が一時的にオン状態になる。この結果、センサ部３のソース領域２１の印加電圧Ｖｓは、図１０（Ｃ）に示すように−５Ｖになる。また、ｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８で作るインバータの出力電圧Ｖｏは、図１０（Ｄ）に示すように１.２Ｖに戻る。

図１１は、ソース領域２１の電位Ｖｓが−５Ｖになったときのポテンシャル形状を示す。図１１に示すように、Ｖｓが−５Ｖのときには、電荷集中領域４０とソース領域２１とのバリアの高さが０.１Ｖ程度となり、電荷集中領域４０に蓄積されていたホールはソース領域２１に容易に移動し、電荷集中領域４０内のホールは無くなる。すなわちリセットされる。この後、図１０（Ｅ）にハイレベルで模式的に示すように画素選択スイッチ２９が一時的にオンし、そのオン期間、メモリ５に記憶されていた値「０」のデータがアンプ３０で増幅された後画素２の外へ出力される。

なお、図１０（Ｆ）にハイレベルからローレベルへの変化で模式的に示すスイッチ２５がオンからオフに切り替わってから、図１０（Ｇ）にローレベルからハイレベルへの変化で模式的に示すスイッチ２６がオフからオンに切り替わるまでの所定期間内に、光が光電変換領域２２に入射されずに電荷が発生しなかった場合はソース電流が流れず、コンデンサ２４の端子電圧Ｖｓは、図１０（Ｈ）に示すように０Ｖのままである。従って、ｐＭＯＳＦＥＴ２７とｎＭＯＳＦＥＴ２８とで構成されたインバータの反転は起こらず、インバータの出力電圧Ｖｏは図１０（Ｉ）に示すように、１.２Ｖのままで変化しない。メモリ５は、スイッチ２６がオンに制御される直前の時点でインバータの１.２Ｖの出力電圧Ｖｏを「１」と記憶する。

この後、図１０（Ｊ）にハイレベルで模式的に示すように画素選択スイッチ２９が一時的にオンし、そのオン期間、メモリ５に記憶されていた値「１」のデータがアンプ３０で増幅された後画素２の外へ出力される。画素２の外部へ出力された信号は、図１のインバータ１０−１〜１０−３により反転され、画像信号処理回路１４に引き渡される。このような観測を、例えば１秒間に６０００００回繰り返す。

ところで、上記の説明ではメモリ５は１ビットとし、出力も１ビット分として表現したが、メモリ５のビット数は設計者の自由にでき、ビット数の分だけホールが入ったかどうかの観測を繰り返して（セット−リセット間を繰り返す）メモリ５にビット数分だけ記憶できる。また、デジタル信号の「０」，「１」は、上記の説明では光があった場合「０」、無かった場合「１」としているが、これはインバータにより簡単に反転できるので、自由に設定可能である。

さて、全画素で１度の観測により得られた読み出し画像は、例えば図１３の５１のようになる。ここでは図１の画素の配列がそのまま各画像信号の配列に対応しているものとし、光が観測された画素が「１」に、観測されなかった画素が「０」で表されている。従って、図１３は、列番号１、行番号１の座標（１，１）に対応する画素では光が観測され、その他の画素では光が観測されなかったことを示している。このような画像情報が、例えば１秒間に６０００００枚発生する。すなわち、この場合は一画素から値「０」又は「１」のビット値のデジタル信号が１秒間に６０００００ビット出力される。

次に、これを特定のフレームレートに変換する方法について図１４と共に説明する。なお、このフレームレートの変換は、図１の画像信号処理回路１４で画像処理用メモリ１５を用いて行われる。

例えば、６０フレームの動画画像を得たい場合、図１４（Ａ）のように、各画素毎に一秒当たり６０００００ビットの割合で出力されるデジタル信号の特定のビットから１００００ビット分の信号を、各画素において加算すればよい。全画素でこの加算作業を行えば、１枚の６０分の１秒の画像が得られる。そして、各画素毎に次の１００００ビットを加算することにより、全画素から次の６０分の１秒の画像が得られる。この繰り返しで１秒間に６０枚の画像（すなわち、１秒６０フレームの画像）が得られる。しかしながら、このようにして得られる画像情報は従来構造で各画素に対応したカウンタにより作られる画像と変わりない。

図１４（Ｂ）は、各画素毎に一秒当たり６０００００ビットの割合で出力されるデジタル信号の特定のビットから１００００ビットの範囲毎の、最初の４０９６ビットだけを加算し、後半の５９０４ビットは加算しないことでフレームレートを変換する方法を示す。これは４０９６（＝２12）階調で表される量子化ビット数１２ビットの信号よりも多階調の信号が不要な場合に行う。このようにすれば、一画素の出力信号４０９６ビットの加算結果を示す量子化ビット数１２ビットの信号により、全画素全体から６０フレーム／秒の画像信号が得られる。

図１４（Ｃ）は、撮像対象が暗い場合に１フレームに作る情報を２００００ビット分に増やすフレームレート変換方法を示す。この場合、各画素毎に一秒当たり６０００００ビットの割合で出力されるデジタル信号の特定のビットから２００００ビット毎に加算することで、全体の画素から１秒３０フレームの画像を作ると動画品質が劣化してしまう。そこで、図１４（Ｃ）に示すフレームレート変換方法では、各画素毎に一秒当たり６０００００ビットの割合で出力されるデジタル信号の特定のビットから２００００ビットの第１の範囲６１のうち、前半の１００００ビットは直前の２００００ビットの第２の範囲６２の後半の１００００ビットと加算し、後半の１００００ビットは直後の２００００ビットの第３の範囲６３の前半の１００００ビットと加算する（各画素において、前後の２００００ビットと１００００ビットずつ重なるように加算する）。これにより、全画素から１秒６０フレームの動画画像を作ることができる。この場合、６０フレームの動画画像は、重なった分が残像となるが、３０フレームの動画よりは動画品質が向上する。

図１４では１つの画素について時間方向の観測結果について動画画像を作る方法について説明したが、次に空間的な処理方法について説明する。

図１５はある１回の観測画像の様子を示す。図１５において、縦方向８画素、横方向８画素からなる１回の観測画像は、撮像対象が暗い場合、光を検出した画素数（値が「１」の画素数）が少なくなる。そこで、周辺の画素の情報も用いて画像を構成する。最も単純な画像構成方法は、図１５に例えば太い枠で囲んだ隣接する４画素毎に１つの画素の信号として処理する方法である。この場合、作られる画像の信号画素数は縦横ともに半分になってしまう。

そこで、図１６（Ａ）に示すように、ある注目している画素７１の信号に、枠７２の範囲内にある画素７１の周辺の画素１個分の計８画素のうち、光を検出した画素の数を加算するか、あるいは枠７３の範囲内にある画素７１の周辺の画素２個分の計１６画素のうち、光を検出した画素の数を加算することで、一つの画素７１の信号を構成する。

また、その隣の画素、例えば画素７１の右隣の画素の信号を作るときには、図１６（Ｂ）に示すように、画素７１の右隣の画素８１を注目している画素とし、その画素８１の信号に、枠８２の範囲内にある画素８１の周辺の画素１個分の計８画素のうち、光を検出した画素の数を加算するか、あるいは枠８３の範囲内にある画素８１の周辺の画素２個分の計１６画素のうち、光を検出した画素の数を加算することで、一つの画素８１の信号を構成する。図１６（Ａ）、（Ｂ）に示す方法は、空間的にローパスフィルタ処理を行っているのに等しい。通常の光学的ローパスフィルタと同様な効果が得られ、画像特性が改善する。

また、加算するときに、注目している画素からの距離によって加算の重みを変えることも有効である。例えば、注目している画素の信号をＸ、その注目画素の１個隣の計８画素のうち、光を検出した画素の数を加算したものをＹ，その注目画素の２個隣までの計１６画素のうち、光を検出した画素の数を加算したものをＺとした場合、最終的な加算結果をＳとすると
Ｓ＝Ｘ＋ａＹ＋ｂＺ
などのように重み付けする。従って、Ｘは０又は１、Ｙは０〜８の範囲内の数値、Ｚは０〜１６の範囲内の数値を示す。ここで、ａ、ｂは０≦ａ≦１、０≦ｂ≦１、ｂ≦ａである。例えばａ＝０.５、ｂ＝０.２などのようにする。こうすると、例えば２画素隣で信号が大きく変化している場合に、注目している画素がその信号に引きずられる影響を減らすことができる。

このように、時間方向、空間方向で最適な加算を行い、適切な画像を形成することが可能になる。

このような画像データは、処理に必要な分だけ、図１の画像処理用メモリ１５に保存されるが、画像情報をそのまま保存すると大きなメモリ容量が必要になる。例えば１秒間に６０００００回の測定を２００万画素について行ったとする。１秒６０フレームで動画を構成すると、１フレームは１万回分の観測結果になるが、１フレームに必要なメモリ容量は２０Ｇビット（２.５Ｇバイト）になる。更に、動き検出などをするために前後１０フレーム分が必要ということになると、メモリ容量は４００Ｇビット（５０Ｇバイト）必要になる。

ところが、保存する情報には冗長性がある。例えば１秒間６０フレームで動画を構成したときに１フレーム１万回の観測結果を使うとし、ある一画素において光が観測されたのが５００回であったとする。すると、その画素の１万回のデータのうち値「１」が５００個であり、「０」が９５００個ということになる。データの構造としては「０」が並んでいる間にぽつぽつと「１」が混じっているという構造になる。これは冗長性が高い。

そこで、時間方向に圧縮を行う。このときに「１」がどのタイミングで観測されたかというのは重要な情報なので、この情報を無くさないように可逆圧縮（ロスレス圧縮）を行う。ロスレス圧縮の方法についてはすでに公知のものがあるので、それを利用できる。

図１７は、可逆圧縮方法の一例の説明図を示す。ここでは、圧縮前のデータを、「１」や「０」が連続何個続いているか、という表現に置き換えている。この方法では撮像対象が暗い場合ほど、あるいは明るい場合ほど、「０」や「１」が連続している可能性が高いのでデータが小さくなる。

なお、時間方向にある画素についての圧縮例を示したが、空間方向についても同じである。ある１回の観測結果についての画像を画素の順番に従って観測結果を並べた場合、やはり図１７のように「０」，「１」が並んだ構造になる。これは同様の方法で圧縮できる。圧縮したデータは再び展開して処理することが可能である。

本発明の撮像装置の一実施形態の構成図である。 図１中の画素１個の一実施の形態の構成図である。 図１及び図２中のセンサ部の詳細を示す断面構造図である。 図３のＡ部の拡大図である。 図１乃至図４のセンサ部のｎ型領域に０Ｖを印加し、ソース領域に−０.６Ｖを印加した場合のポテンシャル図である。 図３のＡ部のポテンシャル図である。 図４のｘ座標０におけるポテンシャル図（ｘ＝０での断面図）である。 図４のＪ−ＦＥＴのソース電流対ソース電圧特性図である。 図４のＪ−ＦＥＴのソース領域の容量特性の一例を示す図である。 図２の画素回路の動作説明用タイミングチャートである。 画素のリセット動作の一例を説明するポテンシャル図である。 図１の読み出し制御回路から出力される制御信号のタイミングチャートである。 図１の読み出し画像の一例を示す図である。 図１の画像信号処理回路による特定の画素のフレーム数変換方法の各例を説明する図である。 １回の観測画像における注目している画素と周辺画素との加算例の説明図（その１）である。 １回の観測画像における注目している画素と周辺画素との加算の各例の説明図（その２）である。 図１の画像信号処理回路による画像情報圧縮方法の一例の説明図である。 従来の撮像装置に用いる固体撮像素子の一例の構成図である。

符号の説明

１ 画素敷き詰め領域
２ 画素
３ センサ部
４ 画素回路
５ メモリ
６ 画素駆動回路
７−１〜７−３ 行配線
８−１〜８−３ 列配線
９−１〜９−３、２５、２６、２９ スイッチ
１０−１〜１０−３ インバータ
１１ 読み出し制御回路
１２ 読み出し回路部
１３ 出力信号線
１４ 画像信号処理回路
１５ 画像処理用メモリ
２１ ソース領域
２２ 光電変換領域
２３ ｎ型領域
２４ コンデンサ
２７ ｐＭＯＳＦＥＴ
２８ ｎＭＯＳＦＥＴ
３０ アンプ
４０ 電荷集中領域

Claims (7)

1. 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
   前記複数個の画素の各画素は、
   入射した光の光量に応じた数の電荷を発生する光電変換領域と、
   所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有しており、
   前記複数個の画素を駆動する駆動回路と、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
   前記読み出し回路から出力された各画素毎の前記デジタル信号のうち、同一画素から出力された所定の観測回数毎の前記デジタル信号同士を一部重複させた加算処理又は前記所定の観測回数毎の前記デジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する信号処理回路と、
   を有することを特徴とする撮像装置。
2. 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
   前記複数個の画素の各画素は、
   入射した光の光量に応じた数の電荷を発生する光電変換領域と、
   所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有しており、
   前記複数個の画素を駆動する駆動回路と、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
   前記複数個の画素のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号を加算処理して前記所定の画素のデジタル信号として出力する信号処理回路と、
   を有することを特徴とする撮像装置。
3. 複数個の画素が規則的に配列された画素敷き詰め領域を有する撮像装置であって、
   前記複数個の画素の各画素は、
   入射した光の光量に応じた数の電荷を発生する光電変換領域と、
   所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有しており、
   前記複数個の画素を駆動する駆動回路と、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する読み出し回路と、
   前記複数個の画素のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号をその周辺画素の前記所定の画素からの距離により重み付け加算処理して前記所定の画素のデジタル信号として出力する信号処理回路と、
   を有することを特徴とする撮像装置。
4. 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」あるいは「１」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第１のステップと、
   前記第１のステップで出力された各画素毎の前記デジタル信号のうち、同一画素から出力された所定の観測回数毎の前記デジタル信号同士を一部重複させた加算処理又は前記所定の観測回数毎の前記デジタル信号の一部だけを加算処理してフレームレート変換し、処理後の各画素からの信号から画像信号を生成する第２のステップと
   を含むことを特徴とする撮像装置の信号処理方法。
5. 前記デジタル信号及び前記画像信号のいずれかの信号を圧縮処理する第３のステップと、
   前記圧縮処理された信号を伸張処理する第４のステップと、
   を更に含むことを特徴とする請求項４記載の撮像装置の信号処理方法。
6. 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第１のステップと、
   前記第１のステップで出力された各画素毎の前記デジタル信号のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号を加算処理して前記所定の画素のデジタル信号として出力する第２のステップと、
   を含むことを特徴とする撮像装置の信号処理方法。
7. 入射した光の光量に応じた数の電荷を発生する光電変換領域と、所定値以上の前記電荷の発生の有無を観測し、その観測結果を「０」または「１」の値のデジタル信号として出力する画素回路と、を有する画素が、複数個規則的に配列された撮像装置の信号処理方法であって、
   前記複数個の画素からそれぞれ出力される前記デジタル信号を所定の順序で出力する第１のステップと、
   前記第１のステップで出力された各画素毎の前記デジタル信号のうち、所定の画素から出力された前記デジタル信号に、前記所定の画素の周辺画素から出力された前記デジタル信号をその周辺画素の前記所定の画素からの距離により重み付け加算処理して前記所定の画素のデジタル信号として出力する第２のステップと、
   を含むことを特徴とする撮像装置の信号処理方法。

Images