JP4001598B2 - 時間相関検出型イメージセンサおよび画像解析方法 - Google Patents

Description

本発明は、入射光強度と外部電気信号との時間相関検出を行う時間相関検出型センサおよび時間相関検出型センサを用いた画像解析方法に関する。

画像センシングや画像解析の応用は、コンピュータビジョン、自動視覚検査、科学計測、リモートセシング等、多岐にわたっている。しかし、その入力手段としては、ほとんど放送用のイメージセンサの流用以外の方法がなく、その限定された機能に由来して、画像処理の応用展開上、多くの制約を受けているのが現状である。

特に問題が大きいのが、フレームレート1/30秒という時間分解能の悪さであり、ＭＯＳ型イメージセンサの高速スキャンや、イメージディテクタのような時間信号出力型デバイスを用いても、感度や本来の空間分解能が犠牲になるため、本質的な解決にならない。

この問題に対して、本発明は画像センシングの方法論に立返った考察から解決法を与えようとするものである。もともと、空間分解能と時間分解能の双方を高めようとする要求は情報量の莫大化に帰着するため、本質的な困難さがある。本発明は、センサ段階で適切な処理を加え、後続する画像解析に必要十分な情報に圧縮して出力する方法を採るものであり、これにより、例えば、時間分解能の制限から従来不可能であった種々の画像解析が可能となる、という技術上の効果が得られる。

（１）請求項１の発明に係る時間相関検出型イメージセンサは、図４に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする。
（２）請求項２に係る時間相関検出型イメージセンサは、図６に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする。
（３）請求項３に係る発明は、計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、複数のコンデンサの積分値の和が計測対象物体の平均照度を表し、複数のコンデンサの積分値の差が計測対象物体の一次微分値となるように変調信号を入力することを特徴とする。
（４）請求項４に係る画像解析装置は、時間変調をかけた光を物体に照射する光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの各電荷の和と差を算出して、物体の形状を特定することを特徴とする。
（５）請求項５に係る時間相関検出型イメージセンサは、図５に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする。
（６）請求項６に係る時間相関検出型イメージセンサは、図５や６に示すようなイメージセンサに対応するものであって、入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と；
変調信号よりも遅い周期により複数の受光素子を走査して複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする。
（７）請求項７に係る画像解析装置は、時間変調をかけた光を物体に照射する光源と、
光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項５または６に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの電荷の差を物体の一次微分画像として走査回路で読み出すことを特徴とする。

（１）請求項１や請求項２に係る発明によれば、入力フォトンを電流に変換する際、入力された電気信号に応じて発生した電流を分流して変調し、変調制御された電流をそれぞれ時間積分する複数のコンデンサを有する受光素子、あるいは、入力フォトンを電流に変換する際、変調信号として印加される外部電界に応じて発生した電流を分流して変調し、分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子を備え、変調信号よりも遅い周期により複数の受光素子を走査することによって、積分した信号を順次読み出すようにしたので、高い時間分解能での時間相関検出を行うことができる。
（２）請求項３に係る発明によれば、計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、複数のコンデンサの積分値の和が計測対象物体の平均照度を表し、複数のコンデンサの積分値の差が計測対象物体の一次微分値となるように変調信号を入力するようにしたので、時間相関型イメージセンサを画像解析装置に用いることができる。
（３）請求項４に係る画像解析装置によれば、時間変調をかけた光を物体に照射する光源と、光源の時間変調信号を遅延する遅延手段と、物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、遅延手段により遅延された信号を時間相関型イメージセンサに変調信号として入力することにより得られた複数のコンデンサの各電荷の和と差を算出するようにしたので、イメージセンサの出力信号を用いて簡単に物体の形状を特定することができる。
（４）請求項５〜７に係る発明では、請求項１や２における受光素子の複数のコンデンサの電荷の差を順次読み出しリセットするようにしたので、飽和しにくいイメージセンサとすることができ、計測精度が向上する。

以下、図１〜図８を用いて本発明による時間相関検出型イメージセンサおよび画像解析方法の実施の形態について説明する。

本発明による時間相関型イメージセンサの基本構造を図１に示す。この構造の要点は、（ａ）入射フォトンを光電流（被乗数）に変換するフォトダイオード検出器ＦＤを備え、（ｂ）全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、（ｃ）光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１を備え、（ｄ）上記の積電流を時間積分して相関値として蓄積するコンデンサＣを備え、（ｅ）相関値を走査して通常のビデオ信号として出力するための走査部（ＣＣＤあるいはＭＯＳスイッチ回路）２を備える、ことにある。

画素（ｉ，ｊ）の光検出器の出力をｆ_i,j（ｔ）、外部電気信号をｇ（ｔ）、走査周期に一致する積分時間をＴとすると、時間相関型イメージセンサの（ｉ，ｊ）画素の出力は、

と表されるものとなる。

周波数帯域から見た本発明による時間相関検出型センサの構造（動作）を図２に示す。変調光のような変化する光ではｆ_i,j（ｔ）にはいくらでも高い時間周波数帯域を想定できる。通常のイメージセンサでは、この帯域は走査周期（フレームレート）で強い制限を受けるが、上記のセンサ構造では、この上限は光検出器の限界帯域まで取払われる。外部電気信号Ｓは全画素共通のため、この帯域も走査周期の制約は受けず、上限帯域は信号分配配線の限界帯域程度と見積もられる。これに対して、出力信号はそれらの相関値であり走査周期分の積分値であるため、その帯域は常に走査周期の帯域に収っている。

−光伝搬時間による距離画像の生成−
これまで画像センシングにおける相関計測は、主として空間相関−パターンマッチング−に関して議論されるに留まり、時間軸に対する相関は、ほとんど議論されていない。ここでは、非常に高速な時間相関が得られる場合に、画像センシングにどのような応用展開が開けてくるかを、二三の具体例を用いて示す。空間解像度や出力信号の形態としては、積極的に通常の放送用のイメージセンサとコンパティブルなものを想定する。回路の複雑さを１０トランジスタ／画素程度に抑えれば、ハイビジョン程度の空間解像度までターゲットとなり得る。

まず最初に、光伝搬時間による距離画像の生成について図３を用いて説明する。この応用は、光検出器、外部電気信号入力とも、数ＧＨｚ以上の帯域が実現できたときに可能となる。数ＧＨｚの時間分解能では、光の伝搬長分解能は３次元計測に求められる数ｃｍ以下となることに注目すべきである。

光源はレーザダイオードやＬＥＤなどのように、広帯域な（高い周波数成分を含む）時間変調がかけられるものを想定する。ここではＬＥＤ３を用いている。このＬＥＤ３は一定レベルで発光させるのではなく、発光の輝度をＭ系列のパターンに変調を施して発光させる。この変調光をＭ（ｔ）とする。すなわち、

を満たすものである。

ＬＥＤ３の変調信号は遅延装置６を介して遅延時間τだけ遅延されて、外部電気信号としてセンサ５に入力される。また、センサ５の各受光素子により捉えられた入射光は外部電気信号により変調されて、入射光と外部電気信号との積に相当する電荷が相関値として蓄積される。各素子を順次走査することにより蓄積された各素子の電荷を読み出し、これにより相関が求まることとなる。

ここで、ＬＥＤ３から対象４までの距離と、対象４からセンサ５までの距離との和をｌ_i （i＝１，２・・・ｎ）、光速をｃとする。ただし、対象４は静止しているものと仮定する。センサ５上の光強度分布は一般に以下のように書かれる。

ただし、光の減衰等は簡略化のため無視してある。また、対象４をセンサ５上に結像させる結像光学系の図示は省略している。ここで、ｆ_i （ｘ，ｙ）は距離ｌ_i のところにある画像、ｎ（ｘ，ｙ，ｔ）は照明光や太陽光などの観測雑音である。この強度分布Ｇ（ｘ，ｙ，ｔ）と変調信号Ｍ（ｔ）の時間相関関数は、

であり、外部信号として与えるＭ（ｔ）の時間遅れがτ＝ｌ_i ／ｃの時だけ、ｆ_i （ｘ，ｙ）の出力が得られるということである。すなわち、適当にτを選択することによって、外来光によらず所望の距離の物体４表面のみを明るく検出することができる。したがって、例えばτを段階的に変化させることにより、物体４の立体像が得られる。

−画像の１次微分の算出−
入射光の強度に変調成分を与える方法として、センサを微小振動させる方法もある。以下で述べる応用には、光検出器と外部電気信号の時間周波数帯域とも１００ｋＨｚ以下で十分である。また、微分を画素間差分を用いずに生成することには、イメージセンサ最大の雑音源である画素感度差による誤差を排除できる利点がある。

センサが静止しているときにセンサ上に到来するであろう光強度分布をｆ₀ （ｘ，ｙ）で表す。センサには微小半径εで回転角速度ωの回転的シフト運動、すなわちセンサの受光面内で半径εの円を軌跡とする平行運動を与える。センサの運動速度に比べれば、（例えあったとしても）対象の運動は無視できるものと仮定する。このとき、時刻ｔにおいてセンサが捉える光強度分布は、

となり、テーラー展開をして１次近似すると、

である。ここで、式（６）にεｃｏｓωｔを乗じて時間平均をとると、

となる。ここで、＜ｃｏｓωｔ＞＝０、＜ｓｉｎωｔｃｏｓωｔ＞＝０、＜ｃｏｓ² ωｔ＞＝１／２を用いた。式（７）の左辺はセンサ上に相関値として生成され、εも既知であるから、センサ出力として画像のｘ微分ｆ_0x（ｘ，ｙ）が読み出されることになる。同様にして、ｆ_0y（ｘ，ｙ）も式（６）にεｓｉｎωｔを掛けて時間平均をとることにより求まる。

これは、回転的シフト量のｘ方向成分を外部電気信号とすることにより、画像のｘ微分ｆ_0x（ｘ，ｙ）が読み出されることを意味する。同様に、回転的シフト量のｙ方向成分を外部電気信号とすることにより、画像のｙ微分ｆ_0y （ｘ，ｙ）が読み出される。また、定数を外部信号として読み出せば、回転的シフトによる移動平均画像が得られる。

１次微分が精度良く求まることは、単に演算処理量の減少にとどまらず、勾配ベクトルを用いたさまざまな画像処理（エッジ検出、オプティカルフロー検出、両眼ステレオ等）の精度の大幅な向上につながる。なお、センサ自体を振動させる代りに、例えば光学系の一部を振動させるなどして、固定したセンサ上で結像を移動（振動）させるようにしてもよい。

−時間相関型イメージセンサのセンシングセルの構造−
次に、時間相関型イメージセンサのセンシングセルの具体的な構成を例示する。

乗算を実現する代表的な回路構成として、可変コンダクタンス差動増幅器が知られている。図４は、これを利用した構成法を示す。図４ではバイポーラトランジスタＱ₁ ，Ｑ₂ を用いているが、差動のトランジスタ対として、サブスレッショルド領域にバイアスされたＭＯＳＦＥＴ対を用いてもよい。

この回路の差動入力電圧

に対する相互コンダクタンスｇ_m は、トランジスタＱ₁ ，Ｑ₂ のエミッタバイアス電流を与える光電流Ｉ_PD（ｔ）に比例する。したがって、この比例係数をρとすると、両コレクタ電流は、

となり、コンデンサＣ₁ ，Ｃ₂ に蓄積される電荷には、

のように、Ｉ_PD （ｔ）とＶ（ｔ）の相関に比例した成分と、Ｉ_PD の積分値に比例する成分との和が生成される。ＭＯＳＦＥＴＱ₃ ，Ｑ₄ による電荷転送の後で、画素ごとにこれらの和と差をとることにより、

のごとく、それらが分離される。前者の和の成分は、通常のイメージセンサの出力（平均照度）に等しい。したがって、例えば上述した画像の１次微分の算出を行う場合には、式（８）の差動入力電圧Ｖ（ｔ）をセンサの外部電気信号（変調信号）として用い、２つのコンデンサＣ₁ ，Ｃ₂ の電荷をＦＥＴＱ₃ およびＱ₄ をオンさせて電圧を介して検出し、その差分を相関として求めればよい。なお、式（９）〜式（１３）の添字はコンデンサＣ₁ ，Ｃ₂ の添字に対応している。

しかし、この回路構成の欠点は、応用によっては大変大きな値をもつＩ_PD の積分値の成分が、蓄積コンデンサ（コンデンサＣ₁ ，Ｃ₂ ）やＣＣＤ転送線を飽和させやすいため精度上の困難さが予想される点にある。平均照度の成分をあきらめて差成分のみを生成するには、カレントミラー回路の付加により分岐された電流を逆相合成して１つのコンデンサに電荷を蓄積する方法や、図５のように、２つのコンデンサＣ₃ ，Ｃ₄ の蓄積電荷の差成分のみを取り出すようなＦＥＴスイッチ回路（Ｑ₅ ，Ｑ₆ ）を内蔵させる方法なども考えられる。通常は図５のＶ_XFR を低電位に維持して２つのコンデンサＣ₃ ，Ｃ₄ を充電するとともに、走査時にＶ_XFR を高電位に切替えることにより、ＦＥＴＱ₃ を介して２つのコンデンサＣ₃ ，Ｃ₄ の蓄積電荷の差成分に応じた電圧を検出することができる。

図４および図５の回路では、検出器に生じた光電流を、電圧入力に比例した按分比率で２つのコンデンサに分配し、電荷として蓄えていると見なせる。そして、光検出器自体にこのような発生電流の按分機構を埋め込めれば、回路的手段により電荷を振り分ける場合に比べて乗算の周波数帯域が大幅に拡大することが予想される（例えば数ＧＨｚ以上）。

図６はこのような光検出器の一例であり、半導体中に発生した光キャリアのドリフト方向を外部電界で制御し、２つのｐｎ接合に流れ落ちるキャリア数を変調するようにし、コンデンサＣ₅ ，Ｃ₆ に電流を振り分けている。コンデンサＣ₅ ，Ｃ₆ の電荷はＭＯＳＦＥＴＱ₇ ，Ｑ₈ のオン動作により読み出される。図６に示す光検出器では、Ｖ_MPY ⁺ とＶ_MPY ^- の差分が上述の光伝搬時間による距離画像の生成における外部電気信号（変調信号）に対応する。

次に、図７に示すＦＥＴブリッジを用いたスイッチング方式半２値相関回路について説明する。この回路構成には、外部電気信号が２値的信号に制限される欠点はあるが、容易に高精度の動作が得られるという利点とともに、従来のＣＣＤイメージセンサと半導体製造プロセス上の共通点が多いという利点がある。

この回路の動作は、図８に模式的に示される。まず、画素に光が入射すると、その光は各画素ごとにフォトダイオードＰＤにより電流に変換される。通常のＣＣＤカメラでは、この電流により直接コンデンサで電荷を蓄積し、コンデンサの両端電圧をスキャンする。ここで提案する方法では、通常の電荷蓄積前にＦＥＴを４個（Ｑ₁₁ 〜Ｑ₁₄ ）用いてスイッチングを行い、走査時にはＦＥＴＱ₁₂ およびＱ₁₃ をオンさせた状態でＦＥＴＱ₁₅ を介してコンデンサＣ₇ の電圧を検出する。これは、例えばＭ系列信号で駆動することに対応している。すなわち、電流スイッチングを繰返し行うことにより、中央のコンデンサＣ₇ の電荷が蓄積され（放出され）、このコンデンサＣ₇ の両端電圧を計測することにより、相関が計算されたことになる。

本発明によるイメージセンサの構造を示す図。 図１に示すイメージセンサの動作帯域を示す図。 本発明によるイメージセンサを用いた光伝播時間による距離画像の生成を示す図。 差動トランジスタを用いて光電流を２つのコンデンサに分流させる例を示す回路図。 図４に示す回路にＦＥＴスイッチを付加しで差分だけを取り出す例を示す回路図。 半導体中に発生した光キャリアを２つのコンデンサに割り振る構成を模式的に示す図。 ＦＥＴブリッジを用いたスイッチング方式半２値相関回路を示す回路図。 図７に示す回路の動作を説明する図。

符号の説明

１ 電流モード乗算器
３ ＬＥＤ
４ 対象
Ｃ コンデンサ
Ｓ 電気信号
ＦＤ フォトダイオード

Claims (7)

1. 入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
   前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
2. 入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
   前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
3. 計測対象物体に変調光を照射し、その計測対象物体からの反射光を受光する請求項１または２の時間相関型イメージセンサであって、
   前記複数のコンデンサの積分値の和が前記計測対象物体の平均照度を表し、前記複数のコンデンサの積分値の差が前記計測対象物体の一次微分値となるように前記変調信号を入力することを特徴とする時間相関検出型イメージセンサ。
4. 時間変調をかけた光を物体に照射する光源と、
   光源の時間変調信号を遅延する遅延手段と、
   前記物体からの反射光を受光する請求項１〜３のいずれか一項に記載の時間相関型イメージセンサとを備え、
   前記遅延手段により遅延された信号を前記時間相関型イメージセンサに変調信号として入力することにより得られた前記複数のコンデンサの各電荷の和と差を算出して、前記物体の形状を特定することを特徴とする画像解析装置。
5. 入力フォトンを電流に変換する光電変換素子、入力された変調信号に応じて前記光電変換素子により発生した電流を分流して変調する複数のトランジスタ、および前記複数のトランジスタにより変調された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
   前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
6. 入力フォトンを電流に変換する光電変換素子であって、変調信号として印加される外部電界に応じて、発生した電流を分流して変調する光電変換素子、および前記分流された電流をそれぞれ時間積分する複数のコンデンサを有する複数の受光素子と、
   前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記複数のコンデンサの電荷の差を順次読み出しリセットする走査回路とを備えることを特徴とする時間相関検出型イメージセンサ。
7. 時間変調をかけた光を物体に照射する光源と、
   光源の時間変調信号を遅延する遅延手段と、
   前記物体からの反射光を受光する請求項５または６に記載の時間相関型イメージセンサとを備え、
   前記遅延手段により遅延された信号を前記時間相関型イメージセンサに変調信号として入力することにより得られた前記複数のコンデンサの電荷の差を前記物体の一次微分画像として前記走査回路で読み出すことを特徴とする画像解析装置。
   

Images