JP4235729B2

JP4235729B2 - 距離画像センサ

Info

Publication number: JP4235729B2
Application number: JP2003132945A
Authority: JP
Inventors: 祥二川人
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2003-02-03
Filing date: 2003-05-12
Publication date: 2009-03-11
Anticipated expiration: 2023-05-12
Also published as: WO2004070313A1; JP2004294420A; US20060192938A1; US7436496B2

Description

【０００１】
【産業上の利用分野】
本発明は、光の速度が既知であることを利用し、光を対象物に照射したのち、対象物からはね返ってきた光を受け、その遅れ時間を計測することで対象物までの距離を測定する技術に関する。
【０００２】
【従来の技術】
光の速度は、３×１０⁸ m/sである。これが既知であるので、光を放って、対象物からはね返ってきた光を受け、その遅れ時間を計測することで、対象物までの距離を測定することができる。ＴＯＦ(Time-of-flight)法とは、この光の飛行時間を測定することで対象物までの距離を測る方法である。その遅れ時間の計測の分解能と、距離の分解能の関係は、表１のようになる。
【０００３】
【表１】

表１ＴＯＦ法による遅れ時間計測分解能と距離分解能の関係
【０００４】
表１からは測距分解能とともに、遅れ時間計測範囲に対する距離計測範囲を読み取ることができ、たとえば遅れ時間計測範囲が１usで、遅れ時間計測分解能が、１nsのものができれば、１５０mの範囲を１５cmの分解能で測定でき、車載用の距離センサとして利用可能である。
【０００５】
関連する従来法としては、３件報告されている。
(１) Inventer:Cyrus Bamji, Assignee:Canesta Inc., "CMOS-Compatible Three-dimensional image sensor" , US Patent No. US6323942 B1, Nov. 27, 2001
(２) R. Lange, P. Seitz, A. Biber, S. Lauxtermann, " Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging ", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000).
(３) Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor ", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997).
【０００６】
(１)の方式は、パルス光を投影し、受光した信号のパルスのピークを検出することでパルスの波形を整形し、高速なパルスを用いて遅れ時間をディジタル的に計測するものである。この場合、受光した信号をパルスにできるためには、光の明るさが十分にないと実現できず、用途が限られる。
(２)と(３)は、方式としては近いものである。
(２)の方式は、ＣＣＤとＣＭＯＳと一体化したプロセスで実現するものであり、２０MHzの高い周波数の変調光を用いて、ＣＣＤの電荷転送を利用し、変調光と同期して２つのノードに高速に交互に電荷転送し、２つのノードへの電荷の配分比が変調光の遅れ時間に依存することを利用する。ＣＣＤとＣＭＯＳの混在プロセスが必要であるため、コストが高くなる。
(３)の方式は、ＣＣＤの構造を利用し、パルス変調された変調光で発生した電荷を、２つのノードに交互に転送し、その配分比が、変調光の遅れ時間に依存することを利用する。これもＣＣＤを利用するため、特殊な製造工程が必要となる。
【０００７】
【特許文献１】
米国特許６３２３９４２号明細書
【非特許文献１】
R. Lange, P. Seitz, A. Biber, S. Lauxtermann, "Demodulation pixels in CCD and CMOS technologies for time-of-flight ranging", Proceedings of SPIE, Vol. 3965, pp. 177- 188, (2000)
【非特許文献２】
Ryohei Miyagawa, Takeo Kanade, " CCD-based range-finding sensor", IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652, (1997)
【０００８】
【発明が解決しようとする課題】
従来の光の飛行時間を測定することで対象物までの距離を測る方法は、感度が低いか、製造工程が複雑なものであった。また、いずれも背景光を除去することは考慮されていない。
【０００９】
【発明の概要】
標準的なＣＭＯＳプロセスまたはＣＭＯＳイメージセンサのための比較的簡単な工程を追加することにより、または回路を追加することで、比較的安価に電荷転送効率の向上と電荷蓄積(積分)を実現でき、これにより感度の高い距離画像センサを得ることを本発明者は考案した。また、本発明の一実施例では、背景光の影響を取り除くことができるので、通常の環境で使用できる。
発明のポイントは以下のとおりである。
【００１０】
電荷転送効率の向上と電荷蓄積(積分)を実現しつつ対象物までの距離を測る方式は大きく分けて２つ考えられる。１つは埋め込みフォトダイオードを用いて完全空乏化するデバイス構造を利用し、その電荷を２つのノードに高速に交互に電荷転送および蓄積し、その配分比が変調光の遅れ時間に依存することを利用する。もう１つは、特殊なデバイス構造は利用せず（より低コストになる）、フォトダイオードで発生した電荷を、変調光に同期して、アンプを用いて、２つの容量に交互に電荷転送し蓄積する。このとき、その配分比が変調光の遅れ時間に依存することを利用する。
【００１１】
埋め込みフォトダイオードの構造を用いて２つのノードに電荷配分を行う原理は、従来法の(３)に原理がかなり近い。しかしながら、従来法の(３)はＣＣＤデバイスであるので、ＣＭＯＳの処理回路との混在はできない。埋め込みフォトダイオードは高画質のＣＭＯＳイメージセンサの標準的な技術になりつつあり、本願構成で採用するＣＭＯＳ構造において、比較的低コストで性能の高いＣＭＯＳイメージセンサ技術を用いて、距離画像センサが実現できる利点を有する。
【００１２】
従来のいずれの方法も、そのままでは背景光を除去することは考慮されていない。本発明の実施例では、背景光の影響を取り除くことができるので、通常の環境で利用することができる。背景光の除去方法として、３つの方法を提案する。
【００１３】
(ａ)電荷蓄積のノード（あるいは容量）を３つもち、その内の２つは、変調光の遅れによって、電荷配分の比率が変わるようにタイミングを選び、残りの１つは、常に変調光がＯＦＦになっているタイミングにすることで、背景光のみによる信号を蓄積するようにする。これを用いて、変調光の遅れの情報を含む信号から、背景による成分を差し引くことで、背景の影響を除去する。非常に高速にこれらを切り替えるため、３つのノードでの背景光の同一性が高い。しかし、画素回路がやや複雑になる点と、暗電流の影響が残る点が課題としてある。
【００１４】
(ｂ) 電荷蓄積ノード(あるいは容量）は２つだけとする。画像を高速に読み出すことを考え、その高速の画像をさらに２つの時間帯に分ける。最初の時間帯では、変調光を投射して、２つの電荷蓄積ノードの信号（変調光の遅れに依存した信号）を取り出し、後の時間帯では、変調光をＯＦＦし、背景光だけによる２つの電荷蓄積ノードの信号を取り出す。これらの信号を用いて処理することで、背景光の影響が除くことができる。ただし、２つの時間帯で、背景が変化する場合には、完全に取りきれない可能性もある。しかし、最終的には、高速に読み出して計算した値に対して平均値処理で求めるため、この処理により、背景光の影響をより少なくすることができる。
【００１５】
（ｃ）変調光の遅れ時間に依存する２つの電荷蓄積ノードの信号の差を求め、これを積分器で増幅して、電圧制御遅延回路の制御電圧として与える。遅延回路の出力パルスにより、２つの電荷蓄積ノードへの電荷転送のタイミングを制御し、負帰還回路とすることで、２つの電荷蓄積ノードの信号は同じになる。このときの積分器の出力電圧が、遅延時間に依存していることを利用する。この場合には、２つのノードの差だけをみて、遅延時間を直接測定している回路となり、背景分が差し引かれるので、背景の影響が自動的に取り除かれる。ただし、回路が複雑になる。
このように、それぞれ一長一短がある。
本発明の距離画像センサは、光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、対象物からの反射光を電荷に変換する半導体基板に埋め込まれたフォトダイオード構造による受光素子と、半導体基板上のＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）構造による第１、第２及び第３のゲート手段と、第１、第２及び第３のゲート手段にそれぞれ対応する第１、第２及び第３の電荷蓄積ノードと、第１、第２及び第３のゲート手段の開閉を制御する制御手段と、を具備し、第１の電荷蓄積ノードと第２の電荷蓄積ノードに対して、受光素子からの電荷を、第１のゲート手段と第２のゲート手段により光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、さらに、投射光による反射光が存在しない期間に、第３のゲート手段を開くことにより背景光による電荷を第３の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を第３の電荷蓄積ノードに対して行い、投射光を受光するパルス幅、すなわちゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする。
また、本発明の距離画像センサは、さらに、各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、第１および第２の蓄積ノードに蓄積された電荷の和、第１乃至第３の蓄積ノードに蓄積された電荷の和、あるいは第３の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることとしてもよい。
また、本発明の距離画像センサは、さらに、第１および第２のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、蓄積ノードに蓄積された電荷の差に基づく信号を、電圧制御遅延手段に制御信号として電荷の差が零に近づくような極性で与えて、負帰還ループを構成することとしてもよい。
また、本発明の距離画像センサは、投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなることとしてもよい。
また、本発明の距離画像センサは、制御手段は、第１の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、第２の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するようにゲート手段を制御してなることとしてもよい。
【００１６】
【実施例】
まず、最も簡単な図１のブロック図の場合を例にとり、背景が除去されながら、光の飛行時間が測定できる原理について説明する。これは上の原理の(ｂ)に対応する。図２は、各画素の構造図であり、図３はその等価回路である。図４に各画素の回路での動作タイミング図を示す。高速に画像を取得する周期をＴhとする。これをパルス変調光を投射する期間ＴhLと変調光をＯＦＦする期間ＴhDに分ける。変調光を投射する期間では、光源は、ある周期をもつ繰り返しパルスで駆動されて発光する。これを対象物に照射する。その反射光による像を、レンズを介して距離画像センサに結像する。
【００１７】
各画素には埋め込みフォトダイオードがあり、蓄積された電荷を２つの拡散層(ｎ＋)へ、図示されていない制御部からの制御信号が供給される制御信号線ＴＸ１(以下「ＴＸ１」と略す)と制御信号線ＴＸ２(以下「ＴＸ２」と略す)によるゲート構造によって交互に電荷転送し電荷蓄積を行う。このとき埋め込みフォトダイオードは、ＴＸ１またはＴＸ２に高い電圧が加えられたとき、ｎ形の領域が完全に空乏化されるように作っておく。これにより、高速に電荷が伝送される。変調光の周波数は高くする程、光飛行時間測定の分解能が上がるため、１ＭHz以上の高い周波数でＴＸ１とＴＸ２の制御を行わなければならず高速の電荷転送は必須である。また、この構造により電荷転送効率が向上する。
【００１８】
いま遅れがなければ、ＴＸ１を開くときと光源の照射のタイミングが完全に一致し、ＴＸ１の側だけに、電荷が転送される。変調光の到来に遅れ時間があると、ＴＸ２側に一部の電荷が転送される。いま光源の発光している時間の幅をＴoとし、(発光していない時間幅もＴo)、光源の遅れ時間をＴd，変調光により発生する光電流をＩp，背景光により発生する光電流をＩb，２つの電荷蓄積ノードで発生する暗電流をそれぞれ、Ｉd1，Ｉd2とする。また、電荷から電圧への変換利得をＧcとし、信号を取り出すまでの電荷転送の回数をＮとすると、それぞれのノードでの信号電圧Ｖ１，Ｖ２は以下のようになる。
Ｖ１＝Ｇc・Ｎ(Ｉp(Ｔo−Ｔd)＋Ｉd1・２Ｔo＋Ｉb・Ｔo) (１)
Ｖ２＝Ｇc・Ｎ(Ｉp・Ｔd＋Ｉd2・２Ｔo＋Ｉb・Ｔo) (２)
【００１９】
次に、変調光をＯＦＦし、同じ時間同じ処理を行ったときの２つのノードの電圧をＶ1’，Ｖ2’とする。このとき、
Ｖ１’＝Ｇc・Ｎ(Ｉd1・２Ｔo＋Ｉb・Ｔo) (３)
Ｖ２’＝Ｇc・Ｎ(Ｉd2・２Ｔo＋Ｉb・Ｔo) (４)
となる。ここで、
Ａ＝Ｖ1＋Ｖ2，Ｂ＝Ｖ1’＋Ｖ2’，Ｃ＝Ｖ1−Ｖ1’，Ｄ＝Ｖ2−Ｖ2’ (５)
とすると
Ａ−Ｂ＝Ｇc・Ｎ・Ｉp・Ｔo (６)
Ｄ−Ｃ＝Ｇc・Ｎ・Ｉp(２Ｔd＋Ｔo） (７)
となり、これらは、暗電流と背景の成分を含まない。式(６)(７)から、パルス光の飛行時間を以下のように計算することができる。
【００２０】
【数１】

図４に示すように１つの高速画像の取得の周期で、この飛行時間が計算される。この時間は、微小な信号により計算されるためノイズの影響を受けており、これを何フレームにもわたって平均値処理をすることでノイズの影響が低減でき、精度が上げられる。Ｍ回平均化する場合、次式のようになる。
【００２１】
【数２】

ここで、Ａi，Ｂi，Ｃi，Ｄiはｉ回目の高速フレームでの前記Ａ，Ｂ，Ｃ，Ｄの値である。
図２の場合、電荷蓄積ノードがｎ＋になり、この部分で発生するリセットノイズを除去することができないため、ノイズレベルが高くなり、また暗電流も大きい。暗電流は上の処理で除去できても、暗電流によるショットノイズは除去できないので、ノイズが大きくなる。そこで、図５に示すようにＴＸを開いた先に１段だけのＣＣＤの構造を用い、制御信号線ＳＴの電極の直下に電荷をいったん蓄積し、読み出しのときのｎ＋に電荷転送して読むようにすれば、これらの問題がなくなる。ただし、構造が複雑になるため、製作コストが上がる。
【００２２】
次に、図６に示すように、電荷転送用のＴＸが３つある構造での背景光の除去と光飛行時間の測定原理を説明する。タイミング図を図７に示す。
図７に示すように、３つのノードのうち１つに変調光の遅延時間に関係した信号成分を取り出し、３つ目の蓄積ノードには、変調光が発光していないタイミングのときの電荷だけを取り込む。暗電流を、それぞれ、Ｉd1，Ｉd2，Ｉd3とし、３つ目の電荷蓄積ノードでの信号電圧をＶ３とすると次式がなりたつ。
Ｖ１＝Ｇc・Ｎ(Ｉp(Ｔo−Ｔd)＋Ｉd1・３Ｔo＋ＩbＴo) (１０)
Ｖ２＝Ｇc・Ｎ(ＩpＴd＋Ｉd2・３Ｔo＋ＩbＴo) (１１)
Ｖ３＝Ｇc・Ｎ(Ｉd3・３Ｔo＋ＩbＴo) (１２)
この方式では、暗電流は除去できないため、暗電流が問題にならない場合に使用できる。そこで暗電流の項を無視して考える。Ａ＝Ｖ2＋Ｖ1，Ｂ＝Ｖ2−Ｖ1とすると、Ｔdは以下のように求められる。
【００２３】
【数３】

次に、アンプ負帰還による電荷転送を用い、変調光の遅延に依存した電荷蓄積を行う方式について説明する。
【００２４】
図８に利得Ａを有する反転増幅器を用いたアンプ負帰還型の回路を示す。
その動作タイミングは、図４と同じである。φ1とφ2は、互いにオーバーラップしないクロックである。最初、φRによるスイッチをオンにしながら、φ1とφ2によるスイッチをオンにすることで、Ｃ１，Ｃ２の電荷のリセットを行う。その後、パルス変調光の周波数に同期してφ1とφ2を交互にオンする。このとき、Ｃ１とＣ２に転送される電荷Ｑ１，Ｑ２は、以下の関係がある。
【００２５】
Ｑ１＝Ｉp(Ｔo−Ｔd)＋Ｉd1・２Ｔo＋Ｉb・Ｔo (１４)
Ｑ２＝Ｉp・Ｔd＋Ｉd2・２Ｔo＋Ｉb・Ｔo (１５)
これをN回繰り返し、アンプの出力で観測すれば、Ｃ１，Ｃ２をアンプに接続したときの電圧Ｖ1，Ｖ2は、以下のようになる。
【００２６】
【数４】

【数５】

【００２７】
つまり、先に説明した埋め込みフォトダイオードを用いたものと同じ原理(図２)で動作し、パルス変調光の飛行時間（遅れ時間）を計算できるとともに、背景除去も同様な処理によって可能である。
図８を画素回路として用いた距離画像センサ全体の構成は、図９のようになる。
また、図１０に示すように、Ｃ３と直列にφ３で制御されるスイッチを設け、タイミングを図７と同じにし、パルス変調光が発光していないときの背景光だけによる電荷をＣ３に記憶するようにφ３を制御する。これにより、図６の場合と同じ原理で、背景光を除去しながら、パルス変調光の飛行時間を計算することができる。
アンプ負帰還による電荷転送を用いることにより、受光素子で発生した光電荷の転送効率が向上するとの効果がある。
【００２８】
次に、比較的高速に動く物体に対する距離を測定、或いは車載用など距離画像センサ自体が移動体にのって使用されるような場合、全画素同時に距離測定がなされないといけない。このためには、図８あるいは、図１０の回路に、負帰還アンプの出力に、サンプル＆ホールド回路を設けた図１１の回路とする。
次に、遅延同期ループを用い、背景の影響をなくした距離画像センサの原理を説明する。
【００２９】
図１２に、そのブロック図を示す。画素回路は、フォトダイオード(ＰＤ)、電荷電圧変換回路、積分器、電圧制御パルス遅延回路、及び電圧読み出し用バッファアンプからなる。電荷電圧変換回路には、先に述べた、図２，図５の埋め込みフォトダイオードを用いて、垂直信号線に出力する代わりに、電流源負荷だけを接続したもの、或いは、図８で出力バッファを取り除いたものを使用する。
【００３０】
基本原理は同じなので、電荷電圧変換回路として、図２の回路に電流源負荷を接続した場合について説明する。その２つの出力の差を求めた値を、一定時間ごとにサンプルし、積分器に与える。サンプルしたあとは、電荷電圧変換回路の信号電荷をリセットする。この積分器は、遅延同期ループの安定化のために必要である。積分器の出力で、電圧制御遅延回路のパルスの遅延時間を制御する。その出力パルスで、電荷転送のためのＴＸ１，ＴＸ２を制御する信号を生成する。動作タイミング図を、図１３に示す。
【００３１】
変調光の遅延時間が大きいときには、電荷蓄積ノード１の出力が大きくなり、電荷蓄積ノード２の出力が小さくなる。積分器がノード２の出力電圧からノード１の出力電圧を引いた値を積分するようにしてあると積分器の出力電圧が低下し、この電圧で制御される電圧制御遅延回路のパルスの遅れ量が大きくなり、これによってノード１の電荷転送時間が増え、ノード２の電荷転送時間が減る。つまり、負帰還ループになっている。
【００３２】
最終的に平衡するのは、ノード１とノード２への電荷転送の時間が同じになった場合であり、このとき、電圧制御遅延回路のパルスの遅延が、パルス変調光の遅延量に同期していることになる。その電圧制御遅延回路の制御電圧は、その遅延量に比例するため、その制御電圧を読み出すことで、パルス変調光の遅延量を測ることができる。
【００３３】
この方式では、２つのノードに蓄積される電荷Ｑ１，Ｑ２は、転送をＮ回繰り返すと以下のようになる。
Ｑ１＝Ｎ(Ｉp(Ｔs−Ｔd)＋ＩbＴo) (１８)
Ｑ２＝Ｎ(Ｉp(Ｔo＋Ｔｄ−Ｔs)＋ＩbＴo) (１９)
ここでＴsは、電圧制御遅延回路によるパルスの遅延時間である。
【００３４】
その差に比例した電圧を取り出し、積分器で増幅する。その直流利得が十分大きいとすると積分器の直流出力は、次式のように表される。
Ｖcont＝Ａ(２Ｔs−２Ｔd−Ｔo) (２０)
Ｖcontと電圧制御遅延回路の遅延時間Ｔsの関係は、
Ｔs＝Ｔso−ｋＶcont (２１)
と表せる。式(２１)を(２０)に代入して整理し、ｋＡ>>１であれば
【００３５】
【数６】

となる。すなわち、制御電圧は、変調光の遅延時間を直接反映したものになる。この電圧を読み出せばよい。
この回路では遅延同期ループ内に安定化のための積分器が設けられているが、これはよく知られているようにローパスフィルタで代替することができる。
これらの処理回路はＣＭＯＳで構成できるので、ＣＭＯＳイメージセンサの基板上に一体で集積化することができる。これにより、コンパクトな距離画像センサを構成することができる。
【００３６】
次に、投影光の発光時間の幅を狭くすることで、各画素の繰り返し動作周波数を高くすることなく、距離分解能を高くするようにした例を示す。
本距離画像センサにおける距離計測分解能は、光ショットノイズで決まり、次式となる。
【数７】

ここで、Ｎｓは、２つの容量にたまっている電子数の和であり、ｆｓは、パルス周波数、ｃは光速である。背景光の影響は無視している。分解能を向上させるためには、パルスの繰り返し周波数を高くする必要がある。比較的に近距離を測定を対象とする場合、パルスの繰り返し周波数を高くしないで、パルス幅を短くすることで、分解能を高くすることができる。図１４に、背景光の除去機能のない場合の短パルスを用いた動作タイミングを示す。
【００３７】
この場合の距離分解能は、
【数８】

となり、パルス幅ｔｗを短くすることにより、繰り返し周波数を高くしなくても、距離分解能を高くできる。
なお、図１４のタイミングを、図４に示した動作タイミングに適用することで、背景光の影響を除去することができる。
背景光を除去する場合は、図１５または図１６のようにする。図１５は、前記の図７においてＴＸ３(φ３)を一定とし、投射光の発光パルス幅と、ＴＸ１(φ１)，ＴＸ２(φ２)を短くしたものに相当する。背景光の除去原理は、既に述べたものと同じである。
図１６は、投射光のパルス幅を短くすることにより、同じ投入電力に対してその分発光強度を強くできることと、発光していない期間アンプのリセットスイッチを投入することで、背景光の影響を軽減するものである。パルス光を受信している期間における背景光の影響は残るが、発光強度を十分高くすることができれば、その影響を小さくすることができる。
【００３８】
図１６の投射光と受信光とに着目すると、図１７に示されるように、実際のLEDでの発光波形は、立ち上がり、立ち下がりにおいて、急峻には変化せず、傾斜をもってたちあがっていることがわかる。そこで、信号のサンプル幅と位置を変更することにより、光強度の傾斜面を利用して距離を計測する構成を次に示す。
受信したパルス光の立ち上がり瞬間にあわせ、短時間の時間幅で、受信光により発生した電荷を検出して、これを１つの電荷蓄積容量に転送し、またパルス光が完全に立ち上がって一定になった後の時刻において、受信光により発生した電荷を検出して、これをべつの電荷蓄積容量に転送することで、その２つの容量にたまった電荷による信号電圧の比を用いて、遅れ時間を計算することにより、距離計測精度を向上できる。
【００３９】
距離計測分解能をあげるためには、信号の遅れによって容量に取り込まれる電荷の変化の比率を大きくする必要がある。別の言い方をすれば、信号の遅れとは無関係に取り込まれる電荷を少なくする。このためには、信号電荷を取り込むパルス幅を短くすればよい。この場合、２つの条件を満たさないといけない。１つは、その取り込みパルスの幅の期間に、受信光の遅れ時間により、信号電荷が連続的に変化すること、もう１つは、取り込んだ信号電荷の組み合わせにより、受信光の強度だけで決まる基準となる値を遅れ時間と無関係な信号値を求められることである。
【００４０】
電荷の取り込みパルス幅を短くしながら、これらの条件を満たすために図１７のようにする。この方法では、一方の容量に、ＴＸ１(φ１)のパルス幅を短くしたもので、電荷を取り込む。このとき、図１７に示したＳ１の面積に比例する信号電荷を取り込むことになる。また、他方の容量にＴＸ２(φ２)のパルス幅を短くしたもので、信号電荷を取り込む。この場合は、図のＳ１の面積に比例した信号電荷を取り込むことになるが、これは、受信光が遅れても、受信したパルス光が完全に立ち上がって強度が一定になった信号を取り込んでいることになる。つまり、一方の容量には、遅延時間に依存した電荷、他方の容量には遅延時間に無関係の電荷が取り込めることになる。
【００４１】
受信光の強度をＬ、取り込みパルス幅をＴとすると
【数９】

である。また、パルス光の立ち上がり時間をＴ_Ｒ、光の送信パルスに対する取り込みパルスに対する先行時間をＴ_Ａ、受信光の遅れ時間をＴｄとすると、受信光が直線的に立ち上がっていれば、
【数１０】

となることがわかる。
【００４２】
式(２５)，(２６)より、次式が得られる。
【数１１】

２つの容量にたまった電荷により発生する読みだした電圧は、Ｓ１とＳ２に比例するので、その信号の比を計算すれば、Ｓ１とＳ２の比が計算でき、式(２７)から遅れ時間が計測できる。
この場合の距離分解能は、ほぼ
【数１２】

となり、Ｔを短くすることで、分解能をあげることができる。
なお、信号を距離画像センサから読み出したあと、平均化処理を行うことで、距離分解能を改善することができる。Ｍ回平均化を行った場合の分解能は、
【数１３】

となる。このようにＭ回平均化を行うと、画像のフレーム速度がその分遅くなるが、これは、もともとの画像の読みだしのフレーム速度を速くすることができれば、動画として十分なフレーム速度で距離画像を得ることができる。特に、解像度が低い（画素数が少ない）場合には、フレーム速度を速くすることは容易であり、有効である。
【００４３】
なお、このような短い発光パルス幅を用いることは、多重反射による信号を取り込むのを防ぐことにも利用できる。さらに、予定外の遠い距離のところで反射してきた光が、次の取り込みパルスのタイミングで戻ってくることで、距離計測を誤るのを防ぐためにも用いることができる。つまり、発光パルス幅に対して繰り返し周期を長くすれば、次の取り込みパルスのタイミングで取り込まれるためには、非常に遠いところで反射してくる必要があり、近距離に比べて十分減衰しているので影響は少ない。
【００４４】
以上画像情報から距離情報を取り出すことを述べたが、本願構成によれば２つの容量に蓄積された信号Ｖ１およびＶ２を得て、この信号から距離情報を算出しているため、同時に輝度画像情報を得ることができる。
つまり、式(１)のＶ１と式(２)のＶ２の和を求めれば、これが対象としている物体の輝度情報となるためである。また、図６や図９の回路を図７に示すタイミングで動作させた場合では式(１２)のＶ３が背景の輝度信号となるので、これそのものを対象物の輝度画像信号とすることもできるし、照射した光による反射光も利用するために式(１０)のＶ１、式(１１)のＶ２、式(１２)のＶ３を全て加算することにより輝度画像信号を得ることもできる。
【００４５】
スイッチについて説明すると、図８、１０、１１に用いられているスイッチは電荷の転送を制御するゲートとして動作し、これは、フォトダイオードと半導体基板上において接続される、図１８に示すようなＭＯＳトランジスタを用いる。これには、図１８(a)のようにｎチャネルＭＯＳトランジスタを用いるもの(ｐチャネルであってもよい)と、図１８(b)のように、ｎチャネルとｐチャネルのＭＯＳトランジスタを並列接続し、ｐチャネルには、ｎチャネルの制御信号を論理反転させた信号を与えるものが、考えられる。
【００４６】
距離画像センサからの信号読みだしについては、おおむね通常のＣＭＯＳイメージセンサと同様である。ただしフォトダイオードからの電荷転送の制御信号ＴＸ１(φ１)、ＴＸ２(φ２)は全画素に同時に与えられ、しかも高い周波数の信号であるので、その期間には、スイッチングノイズが発生する。したがって画素部からの信号読みだしとしては、これらの処理が終了したあとに読みだし期間を設けて行うのが得策である。
【００４７】
その読みだしは、図１の場合は、まず読みだしたい行の画素部のバッファ選択信号Ｓを与え、２つの電荷蓄積ノードの信号をカラムの読みだし回路に設けたサンプル＆ホールド回路(Ｓ/Ｈ)において、φc1とφc2によりサンプルし、記憶することで行う。そのカラムのＳ/Ｈ回路に記憶された１行分の信号は水平走査により順次選択して、時系列信号として出力する。このときに、カラムのサンプルホールド回路において、画素部のリセット信号Ｒを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【００４８】
また、図９の場合には、まず読みだしたい行の画素部のバッファ選択信号Ｓを与える。次いで、画素部にφ１を与えたときに、画素内の容量Ｃ１に記憶された信号が画素部から出力され、これをカラムに並べたＳ/Ｈ回路において、制御信号φc1によりサンプルし、記憶する。ついで、画素部にφ２を与えたときに、画素内の容量Ｃ２に記憶された信号が画素部から出力され、これをカラムに並べたＳ/Ｈ回路において、制御信号φc2によりサンプルし、記憶する。これらのカラムのＳ/Ｈ回路に記憶された１行分の信号は水平走査により順次選択して、時系列信号として出力する。この場合においても、画素部のリセット信号φＲを与えた時の信号も読みだして、画素のソースフォロワが発生する固定パターンノイズ等をキャンセルした信号を記憶して、これを水平走査して読み出しても良い。
【００４９】
なお、図９では、φ１，φ２の信号が垂直に与えられているが、図１９のように、タイミング制御回路を、垂直に配置し、φ１，φ２の信号を水平に与えてもよい。この場合には、信号を読み出す際、読み出したい行のφ１，φ２だけを動作させることができる。このようにした方が、画素部の発生するノイズを効果的にキャンセルできる可能性がある。なお、ノイズキャンセルの方法としては、図１９では、画素部をリセットした値を記憶するためのＳ/Ｈ回路を設け、リセットレベルをφCRによりサンプルし、その出力と、画素部のＣ１とＣ２に記憶された信号を読みだした２つのＳ/Ｈ回路の出力の信号との差を、最終出力の手前で差分をとることでキャンセルすることも可能である。
【００５０】
【発明の効果】
以上述べた構成により、感度が向上するとともに背景光や暗電流の影響を取り除くことができるので、光の飛行速度を利用した距離測定用画像センサを、通常の環境で利用することができる。また、距離画像情報とともに輝度画像信号を得ることもできる。
【図面の簡単な説明】
【図１】ＴＯＦ測距センサのブロック図
【図２】埋め込みフォトダイオードを用いたＣＭＯＳ距離画像センサの画素構造(１)
【図３】図２に示す構造の等価回路
【図４】動作タイミング(図２の回路）
【図５】ＣＭＯＳ距離画像センサの画素構造(２)
【図６】ＣＭＯＳ距離画像センサの画素構造(３) (背景光除去)
【図７】図６に示す構造を用いる場合の動作タイミング図
【図８】アンプ負帰還による電荷転送を用いた変調光遅延時間依存電荷電圧変換回路
【図９】アンプ負帰還による電荷転送を用いた距離画像センサの全体の構成
【図１０】図８に背景信号記憶用容量(Ｃ３)を追加した構成
【図１１】図８にサンプル＆ホールド回路を設け、全画素同時距離計算を可能とした構成
【図１２】電圧制御遅延回路を用いた背景除去距離画像センサのブロック図
【図１３】各画素の処理の動作タイミング図
【図１４】短パルスを用いた場合の動作タイミング（背景光の影響を低減する処理なし）
【図１５】短パルスを用いた場合の動作タイミング（背景光の除去機能あり）
【図１６】短パルスを用い、周期的リセットを加えた場合の動作タイミング（背景光による部分を低減）
【図１７】受信光のパルスの立ち上がり部を検出することで、距離計測分解能を向上させるためのタイミング図
【図１８】ＭＯＳトランジスタによるスイッチ
【図１９】電荷転送制御信号を水平方向から与える場合の構成
【符号の説明】
ＰＤフォトダイオード
Ｒリセット用制御信号線
Ｓ信号読み出し用制御信号線
ＳＴポテンシャル井戸形成用制御信号線
Ｓ/Ｈサンプル・ホールド回路
Ｔd 反射光の遅れ時間
ＴＸ１，ＴＸ２転送ゲート用制御信号線
ＶＲリセット用基準電位

Claims

光源からの光を断続的に対象物に投射し、その反射光の遅れ時間から距離を計測する距離画像センサにおいて、
対象物からの反射光を電荷に変換する半導体基板に埋め込まれた埋め込みフォトダイオード構造による受光素子と、
半導体基板上のＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）構造による第１、第２及び第３のゲート手段と、
前記第１、第２及び第３のゲート手段にそれぞれ対応する第１、第２及び第３の電荷蓄積ノードと、
前記第１、第２及び第３のゲート手段の開閉を制御する制御手段と、を具備し、
前記第１の電荷蓄積ノードと前記第２の電荷蓄積ノードに対して、前記受光素子からの電荷を、前記第１のゲート手段と前記第２のゲート手段により前記光源からの光の断続動作と同期させて交互に電荷転送して蓄積を行い、前記受光素子からの電荷転送効率を向上させるとともに蓄積電荷の配分比から対象物までの距離を求め、
さらに、投射光による反射光が存在しない期間に、前記第３のゲート手段を開くことにより背景光による電荷を前記第３の電荷蓄積ノードへ転送し、背景光除去のための電荷蓄積を前記第３の電荷蓄積ノードに対して行い、
投射光を受光するパルス幅、すなわち前記ゲートが開く期間を繰返し周期に対して十分短くしてなることを特徴とする距離画像センサ。
さらに、前記の各電荷蓄積ノードに対応してサンプリング・ホールド手段を設けてなる請求項１記載の距離画像センサ。
前記第１および第２の蓄積ノードに蓄積された電荷の和、前記第１乃至第３の蓄積ノードに蓄積された電荷の和、あるいは前記第３の蓄積ノードに蓄積された電荷から、輝度画像信号を得ることを特徴とする請求項１又は２記載の距離画像センサ。
さらに、前記第１および第２のゲート手段の開閉を制御する信号を通過させる電圧制御遅延手段を設け、前記蓄積ノードに蓄積された電荷の差に基づく信号を、前記電圧制御遅延手段に制御信号として前記電荷の差が零に近づくような極性で与えて、負帰還ループを構成することを特徴とする請求項１記載の距離画像センサ。
投射光の繰返し周期の各周期に同期して背景光による電荷を捨てるリセット手段を設けてなる請求項１記載の距離画像センサ。
前記制御手段は、前記第１の電荷蓄積ノードには反射光の立ち上がる一瞬の電荷を、前記第２の電荷蓄積ノードには反射光が安定的レベルになってからの電荷を蓄積するように前記ゲート手段を制御してなる請求項１記載の距離画像センサ。