JP2024041961A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
JP2024041961A
JP2024041961A JP2024005719A JP2024005719A JP2024041961A JP 2024041961 A JP2024041961 A JP 2024041961A JP 2024005719 A JP2024005719 A JP 2024005719A JP 2024005719 A JP2024005719 A JP 2024005719A JP 2024041961 A JP2024041961 A JP 2024041961A
Authority
JP
Japan
Prior art keywords
charge
timing
accumulation
group
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024005719A
Other languages
English (en)
Inventor
知行 赤堀
Tomoyuki Akahori
正規 永瀬
Masanori Nagase
祥二 川人
Shoji Kawahito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Toppan Holdings Inc
Original Assignee
Shizuoka University NUC
Toppan Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC, Toppan Holdings Inc filed Critical Shizuoka University NUC
Priority to JP2024005719A priority Critical patent/JP2024041961A/ja
Publication of JP2024041961A publication Critical patent/JP2024041961A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やす。【解決手段】複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、タイミング制御部は、前記二以上のグループのそれぞれに属する画素において照射タイミングに対する蓄積タイミングがグループごとに互いに異なり、光パルスが照射される前の外光蓄積期間に第1グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、前記第1グループに属する画素の第2電荷蓄積部と第3電荷蓄積部に反射光と外光成分に対応する電荷が蓄積され、第2グループに属する画素の3つの前記電荷蓄積部に前記外光成分又は反射光と外光成分を含む光に対応する電荷が蓄積され、照射タイミングに応じて画素が備える前記電荷蓄積部の全てに対する電荷の蓄積が完了した後に、次の照射タイミングが到来するように制御する。【選択図】図1

Description

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。
従来から、光の速度が既知であることを利用し、光の飛行時間に基づいて被写体との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像撮像装置がある。距離画像撮像装置では、撮像装置と同様に、距離を測定するための光を検出する画素が二次元の行列状に複数配置され、被写体との間の2次元の距離の情報や、被写体の画像を取得(撮像)することができる。
このような距離画像撮像装置では、画素が備える複数の電荷蓄積部に振り分けられた電荷の比に基づいて、被写体によって反射してきたパルス光の遅れ時間を算出することによって、被写体との距離を測定することができる。このような複数の電荷蓄積部と電荷振り分け構造とを備える構成は、マルチタップ構成などと称される。特許文献1では、フレームごとに互いに異なるタイミングで電荷蓄積部に電荷を振分ける構成により、見かけ上のタップ数(電荷蓄積部の数)を増やし、距離分解能を低下させることなく、距離計測範囲を拡大させることができる技術が開示されている。
特開2010-32425号公報
しかしながら、特許文献1に開示された技術では、距離計測範囲をさらに拡大させようとする場合に改善の余地があった。すなわち、遠方の範囲を測定可能とするためにフレームの数を増やすと、最初のフレームから最後のフレームまでの間隔が増大し、測定対象物が動体である場合に精度よく測定できなくなる可能性があった。
以下の説明においては、複数のフレームを用いて作成する1つの画像(1フレーム画像)における、1フレーム画像の作成に用いられた複数のフレームを、サブフレームと記載する。
また、遠方の範囲を測定可能とするための別の方法として、画素が備える電荷蓄積部の数を増やす方法が考えられる。この方法は、測定対象物が動体であっても、サブフレームを増やして測定する場合と比較して精度よく測定することが可能となるが、画素サイズが増大してしまう問題があった。
本発明は、上記の課題に基づいてなされたものであり、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる距離画像撮像装置、および距離画像撮像方法を提供することを目的としている。
本発明によれば、距離画像撮像装置は、測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する3つ以上の電荷蓄積部を具備し二次元の行列状に複数配置された複数の画素と、前記光パルスの照射が開始される照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積タイミングを制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、を備え、前記複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、前記タイミング制御部は、前記二以上のグループのそれぞれに属する画素において前記照射タイミングに対する前記蓄積タイミングが、グループごとに互いに異なり、前記光パルスが照射される前の外光蓄積期間に、前記二以上のグループのうち第1グループに属する画素における第1電荷蓄積部に、前記光パルスの反射光が含まれない外光成分に対応する電荷を蓄積させ、前記第1グループに属する画素の第2電荷蓄積部と第3電荷蓄積部に前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記第1グループとは異なる第2グループに属する画素の3つの前記電荷蓄積部に前記外光成分又は前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記照射タイミングに応じて前記二以上のグループのそれぞれに属する画素が備える前記電荷蓄積部の全てに対する電荷の蓄積が完了した後に、次の前記照射タイミングが到来するように制御する。
本発明によれば、上述した距離画像撮像装置において、前記タイミング制御部は、前記照射タイミングより後の前記蓄積タイミングで電荷が蓄積される前記電荷蓄積部のそれぞれに電荷を蓄積する蓄積時間の合計について、前記照射タイミングからの遅延時間が小さいほど前記合計が小さく、前記遅延時間が大きいほど前記合計が大きくなるように制御する。
本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、前記タイミング制御部は、前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、前記第2反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第3反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させ、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる。
本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、前記タイミング制御部は、前記外光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に、電荷を蓄積させ、前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、前記光パルスの照射が開始されてから前記照射期間が経過する前のタイミングから前記照射期間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に電荷を蓄積させる。
本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、前記タイミング制御部は、前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、前記外光蓄積期間の開始から前記照射期間に相当する時間が経過する前のタイミングから前記照射期間に相当する時間が終了するまでの半遅延外光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、前記半遅延外光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる。
本発明によれば、上述した距離画像撮像装置において、前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、前記タイミング制御部は、前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、前記第1反射光蓄積期間の開始から前記照射期間に相当する時間が経過する前のタイミングから前記照射期間に相当する時間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、前記第2半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第3半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる。
本発明によれば、距離画像撮像方法は、測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する3つ以上の電荷蓄積部を具備し二次元の行列状に複数配置された複数の画素と、前記光パルスの照射が開始される照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積タイミングを制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、前記タイミング制御部は、前記二以上のグループのそれぞれに属する画素において前記照射タイミングに対する前記蓄積タイミングが、グループごとに互いに異なり、前記光パルスが照射される前の外光蓄積期間に、前記二以上のグループのうち第1グループに属する画素における第1電荷蓄積部に、前記光パルスの反射光が含まれない外光成分に対応する電荷を蓄積させ、前記第1グループに属する画素の第2電荷蓄積部と第3電荷蓄積部に前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記第1グループとは異なる第2グループに属する画素の3つの前記電荷蓄積部に前記外光成分又は前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記照射タイミングに応じて前記二以上のグループのそれぞれに属する画素が備える前記電荷蓄積部の全てに対する電荷の蓄積が完了した後に、次の前記照射タイミングが到来するように制御する。
上記各態様によれば、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる。
実施形態の距離画像撮像装置1の概略構成を示したブロック図である。 実施形態の距離画像撮像装置1に用いられる撮像素子の概略構成を示したブロック図である。 実施形態の距離画像撮像装置1に用いられる撮像素子の受光領域に配置された画素321の構成の一例を示した回路図である。 第1の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第1の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第1の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第1の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第1の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第1の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第1の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第2の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第2の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第2の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。 第2の実施形態の距離画像撮像装置における複数のサブフレームを合成する処理の例を説明するための図である。 第3の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第3の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 第3の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。 従来の距離画像撮像装置における画素を駆動するタイミングを示したタイミングチャートである。
以下、本発明の実施形態について、図面を参照して説明する。
(実施形態)
まず、実施形態について説明する。ここでは、後述する第1の実施形態から第3の実施形態に共通する、距離画像撮像装置1の構成について説明する。
図1は、実施形態の距離画像撮像装置の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。なお、図1には、距離画像撮像装置1において距離を測定する対象物である被写体Sも併せて示している。
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
光源装置21は、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体Sに照射される。
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
距離画像処理部4は、距離画像撮像装置1を制御し、被写体Sまでの距離を演算する。距離画像処理部4は、タイミング制御部41と、距離演算部42とを備える。
タイミング制御部41は、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号や、反射光RLを複数の電荷蓄積部に振り分ける信号、1フレームあたりの振り分け回数を制御する信号などである。振り分け回数とは、電荷蓄積部に電荷を振り分ける処理を繰返す回数である。
本発明の実施形態では、距離画像撮像装置1が備える複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類されている。タイミング制御部41は、二以上のグループのそれぞれに属する画素における電荷蓄積部の蓄積期間が、グループごとに互いに異なるタイミングとなるように制御する。蓄積期間とは、電荷蓄積部に電荷が蓄積される期間である。タイミング制御部41が電荷蓄積部に電荷を蓄積させるタイミングを制御する方法の詳細については、後述する第1の実施形態から第3の実施形態の各実施形態で詳しく説明する。
距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体Sまでの距離を演算した距離情報を出力する。距離演算部42は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスPOを照射してから反射光RLを受光するまでの遅延時間Td(図18参照)を算出する。距離演算部42は、算出した遅延時間Tdに応じて被写体Sまでの距離を演算する。
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に応じた電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。なお、距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよく、この場合、制御回路322を省略することも可能である。
垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部それぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に応じた画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
以下の説明においては、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
ここで、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光領域320内に配置された画素321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
画素321は、1つの光電変換素子PDと、ドレイントランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットトランジスタRTと、ソースフォロアトランジスタSFと、選択トランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。
図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットトランジスタRT1と、ソースフォロアトランジスタSF1と、選択トランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。電荷蓄積部CS1は「第1電荷蓄積部」の一例である。電荷蓄積部CS2は「第2電荷蓄積部」の一例である。電荷蓄積部CS3は「第3電荷蓄積部」の一例である。
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
また、図3に示した構成の画素321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
また、図3に示した構成の画素321では、ドレイントランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、ドレイントランジスタGDを備えない構成であってもよい。
次に、距離画像撮像装置1における画素321の駆動(制御)方法について図18を用いて説明する。図18は、従来の距離画像撮像装置における画素を駆動する駆動信号のタイミングを示したタイミングチャートである。
図18では、光パルスPOを照射するタイミングを「Light」、反射光が受光されるタイミングを「REFRECTION」、駆動信号TX1のタイミングを「G1」、駆動信号TX2のタイミングを「G2」、駆動信号TX3のタイミングを「G3」、駆動信号RSTDのタイミングを「GD」、の項目名でそれぞれ示している。また、距離画像撮像装置における一連の受光動作タイミングを「Camera」の項目名で示している。「Camera」では、読み出しトランジスタG1、G2、G3、及びドレイントランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。なお、駆動信号TX1は、読み出しトランジスタG1を駆動させる信号である。駆動信号TX2、TX3についても同様である。
図18に示すように、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光されるとする。垂直走査回路323は、光パルスPOの照射に同期させて、電荷蓄積部CS1、CS2、及びCS3の順に、電荷を蓄積させる。
まず、垂直走査回路323は、読み出しトランジスタG1をオン状態にする。これにより、光電変換素子PDにより光電変換された電荷が、読み出しトランジスタG1を介して電荷蓄積部CS1に蓄積される。その後、垂直走査回路323は、読み出しトランジスタG1をオフ状態にする。これにより、電荷蓄積部CS1への電荷の転送が停止される。このようにして、垂直走査回路323は、電荷蓄積部CS1に電荷を蓄積させる。
次に、垂直走査回路323は、電荷蓄積部CS1への電荷の蓄積を終了させたタイミングで、読み出しトランジスタG2をオン状態とし、電荷蓄積部CS2への電荷の蓄積を開始させる。以降の電荷蓄積部CS2に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様である。このため、その説明を省略する。
一方、光源部2は、読み出しトランジスタG1がオフ状態となったタイミング、つまり読み出しトランジスタG2がオン状態となったタイミングで、光パルスPOを照射する。光源部2が光パルスPOを照射する照射時間Toは、蓄積期間Taと同じ長さである。ここで、読み出しトランジスタG1がオン状態となり、電荷蓄積部CS1に電荷が蓄積された期間(蓄積期間Ta)は、「外光蓄積期間」の一例である。
次に、垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、読み出しトランジスタG3をオン状態とし、電荷蓄積部CS3への電荷の蓄積を開始させる。以降の電荷蓄積部CS3に電荷を蓄積させる処理の流れは、電荷蓄積部CS1に電荷を蓄積させる処理の流れと同様である。このため、その説明を省略する。
次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレイントランジスタGDをオン状態にし、電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷がドレイントランジスタGDを介して破棄される。
上述したような、垂直走査回路323による電荷蓄積部CSへ電荷の蓄積と光電変換素子PDが光電変換した電荷の破棄とが、1フレームに渡って繰り返し行われる。これにより、所定の時間区間に距離画像撮像装置1に受光された光量に応じた電荷が、電荷蓄積部CSのそれぞれに蓄積される。水平走査回路324は、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号を、距離演算部42に出力する。
光パルスPOを照射するタイミングと、電荷蓄積部CSのそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1には、光パルスPOを照射する前の背景光などの外光成分に応じた電荷量が保持される。また、電荷蓄積部CS2、及びCS3には、反射光RL、及び外光成分に応じた電荷量が振り分けられて保持される。電荷蓄積部CS2、及びCS3に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体Sに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
距離演算部42は、この原理を利用して、以下の(1)式により、遅延時間Tdを算出する。
Td=To×(Q3-Q1)/(Q2+Q3-2×Q1) …(1)
ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。なお、(1)式では、電荷蓄積部CS2、及びCS3に蓄積される電荷量のうち、外光成分に応じた成分が、電荷蓄積部CS1に蓄積された電荷量と同量であることを前提とする。
距離演算部42は、(1)式で求めた遅延時間に、光の速度を乗算させることにより、被写体Sまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、被写体Sまでの距離を求める。
(第1の実施形態)
ここで、第1の実施形態について説明する。本実施形態では、受光部3における1つの画素321が、4つの電荷蓄積部CS(電荷蓄積部CS1~CS4)を備える。すなわち、本実施形態の距離画像撮像装置1は、4タップ構成である。この場合、図3の画素321において、画素信号読み出し部RU4を更に備える。画素信号読み出し部RU4は、画素信号読み出し部RU1と同様の構成である。ここで、電荷蓄積部CS4は、「第4電荷蓄積部」の一例である。
図4~図7は、第1の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
図4では、受光部3における複数の画素321が、二つのグループGr1、Gr2のいずれかに分類される場合であって、且つ、1フレームが二つのサブフレームSf1、Sf2からなる場合におけるタイミングチャートの例を示している。ここで、グループGr1は「第1グループ」の一例である。また、グループGr2は「第2グループ」の一例である。また、1フレームに要する期間は「フレーム期間」の一例である。また、サブフレームSf1、Sf2のそれぞれに要する期間は、「サブフレーム期間」の一例である。また、サブフレームSf1に要する期間は、「第1サブフレーム期間」の一例である。また、サブフレームSf2に要する期間は、「第2サブフレーム期間」の一例である。
図4の「REFRECTION」、「G1」、「G2」、「G3」、「GD」の項目は、図18と同様である。このため、その説明を省略する。「G4」は、駆動信号TX4のタイミングを「G4」で示している。駆動信号TX4は、読み出しトランジスタG4を駆動させる信号である。
図4では横軸に時間tを示しており、横軸の目盛りは「期間To」に相当する時間区間ごとに付されている。「期間To」は光パルスPOの照射期間、及び1つの電荷蓄積部CSの蓄積期間Taに相当する。光パルスPOは、横軸の目盛りが「0」から「1」までの期間に照射される。この例では光パルスPOの照射から時間Td1が経過した後の入射期間R1にて反射光RLが入射された場合、及び時間Td2が経過した後の入射期間R2にて反射光RLが入射された場合を、それぞれ示している。
図4では、各ゲート(読み出しトランジスタG1~G4、及びドレイントランジスタGD)をオン状態とする時間Tonを、各ゲートの蓄積期間Taより少し短い時間としている。これにより、各ゲートのうち、ドレイントランジスタGDを、オン状態からオフ状態に変化させるタイミングと、第1ゲート(読み出しトランジスタG1)をオフ状態からオン状態に変化させるタイミングと、を同時に発生させることによる、電荷排出及び電荷振り分けのエラー(クロストーク)を抑えることが可能となる。また、第1ゲートをオン状態からオフ状態に変化させるタイミングと、第2ゲート(読み出しトランジスタG2)をオフ状態からオン状態に変化させるタイミングとを同時に発生させることによる電荷振り分けのエラーを抑えることが可能となる。同様に、第2ゲートと第3ゲート(読み出しトランジスタG3)のタイミングの関係、第3ゲートとドレイントランジスタGDの関係を、図4に示すタイミングとすることにより、電荷排出や電荷振り分けのエラーを抑えることが可能となる。以下、図5から図7に示すタイミングチャートも同様である。
図4の「Gr1、Sf1」は、グループGr1に属する画素をサブフレームSf1にて駆動させるタイミングチャートを示す。「Gr2、Sf1」は、グループGr2に属する画素をサブフレームSf1にて駆動させるタイミングチャートを示す。「Gr1、Sf2」は、グループGr1に属する画素をサブフレームSf2にて駆動させるタイミングチャートを示す。「Gr2、Sf2」は、グループGr2に属する画素をサブフレームSf2にて駆動させるタイミングチャートを示す。
図4に示す入射期間R1は、「Gr1、Sf1」における、読み出しトランジスタG3、G4がオン状態となる期間に跨っており、この場合、反射光RLに応じた電荷が電荷蓄積部CS3、CS4に跨って蓄積される。
これは、入射期間R1が、サブフレームのない従来の4タップ構成にて測定可能な距離のほぼ上限に位置する被写体Sからの反射光であることを示している。すなわち、これ以上遠方にある被写体Sは、入射期間R1よりも遅れて入射され、従来の4タップ構成で測定することができない。例えば、入射期間R2は、入射期間R1より遅れて入射される反射光RLであり、従来の4タップ構成における何れの読み出しトランジスタGにも反射光RLに応じた電荷を蓄積させることができない。このため、距離を測定することができない。
この対策として、本実施形態では、距離画像撮像装置1が備える複数の画素321をグループGr1、Gr2に分類する。そして、タイミング制御部41は、グループGr1とGr2とが、互いに異なるタイミングにて連動して動作するように制御する。
具体的に、タイミング制御部41は、「Gr1、Sf1」に示すように、グループGr1に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
また、タイミング制御部41は、「Gr2、Sf1」に示すように、グループGr1に属する画素における読み出しトランジスタG4がオン状態からオフ状態に変化したタイミングにて、グループGr2に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。すなわち、タイミング制御部41は、グループGr1に属する画素321における電荷蓄積部CS1~CS4、グループGr2に属する画素321における電荷蓄積部CS1~CS4のそれぞれに、順に電荷を振り分けて蓄積させる。
すなわち、タイミング制御部41は、電荷蓄積部CSのそれぞれの蓄積期間Taが重ならないように制御する。これにより、距離画像撮像装置1が受光することができる反射光RLの遅延時間Tdを拡大させる。
これにより、入射期間R2が、「Gr2、Sf1」に示す読み出しトランジスタG3、G4がオン状態となる期間に跨るようになり、反射光RLに応じた電荷が、グループGr2に属する画素321における電荷蓄積部CS3、CS4に跨って蓄積されるようになる。つまり、本実施形態の「グループGr1とGr2とが、互いに異なるタイミングにて連動して動作させる構成」により、見かけ上のタップ数を8として、実際のタップ数の4より増やすことができる。したがって、4タップ構成では計測することができなかった入射期間R2に対応する被写体Sまでの距離を、サブフレームの数を増やすことなく測定することが可能となる。
図4では、1フレームが、二つのサブフレームSf1、Sf2を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループGrに、外光ノイズを均等に配分させるための構成である。
「Gr1、Sf1」、「Gr2、Sf2」に示すように、タイミング制御部41は、サブフレームSf1においてグループGr1に属する画素321を駆動させるタイミングと、サブフレームSf2においてグループGr2に属する画素321を駆動させるタイミングとが、同一のタイミング(「第1タイミング」の一例)となるように制御する。
また、「Gr2、Sf1」、「Gr1、Sf2」に示すように、タイミング制御部41は、サブフレームSf1においてグループGr2に属する画素321を駆動させるタイミングと、サブフレームSf2においてグループGr1に属する画素321を駆動させるタイミングとが、同一のタイミング(「第2タイミング」の一例)となるように制御する。
このように、図4では、サブフレームSf1における駆動タイミングと、サブフレームSf2における駆動タイミングとで、グループごとに交互に駆動タイミング入れ替える。これにより、特有の外光ノイズがグループGrのいずれかに偏って蓄積されてしまうことを抑制することが可能である。ここでの特有の外光ノイズとは、サブフレームSfごとに、グループGrの駆動タイミングを変更しない場合に蓄積され得る外光であって、例えば、サブフレームの周期に連動した外光が定期的に発生するような場合である。すなわち、サブフレームごとに、グループGrの駆動タイミングを交互に入れ替える構成により、サブフレームの周期に連動した外光が定期的に発生するような場合であっても、その外光成分をグループGr1、Gr2に属する画素321に、ほぼ均等に配分して受光させることができる。したがって、特有の外光ノイズが一方のグループのみに偏って受光される場合と比較して、測定の精度を向上させることが可能である。
図5は、受光部3における複数の画素321が、二つのグループGr1、Gr2のいずれかに分類される場合であって、且つ、1フレームが四つのサブフレームSf1~Sf4からなる場合におけるタイミングチャートの例を示している。図5では、「Gr1、Sf3」は、グループGr1に属する画素をサブフレームSf3にて駆動させるタイミングチャートを示す。「Gr2、Sf3」は、グループGr2に属する画素をサブフレームSf3にて駆動させるタイミングチャートを示す。「Gr1、Sf4」は、グループGr1に属する画素をサブフレームSf4にて駆動させるタイミングチャートを示す。「Gr2、Sf4」は、グループGr2に属する画素をサブフレームSf4にて駆動させるタイミングチャートを示す。なお、図5における項目について、図4と項目名が重複するものは、図4と同等であるため、その説明を省略する。
図5に示すように、タイミング制御部41は、グループGr1とGr2とを、サブフレームSf1~Sf4に渡り、互いに異なるタイミングにて連動して動作するように制御する。
具体的に、タイミング制御部41は、「Gr1、Sf1」に示すように、サブフレームSf1において、グループGr1に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
また、タイミング制御部41は、「Gr2、Sf1」に示すように、サブフレームSf1において、グループGr1に属する画素における読み出しトランジスタG4がオン状態からオフ状態に変化したタイミングにて、グループGr2に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
また、タイミング制御部41は、「Gr1、Sf2」に示すように、サブフレームSf2において、サブフレームSf1においてグループGr2に属する画素における読み出しトランジスタG4がオン状態からオフ状態に変化したタイミングにて、グループGr1に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
また、タイミング制御部41は、「Gr2、Sf2」に示すように、サブフレームSf2において、グループGr1に属する画素における読み出しトランジスタG4がオン状態からオフ状態に変化したタイミングにて、グループGr2に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
すなわち、タイミング制御部41は、サブフレームSf1においてグループGr1に属する画素321における電荷蓄積部CS1~CS4、グループGr2に属する画素321における電荷蓄積部CS1~CS4のそれぞれに、順に電荷を振り分けて蓄積させることで、見かけ上のタップ数を8とすることにより、測定可能な範囲を拡大させる。
さらにタイミング制御部41は、サブフレームSf2において、サブフレームSf1の蓄積が終了するタイミングからグループGr1に属する画素321における電荷蓄積部CS1~CS4、グループGr2に属する画素321における電荷蓄積部CS1~CS4のそれぞれに、順に電荷を振り分けて蓄積させ、見かけ上のタップ数をさらに8タップ増やし、見かけ上のタップ数の合計を16タップとする。
これにより、測定可能な範囲をさらに拡大させることができる。しかも、1フレームを4つのサブフレームにすることにより、見かけ上のタップ数を16とした場合と比較して、測定に要する時間は短くなる。このため、対象物が動体であっても、1フレームを4つのサブフレームとした構成と比較して、測定の精度の劣化を抑制することが可能である。
図5では、1フレームが、上記二つのサブフレームSf1、Sf2に加え、更に二つのサブフレームSf3、Sf4を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループGrに、外光ノイズを均等に受光させるための構成である。
「Gr1、Sf1」、「Gr2、Sf3」に示すように、タイミング制御部41は、サブフレームSf1においてグループGr1に属する画素321を駆動させるタイミングと、サブフレームSf3においてグループGr2に属する画素321を駆動させるタイミングとが、同一のタイミング(「第1タイミング」の一例)となるように制御する。
また、「Gr2、Sf1」、「Gr1、Sf3」に示すように、タイミング制御部41は、サブフレームSf1においてグループGr2に属する画素321を駆動させるタイミングと、サブフレームSf3においてグループGr1に属する画素321を駆動させるタイミングとが、同一のタイミング(「第2タイミング」の一例)となるように制御する。
また、「Gr1、Sf2」、「Gr2、Sf4」に示すように、タイミング制御部41は、サブフレームSf2においてグループGr1に属する画素321を駆動させるタイミングと、サブフレームSf4においてグループGr2に属する画素321を駆動させるタイミングとが、同一のタイミング(「第1タイミング」の一例)となるように制御する。
また、「Gr2、Sf2」、「Gr1、Sf4」に示すように、タイミング制御部41は、サブフレームSf2においてグループGr2に属する画素321を駆動させるタイミングと、サブフレームSf4においてグループGr1に属する画素321を駆動させるタイミングとが、同一のタイミング(「第2タイミング」の一例)となるように制御する。
このように、図5では、サブフレームSf1、Sf2における駆動タイミングと、サブフレームSf3、Sf4における駆動タイミングとで、グループGrごとに交互に駆動タイミングを入れ替える。これにより、サブフレームの周期に連動した外光ノイズが定期的に発生するような場合であっても、その外光成分をグループGr1、Gr2に属する画素321に、ほぼ均等に受光させることができる。したがって、特有の外光ノイズが一方のグループのみに偏って受光される場合と比較して、測定の精度を向上させることが可能である。
図6は、図4と同様に、受光部3における複数の画素321が、二つのグループGr1、Gr2のいずれかに分類される場合であって、且つ、1フレームが二つのサブフレームSf1、Sf2からなる場合におけるタイミングチャートの例を示している。図6における項目は、図4と同等であるため、その説明を省略する。
図6では、タイミング制御部41が、グループGr1とGr2とを、互いに異なるタイミングにて連動して動作するように制御する際に、グループGr1とGr2の駆動タイミングの一部が重なるように制御する点において、図4と異なる。
具体的に、タイミング制御部41は、「Gr1、Sf1」に示すように、グループGr1に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
また、タイミング制御部41は、「Gr2、Sf1」に示すように、グループGr1に属する画素における読み出しトランジスタG4がオン状態となっている間の任意のタイミングで、グループGr2に属する画素における読み出しトランジスタG1からG4を順にオン状態とし、以降、電荷蓄積部CS1~CS4に順に電荷が蓄積されるようにする。
すなわち、タイミング制御部41は、グループGr1に属する画素321における電荷蓄積部CS4の蓄積期間Taと、グループGr2に属する画素321における電荷蓄積部CS1蓄積期間Taの一部が重なるに制御する。これにより、グループGr1の駆動から、グループGr2の駆動に切り替わるタイミングTsにおいて、反射光RLが入射された場合に、測定の精度が劣化することを抑制する。
図6では、1フレームが、二つのサブフレームSf1、Sf2含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、二つのグループGrに、外光ノイズを均等に配分させるための構成である。この構成は、図4と同様である。このため、その説明を省略する。
図7は、図6と同様に、受光部3における複数の画素321が、二つのグループGr1、Gr2のいずれかに分類される場合であって、且つ、1フレームが四つのサブフレームSf1~Sf4からなる場合におけるタイミングチャートの例を示している。図7の項目は、図6と同等であるため、その説明を省略する。
図7に示すように、タイミング制御部41は、グループGr1とGr2とを、サブフレームSf1、Sf2に渡り、互いに異なるタイミングにて連動して動作するように制御する。その際、タイミング制御部41は、グループGr1とGr2の駆動タイミングの一部が重なるように制御する。この構成は、図6と同様である。このため、その説明を省略する。
また、図7では、1フレームが、上記二つのサブフレームSf1、Sf2に加え、更に二つのサブフレームSf3、Sf4を含むように構成する。この構成は、見かけ上のタップ数を増やすための構成ではなく、以下に説明する通り、二つのグループGrに、外光ノイズを均等に受光させるための構成である。この構成は、図5と同様である。このため、その説明を省略する。
図8~図10は、第1の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図8~図10は、二次元状に配置された画素321を模式的に示している。
図8に示すように、例えば、画素321の列(column)ごとに、二つのグループGr1、Gr2に分類することが考えられる。
図9に示すように、例えば、画素321の行(row)ごとに、二つのグループGr1、Gr2に分類することが考えられる。
図10に示すように、例えば、画素321ごと(ピクセルごと)に、四つのグループGr1~Gr4に分類することが考えられる。この場合、例えば、四つのピクセルP1~P4を単位として、四つのグループに分類し、グループごとに異なるタイミングで駆動させる。
このように、本実施形態において、距離画像撮像装置における画素群を3以上の複数のグループに分類し、グループごとに互いに異なるタイミングで駆動する構成としてもよい。この構成においても、二つのグループGr1、Gr2に分類する場合と同様の手法を適用することができる。
また、画素321の二次元状の配置の状況に応じたグループ分けを行ってもよい。例えば、画素321の配置が、列方向と比較して行方向が長い、横長センサである場合、制御線を行方向に沿って実装させることが一般的である。この場合、制御のし易さを鑑みて、行ごとに異なるグループに分類する構成が好適である。
以上説明したように、第1の実施形態では、画素321は、二次元の行列状に複数配置されると共に、複数の画素321のそれぞれが、予め定められた二以上のグループGr1、Gr2のいずれかに分類される。タイミング制御部41は、二以上のグループGr1、Gr2のそれぞれに属する画素321における電荷蓄積部CSの蓄積期間Taが、グループごとに互いに異なるタイミングとなるように制御する。これにより、グループGr1、Gr2を連動させることができ、サブフレームの数を増やすことなく、見かけ上のタップ数を増加させることが可能である。
また、第1の実施形態では、距離画像撮像装置1は4タップ構成であり、タイミング制御部41は、グループGr1、Gr2を、それぞれの電荷蓄積部CSの蓄積期間Taが重ならないように、順に駆動させる。これにより、上述した効果と同様の効果を奏する。
また、第1の実施形態では、距離画像撮像装置1は4タップ構成であり、タイミング制御部41は、グループGr1、Gr2を順に駆動させ、グループGr1の電荷蓄積部CS4の蓄積期間Taと、グループGr2の電荷蓄積部CS1の蓄積期間Taとの、少なくとも一部の期間が重なるように制御する。これにより、グループGr1の駆動を終了させる前に、グループGr2の駆動が開始されるように制御することができ、測定の精度を向上させることが可能である。
また、第1の実施形態では、1フレームを複数のサブフレームSf1、Sf2で構成し、タイミング制御部41は、サブフレームSf1においてグループGr1を駆動させたタイミングで、サブフレームSf2におけるグループGr2を駆動させる。また、タイミング制御部41は、サブフレームSf1においてグループGr2を駆動させたタイミングで、サブフレームSf2におけるグループGr1を駆動させる。これにより、外光ノイズが片方のグループに偏って蓄積されることを抑制し、測定精度の劣化を抑制することが可能である。また、第1の実施形態では、サブフレームの数を増やす場合には、外光耐性をあげたり、見かけ上のタップ数をより多く増やしたりすることが可能である。
(第2の実施形態)
次に、第2の実施形態について説明する。本実施形態では、受光部3における1つの画素321が、3つの電荷蓄積部CS(電荷蓄積部CS1~CS3)を備える。すなわち、本実施形態の距離画像撮像装置1は、3タップ構成である。
図11は、第2の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図11では、二次元状に配置された画素321が、千鳥格子状に、縦方向及び横方向に互い違いに二つのグループGr1、Gr2のいずれかに分類される場合の例を示している。図11におけるTX_CTRL[0]は、グループGr1に分類された画素321を駆動させるタイミング信号である。また、TX_CTRL[1]は、グループGr2に分類された画素321を駆動させるタイミング信号である。
図12は、第2の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
図12に示す項目のうち、「Gr1」は、グループGr1に属する画素を駆動させるタイミングチャートを示す。「Gr2」は、グループGr2に属する画素を駆動させるタイミングチャートを示す。「Gr1_Camera」では、グループGr1に属する読み出しトランジスタG1、G2、G3、及びドレイントランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。「Gr2_Camera」では、グループGr2に属する読み出しトランジスタG1、G2、G3、及びドレイントランジスタGDがオン状態となるタイミングを、それぞれ、「G1」、「G2」、「G3」、及び「GD」で示している。「合成」では、グループGr1、Gr2を合成した場合の電荷を、それぞれ、「G1」、「G2」、「G3」、「G4」及び「GD」で示している。
なお、図12に示す項目のうち、「Light」、「G1」、「G2」、「G3」、及び「GD」については、図18と同様である。このため、その説明を省略する。
図12では、タイミング制御部41は、測定において、比較的精度が劣化する要因となり易いタイミングでは、グループGr1、Gr2の双方の電荷蓄積部CSに電荷が蓄積されるように制御する。一方、タイミング制御部41は、比較的精度が劣化する要因となり難いタイミングでは、グループGr1、又はGr2の一方の電荷蓄積部CSのみに電荷が蓄積されるように制御する。
ここで、比較的精度が劣化する要因となり易いタイミングとは、比較的遠距離に位置する被写体Sからの反射光RLが入射されるタイミングである。一方、比較的精度が劣化する要因となり難いタイミングとは、外光(背景光)を受光するタイミング、及び比較的近距離に位置する被写体Sからの反射光RLが入射されるタイミングである。これは、光量が距離の二乗に反比例して減少する性質を有するためである。
具体的に、まず、タイミング制御部41は、光パルスPOが照射されていない外光蓄積期間Tnに、グループGr1に属する画素321における電荷蓄積部CS1のみに電荷を蓄積させる。
次に、タイミング制御部41は、光パルスPOが照射されている第1反射光蓄積期間T1に、グループGr2に属する画素321における電荷蓄積部CS1のみに電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1の経過後の第2反射光蓄積期間T2に、グループGr1に属する画素321における電荷蓄積部CS2、及びグループGr2に属する画素321における電荷蓄積部CS2の双方に電荷を蓄積させる。
そして、タイミング制御部41は、第2反射光蓄積期間T2の経過後の第3反射光蓄積期間T3に、グループGr1に属する画素321における電荷蓄積部CS3、及びグループGr2に属する画素321における電荷蓄積部CS3に電荷を蓄積させる。これにより、比較的遠方からの反射光を受光する場合であっても、受光する光量が、近距離の場合と比較して減少してしまうことを抑制できる。したがって、測定の精度の劣化を抑制することが可能である。
なお、合成の方法は任意であってよい。ここでの合成とは、グループGr1を駆動させることにより蓄積させた電荷、及び、電荷に応じた信号と、グループGr2を駆動させることにより蓄積させた電荷、及び、電荷に応じた信号とを合成する処理である。例えば、距離演算部42が、合成処理を行い、合成した結果を用いて距離の演算を行う。この場合、距離演算部42は、外光蓄積期間Tn、及び第1反射光蓄積期間T1にそれぞれ蓄積された電荷を2倍とした電荷、第2反射光蓄積期間T2及び第3反射光蓄積期間T3にそれぞれ蓄積された電荷を加算した電荷を用いて、合成する。或いは、外光蓄積期間Tn、及び第1反射光蓄積期間T1にそれぞれ蓄積された電荷、第2反射光蓄積期間T2及び第3反射光蓄積期間T3にそれぞれ蓄積された電荷を加算平均した電荷を用いて、合成するようにしてもよい。
図13は、第2の実施形態の距離画像撮像装置における画素群のグループ分けの例を示す図である。図13では、二次元状に配置された画素321が、縦方向の2列に渡り、1列目に互い違いに二つのグループGr1、Gr2のいずれかに分類され、2列目に互い違いに二つのグループGr3、Gr4のいずれかに分類され、1列目、2列目の組合せが横方向に展開される場合の例を示している。図13におけるTX_CTRL[0]、TX_CTRL[1]は、図11と同様である。TX_CTRL[2]は、グループGr3に分類された画素321を駆動させるタイミング信号である。また、TX_CTRL[3]は、グループGr4に分類された画素321を駆動させるタイミング信号である。
このように、本実施形態において、距離画像撮像装置1における画素群を3以上の複数のグループに分類し、グループごとに互いに異なるタイミングで駆動する構成としてもよい。この構成においても、二つのグループGr1、Gr2に分類する場合と同様の手法を適用することができる。
本実施形態において、1フレームが複数のサブフレームを備える構成としてもよい。図14は、第2の実施形態の距離画像撮像装置における複数のサブフレームを合成する処理の例を説明するための図である。
タイミング制御部41は、それぞれのサブフレームにおいて、グループごとに互いに異なるタイミングで駆動する。以下では、1フレームが二つのサブフレームSf1、Sf2からなる場合を例に説明するが、これに限定されることはない。1フレームが3以上のサブフレームで構成される場合であっても、以下に説明する合成方法を適用することができる。
また、本実施形態において、第1の実施形態と同様に、タイミング制御部41は、サブフレームSf1においてグループGr1を駆動させたタイミングで、サブフレームSf2におけるグループGr2を駆動させてもよい。或いは、タイミング制御部41は、サブフレームSf1、Sf2共に、グループGr1、Gr2のそれぞれの駆動タイミングを変更しないように制御してもよい。駆動タイミングを変更しないことにより処理を単純化することができる。
図14に示すように、距離画像撮像装置1は、サブフレームSf1による処理(処理F1)、及びサブフレームSf2による処理(処理F2)を交互に繰り返す。
距離画像撮像装置1は、タイミングTm1にて、処理F1による処理結果をフレームメモリに記憶させ、サブフレームSf1による処理結果を一時的に保持する(処理F4)。
距離画像撮像装置1は、タイミングTm1の次のタイミングTm2にて、処理F2による処理結果をフレームメモリに記憶させ、サブフレームSf2による処理結果を一時的に保持する(処理F3)。
距離画像撮像装置1は、タイミングTm2の次のタイミングTm3にて、処理F3による処理結果と、処理F1による処理結果とを用いて、サブフレームSf1とサブフレームSf2との二つの処理結果を合成する(処理F5)。
距離画像撮像装置1は、タイミングTm2にて、処理F4による処理結果と、処理F2による処理結果とを用いて、サブフレームSf2とサブフレームSf1の二つの処理結果を合成する(処理F6)。
以上説明したように、第2の実施形態では、距離画像撮像装置1は3タップ構成であり、タイミング制御部41は、外光蓄積期間TnにおいてグループGr1の電荷蓄積部CS1に電荷を蓄積させ、第1反射光蓄積期間T1においてグループGr2の電荷蓄積部CS1に電荷を蓄積させる。また、タイミング制御部41は、第2反射光蓄積期間T2において、グループGr1、Gr2の両方の電荷蓄積部CS2に電荷を蓄積させる。また、タイミング制御部41は、第3反射光蓄積期間T3において、グループGr1、Gr2の両方の電荷蓄積部CS2に電荷を蓄積させる。これにより、受光する光量が、近距離の場合と比較して減少してしまう遠距離を計測する場合でも、測定の精度の劣化を抑制することが可能である。
また、第2の実施形態では、1フレームが複数のサブフレームからなり、距離演算部42は、複数のサブフレームのそれぞれにおいて、電荷蓄積部CSに蓄積された電荷量を合成する。これにより、画素群を複数のグループに分けて駆動させる方法、及びサブフレームを用いる方法の双方を用いて、見た目のタップ数を増加させることができ、上述した効果と同様の効果を奏する。
(第3の実施形態)
次に、第3の実施形態について説明する。本実施形態では、受光部3における1つの画素321が、3つの電荷蓄積部CS(電荷蓄積部CS1~CS3)を備える。すなわち、本実施形態の距離画像撮像装置1は、3タップ構成である。
本実施形態では、タイミング制御部41は、距離分解能が高い距離領域を増やすように、電荷蓄積部CSの駆動タイミングを制御する。すなわち、タイミング制御部41は、図18に示すような従来の受光タイミングでグループGr1に属する画素321を駆動させ、グループGr1による測定の精度を向上させることができ、且つ、測定することが可能となる距離の範囲が拡大するように、グループGr2に属する画素321を駆動させる。
以下、本実施形態の詳細について図15~図17を用いて説明する。
図15~図17は、第3の実施形態の距離画像撮像装置における画素を駆動させるタイミングを示したタイミングチャートである。
図15~図17に示す項目のうち、「Gr1 or Sf1」は、グループGr1に属する画素321、又はサブフレームSf1にて画素321を駆動させるタイミングチャートを示している。「Gr2 or Sf2」は、グループGr2に属する画素321、又はサブフレームSf1にて画素321を駆動させるタイミングチャートを示している。
図15~図17に示す項目のうち、「Light」、「G1」、「G2」、「G3」、及び「GD」については、図18と同様である。このため、その説明を省略する。
図15では、まず、タイミング制御部41は、外光蓄積期間Tnに、グループGr1及びGr2の双方に属する電荷蓄積部CS1に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T105に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T205に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。
これにより、グループGr1における電荷蓄積部CS2への蓄積から電荷蓄積部CS3への蓄積に切り替わるタイミングTp1を含むように、グループGr2の電荷蓄積部CS2への蓄積を行うことができる。したがって、タイミングTp1において電荷を精度よく蓄積させることが可能である。また、グループGr1における電荷蓄積部CS3への蓄積を終了させるタイミングTp2以降に、グループGr2の電荷蓄積部CS3への蓄積を行うことができる。したがって、タイミングTp2以降に入射される反射光RLに応じた電荷量を蓄積させることができ、測定可能となる距離の範囲を拡大させることができる。
また、この例では、グループGr1に属する電荷蓄積部CS2、CS3の蓄積期間(第1反射光蓄積期間T1、第2反射光蓄積期間T2)と、グループGr2に属する電荷蓄積部CS2、CS3の蓄積期間(反射光蓄積期間T105、T205)とを、蓄積期間Taの半分(Ta/2)ずらす。これにより、グループGr1、Gr2とも、ほぼ均等な分配率にて、電荷を電荷蓄積部CS2、CS3に振分けて蓄積することができる。したがって、距離分解能が高い距離の領域を増やすことができる。また、グループGr1、Gr2で蓄積期間が重複する部分においては、2つの電荷蓄積部CSに電荷を蓄積させることができる。このため、1つの電荷蓄積部CSに電荷を蓄積させる場合と比較して、時間分解能を2倍とすることができる。したがって距離を精度よく測定することが可能となる。
また、「半分ずらす」ことにより、グループGr1において精度よく電荷を蓄積させることが困難な「端の箇所」が、グループGr2において精度よく電荷を蓄積させることが可能な「真ん中の箇所」となるように制御することができる。「端の箇所」とは電荷蓄積部CSをオン状態からオフ状態とする切り替わりのタイミングである。「真ん中の箇所」とは電荷蓄積部CSをオン状態としてからオフ状態とするまでの期間の真ん中のタイミングである。つまり、グループGr1、Gr2が互いに補い合うようにして、測定精度の低下を抑制することができる。
但し、厳密に、蓄積期間Taの「半分ずらす」ことが、最も精度よく測定できる制御になるとは限らない。実際には、測定を劣化させる要因として、光パルスのくずれ、電荷の転送の遅れ、転送する電極に与えられる電気パルスのくずれ等が発生し得る。このような劣化要因との相補的な関係から、「実効的に、蓄積期間Taの半分に相当する時間」だけ、グループGr1、Gr2の蓄積期間がずれるように制御することが望ましい。
図16では、まず、タイミング制御部41は、外光蓄積期間Tnに、グループGr1に属する電荷蓄積部CS1に電荷を蓄積させる。
次に、タイミング制御部41は、外光蓄積期間Tnから、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、蓄積期間Tn05に、グループGr2に属する電荷蓄積部CS1に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T105に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T205に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。
これにより、グループGr1における電荷蓄積部CS1への蓄積から電荷蓄積部CS2への蓄積に切り替わるタイミングTp0を含むように、グループGr2の電荷蓄積部CS1への蓄積を行うことができる。したがって、タイミングTp0において入射される反射光RLに応じた電荷量を精度よく蓄積させることが可能である。つまり、近距離にある被写体Sを測定するのに好適である。
また、図15と同様に、タイミングTp1において電荷を精度よく蓄積させることが可能である。また、図15と同様に、タイミングTp2以降の期間において電荷量を蓄積させることができ、測定可能な距離を拡大させることが可能である。
図17では、まず、タイミング制御部41は、外光蓄積期間Tnに、グループGr1に属する電荷蓄積部CS1に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、第1反射光蓄積期間T1から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T105に、グループGr2に属する電荷蓄積部CS1に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させる。
次に、タイミング制御部41は、第2反射光蓄積期間T2から、蓄積期間Taの半分(Ta/2)の期間ずらした(遅らせた)、反射光蓄積期間T205に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させる。
次に、タイミング制御部41は、反射光蓄積期間T205が経過した後、反射光蓄積期間T305に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。
これにより、タイミングTp2以降の、図16のケースよりもさらに長い期間において、電荷量を蓄積させることができ、測定可能な距離を拡大させることが可能である。つまり、遠距離にある被写体Sを測定するのに好適である。
また、図15と同様に、タイミングTp1において電荷を精度よく蓄積させることが可能である。
以上説明したように、第3の実施形態の距離画像撮像装置1は、3タップ構成であり、タイミング制御部41は、外光蓄積期間Tnに、グループGr1、Gr2に属する電荷蓄積部CS1に電荷を蓄積させ、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させ、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させ、第1反射光蓄積期間T1が終了するタイミングTp1(終了タイミング)を含む反射光蓄積期間T105(第1期間)に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させ、第2反射光蓄積期間T2が終了するタイミングTp2(終了タイミング)を含む反射光蓄積期間T205(第2期間)に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。これにより、タイミングTp1において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングTp2以降に入射された反射光RLに応じた電荷を蓄積させることができ、測定可能な距離を拡大させることができる。
また、第3の実施形態の距離画像撮像装置1は、外光蓄積期間Tnに、グループGr1に属する電荷蓄積部CS1に電荷を蓄積させ、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させ、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させ、外光蓄積期間Tnが終了するタイミングTp0(終了タイミング)を含む蓄積期間Tn05(第1期間)に、グループGr2に属する電荷蓄積部CS1に電荷を蓄積させ、第1反射光蓄積期間T1が終了するタイミングTp1(終了タイミング)を含む反射光蓄積期間T105(第2期間)に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させ、第2反射光蓄積期間T2が終了するタイミングTp2(終了タイミング)を含む反射光蓄積期間T205(第3期間)に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。これにより、タイミングTp0、Tp1において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングTp2以降に入射された反射光RLに応じた電荷を蓄積させることができ、測定可能な距離を拡大させることができる。
また、第3の実施形態の距離画像撮像装置1は、外光蓄積期間Tnに、グループGr1に属する電荷蓄積部CS1に電荷を蓄積させ、第1反射光蓄積期間T1に、グループGr1に属する電荷蓄積部CS2に電荷を蓄積させ、第2反射光蓄積期間T2に、グループGr1に属する電荷蓄積部CS3に電荷を蓄積させ、第1反射光蓄積期間T1が終了するタイミングTp1(終了タイミング)を含む反射光蓄積期間T105(第2期間)に、グループGr2に属する電荷蓄積部CS1に電荷を蓄積させ、第2反射光蓄積期間T2が終了するタイミングTp2(終了タイミング)を含む反射光蓄積期間T205(第3期間)に、グループGr2に属する電荷蓄積部CS2に電荷を蓄積させ、反射光蓄積期間T205(第3期間)の経過後に、グループGr2に属する電荷蓄積部CS3に電荷を蓄積させる。これにより、Tp1において電荷を精度よく蓄積させることができ、距離分解能を高めることができる。また、タイミングTp2以降に入射された反射光RLに応じた電荷を蓄積させることができ、測定可能な距離をさらに拡大させることができる。
なお、上述した実施形態では、距離画像撮像装置1が4タップ構成、或いは3タップ構成である場合を例示して説明した。しかしながらこれに限定されることはない。距離画像撮像装置1は、少なくとも複数の電荷蓄積部CSを備えていればよい。すなわち、距離画像撮像装置1は、M個(Mは2以上の整数)の電荷蓄積部CSからなるMタップ構成であってよい。
また、上述した実施形態では、複数の画素321のそれぞれが、二つのグループGr1、Gr2のいずれかに分類される場合を例示して説明したが、これに限定されることはない。距離画像撮像装置1では、画素321のそれぞれがNグループ(Nは2以上の整数)に分けられてもよい。
上記各実施形態によれば、サブフレームの数を増やす方法とは異なる方法にて、見かけ上のタップ数を増やすことができる。
1 距離画像撮像装置
2 光源部
3 受光部
31 レンズ
32 距離画像センサ
321 画素
4 距離画像処理部
41 タイミング制御部
42 距離演算部
PD 光電変換素子
GD ドレイントランジスタ
G 読み出しトランジスタ
CS 電荷蓄積部
PO 光パルス

Claims (7)

  1. 測定空間に光パルスを照射する光源部と、
    入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する3つ以上の電荷蓄積部を具備し二次元の行列状に複数配置された複数の画素と、前記光パルスの照射が開始される照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
    前記蓄積タイミングを制御するタイミング制御部と、
    前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、
    を備え、
    前記複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、
    前記タイミング制御部は、
    前記二以上のグループのそれぞれに属する画素において前記照射タイミングに対する前記蓄積タイミングが、グループごとに互いに異なり、
    前記光パルスが照射される前の外光蓄積期間に、前記二以上のグループのうち第1グループに属する画素における第1電荷蓄積部に、前記光パルスの反射光が含まれない外光成分に対応する電荷を蓄積させ、
    前記第1グループに属する画素の第2電荷蓄積部と第3電荷蓄積部に前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記第1グループとは異なる第2グループに属する画素の3つの前記電荷蓄積部に前記外光成分又は前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、
    前記照射タイミングに応じて前記二以上のグループのそれぞれに属する画素が備える前記電荷蓄積部の全てに対する電荷の蓄積が完了した後に、次の前記照射タイミングが到来するように制御する、
    距離画像撮像装置。
  2. 前記タイミング制御部は、
    前記照射タイミングより後の前記蓄積タイミングで電荷が蓄積される前記電荷蓄積部のそれぞれに電荷を蓄積する蓄積時間の合計について、前記照射タイミングからの遅延時間が小さいほど前記合計が小さく、前記遅延時間が大きいほど前記合計が大きくなるように制御する、
    請求項1に記載の距離画像撮像装置。
  3. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、
    前記タイミング制御部は、
    前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、
    前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、
    前記第2反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第3反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させ、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる、
    請求項2に記載の距離画像撮像装置。
  4. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、
    前記タイミング制御部は、
    前記外光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に、電荷を蓄積させ、
    前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、
    前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、
    前記光パルスの照射が開始されてから前記照射期間が経過する前のタイミングから前記照射期間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、
    前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に電荷を蓄積させる、
    請求項2に記載の距離画像撮像装置。
  5. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、
    前記タイミング制御部は、
    前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、
    前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、
    前記外光蓄積期間の開始から前記照射期間に相当する時間が経過する前のタイミングから前記照射期間に相当する時間が終了するまでの半遅延外光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、
    前記半遅延外光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、
    前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる、
    請求項1に記載の距離画像撮像装置。
  6. 前記画素における複数の前記電荷蓄積部は、第1電荷蓄積部、第2電荷蓄積部、および第3電荷蓄積部の、3個の前記電荷蓄積部からなり、
    前記タイミング制御部は、
    前記照射タイミングから前記光パルスを照射する照射期間が終了するまでの第1反射光蓄積期間に、前記第1グループに属する画素における第2電荷蓄積部に電荷を蓄積させ、
    前記第1反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が経過するまでの第2反射光蓄積期間に、前記第1グループに属する画素における第3電荷蓄積部に電荷を蓄積させ、
    前記第1反射光蓄積期間の開始から前記照射期間に相当する時間が経過する前のタイミングから前記照射期間に相当する時間が終了するまでの第1半反射光蓄積期間に、前記第2グループに属する画素における第1電荷蓄積部に電荷を蓄積させ、
    前記第1半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第2半反射光蓄積期間に、前記第2グループに属する画素における第2電荷蓄積部に前記電荷を蓄積させ、
    前記第2半反射光蓄積期間が終了したタイミングから前記照射期間に相当する時間が終了するまでの第3半反射光蓄積期間に、前記第2グループに属する画素における第3電荷蓄積部に前記電荷を蓄積させる、
    請求項2に記載の距離画像撮像装置。
  7. 測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び電荷を蓄積する3つ以上の電荷蓄積部を具備し二次元の行列状に複数配置された複数の画素と、前記光パルスの照射が開始される照射タイミングに同期させた所定の蓄積タイミングで前記電荷蓄積部のそれぞれに電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記蓄積タイミングを制御するタイミング制御部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を演算する距離演算部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
    前記複数の画素のそれぞれが予め定められた二以上のグループのいずれかに分類され、
    前記タイミング制御部は、
    前記二以上のグループのそれぞれに属する画素において前記照射タイミングに対する前記蓄積タイミングが、グループごとに互いに異なり、
    前記光パルスが照射される前の外光蓄積期間に、前記二以上のグループのうち第1グループに属する画素における第1電荷蓄積部に、前記光パルスの反射光が含まれない外光成分に対応する電荷を蓄積させ、
    前記第1グループに属する画素の第2電荷蓄積部と第3電荷蓄積部に前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、前記第1グループとは異なる第2グループに属する画素の3つの前記電荷蓄積部に前記外光成分又は前記反射光と前記外光成分を含む光に対応する電荷が蓄積され、
    前記照射タイミングに応じて前記二以上のグループのそれぞれに属する画素が備える前記電荷蓄積部の全てに対する電荷の蓄積が完了した後に、次の前記照射タイミングが到来するように制御する、
    距離画像撮像方法。
JP2024005719A 2019-10-10 2024-01-17 距離画像撮像装置、及び距離画像撮像方法 Pending JP2024041961A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024005719A JP2024041961A (ja) 2019-10-10 2024-01-17 距離画像撮像装置、及び距離画像撮像方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/039998 WO2021070320A1 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法
JP2021551036A JP7469779B2 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法
JP2024005719A JP2024041961A (ja) 2019-10-10 2024-01-17 距離画像撮像装置、及び距離画像撮像方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021551036A Division JP7469779B2 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法

Publications (1)

Publication Number Publication Date
JP2024041961A true JP2024041961A (ja) 2024-03-27

Family

ID=75438118

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021551036A Active JP7469779B2 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法
JP2024005719A Pending JP2024041961A (ja) 2019-10-10 2024-01-17 距離画像撮像装置、及び距離画像撮像方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021551036A Active JP7469779B2 (ja) 2019-10-10 2019-10-10 距離画像撮像装置、及び距離画像撮像方法

Country Status (2)

Country Link
JP (2) JP7469779B2 (ja)
WO (1) WO2021070320A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4798254B2 (ja) * 2009-05-13 2011-10-19 株式会社デンソー 受光デバイス及びその制御方法
KR20140092712A (ko) * 2013-01-16 2014-07-24 삼성전자주식회사 센싱 픽셀 및 이를 포함하는 이미지 센서
WO2017006546A1 (ja) * 2015-07-03 2017-01-12 パナソニックIpマネジメント株式会社 距離測定装置および距離画像合成方法
WO2018101187A1 (ja) * 2016-11-29 2018-06-07 パナソニックIpマネジメント株式会社 距離測定装置
JP2019083266A (ja) * 2017-10-31 2019-05-30 スタンレー電気株式会社 撮像装置及び撮像素子

Also Published As

Publication number Publication date
WO2021070320A1 (ja) 2021-04-15
JP7469779B2 (ja) 2024-04-17
JPWO2021070320A1 (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
US9787912B2 (en) Image capture device
US11276719B2 (en) Solid-state imaging device and distance-measuring imaging device
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US20190391266A1 (en) Distance measuring device
JP4981780B2 (ja) 測距システム及び測距方法
US9838611B2 (en) Image capturing apparatus for obtaining normal image and range image and control method thereof
CN113518930B (zh) 距离图像传感器以及距离图像拍摄装置
WO2019054099A1 (ja) 固体撮像装置、及びそれを備える撮像装置
US20220350024A1 (en) Distance image capturing device and distance image capturing method
JP2024041961A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2022091563A1 (ja) 距離画像撮像素子及び距離画像撮像装置
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
EP4400866A1 (en) Distance image capturing device and distance image capturing method
US20230412934A1 (en) Range imaging device and range imaging method
JP2024082236A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
WO2024024744A1 (ja) 距離計測装置及び距離計測方法
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP2023172742A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023180900A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2024078837A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2023156731A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240117