JP7198507B2 - 距離画像測定装置及び距離画像測定方法 - Google Patents

距離画像測定装置及び距離画像測定方法 Download PDF

Info

Publication number
JP7198507B2
JP7198507B2 JP2019535678A JP2019535678A JP7198507B2 JP 7198507 B2 JP7198507 B2 JP 7198507B2 JP 2019535678 A JP2019535678 A JP 2019535678A JP 2019535678 A JP2019535678 A JP 2019535678A JP 7198507 B2 JP7198507 B2 JP 7198507B2
Authority
JP
Japan
Prior art keywords
distance
distance calculation
mth
value
detection signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019535678A
Other languages
English (en)
Other versions
JPWO2019031510A1 (ja
Inventor
祥二 川人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Publication of JPWO2019031510A1 publication Critical patent/JPWO2019031510A1/ja
Application granted granted Critical
Publication of JP7198507B2 publication Critical patent/JP7198507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法に関する。
従来から、光の飛行時間を用いて距離情報を含む画像信号を生成するセンサ装置が用いられている(例えば、下記特許文献1参照)。このセンサは、時間軸上に配列された第1~第5フレームにおいて第1~第5のパルスの列を照射パルスとして対象物に照射し、ピクセルアレイにおいて対象物の距離情報を含む画像信号を生成する。このような構成により、距離分解能を低下させることなく距離計測範囲を拡大することができる。
特開2010-32425号公報
しかしながら、上述した従来のセンサ装置では、対象物が測定可能範囲外に位置する場合、偽の距離情報を含む画像信号を生成してしまう場合があった。すなわち、同一の対象物に対して複数回計算した距離情報のうち、どれが真の情報なのかの判断が難しいため、結果として画像信号に含まれる距離情報の精度が低下する場合があった。
本発明の一側面は、上記課題に鑑みて為されたものであり、対象物の位置にかかわらず精度の高い画像信号を生成することが可能な距離画像測定装置及び距離画像測定方法を提供することを目的とする。
上記課題を解決するため、本発明の一形態にかかる距離画像測定装置は、パルス光を発生させる光源と、第1の持続時間を有するパルス光を1フレーム期間内で繰り返し発生させるように光源を制御する光源制御手段と、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、及び光電変換領域と第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、光電変換領域と第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部と、光源制御手段によるパルス光の発生に対応して、第1の持続時間以上である第2の持続時間の間だけ第1の制御電極に第1の制御パルスを印加した後、第2の持続時間の間だけ第2~第Mの制御電極に第2~第Mの制御パルスを順次印加する電荷転送制御手段と、電荷転送制御手段による第1~第Mの制御パルスの印加後に、画素回路部の第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、距離計算手段は、第1~第Mの検出信号を基に、第1~第Mの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値を計算し、信号成分の合計値が所定の第1の閾値を超えた場合には、第1~第Mの検出信号から所定の計算式を用いて距離を計算し、信号成分の合計値が第1の閾値を超えていない場合には、距離の計算を無効とする。
あるいは、本発明の他の形態にかかる距離画像測定方法は、光源制御手段が、第1の持続時間を有するパルス光を1フレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、光を電荷に変換する光電変換領域、光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、及び光電変換領域と第1~第Mの電荷読出領域とに対応して設けられた第1~第Mの制御電極を有する画素回路部を用いて、電荷転送制御手段が、光源制御手段によるパルス光の発生に対応して、第1の持続時間以上である第2の持続時間の間だけ第1の制御電極に、電荷の転送を制御するための第1の制御パルスを印加した後、第2の持続時間の間だけ第2~第Mの制御電極に、電荷の転送を制御するための第2~第Mの制御パルスを順次印加する電荷転送制御ステップと、電荷検出手段が、電荷転送制御手段による第1~第Mの制御パルスの印加後に、画素回路部の第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出ステップと、距離計算手段が、第1~第Mの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、距離計算ステップでは、第1~第Mの検出信号を基に、第1~第Mの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値を計算し、信号成分の合計値が所定の第1の閾値を超えた場合には、第1~第Mの検出信号から所定の計算式を用いて距離を計算し、信号成分の合計値が第1の閾値を超えていない場合には、距離の計算を無効とする。
上記形態の距離画像測定装置あるいは距離画像測定方法によれば、1フレーム期間内で光源から繰り返しパルス光が発生し、パルス光の発生に対応して、パルス光の持続時間以上の第2の持続時間の時間ウィンドウが順次設定され、その時間ウィンドウで画素回路部の光電変換領域から第1~第Mの電荷読出領域に順次電荷が転送される。さらに、画素回路部の第1~第Mの電荷読出領域から第1~第Mの検出信号が読み出され、それらをもとに第1~第Mの検出信号のうちの背景光を除いたパルス光から発生した電荷の信号成分の合計値が計算され、その信号成分の合計値と第1の閾値との比較結果をもとに、第1~第Mの検出信号を用いた距離計算の有効/無効が判断される。その結果、その判断結果を用いることで、有効な距離計算の結果が反映された距離画像が生成可能とされ、対象物の位置にかかわらず精度の高い画像信号を生成することができる。
本発明の一側面によれば、対象物の位置にかかわらず精度の高い画像信号を生成することができる。
本発明の第1実施形態に係る距離画像センサ10の概略構成を示すブロック図である。 図1の距離画像センサ10による距離計算の原理を説明するためのタイミングチャートである。 図1の距離画像センサ10によって扱われる各種信号のタイミングチャート、及び距離画像センサ10によって計算される各種値の遅れ時間Tに対する変化を示すグラフである。 図1の距離画像センサ10による別の計算手順で扱われる各種信号のタイミングチャート、及び、距離画像センサ10による別の計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。 図1の距離画像センサ10によって入射パルス光Lの遅れ時間Tに対応して検出された第1~第3の検出信号S~S及びそれらの信号の合計値STOTALの強度を示すグラフである。 、対象物Sの実測距離ごとに図1の距離画像センサ10によって測定された距離および距離分解能を示すグラフである。 対象物Sの実測距離ごとに図1の距離画像センサ10によって測定された距離および距離分解能を示すグラフである。 図1の距離画像センサ10によって実行された距離計算における距離分解能の特性を示すグラフである。 図1の距離画像センサ10によって測定された距離を実測距離と比較して示すグラフである。 本発明の第2実施形態に係る距離画像センサ10Aの概略構成を示すブロック図である。 図10の距離画像センサ10Aによる距離計算の原理を説明するためのタイミングチャートである。 図10の距離画像センサ10Aによって扱われる各種信号のタイミングチャート、及び距離画像センサ10Aによって計算される各種値の遅れ時間Tに対する変化を示すグラフである。 図10の距離画像センサ10Aによって扱われる各種信号のタイミングチャート、及び距離画像センサ10Aによって計算される各種値の遅れ時間Tに対する変化を示すグラフである。 (a)は、4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャート、(b)は、距離計算の対象物Sの存在エリアを示す図である。 4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャートである。 4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャートである。 図10の距離画像センサ10Aによって算出された距離情報の距離分解能を理論値と比較して示すグラフである。 図10の距離画像センサ10Aによって入射パルス光Lの遅れ時間Tに対応して検出された第1~第4の検出信号S~S及びそれらの信号の合計値STOTALの強度を示すグラフである。 図10の距離画像センサ10Aによって対象物Sの実測距離ごとに測定された距離を示すグラフである。 図10の距離画像センサ10Aによって測定された距離の分解能を示すグラフである。 本発明の変形例の距離計算手順で扱われる各種信号のタイミングチャートである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。 本発明の変形例の距離計算手順で扱われる各種信号のタイミングチャートである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。 本発明の変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。
以下、図面を参照しつつ本発明に係る距離画像測定装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
[第1実施形態]
まず、図1を参照して、本発明の距離画像測定装置の第1実施形態に係る距離画像センサ10の機能および構成を説明する。図1に示す距離画像センサ10は、飛行時間法を利用して画素毎に距離情報を含む距離画像を生成する装置であり、光源11と、演算回路12と、複数の画素回路(画素回路部)13とを備える。光源11は、飛行時間(TOF:Time Of Flight)方式による距離計測を行うために、対象物Sに照射するパルス光Lを発生させる装置である。光源11は、例えば、発光ダイオードあるいはレーザダイオード等の半導体発光素子とその半導体発光素子を駆動する駆動回路とによって構成される。光源11としては、近赤外領域、可視光領域等の波長領域の光を発生させる素子を用いることができる。さらに、距離画像センサ10は複数の画素回路13を備える。複数の画素回路13は、2次元方向(例えば、列方向および行方向)に2次元アレイ状に配列されてイメージセンサを構成し、対象物Sによってパルス光Lが反射されて生じた入射パルス光Lを光電変換することにより検出信号を生成する。加えて、距離画像センサ10は、演算回路12も備えている。演算回路12は、複数の画素回路13によって生成された検出信号を用いて、対象物Sに関する距離情報を画素ごとに演算し、画素ごとの距離情報が反映された2次元画像情報を含む距離画像を生成及び出力する。演算回路12は、CPU,RAM、ROM、および入出力装置等を含むワンチップマイクロコンピュータ等の専用の集積回路によって構成されてもよいし、パーソナルコンピュータ等の汎用コンピュータによって構成されてもよい。
以下、画素回路13および演算回路12の構成について詳細に説明する。
まず、画素回路13の構成について説明する。画素回路13は、半導体素子によって構成され、入射パルス光Lを電荷に変換する機能を有する光電変換領域21と、光電変換領域21に近接し、かつ互いに離間して設けられた第1~第3の電荷読出領域22~22及び電荷排出領域23と、第1~第3の電荷読出領域22~22及び電荷排出領域23のそれぞれに対応して設けられ、光電変換領域21からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第1~第3の制御電極24~24および制御電極25と、第1~第3の電荷読出領域22~22のそれぞれから検出信号を読み出すための電圧検出手段26~26とを含んでいる。電圧検出手段26~26は、例えば、ソースフォロワアンプを含む増幅器であり、演算回路12からの制御によって、選択的にそれぞれの電荷読出領域22~22の基準電位を基準にした電圧を検出および増幅し、増幅した電圧を第1~第3の検出信号として演算回路12に出力する。
画素回路13は、例えば、シリコン基板等のp型半導体基板上に形成される。すなわち、光電変換領域21は、p型半導体基板上に順に形成された、p型の半導体からなる活性領域形成層、n型の表面埋込領域、p型のピニング層、及び絶縁膜からなる画素形成領域の中央部に設けられる。そして、光電変換領域21に近接するように互いに離間した位置に活性領域形成層よりも高不純物濃度のn型の電荷読出領域22~22及び電荷排出領域23が形成され、絶縁膜上の光電変換領域21から電荷読出領域22~22及び電荷排出領域23のそれぞれに至る電荷移動経路上のそれぞれには、制御電極24~24,25が設けられる。ここで、制御電極24~24,25は、それぞれ、電荷移動経路上に設けられてもよいし、電荷移動経路を両側から挟むように複数の電極部に分離して設けられてもよい。
上記構成の画素回路13においては、後述する演算回路12から制御電極24~24,25に対して、互いに位相の異なる制御パルスが印加される。これにより、表面埋込領域の空乏化電位を順次変化させることにより、電荷移動経路のいずれかに電荷が輸送されるような電位勾配を順次形成して、光電変換領域21の表面埋込領域で発生した多数キャリア(電荷)を、電荷読出領域22~22及び電荷排出領域23のいずれかに移動させる。
次に、演算回路12の構成について説明する。演算回路12は、機能的な構成要素として、光源制御手段31、電荷転送制御手段32、距離データ有効性判定信号生成手段33、距離データ有効性判定手段34、無効画素識別値生成手段35、距離計算参照信号生成手段36、距離計算参照信号選択手段37、及び距離画像生成手段38を含んで構成される。距離データ有効性判定信号生成手段33、距離データ有効性判定手段34、無効画素識別値生成手段35、距離計算参照信号生成手段36、距離計算参照信号選択手段37、及び距離画像生成手段38は、本実施形態の距離計算手段を構成する。
演算回路12の光源制御手段31は、光源11によるパルス光Lの発光タイミング、パルス光Lの強度、及びパルス光Lのパルス幅を制御する。具体的には、持続時間Tのパルス光Lを、予め設定された距離計算の繰り返し期間である1フレームの期間内で繰り返し発生させるように制御する。電荷転送制御手段32は、制御電極24~24,25のそれぞれに、第1~第3の制御パルスG~G及び制御パルスGを印加する機能を有する。すなわち、電荷転送制御手段32は、1フレーム期間内のパルス光Lのそれぞれの発生タイミングに対応して、持続時間T以上である持続時間Tの間だけ制御電極24~24に順次第1~第3の制御パルスG~Gを印加する。本実施形態では、持続時間Tは持続時間Tと等しくなるように設定される。また、電荷転送制御手段32は、第1~第3の制御パルスG~Gの一連の印加タイミングの前において、光電変換領域21に蓄積された電荷を電荷排出領域23に排出させるための制御パルスGを制御電極25に印加する。
なお、パルス光Lの飛行時間を用いた距離計算の分解能15cmは飛行時間1nsに相当し、この分解能を下回るためには目安としてpsオーダーの時間精度を持つ制御手段が必要となる。それ故に、電荷転送制御手段32と光源制御手段31は、画素回路13と一体での配線容量などを考慮した設計が必要になってくるため、画素回路13と一体の半導体上に形成することが望ましい。なお、「一体の半導体上」とは、SOI(Silicon On Insulator)技術やTSV(Through Silicon Via)技術を用いて積層された複数の半導体層のうちの異なる半導体上も含まれる。具体的には、電荷転送制御手段32と、電荷転送制御手段32と制御電極24~24,25との間の回路と、電荷転送制御手段32と光源制御手段31との間の回路の一部とは、画素回路13と同一の半導体上、あるいは画素回路13とともに積層された半導体層上に形成されていてもよい。
演算回路12の距離計算手段は、各画素回路13ごとの距離の計算をパルス光Lの発光タイミングに対応して繰り返し実行し、その結果得られた距離情報を含む距離画像を繰り返し生成する。距離計算手段を構成する距離データ有効性判定信号生成手段33は、パルス光Lの発光タイミングに対応して画素回路13から出力された第1~第3の検出信号S~Sを基に、第1~第3の検出信号S~Sのうち、背景光の信号成分を除いた入射パルス光Lから発生した電荷の信号成分の合計値を、距離データ有効性判定信号Sとして生成する。この距離データ有効性判定信号Sは、第1~第3の検出信号S~Sが入射パルス光Lを強く反映したものであるかを示す信号であり、第1~第3の検出信号S~Sを基にした距離の計算が有効であるかを判定するための信号である。距離データ有効性判定手段34は、距離データ有効性判定信号Sを基に、第1~第3の検出信号S~Sを基にした距離の計算が有効であるかを判定する。具体的には、距離データ有効性判定手段34は、距離データ有効性判定信号Sを所定の閾値(第1の閾値)Thと比較し、距離データ有効性判定信号Sが閾値Thを超えた場合には距離の計算が有効であると判定し、距離データ有効性判定信号Sが閾値Th以下である場合には距離の計算が無効であると判定する。無効画素識別値生成手段35は、距離データ有効性判定手段34の判定結果を基に、画素回路13に対応する画素ごとに距離計算が無効であるか否かを示す識別値を生成する。
距離計算手段のうちの距離計算参照信号生成手段36は、パルス光Lの発光タイミングに対応して画素回路13から出力された第1~第3の検出信号S~Sを基に、距離の計算の基礎となる距離計算参照信号Xとして生成する。具体的には、距離計算参照信号生成手段36は、2つの検出信号S,Sの差と距離データ有効性判定信号Sとの比を計算することにより、距離計算参照信号Xを生成する。距離計算参照信号選択手段37は、距離計算参照信号Xを基に対象物Sの位置が測定可能な範囲か否かを判定し、測定可能な範囲である場合に距離計算参照信号Xを有効な値として距離画像生成手段38に出力する。例えば、距離計算参照信号選択手段37は、距離計算参照信号Xの値を所定の閾値(第2の閾値)Thと比較し、その比較結果に応じて距離計算参照信号Xの有効/無効を判定する。距離画像生成手段38は、距離計算が有効であると判定された場合は、各画素回路13に関して距離計算参照信号選択手段37によって選択された距離計算参照信号Xを参照して距離情報を算出する。そして、距離画像生成手段38は、各画素回路13に対応する距離情報を含む距離画像を生成して外部装置に出力する。出力先の外部装置としては、例えば、表示装置、通信インターフェース装置等の出力デバイスが挙げられる。この際、距離画像生成手段38は、距離情報が無効であることを示す識別値が生成された画素あるいは距離計算参照信号Xが測定可能範囲外であると判定された画素については距離画像に無効値を埋め込むことができる。
図2は、距離画像センサ10による距離計算の原理を説明するためのタイミングチャートである。図2には、距離画像センサ10によって制御される各種信号のタイミングおよび画素回路13の各領域に電荷が蓄積されるタイミングを示しており、上から順番に、パルス光Lの発光タイミング、第1~第3の制御パルスG~G及び制御パルスGの印加タイミング、第1~第3の電荷読出領域22~22における電荷蓄積タイミングを示している。このように、パルス光Lの持続時間Tの発光タイミングに対応して、第1~第3の制御パルスG~Gが互いに重ならないように続けて持続時間Tで印加されている。このようにすれば、入射パルス光Lが光電変換されることにより光電変換領域21に蓄積された電荷が、入射パルス光Lのパルス光Lに対する遅れ時間Tに対応した比率で、2つの電荷読出領域22,22に分配される。ここでは、パルス光Lの持続時間Tの発光タイミングと、第1の制御パルスGの印加タイミングとの関係を設定することで、電荷読出領域22には、制御パルスGで規定される時間ウィンドウで背景光及び暗電流等のノイズに起因する電荷量Nの電荷のみが輸送される。これに対して、電荷読出領域22には、制御パルスGで規定される時間ウィンドウで、電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm1が加算された電荷が輸送される。一方、電荷読出領域22には、制御パルスGで規定される時間ウィンドウで、電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm2が加算された電荷が輸送される。このような現象を利用して、距離画像センサ10の演算回路12においては、パルス光Lのそれぞれの発光タイミングに応じて、電荷量Nを除いた電荷量Nsm1と電荷量Nを除いた電荷量Nsm2との比率を計算することにより、遅れ時間Tに対応した対象物Sの距離を計算することができる。
次に、距離画像センサ10による距離計算の手順の詳細を説明するとともに、本実施形態にかかる距離画像測定方法(以下では、「3タップ1ゾーン方式」とも言う。)について説明する。図3は、距離画像センサ10によって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間Tに対する変化を示すグラフである。図3において、(a)部から(d)部には、それぞれ、制御パルスG~G及びパルス光Lのタイミングを示し、(e)部~(j)部には、それぞれ、第1~第3の検出信号S~Sの値、差分値S3-1の値、距離データ有効性判定信号Sの値、及び距離計算参照信号Xの値を、遅れ時間Tに対応して示し、(k)部には、遅れ時間Tにおけるデータ有効範囲を示し、(l)部には、遅れ時間Tにおける測定可能範囲を示す。ここで、遅れ時間Tは、パルス光Lの持続時間Tで規格化した値で示されている。
まず、距離画像センサ10による距離画像の生成処理が開始されると、演算回路12の光源制御手段31及び電荷転送制御手段32によって、1フレームの期間内で制御パルスG~G及びパルス光Lのタイミングが制御される(光源制御ステップ、電荷転送制御ステップ)。詳細には、制御パルスG~Gが持続時間T=Tで互いに重複しないような連続したタイミングに設定され、パルス光Lのタイミングが制御パルスGのタイミングにほぼ重複するように設定される。その後、各画素回路13の電圧検出手段26~26によって、第1~第3の検出信号S~Sが読み出され、それらの検出信号S~Sが演算回路12に出力される(電圧検出ステップ)。
次に、各画素回路13から出力された検出信号S~Sを基に、演算回路12によって画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離データ有効性判定信号生成手段33によって、検出信号S~Sを基に、下記式(1);
=S+S-2S…(1)
を用いて、距離データ有効性判定信号Sの値が計算される。上記式(1)では、検出信号S~Sの示す信号の値(電圧値)が、そのまま記号S~Sで示されている(以下同様)。この距離データ有効性判定信号Sの値は、検出信号S,Sの値の合計値から、背景光及び暗電流等のノイズに起因する電荷量Nの成分を除いた値となっており、検出信号S~Sのうちで入射パルス光Lを反映した成分の合計値となっている。そして、距離データ有効性判定手段34は、距離データ有効性判定信号Sの値を閾値Thと比較することにより、検出信号S~Sを用いた距離の計算が有効であるか否かを判定する。これにより、図3の(k)部に示すように、遅れ時間Tの“-1”~“0”の間の値から“1”~“2”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段36によって、検出信号SとSとの差の値S3-1が下記式(2);
3-1=S-S…(2)
を用いて計算された後に、差の値S3-1と距離データ有効性判定信号Sの値との比を計算することにより、下記式(3);
=S3-1/S…(3)
を用いて距離計算参照信号Xの値が計算される。
次に、距離計算参照信号選択手段37により、距離計算参照信号Xの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Xの値が“0”以上閾値Th以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Xの値が飽和してしまった場合、及び、対象物Sが遠すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Xの値に距離が反映されていない場合を、距離計算から除外することができる。図3の(l)部に示す例では、遅れ時間Tの“0”から“1”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段38は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関する距離計算参照信号Xを基に対象物Sの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。このような距離画像の生成は、1フレームの期間ごとに繰り返される。
上述した距離画像センサ10による距離計算は、次のような別の手順(以下では、「3タップ2ゾーン方式」とも言う。)で行われてもよい。この手順によれば、遅れ時間Tにおける「データ有効範囲」および「測定可能範囲」を広げることができる。図4は、距離画像センサ10による別の計算手順で扱われる各種信号のタイミングチャート、及び別の計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。図4において、(a)部から(d)部には、それぞれ、制御パルスG~G及びパルス光Lのタイミングを示し、(e)部~(m)部には、それぞれ、第1~第3の検出信号S~Sの値、差分値S1-3の値、差分値の絶対値|S1-3|、加算値の絶対値|S1+3|、ノイズに起因する信号成分Sの値、距離データ有効性判定信号Sの値、及び距離計算参照信号Xの値を、遅れ時間Tに対応して示し、(n)部には、遅れ時間Tにおけるデータ有効範囲を示し、(o)部には、遅れ時間Tにおける測定可能範囲を示す。
まず、距離画像センサ10による距離画像の生成処理が開始されると、演算回路12の光源制御手段31及び電荷転送制御手段32によって、1フレームの期間内で制御パルスG~G及びパルス光Lのタイミングが制御される(光源制御ステップ、電荷転送制御ステップ)。詳細には、制御パルスG~Gが持続時間T=Tで互いに重複しないような連続したタイミングに設定され、パルス光Lのタイミングが制御パルスGのタイミングにほぼ重複するように設定される。その後、各画素回路13の電圧検出手段26~26によって、第1~第3の検出信号S~Sが読み出され、それらの検出信号S~Sが演算回路12に出力される(電圧検出ステップ)。
次に、各画素回路13から出力された検出信号S~Sを基に、演算回路12によって画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離データ有効性判定信号生成手段33によって、検出信号S,Sを基に、下記式(4);
1-3=S-S…(4)
を用いて、検出信号S,Sの差分値S1-3が計算されてから、その差分値の絶対値|S1-3|が計算される。加えて、距離データ有効性判定信号生成手段33によって、検出信号S,Sの加算値の絶対値|S1+3|が下記式(5);
|S1+3|=|S+S|…(5)
を用いて計算された後、加算値の絶対値|S1+3|と差分値の絶対値|S1-3|との差分が求められることにより、下記式(6);
=|S1+3|-|S1-3|…(6)
を用いてノイズに起因する信号成分Sの値が計算される。さらに、距離データ有効性判定信号生成手段33によって、検出信号S~Sと信号成分Sの値とを基に、下記式(7);
=|S1-3|+S-0.5S…(7)
を用いて、距離データ有効性判定信号Sの値が計算される。そして、距離データ有効性判定手段34は、距離データ有効性判定信号Sの値を閾値Thと比較することにより、検出信号S~Sを用いた距離の計算が有効であるか否かを判定する。例えば、閾値Thを“0”近傍に設定することにより、図4の(n)部に示すように、遅れ時間Tの“-1”~“0”の間の値から“2”~“3”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段36によって、検出信号SとSとの差の値S1-3と距離データ有効性判定信号Sの値との比を計算することにより、下記式(8);
=1-S1-3/S…(8)
を用いて距離計算参照信号Xの値が計算される。
次に、距離計算参照信号選択手段37により、距離計算参照信号Xの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Xの値が“0”以上閾値Th以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Xの値が飽和してしまった場合、及び、対象物Sが遠すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Xの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Thを“2”近傍に設定することにより、図4の(o)部に示すように、遅れ時間Tの“0”から“2”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段38は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関する距離計算参照信号Xを基に対象物Sの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。このような距離画像の生成は、1フレームの期間ごとに繰り返される。
上述した手順によれば、検出信号S~Sに対応する3つの時間ウィンドウにおいて入射パルス光Lによって生じる電荷量を分配することができるので、遅れ時間Tの計算可能な範囲を広げることができる。
以上説明した距離画像センサ10あるいは距離画像センサ10を用いた距離画像測定方法によれば、1フレーム期間内で光源11から繰り返しパルス光Lが発生し、パルス光Lの発生に対応して、パルス光Lの持続時間T以上の持続時間Tの時間ウィンドウが順次設定され、その時間ウィンドウで画素回路13の光電変換領域21から第1~第3の電荷読出領域22~22に順次電荷が転送される。さらに、画素回路13の第1~第3の電荷読出領域22~22から第1~第3の検出信号S~Sが読み出され、それらをもとに第1~第3の検出信号S~Sのうちの背景光を除いた入射パルス光Lから発生した電荷の信号成分の合計値Sが計算され、その信号成分の合計値Sと閾値Thとの比較結果をもとに、第1~第3の検出信号S~Sを用いた距離計算の有効/無効が判断される。その結果、その判断結果を用いることで、有効な距離計算の結果が反映された距離画像が生成可能とされ、対象物Sの位置にかかわらず精度の高い画像信号を生成することができる。
なお、本実施形態では、演算回路12は、第1~第3の検出信号S~Sのうちの2つの検出信号の差と信号成分の合計値Sとの比を計算することにより距離計算参照信号Xを求め、距離計算参照信号Xと閾値Thとの比較結果に応じて距離計算参照信号Xが有効であるか否かを判断し、距離計算参照信号Xが有効な場合に距離計算参照信号Xを基に距離を計算している。このように処理することにより、対象物Sが測定可能範囲外に位置するか否かを適切に判断することができ、その判断結果をもとに高精度な距離情報を含む距離画像を生成することができる。
以下、本実施形態における測定結果を示す。
図5には、距離画像センサ10によって入射パルス光Lの遅れ時間Tに対応して検出された第1~第3の検出信号S~S及びそれらの信号の合計値STOTALの強度を示している。ここでは、図4に示した3タップ2ゾーン方式が採用され、パルス光Lの持続時間Tおよび制御パルスG~Gの持続時間Tが、ともに22.22[ns]に設定されている。この測定結果に示すように、検出信号S~Sのピークが異なる遅れ時間Tにおいて現れ、遅れ時間Tに応じて分配された電荷量を反映して検出信号S~Sが生成されていることがわかる。
また、図6は、対象物Sの実測距離ごとに距離画像センサ10によって測定された距離および距離分解能を示すグラフである。このとき、パルス光Lの持続時間T=28ns、制御パルスG~Gの持続時間T=29.63nsに設定し、図3に示した3タップ1ゾーン方式を採用して30fpsの間隔で距離画像を生成させた。また、距離および距離分解能の測定結果は30枚の距離画像で平均化した。この測定結果より、距離測定値が実測距離と0.5m~4mの範囲でよく一致しており、距離分解能も距離測定値2mで50mm以下に高くなっていることが分かった。
同様に、図7は、対象物Sの実測距離ごとに距離画像センサ10によって測定された距離および距離分解能を示すグラフである。このとき、パルス光Lの持続時間T=14ns、制御パルスG~Gの持続時間T=14.82nsに設定し、3タップ2ゾーン方式を採用して30fpsの間隔で距離画像を生成させた。この測定結果より、距離測定値が実測距離と0.5m~4mの範囲でよく一致しており、距離分解能も距離測定値1.5mで20mm以下に高くされていることが分かった。
図8は、3タップ1ゾーン方式あるいは3タップ2ゾーン方式を採用して距離画像センサ10によって実行された距離計算における距離分解能の特性を示すグラフである。この特性に示すように、3タップ1ゾーン方式の場合は計測距離が長くなるにしたがって距離分解能が次第に低くなる傾向がみられるが、3タップ2ゾーン方式の場合は、計算する距離の広い範囲で距離分解能が高くされている。
図9には、図1の距離画像センサ10によって3タップ2ゾーン方式を採用して算出された距離を実測距離と比較して示す。このように、実測距離が4mまでの範囲では、算出された距離が実測距離とよく一致している。実測距離が4mを超えると(図9の符号W1に示す範囲)対象物Sが測定可能範囲外に位置することになるため、算出距離が0に近くなり検出信号S~Sを用いた距離計算の誤差が大きくなるが、この場合は閾値判定によって距離計算が無効化されるため誤った距離画像の生成が防止される。
[第2実施形態]
次に、本発明の第2実施形態にかかる距離画像センサ10Aの構成及び距離画像センサ10Aによる距離画像測定方法の手順について説明する。
図10は、距離画像センサ10Aの概略構成を示すブロック図である。図10に示す距離画像センサ10Aは、第1実施形態にかかる距離画像センサ10と比較して、画素回路13が4つの電荷読出領域22~22を備え、それらに対応して4つの制御電極24~24と4つの電圧検出手段26~26を備える点、および、電荷転送制御手段32Aと、距離計算手段を構成する距離データ有効性判定信号生成手段33A、距離計算参照信号生成手段36A、及び距離計算参照信号選択手段37Aの機能が異なる。以下、距離画像センサ10Aの構成を、距離画像センサ10との相違点を中心に説明する。
画素回路13は、光電変換領域21に近接し、かつ互いに離間して設けられた第1~第4の電荷読出領域22~22及び電荷排出領域23と、第1~第4の電荷読出領域22~22及び電荷排出領域23のそれぞれに対応して設けられ、光電変換領域21からそれぞれの領域との間における電荷転送のための制御パルスを印加するための第1~第4の制御電極24~24及び制御電極25と、第1~第4の電荷読出領域22~22のそれぞれから第1~第4の検出信号S~Sを読み出すための電圧検出手段26~26とを含んでいる。電荷読出領域22~22の具体的回路構成、画素回路13における各種領域および制御電極の形態は、第1実施形態と同様である。
演算回路12の電荷転送制御手段32Aは、1フレーム期間内のパルス光Lのそれぞれの発光タイミングに対応して、持続時間T以上である持続時間Tの間だけ制御電極24~24に順次第1~第4の制御パルスG~Gを印加する。本実施形態では、持続時間Tは持続時間Tと等しくなるように設定される。また、電荷転送制御手段32Aは、第1~第4の制御パルスG~Gの一連の印加タイミングの前において、光電変換領域21に蓄積された電荷を電荷排出領域23に排出させるための制御パルスGを制御電極25に印加する。
演算回路12の距離データ有効性判定信号生成手段33Aは、画素回路13から出力された第1~第4の検出信号S~Sを基に、第1~第4の検出信号S~Sのうち、背景光の信号成分を除いた入射パルス光Lから発生した電荷の信号成分の合計値を、距離データ有効性判定信号Sとして生成する。距離計算参照信号生成手段36Aは、第1~第4の検出信号S~Sのうちの一方の検出信号の組S,Sの差の値S1-3と距離データ有効性判定信号Sとの比を計算することにより第1の距離計算参照信号Xを求める。加えて、距離計算参照信号生成手段36Aは、検出信号S~Sのうちの他方の検出信号の組S,Sの差の値S2-4と距離データ有効性判定信号Sとの比を計算することにより第2の距離計算参照信号Yを求める。そして、距離計算参照信号生成手段36Aは、求めた第1の距離計算参照信号Xと閾値(第3の閾値)Thとの比較結果に応じて、第1及び第2の距離計算参照信号X,Yのいずれかを選択し、選択した第1及び第2の距離計算参照信号X,Yが測定可能な範囲である場合に選択した距離計算参照信号X,Yを有効な値として距離画像生成手段38に出力する。
図11は、距離画像センサ10Aによる距離計算の原理を説明するためのタイミングチャートである。図11には、距離画像センサ10Aによって制御される各種信号のタイミングおよび画素回路13の各領域に電荷が蓄積されるタイミングを示しており、上から順番に、パルス光Lの発光タイミング、第1~第4の制御パルスG~G及び制御パルスGの印加タイミング、第1~第4の電荷読出領域22~22における電荷蓄積タイミングを示している。このように、パルス光Lの持続時間Tの発光タイミングに対応して、第1~第4の制御パルスG~Gが互いに重ならないように続けて持続時間Tで印加されている。このようにすれば、入射パルス光Lが光電変換されることにより光電変換領域21に蓄積された電荷が、入射パルス光Lのパルス光Lに対する遅れ時間Tに対応した比率で、2つの電荷読出領域22,22、あるいは2つの電荷読出領域22,22に分配される。ここでは、パルス光Lの持続時間Tの発光タイミングと、第1の制御パルスGの印加タイミングとの関係を設定することで、電荷読出領域22には、制御パルスGで規定される時間ウィンドウで背景光及び暗電流等のノイズに起因する電荷量Nの電荷のみが輸送される。これに対して、入射パルス光Lの到達タイミングが制御パルスG,Gで規定される2つの時間ウィンドウにまたがった場合には、電荷読出領域22には電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm1が加算された電荷が輸送される一方、電荷読出領域22には、電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm2が加算された電荷が輸送される。その一方で、入射パルス光Lの到達タイミングが制御パルスG,Gで規定される2つの時間ウィンドウにまたがった場合には、電荷読出領域22には電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm1が加算された電荷が輸送される一方、電荷読出領域22には、電荷量Nに遅れ時間Tに対応して分配された電荷量Nsm2が加算された電荷が輸送される。このような現象を利用して、距離画像センサ10Aの演算回路12においては、パルス光Lのそれぞれの発光タイミングに応じて、電荷量Nを除いた電荷量Nsm1と電荷量Nを除いた電荷量Nsm2との比率を計算することにより、遅れ時間Tに対応した対象物Sの距離を計算することができる。
次に、距離画像センサ10Aによる距離計算の手順の詳細を説明するとともに、本実施形態にかかる距離画像測定方法(以下では、「4タップ3ゾーン方式」とも言う。)について説明する。図12は、距離画像センサ10Aによって扱われる各種信号のタイミングチャート、及び計算される各種値の遅れ時間Tに対する変化を示すグラフである。図12において、(a)部から(e)部には、それぞれ、制御パルスG~G及びパルス光Lのタイミングを示し、(f)部~(n)部には、それぞれ、第1~第4の検出信号S~Sの値、差分値S1-3,S2-4の値、距離データ有効性判定信号Sの値、及び距離計算参照信号X,Yの値を、遅れ時間Tに対応して示し、(o)部には、遅れ時間Tにおけるデータ有効範囲を示し、(p)部には、遅れ時間Tにおける測定可能範囲を示す。
まず、距離画像センサ10Aによる距離画像の生成処理が開始されると、演算回路12の光源制御手段31及び電荷転送制御手段32Aによって、1フレームの期間内で制御パルスG~G及びパルス光Lのタイミングが制御される(光源制御ステップ、電荷転送制御ステップ)。詳細には、制御パルスG~Gが持続時間T=Tで互いに重複しないような連続したタイミングに設定され、パルス光Lのタイミングが制御パルスGのタイミングにほぼ重複するように設定される。その後、各画素回路13の電圧検出手段26~26によって、第1~第4の検出信号S~Sが読み出され、それらの検出信号S~Sが演算回路12に出力される(電圧検出ステップ)。
次に、各画素回路13から出力された検出信号S~Sを基に、演算回路12によって画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離データ有効性判定信号生成手段33Aによって、検出信号S,Sを基に、下記式(9);
1-3=S-S…(9)
を用いて、検出信号S,Sの差分値S1-3が計算されてから、その差分値の絶対値|S1-3|が計算される。加えて、距離データ有効性判定信号生成手段33Aによって、検出信号S,Sを基に、下記式(10);
2-4=S-S…(10)
を用いて、検出信号S,Sの差分値S2-4が計算されてから、その差分値の絶対値|S2-4|が計算される。さらに、距離データ有効性判定信号生成手段33Aによって、差分値の絶対値|S1-3|と差分値の絶対値|S2-4|が加算されることにより、下記式(11);
=|S1-3|+|S2-4|…(11)
を用いて、距離データ有効性判定信号Sの値が計算される。そして、距離データ有効性判定手段34は、距離データ有効性判定信号Sの値を閾値Thと比較することにより、検出信号S~Sを用いた距離の計算が有効であるか否かを判定する。例えば、閾値Thを“0”近傍に設定することにより、図12の(o)部に示すように、遅れ時間Tの“-1”~“0”の間の値から“3”~“4”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段36Aによって、検出信号SとSとの差の値S1-3と距離データ有効性判定信号Sの値との比を計算することにより、下記式(12);
=1-S1-3/S…(12)
を用いて第1の距離計算参照信号Xの値が計算されると共に、検出信号SとSとの差の値S2-4と距離データ有効性判定信号Sの値との比を計算することにより、下記式(13);
=2-S2-4/S…(13)
を用いて第2の距離計算参照信号Yの値が計算される。
次に、距離計算参照信号選択手段37Aにより、距離計算参照信号Xの値が所定範囲にあるか否かが判定されることにより、距離計算のために参照する値が、距離計算参照信号Xと距離計算参照信号Xとのうちから選択される。例えば、距離計算参照信号Xの値が“0”以上閾値Th以下の場合は距離計算参照信号Xが選択され、距離計算参照信号Xの値が閾値Thを超えている場合は距離計算参照信号Yが選択される。このような判定により、対象物Sの位置に応じて、入射パルス光Lの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算参照信号選択手段37Aにより、選択された距離計算参照信号X,Yの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Xの値が“0”以上であるか否かが判定され、距離計算参照信号Yの値が閾値Th以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Yの値が飽和してしまった場合、及び、対象物Sが遠すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Xの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Thを“3”近傍に設定することにより、図12の(p)部に示すように、遅れ時間Tの“0”から“3”の近傍までの範囲が「測定可能範囲」であると判定される。最後に、距離画像生成手段38は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号X,Yを基に対象物Sの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
上述した手順によれば、入射パルス光Lによって生じる電荷量を検出信号S~Sに対応する4つの時間ウィンドウに分配することができるので、遅れ時間Tの計算可能な範囲を広げることができる。さらに、距離計算参照信号X,Yのうちで遅れ時間Tに対して線形に変化する値を選んで距離の計算を行うので、対象物Sが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Sの位置にかかわらず精度の高い画像信号を生成することができる。
上述した距離画像センサ10Aによる距離計算は、次のような別の手順(以下では、「4タップ4ゾーン方式」とも言う。)で行われてもよい。この手順によれば、遅れ時間Tにおける「データ有効範囲」および「測定可能範囲」を広げることができる。図13は、距離画像センサ10Aによる別の計算手順で扱われる各種信号のタイミングチャート、及び別の計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。図13において、(a)部から(e)部には、それぞれ、制御パルスG~G及びパルス光Lのタイミングを示し、(f)部~(o)部には、それぞれ、第1~第4の検出信号S~Sの値、差分値S1-3,2-4の値、距離データ有効性判定信号Sの値、及び距離計算参照信号R,R,Rの値を、遅れ時間Tに対応して示し、(p)部には、遅れ時間Tにおけるデータ有効範囲を示し、(q)部には、遅れ時間Tに対応して計算される比較信号P~Pの値、(r)部には、遅れ時間Tにおける測定可能範囲を示す。
まず、距離画像センサ10Aによる距離画像の生成処理が開始されると、演算回路12の光源制御手段31及び電荷転送制御手段32Aによって、1フレームの期間内で制御パルスG~G及びパルス光Lのタイミングが制御される(光源制御ステップ、電荷転送制御ステップ)。詳細には、制御パルスG~Gが持続時間T=Tで互いに重複しないような連続したタイミングに設定され、パルス光Lのタイミングが制御パルスGのタイミングにほぼ重複するように設定される。ここでは、パルス光Lの点灯タイミングの直前に制御パルスGがオンされてから、4つの制御パルスG~Gが連続してオンされた直後に、再度制御パルスGがオンされる。その後、各画素回路13の電圧検出手段26~26によって、第1~第4の検出信号S~Sが読み出され、それらの検出信号S~Sが演算回路12に出力される(電圧検出ステップ)。
次に、各画素回路13から出力された検出信号S~Sを基に、演算回路12によって画素ごとの距離情報が計算される(距離計算ステップ)。すなわち、距離データ有効性判定信号生成手段33Aによって、検出信号S,Sの差分値S1-3及び検出信号S,Sの差分値S2-4が計算される。加えて、距離データ有効性判定信号生成手段33Aによって、差分値S1-3及び差分値S2-4の絶対値を基に、距離データ有効性判定信号Sの値が計算される。そして、距離データ有効性判定手段34Aは、距離データ有効性判定信号Sの値を閾値Thと比較することにより、検出信号S~Sを用いた距離の計算が有効であるか否かを判定する。例えば、閾値Thを“0”近傍に設定することにより、図13の(p)部に示すように、遅れ時間Tの“-1”~“0”の間の値から“4”~“5”の間の値までの範囲が、距離の計算が有効な範囲である「データ有効範囲」であると判定される。さらに、距離計算参照信号生成手段36Aによって、検出信号SとSとの差の値S1-3と距離データ有効性判定信号Sの値との比を計算することにより、下記式(14);
=1-S1-3/S…(14)
を用いて距離計算参照信号Rの値が計算され、検出信号SとSとの差の値S2-4と距離データ有効性判定信号Sの値との比を計算することにより、下記式(15);
=2-S2-4/S…(15)
を用いて距離計算参照信号Rの値が計算され、検出信号SとSとの差の値S1-3と距離データ有効性判定信号Sの値との比を計算することにより、下記式(16);
=3+S1-3/S…(16)
を用いて距離計算参照信号Rの値が計算される。
距離計算参照信号選択手段37Aにより、距離計算参照信号R~Rの値が閾値と比較されることにより、距離計算のために参照する値が、距離計算参照信号R~Rの中から選択される。例えば、距離計算参照信号Rが閾値Th以下であり、かつ、距離計算参照信号Rが閾値Th以下である場合は、距離計算参照信号Rが選択される。その一方で、距離計算参照信号Rが閾値Thを超えており、かつ、距離計算参照信号Rが閾値Th以下である場合は、距離計算参照信号Rが選択される。さらに、距離計算参照信号Rが閾値Thを超えている場合は、距離計算参照信号Rが選択される。このような判定により、対象物Sの位置に応じて、入射パルス光Lの入射タイミングが重複した時間ウィンドウの検出信号が反映された距離計算参照信号を選択することができる。さらに、距離計算参照信号選択手段37Aにより、選択された距離計算参照信号R,Rの値が所定範囲にあるか否かが判定されることにより、対象物Sが測定可能な範囲にあるかが判定される。例えば、距離計算参照信号Rの値が“0”以上であるか否かが判定され、距離計算参照信号Rの値が閾値Th以下であるか否かが判定される。このような判定により、対象物Sが近すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Rの値が飽和してしまった場合、及び、対象物Sが遠すぎて検出信号Sの時間ウィンドウから入射パルス光Lが外れて距離計算参照信号Rの値に距離が反映されていない場合を、距離計算から除外することができる。例えば、閾値Thを“4”近傍に設定することにより、図13の(r)部に示すように、遅れ時間Tの“0”から“4”の近傍までの範囲が「測定可能範囲」であると判定される。また、図13の(q)部には、距離計算参照信号Rを閾値Thと比較した結果得られる比較信号P、距離計算参照信号Rを閾値Thと比較した結果得られる比較信号P、及び距離計算参照信号Rを閾値Thと比較した結果得られる比較信号Pを示している。
最後に、距離画像生成手段38は、「データ有効範囲」にあると判定され、かつ、「測定可能範囲」にあると判定された場合に、該当画素に関して選択された距離計算参照信号R~Rを基に対象物Sの距離を示す距離情報が算出され、算出した各画素の距離情報を含む距離画像が生成および出力される。
上述した手順によれば、入射パルス光Lによって生じる電荷量を、連続する5つの制御パルスG~G,Gに対応する5つの時間ウィンドウに分配することができるので、遅れ時間Tの計算可能な範囲を広げることができる。さらに、距離計算参照信号R,R,Rのうちで遅れ時間Tに対して線形に変化する値を選んで距離の計算を行うので、対象物Sが位置する範囲に対応して適切な距離データ参照信号の値を利用して距離を計算することができ、対象物Sの位置にかかわらず精度の高い画像信号を生成することができる。
図14~図16を参照して、本実施形態の4タップ4ゾーン方式の距離計算手順の概要を示す。図14において、(a)部には、4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを示し、(b)部には、距離計算の対象物Sの存在エリアを示している。また、図15には、4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを、各時間ウィンドウにおける電荷の分配状態とともに示し、図16には、4タップ4ゾーン方式の距離計算で扱われる各種信号のタイミングチャートを、遅れ時間Tに対応した距離計算参照信号R,R,Rの選択状態とともに示している。
図14に示すように、対象物Sが距離画像センサ10Aからの距離が異なるゾーンZ~Zのいずれに位置するかによって、入射パルス光Lの画素回路13への到達タイミングが異なる。例えば、対象物Sが距離画像センサ10Aからの距離が小さいゾーンZに位置している場合は、入射パルス光Lの到達タイミングが制御パルスGで規定される時間ウィンドウと制御パルスGで規定される時間ウィンドウとを跨ったタイミングTIとなる。また、対象物Sが距離画像センサ10Aからの距離がゾーンZよりも大きいゾーンZに位置している場合は、入射パルス光Lの到達タイミングが制御パルスGで規定される時間ウィンドウと制御パルスGで規定される時間ウィンドウとを跨ったタイミングTIとなる。また、対象物Sが距離画像センサ10Aからの距離がゾーンZよりも大きいゾーンZに位置している場合は、入射パルス光Lの到達タイミングが制御パルスGで規定される時間ウィンドウと制御パルスGで規定される時間ウィンドウとを跨ったタイミングTIとなる。さらに、対象物Sが距離画像センサ10Aからの距離がゾーンZよりも大きいゾーンZに位置している場合は、入射パルス光Lの到達タイミングが制御パルスGで規定される時間ウィンドウと制御パルスGで規定される時間ウィンドウとを跨ったタイミングTIとなる。
このような現象を利用して、本実施形態の距離計算では、図15に示すように、入射パルス光Lの到達タイミングがタイミングTIとなっている場合には、距離計算参照信号Rを用いて距離計算を行うことにより、制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量Nsm1と制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量Nsm2との比率を距離情報に反映している。なお、この比率を計算する際には、背景光等のノイズに起因する電荷量Nは除外されている。また、入射パルス光Lの到達タイミングがタイミングTIとなっている場合には、距離計算参照信号Rまたは距離計算参照信号Rを選択的に用いて距離計算を行うことにより、制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量と制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。同様に、入射パルス光Lの到達タイミングがタイミングTIとなっている場合には、距離計算参照信号Rまたは距離計算参照信号Rを選択的に用いて距離計算を行うことにより、制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量と制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。さらに、入射パルス光Lの到達タイミングがタイミングTIとなっている場合には、距離計算参照信号Rを用いて距離計算を行うことにより、制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量Nと制御パルスGで規定される時間ウィンドウにおいて蓄積された電荷の量との比率を距離情報に反映している。すなわち、図16に示すように、入射パルス光Lの到達のタイミングに対応して、遅れ時間Tに対して線形の関係を有する距離計算参照信号R,R,Rを選択的に用いて距離情報を計算する。
以下、本実施形態にかかる4タップ4ゾーン方式の距離計算による測定結果を示す。
図17は、対象物Sの実測距離を様々に変更した際に距離画像センサ10Aによって算出された距離情報の距離分解能を理論値と比較して示すグラフである。この結果より、距離分解能は理論値とよく一致しており、実測距離が0~8mの範囲で実測距離の約1/100の距離分解能が得られている。
図18には、距離画像センサ10Aによって入射パルス光Lの遅れ時間Tに対応して検出された第1~第4の検出信号S~S及びそれらの信号の合計値STOTALの強度を示している。ここでは、パルス光Lの持続時間Tおよび制御パルスG~Gの持続時間Tが、ともに15[ns]に設定されている。この測定結果に示すように、検出信号S~Sのピークが異なる遅れ時間Tにおいて現れ、遅れ時間Tに応じて分配された電荷量を反映して検出信号S~Sが生成されていることがわかる。
また、図19は、対象物Sの実測距離ごとに距離画像センサ10Aによって測定された距離を示すグラフである。ここでは、15.7fpsの間隔で距離画像を生成させ、距離測定結果は30枚の距離画像で平均化した。この測定結果より、距離測定値が実測距離と1m~8mの範囲でよく一致していることが分かった。
図20は、対象物Sの実測距離ごとに距離画像センサ10Aによって測定された距離の分解能を、比較例と比較して示すグラフである。比較例においては、2つの電荷読出領域とそれらに対応した2つの制御電極とを備える画素回路を用いて、それらの電荷読出領域から読み出した検出信号を用いて距離を測定した。この結果より、本実施形態の距離計算における分解能の値は、比較例と比べて1/2以下にされており、距離分解能が十分に改善されている。
ここで、上述した第1実施形態及び第2実施形態において用いられる閾値は、次のように設定されることが好適である。
すなわち、第1の閾値Thは距離データ有効性判定信号Sに対して設定される閾値である。この距離データ有効性判定信号Sは、検出信号S~S(Mは3以上の整数)の線形演算によって計算され、距離計算参照信号X,Y,R~Rを計算する計算式の分母に設定される。そして、第1の閾値Thは、分母となる距離データ有効性判定信号Sが“0”でない有限な値を持ち、距離計算参照信号X,Y,R~Rの計算が有効となる範囲を決めることが目的の閾値である。従って、距離データ有効性判定信号Sが検出信号S~Sの線形演算によって計算されることから、第1の閾値Thは、検出信号S~Sの無信号時のノイズ電圧のRMS値を基準に、これらを超えるように決められることが好適である。
一方で、閾値Th,Th,Th,Thは、距離計算参照信号X,Y,R~Rに対して設定される。測定可能範囲を決定する最後の閾値(図3、図4におけるTh、図12におけるTh、図13におけるTh)以外は、時間窓の切り替わり付近に相当する距離計算参照信号の値近傍に設定される。従って、測定可能範囲を決定する最後の閾値は、最後の距離計算参照信号の最大値を与える、最後の時間窓の端部に相当する距離時間参照信号の値(例えば、図13においてはRの最大値の“4”)から、第1の閾値Thの値に相当する、検出信号S~Sの無信号時のノイズ電圧のRMS値を超えるように決められた値を減算した値に決められることが好適である。
なお、本発明は、上述した実施形態の態様に限定されるものではない。
上述した実施形態では、画素回路に3つまたは4つの電荷読出領域が設けられているが、電荷読出領域は5つ以上設けられていてもよい。その場合は、制御電極及び電荷検出手段は電荷読出領域の個数に対応して設けられ、演算回路12は、それぞれの電荷読出領域から読み出された検出信号を基に距離情報を計算する。
また、上述した実施形態では、各画素回路13ごとの距離の計算がパルス光Lの1回の発光タイミングごとに繰り返し実行されているが、パルス光Lの複数回の発光タイミングごとに繰り返し実行されてもよい。
ここで、各画素回路13が8つの電荷読出領域を有し、演算回路12がパルス光Lの2回の発光タイミングごとに距離計算を実行する場合の本発明の変形例について説明する。図21は、本変形例の距離計算手順で扱われる各種信号のタイミングチャートであり、図22および図23は、本変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。図21には、8つの制御電極に印加される制御パルスG~G、制御パルスG、及び2つのパルス光Lのタイミングを示し、図22には、8つの電荷読出領域から読み出される第1~第8の検出信号Q~Qの値、ゾーン判定信号Q~Qの値、及び、比較信号P~Pの値を、遅れ時間Tに対応して示し、図23には、距離計算の基となる距離計算参照信号の値を遅れ時間Tに対応して示す。
この変形例では、図21に示すように、演算回路12の光源制御手段31によって、持続時間Tの第1のパルス光と持続時間2Tの第2のパルス光との2つのパルス光LPを、時間差7Tで発生させるように制御される。それとともに、演算回路12の電荷転送制御手段32によって、持続時間Tの第1のパルス光の持続時間Tだけ前に電荷排出用の制御パルスGがオフされるとともに、持続時間2Tの第2のパルス光の発生に同期して持続時間Tの制御パルスG~Gが互いに重ならないように順番に印加される。
このようなパルス光及び制御パルスのタイミング制御下においては、8つの電荷読出領域から読み出される第1~第8の検出信号Q~Qは、遅れ時間Tに応じて変動する(図22)。本変形例の演算回路12によって、対象物Sの距離のゾーンを判定するためのゾーン判定信号が、第1~第8の検出信号Q~Qを基に下記式;
=Q-Q
=Q-Q
=Q-Q
=Q-Q
により計算される。これらのゾーン信号の値の大小関係の組み合わせは遅れ時間T毎に決まっており、そのような性質を利用することで対象物Sの距離のゾーンを判定することができる。
加えて、演算回路12によって、ゾーンごとの距離計算のために参照する値として下記の値が計算される。
AB=Q+Q
BC=Q+Q
CD=Q+Q
AdC=Q-Q
BdD=Q-Q
AC=Q+Q
BD=Q+Q
ABC=Q+Q+Q
BCD=Q+Q+Q
CDdA=Q+Q-Q
DdAdB=Q-Q-Q
さらに、演算回路12によって、各ゾーン判定信号Q~Qが2つの閾値QTH+,QTH-と比較されることにより3値(-1,0,1)の比較信号P~Pが生成される。すなわち、比較信号P~Pのそれぞれは、ゾーン判定信号Q~Qが閾値QTH-未満の場合には値“-1”と設定され、ゾーン判定信号Q~Qが閾値QTH-以上かつ閾値QTH+以下の場合には値“0”と設定され、ゾーン判定信号Q~Qが閾値QTH+を超えている場合には値“1”と設定される。そして、演算回路12の距離計算参照信号選択手段37によって、比較信号P~Pの値の組み合わせによって対象物Sの距離のゾーンが判定される。例えば、(P,P,P,P)=(1,0,0,0)であった場合は、測定可能範囲外のゾーンZ-1と判定され、(P,P,P,P)=(1,1,0,0)であった場合は、ゾーンZと判定され、(P,P,P,P)=(0,1,1,0)であった場合は、ゾーンZと判定され、(P,P,P,P)=(0,0,1,1)であった場合は、ゾーンZと判定される。また、(P,P,P,P)=(0,0,-1,0)であった場合は、ゾーンZ13と判定され、(P,P,P,P)=(0,0,0,-1)であった場合は、測定可能範囲外とのゾーンZ14と判定される(図22)。ゾーン判定後、距離計算参照信号選択手段37は、距離計算に用いる距離計算参照信号として、予め計算しておいた値の中から、距離のゾーンに対応する2つの値を選択する。このとき、選択する距離計算参照信号は、予め計算しておいてもよいし、ゾーン判定後にあらためて計算してもよい。図23において、黒丸で示す値は各ゾーンに対応して選択される値のうち距離計算の過程で分母として用いられる値を示し、白丸で示す値は、各ゾーンに対応して選択される値のうち距離計算の過程で分子として用いられる値を示している。例えば、ゾーンZと判定された場合は、分母として用いられる値として距離計算参照信号QACが選択され、分子として用いられる値として距離計算参照信号QBCが選択される。ゾーンZ13と判定された場合は、分母として用いられる値として距離計算参照信号QBCDが選択され、分子として用いられる値として距離計算参照信号QDdAdBが選択される。なお、図23に示す距離計算参照信号の選択方法は一例であって、各ゾーンの短距離側から長距離側にかけて遅れ時間Tに対して直線的に変化し、かつ、ゾーン内側あるいはゾーンの境界で変化率の変化点(屈曲点)が生じないような距離計算参照信号が、分子の値として選択されればよい。ゾーンの境界で変化率の変化点(屈曲点)が生じないような距離計算参照信号を用いるのは、2つのゾーンの境界部分で計算値が不連続になるのを防止するためである。また、各ゾーンの短距離側から長距離側にかけて一定値となるような距離計算参照信号が、分母の値として選択されればよい。
本変形例の演算回路12の距離画像生成手段38は、距離計算参照信号選択手段37によって選択された距離計算参照信号を用いて、対象物Sの距離Lを、判定されたそれぞれのゾーンZ~Z13に対応して、下記式を用いて計算する。なお、下記式中、cは光速を示す。
ゾーンZ:L=(1/2)cT{(QBC/QAC)-1},
ゾーンZ:L=(1/2)cT{(-QAB/QAC)+2},
ゾーンZ、ゾーンZ:L=(1/2)cT{(QAB/QAdC)+2},
ゾーンZ:L=(1/2)cT{(QBC/QBdD)+3},
ゾーンZ:L=(1/2)cT{(QAB/-QAC)+6},
ゾーンZ:L=(1/2)cT{(QAB/QAdC)+6},
ゾーンZ:L=(1/2)cT{(QBC/QBdD)+7},
ゾーンZ:L=(1/2)cT{(QCD/QABC)+8},
ゾーンZ:L=(1/2)cT{(-QBdD/QBCD)+9},
ゾーンZ10:L=(1/2)cT{(-QAC/QCDdA)+10},
ゾーンZ11:L=(1/2)cT{(-QBD/QDdAdB)+11},
ゾーンZ12:L=(1/2)cT{(QCDdA/QABC)+12},
ゾーンZ13:L=(1/2)cT{(QDdAdB/QBCD)+13}
なお、本変形例では、2つのパルス光のパルスの振幅(光強度)を同一に設定しているが、2つのパルス光の振幅を変えて、例えば、第1のパルス光の振幅を第2のパルス光の振幅よりも小さく設定してもよい。
また、同一周期で発光するパルス光Lの2回の発光タイミングごとに距離計算が実行されてもよい。図24は、このような場合の変形例にかかる距離計算手順で扱われる各種信号のタイミングチャートであり、図25および図26は、本変形例の距離計算手順において計算される各種値の遅れ時間Tに対する変化を示すグラフである。図24には、8つの制御電極に印加される制御パルスG~G、制御パルスG、及び2つのパルス光Lのタイミングを示し、図25には、8つの電荷読出領域から読み出される第1~第8の検出信号Q~Qの値、及びそれらを基に計算された中間演算信号の値を、遅れ時間Tに対応して示し、図26には、距離計算の基となる距離計算参照信号の値を遅れ時間Tに対応して示す。
この変形例では、図24に示すように、演算回路12の光源制御手段31によって、持続時間Tの第1のパルス光と持続時間Tの第2のパルス光との2つのパルス光Lを、時間差7Tで発生させるように制御される。それとともに、演算回路12の電荷転送制御手段32によって、持続時間Tの第1のパルス光の発生直前に電荷排出用の制御パルスGがオフされるとともに、第1のパルス光の発生開始タイミングから第2のパルス光の発生開始タイミングの間において持続時間7Tの制御パルスGが印加された後に、第2のパルス光の発生に同期して持続時間Tの制御パルスG~Gが互いに重ならないように順番に印加される。
このようなパルス光及び制御パルスのタイミング制御下においては、8つの電荷読出領域から読み出される第1~第8の検出信号Q~Qは、遅れ時間Tに応じて変動する(図25)。本変形例の演算回路12においては、これらの第1~第8の検出信号Q~Qが、対象物Sの距離のゾーンを判定するためのゾーン判定信号として参照される。これらのゾーン判定信号のうちの第1の検出信号Qと他のいずれか1つの信号Q~Qの値の大小関係の組み合わせは遅れ時間T毎に決まっており、そのような性質を利用することで対象物Sの距離のゾーンを判定することができる。
詳細には、演算回路12の距離計算参照信号選択手段37によって、各信号Q~Qが予め設定された閾値QTHと比較され、信号Qに関する比較結果とその他の信号Q~Qに関する比較結果とが、下記のいずれの組み合わせに該当するかが判別されることによって、対象物Sの距離のゾーンがゾーンZ~Z12の中から判定される(図25)。
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q≧QTH、かつ、Q≧QTH
ゾーンZ:Q<QTH、かつ、Q≧QTH
ゾーンZ:Q<QTH、かつ、Q≧QTH
ゾーンZ:Q<QTH、かつ、Q≧QTH
ゾーンZ10:Q<QTH、かつ、Q≧QTH
ゾーンZ11:Q<QTH、かつ、Q≧QTH
ゾーンZ12:Q<QTH、かつ、Q≧QTH
加えて、演算回路12によって、信号Q~Qを基に距離計算のための中間演算信号Q25,Q36,Q47,Q58(図25)が下記式により計算されるとともに、それらの中間演算信号を基にゾーンごとの距離計算のために参照する距離計算参照信号Q~Q(図26)が下記式により計算される。
25=Q-Q
36=Q-Q
47=Q-Q
58=Q-Q
=Q25+Q36
=Q36+Q47
=Q47+Q58
=Q25-Q47
=Q36-Q58
=Q25+Q47
=Q36+Q58
=Q25+Q36+Q47
=Q36+Q47+Q58
=Q47-Q25-Q36
=Q47+Q58-Q25
=Q58-Q25-Q36
ゾーン判定後、距離計算参照信号選択手段37は、距離計算に用いる距離計算参照信号として、予め計算しておいた距離計算参照信号Q~Qの中から、距離のゾーンに対応する2つの値を選択する。このとき、選択する距離計算参照信号は、予め計算しておいてもよいし、ゾーン判定後にあらためて計算してもよい。図26において、黒丸で示す値は各ゾーンに対応して選択される値のうち距離計算の過程で分母として用いられる値を示し、白丸で示す値は、各ゾーンに対応して選択される値のうち距離計算の過程で分子として用いられる値を示している。例えば、ゾーンZと判定された場合は、分母として用いられる値として距離計算参照信号Qが選択され、分子として用いられる値として距離計算参照信号Qが選択される。ゾーンZ12と判定された場合は、分母として用いられる値として距離計算参照信号Qが選択され、分子として用いられる値として距離計算参照信号Qが選択される。なお、図26に示す距離計算参照信号の選択方法は一例であって、各ゾーンの短距離側から長距離側にかけて遅れ時間Tに対して直線的に変化し、かつ、ゾーン内側あるいはゾーンの境界で変化率の変化点(屈曲点)が生じないような距離計算参照信号が、分子の値として選択されればよい。ゾーンの境界で変化率の変化点(屈曲点)が生じないような距離計算参照信号を用いるのは、2つのゾーンの境界部分で計算値が不連続になるのを防止するためである。また、各ゾーンの短距離側から長距離側にかけて一定値となるような距離計算参照信号が、分母の値として選択されればよい。
本変形例の演算回路12の距離画像生成手段38は、距離計算参照信号選択手段37によって選択された距離計算参照信号を用いて、対象物Sの距離Lを、判定されたそれぞれのゾーンZ~Z12に対応して、下記式を用いて計算する。なお、下記式中、cは光速を示す。
ゾーンZ:L=(1/2)cT{(-Q/Q)+1},
ゾーンZ:L=(1/2)cT{(-Q/Q)+2},
ゾーンZ:L=(1/2)cT{(-Q/Q)+3},
ゾーンZ:L=(1/2)cT{(-Q/-Q)+4},
ゾーンZ:L=(1/2)cT{(Q/-Q)+5},
ゾーンZ:L=(1/2)cT{(Q/-Q)+6},
ゾーンZ:L=(1/2)cT{(Q/-Q)+7},
ゾーンZ:L=(1/2)cT{(-Q/Q)+8},
ゾーンZ:L=(1/2)cT{(-Q/Q)+9},
ゾーンZ10:L=(1/2)cT{(-Q/Q)+10},
ゾーンZ11:L=(1/2)cT{(-Q/-Q)+11},
ゾーンZ12:L=(1/2)cT{(Q/-Q)+12}
なお、本変形例でも、2つのパルス光のパルスの振幅(光強度)を同一に設定しているが、2つのパルス光の振幅を変えて、例えば、第1のパルス光の振幅を第2のパルス光の振幅よりも小さく設定してもよい。
ここで、上記実施形態では、距離計算手段は、第1~第Mの検出信号のうちの2つの検出信号の差と信号成分の合計値との比を計算することにより距離計算参照値を求め、距離計算参照値と所定の第2の閾値との比較結果に応じて距離計算参照値が有効であるか否かを判断し、距離計算参照値が有効な場合には距離計算参照値を基に距離を計算する、こととしてもよい。この場合、対象物が測定可能範囲外に位置するか否かを適切に判断することができ、その判断結果をもとに高精度に距離を計算することができる。
また、距離計算手段は、第1~第Mの検出信号のうちの一方の検出信号の組の差と信号成分の合計値との比を計算することにより第1の距離計算参照値を求め、第1~第Mの検出信号のうちの他の検出信号の組の差と信号成分の合計値との比を計算することにより第2の距離計算参照値を求め、第1の距離計算参照値と所定の第3の閾値との比較結果に応じて、第1の距離計算参照値あるいは第2の距離計算参照値のいずれかを選択して距離を計算する、こととしてもよい。この場合、対象物が位置する範囲に対応して適切な参照値を利用して距離を計算することができ、その結果対象物の位置にかかわらず精度の高い画像信号を生成することができる。
また、画素回路部は、光電変換領域に蓄積された電荷を排出するための電荷排出領域と、光電変換領域と電荷排出領域との間における電荷転送のための制御パルスを印加するための制御電極とをさらに有していてもよい。これにより、第1~第Mの制御パルスが印加されていない期間に光電変換領域で発生した電荷を第1~第Mの電荷読出領域に転送しないようにすることができる。
さらに、距離計算手段は、距離の計算が無効であるか否かを示す識別値を生成してもよい。この場合、距離計算が有効であるか否かを容易に判定することができる。
またさらに、電荷転送制御手段と、電荷転送制御手段と第1~第Mの制御電極との間の回路と、電荷転送制御手段と光源制御手段との間の回路の一部とは、画素回路部と同一の半導体上、あるいは画素回路部に対して積層された半導体上に形成されていてもよい。この場合、距離計算の分解能を容易に向上させることができる。
さらに、画素回路部が2次元アレイ状に配列されたイメージセンサを含んでいてもよい。かかる構成によれば、対象物の位置にかかわらず精度の高い2次元距離情報を含む距離画像を生成することができる。
本発明の一側面は、画素毎に距離情報を含む距離画像を生成する距離画像測定装置および距離画像測定方法を使用用途とし、対象物の位置にかかわらず精度の高い画像信号を生成することができるものである。
10,10A…距離画像センサ(距離画像測定装置)、11…光源、12…演算回路、13…画素回路(画素回路部)、21…光電変換領域、22~22…電荷読出領域、24~24…制御電極、26~26…電圧検出手段、31…光源制御手段、32,32A…電荷転送制御手段、33,33A…距離データ有効性判定信号生成手段、34,34A…距離データ有効性判定手段、35…無効画素識別値生成手段、36,36A…距離計算参照信号生成手段、37,37A…距離計算参照信号選択手段、38…距離画像生成手段。

Claims (10)

  1. パルス光を発生させる光源と、
    第1の持続時間を有する前記パルス光を1フレーム期間内で繰り返し発生させるように前記光源を制御する光源制御手段と、
    光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、及び前記光電変換領域と前記第1~第Mの電荷読出領域とに対応してそれぞれ設けられ、前記光電変換領域と前記第1~第Mの電荷読出領域との間における電荷転送のための第1~第Mの制御パルスを印加するための第1~第Mの制御電極を有する画素回路部と、
    前記光源制御手段による前記パルス光の発生に対応して、前記第1の持続時間以上である第2の持続時間の間だけ前記第1の制御電極に前記第1の制御パルスを印加した後、前記第2の持続時間の間だけ前記第2~第Mの制御電極に前記第2~第Mの制御パルスを順次印加する電荷転送制御手段と、
    前記電荷転送制御手段による前記第1~第Mの制御パルスの印加後に、前記画素回路部の前記第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出手段と、
    前記第1~第Mの検出信号を基に距離を繰り返し計算する距離計算手段とを備え、
    前記距離計算手段は、前記第1~第Mの検出信号を基に、前記第1~第Mの検出信号のうちの背景光を除いた前記パルス光から発生した電荷の信号成分の合計値を計算し、前記信号成分の合計値が所定の第1の閾値を超えた場合には、前記第1~第Mの検出信号から所定の計算式を用いて前記距離を計算し、前記信号成分の合計値が前記第1の閾値を超えていない場合には、前記距離の計算を無効とし、
    前記合計値を計算する際には、前記第1~第Mの検出信号のうちの第1の検出信号と第3の検出信号との差分値の絶対値を前記電荷の信号成分として含む前記合計値を計算する、
    距離画像測定装置。
  2. 前記距離計算手段は、前記第1~第Mの検出信号のうちの2つの検出信号の差と前記信号成分の合計値との比を計算することにより距離計算参照値を求め、前記距離計算参照値と所定の第2の閾値との比較結果に応じて前記距離計算参照値が有効であるか否かを判断し、前記距離計算参照値が有効な場合には前記距離計算参照値を基に前記距離を計算する、
    請求項1記載の距離画像測定装置。
  3. 前記距離計算手段は、前記第1~第Mの検出信号のうちの第1の検出信号と第3の検出信号の差と前記信号成分の合計値との比を計算することにより第1の距離計算参照値を求め、前記第1~第Mの検出信号のうちの第2の検出信号と第4の検出信号の差と前記信号成分の合計値との比を計算することにより第2の距離計算参照値を求め、前記第1の距離計算参照値と所定の第3の閾値との比較結果に応じて、前記第1の距離計算参照値あるいは前記第2の距離計算参照値のいずれかを選択して前記距離を計算する、
    請求項1又は2記載の距離画像測定装置。
  4. 前記画素回路部は、前記光電変換領域に蓄積された電荷を排出するための電荷排出領域と、前記光電変換領域と前記電荷排出領域との間における電荷転送のための制御パルスを印加するための制御電極とをさらに有する、
    請求項1~3のいずれか1項に記載の距離画像測定装置。
  5. 前記距離計算手段は、前記距離の計算が無効であるか否かを示す識別値を生成する、
    請求項1~4のいずれか1項に記載の距離画像測定装置。
  6. 前記電荷転送制御手段と、前記電荷転送制御手段と前記第1~第Mの制御電極との間の回路と、前記電荷転送制御手段と前記光源制御手段との間の回路の一部とは、前記画素回路部と同一の半導体上、あるいは前記画素回路部に対して積層された半導体上に形成されている、
    請求項1~5のいずれか1項に記載の距離画像測定装置。
  7. 前記画素回路部が2次元アレイ状に配列されたイメージセンサを含む、
    請求項1~6のいずれか1項に記載の距離画像測定装置。
  8. 光源制御手段が、第1の持続時間を有するパルス光を1フレーム期間内で繰り返し発生させるように光源を制御する光源制御ステップと、
    光を電荷に変換する光電変換領域、前記光電変換領域に近接して互いに離間して設けられた第1~第M(Mは3以上の整数)の電荷読出領域、及び前記光電変換領域と前記第1~第Mの電荷読出領域とに対応して設けられた第1~第Mの制御電極を有する画素回路部を用いて、電荷転送制御手段が、前記光源制御手段による前記パルス光の発生に対応して、前記第1の持続時間以上である第2の持続時間の間だけ前記第1の制御電極に、電荷の転送を制御するための第1の制御パルスを印加した後、前記第2の持続時間の間だけ前記第2~第Mの制御電極に、電荷の転送を制御するための第2~第Mの制御パルスを順次印加する電荷転送制御ステップと、
    電荷検出手段が、前記電荷転送制御手段による前記第1~第Mの制御パルスの印加後に、前記画素回路部の前記第1~第Mの電荷読出領域の電圧を第1~第Mの検出信号として読み出す電圧検出ステップと、
    距離計算手段が、前記第1~第Mの検出信号を基に距離を繰り返し計算する距離計算ステップとを備え、
    前記距離計算ステップでは、前記第1~第Mの検出信号を基に、前記第1~第Mの検出信号のうちの背景光を除いた前記パルス光から発生した電荷の信号成分の合計値を計算し、前記信号成分の合計値が所定の第1の閾値を超えた場合には、前記第1~第Mの検出信号から所定の計算式を用いて前記距離を計算し、前記信号成分の合計値が前記第1の閾値を超えていない場合には、前記距離の計算を無効とし、
    前記合計値を計算する際には、前記第1~第Mの検出信号のうちの第1の検出信号と第3の検出信号との差分値の絶対値を前記電荷の信号成分として含む前記合計値を計算する、
    距離画像測定方法。
  9. 前記距離計算ステップでは、前記第1~第Mの検出信号のうちの2つの検出信号の差と前記信号成分の合計値との比を計算することにより距離計算参照値を求め、前記距離計算参照値と所定の第2の閾値との比較結果に応じて前記距離計算参照値が有効であるか否かを判断し、前記距離計算参照値が有効な場合には前記距離計算参照値を基に前記距離を計算する、
    請求項記載の距離画像測定方法。
  10. 前記距離計算ステップでは、前記第1~第Mの検出信号のうちの第1の検出信号と第3の検出信号の差と前記信号成分の合計値との比を計算することにより第1の距離計算参照値を求め、前記第1~第Mの検出信号のうちの第2の検出信号と第4の検出信号の差と前記信号成分の合計値との比を計算することにより第2の距離計算参照値を求め、前記第1の距離計算参照値と所定の第3の閾値との比較結果に応じて、前記第1の距離計算参照値あるいは前記第2の距離計算参照値のいずれかを選択して前記距離を計算する、
    請求項又は記載の距離画像測定方法。
JP2019535678A 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法 Active JP7198507B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017153455 2017-08-08
JP2017153455 2017-08-08
PCT/JP2018/029624 WO2019031510A1 (ja) 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法

Publications (2)

Publication Number Publication Date
JPWO2019031510A1 JPWO2019031510A1 (ja) 2020-08-27
JP7198507B2 true JP7198507B2 (ja) 2023-01-04

Family

ID=65272319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535678A Active JP7198507B2 (ja) 2017-08-08 2018-08-07 距離画像測定装置及び距離画像測定方法

Country Status (4)

Country Link
US (1) US11442169B2 (ja)
JP (1) JP7198507B2 (ja)
CN (1) CN111033315B (ja)
WO (1) WO2019031510A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405577B2 (en) * 2017-10-20 2022-08-02 National University Corporation Shizuoka University Distance image measurement device and distance image measurement method
JPWO2021193532A1 (ja) * 2020-03-23 2021-09-30
JP7464260B2 (ja) 2020-03-23 2024-04-09 国立大学法人静岡大学 距離画像センサ
WO2022158570A1 (ja) 2021-01-21 2022-07-28 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022089A (ja) 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
US20110037969A1 (en) 2009-08-14 2011-02-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for optical distance measurement
WO2015118884A1 (ja) 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU558232B2 (en) * 1981-09-25 1987-01-22 Awa Defence Industries Pty. Limited Dual station direction finder
JP3185547B2 (ja) * 1994-06-28 2001-07-11 三菱電機株式会社 距離測定装置
JPH08152474A (ja) * 1994-09-28 1996-06-11 Nikon Corp 距離測定装置
US7157685B2 (en) * 2004-04-12 2007-01-02 Canesta, Inc. Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors
JP4525253B2 (ja) * 2004-08-30 2010-08-18 オムロン株式会社 光センサおよび測距方法
JP3906859B2 (ja) * 2004-09-17 2007-04-18 松下電工株式会社 距離画像センサ
JP4363296B2 (ja) * 2004-10-01 2009-11-11 パナソニック電工株式会社 距離画像センサ
EP1901091B1 (en) * 2005-07-04 2013-08-21 Nikon Vision Co., Ltd. Distance measuring apparatus
JP2007121116A (ja) * 2005-10-28 2007-05-17 Sharp Corp 光学式測距装置
JP2007132848A (ja) * 2005-11-11 2007-05-31 Sharp Corp 光学式測距装置
JP5154862B2 (ja) * 2007-08-22 2013-02-27 浜松ホトニクス株式会社 測距装置
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
JP5308088B2 (ja) * 2008-07-24 2013-10-09 パナソニック株式会社 距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP5683782B2 (ja) * 2008-12-25 2015-03-11 株式会社トプコン 距離測定装置及び距離測定方法
CN102378920B (zh) * 2009-02-27 2014-01-08 松下电器产业株式会社 测距设备
JP5760167B2 (ja) * 2009-07-17 2015-08-05 パナソニックIpマネジメント株式会社 空間情報検出装置
WO2012115083A1 (ja) * 2011-02-21 2012-08-30 パナソニック株式会社 空間情報検出装置
KR101788032B1 (ko) * 2011-03-24 2017-10-19 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 깊이 정보 에러 보상 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
JP5984018B2 (ja) * 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
TWI644568B (zh) * 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015108539A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 レーザレーダ装置
CN103760567B (zh) * 2014-01-27 2016-06-15 中国科学院半导体研究所 一种具有测距功能的被动成像***及其测距方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011022089A (ja) 2009-07-17 2011-02-03 Panasonic Electric Works Co Ltd 空間情報検出装置
US20110037969A1 (en) 2009-08-14 2011-02-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for optical distance measurement
WO2015118884A1 (ja) 2014-02-07 2015-08-13 国立大学法人静岡大学 電荷変調素子及び固体撮像装置

Also Published As

Publication number Publication date
WO2019031510A1 (ja) 2019-02-14
CN111033315B (zh) 2023-07-21
US20200243585A1 (en) 2020-07-30
CN111033315A (zh) 2020-04-17
JPWO2019031510A1 (ja) 2020-08-27
US11442169B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
JP7198507B2 (ja) 距離画像測定装置及び距離画像測定方法
US11769775B2 (en) Distance-measuring imaging device, distance measuring method of distance-measuring imaging device, and solid-state imaging device
JP7194443B2 (ja) 距離画像測定装置及び距離画像測定方法
TWI554787B (zh) 深度感測器、其深度資訊錯誤補償方法、具有該深度感測器的訊號處理系統、三維影像感測器、以及操作一影像感測器的方法
US7362419B2 (en) Range image sensor
JP6799538B2 (ja) 固体撮像装置の駆動方法
EP3334152B1 (en) Solid-state imaging device
EP2629330B1 (en) Range sensor and range image sensor
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
KR20110134842A (ko) 비행 시간 이미저
WO2014207992A1 (ja) 測距撮像装置及びその測距方法
JP5675469B2 (ja) 測距システム
TW201945756A (zh) 適用於遠程飛行時間應用的雙模堆疊式光倍增器
US20110198481A1 (en) Image sensor and operating method
US9103663B2 (en) Depth sensor, method of calculating depth in the same
JP6160971B2 (ja) 固体撮像素子及び測距撮像装置
JP2013195344A (ja) 飛行時間型距離センサ
JP2008249673A (ja) 測距装置、測距方法及び測距システム
JP2017107132A (ja) 電子機器
US20220075070A1 (en) Distance image measurement device, distance image measurement system, and distance image measurement method
JP5932400B2 (ja) 距離センサ及び距離画像センサ
JP3979443B2 (ja) 強度変調光を用いた空間情報の検出装置
JP3979442B2 (ja) 強度変調光を用いた空間情報の検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7198507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150