JP7363899B2 - 距離画像撮像装置及び距離画像撮像方法 - Google Patents

距離画像撮像装置及び距離画像撮像方法 Download PDF

Info

Publication number
JP7363899B2
JP7363899B2 JP2021529640A JP2021529640A JP7363899B2 JP 7363899 B2 JP7363899 B2 JP 7363899B2 JP 2021529640 A JP2021529640 A JP 2021529640A JP 2021529640 A JP2021529640 A JP 2021529640A JP 7363899 B2 JP7363899 B2 JP 7363899B2
Authority
JP
Japan
Prior art keywords
distance
charge
light
amount
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021529640A
Other languages
English (en)
Other versions
JPWO2021001975A1 (ja
Inventor
圭吾 磯部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JPWO2021001975A1 publication Critical patent/JPWO2021001975A1/ja
Application granted granted Critical
Publication of JP7363899B2 publication Critical patent/JP7363899B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/14Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、距離画像撮像装置及び距離画像撮像方法に関する。
従来から、光の速度が既知であることを利用し、空間(測定空間)における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト(Time of Flight、以下「TOF」という)方式の距離画像センサが実現されている。TOF方式の距離画像センサでは、測定対象に光(例えば、近赤外光など)パルスを照射し、光パルスを照射した時間と、測定空間における対象物によって反射した光パルス(反射光)が戻ってくる時間との差、つまり、測定器と対象物との間における光の飛行時間に基づいて、測定器と対象物との距離を測定している(例えば、特許文献1参照)。
このTOF方式の距離画像センサは、光パルスの幅により、測定可能な距離範囲を設定することができる。そのため、TOF方式の距離画像センサは、光パルスの幅を広げるほど広い距離範囲の距離が測定可能となる。
そして、TOF方式の距離画像センサは、使用用途において、必要とする距離測定の範囲に対応して、光パルス幅を設定して用いている。
また、測定空間の環境における背景光の影響をキャンセルするため、常に光が照射されない期間を設定することで、背景光のみの受光量を蓄積するようにし、反射光の遅れの情報を含む信号から背景光による成分を差し引いて、背景光の影響を除去している。
特開2004-294420号公報
上述したように、特許文献1は、測定空間において、規定した光パルスの幅に対応した測定範囲における対象物と距離画像センサとの距離を測定する。この測定範囲は、距離画像センサとの距離が、光パルスを照射した後に対象物からの反射光が測定可能な最小の距離(近距離)から、パルス幅で測定可能な最大の距離(遠距離)までの範囲、例えば、距離画像センサから最小の0.1mから最大の4mまでの距離の範囲を示している。
しかしながら、広い距離範囲を測定するため、近距離及び遠距離の各々における領域における測定精度(距離分解能)を、近距離、遠距離のそれぞれの領域に対応して最適化することができない。
上述の課題を鑑み、光パルスを照射した後に対象物からの反射光が測定可能な最小の距離(近距離)から、パルス幅で測定可能な最大の距離(遠距離)までの範囲において、近距離及び遠距離の各々の領域における距離の測定精度(距離分解能)のそれぞれを向上させる距離画像撮像装置及び距離画像撮像方法を提供することを目的とする。
本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する距離画像処理部とを備え、前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
本発明の距離画像撮像装置は、前記距離画像処理部が、前記通常モードによる距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された照射光の幅及び位相による前記詳細測定モードによる距離測定を行う。
本発明の距離画像撮像装置は、前記距離画像処理部が、前記通常モードにおいて、予め定めた固定の電荷振り分け回数で振り分けられて、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定空間に存在する前記対象物との距離を求め、前記通常モードにおける距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された電荷振り分け回数における電荷量に基づいて詳細測定モードによる距離測定を行う。
本発明の距離画像撮像装置は、前記距離画像処理部が、前記対象物までの距離に対応して、前記光源部から照射する前記照射光の強度を調整する。
本発明の距離画像撮像装置は、前記距離画像処理部が、前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、前記詳細測定モードに移行した後、前記第1振分電荷蓄積部あるいは前記第2振分電荷蓄積部のいずれかが前記反射光による電荷量が予め設定した電荷量閾値以下の場合、距離を求める処理を行わず、前記通常モードに移行する。
本発明の距離画像撮像装置は、前記電荷量閾値が、背景光電荷蓄積部において背景光によって蓄積された電荷量である。
本発明の距離画像撮像装置は、測定対象の空間である測定空間に対して照射光を照射する光源部と、前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相を調整する距離画像処理部とを備え、前記距離画像処理部が、前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める。
本発明の距離画像撮像装置は、前記距離画像処理部が、前記照射光の位相の調整を行って前記電荷量を同一とした後、前記反射光による電荷が含まれない領域が無くなるように、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれに電荷を振分ける蓄積駆動信号の幅を調整する。
本発明の距離画像撮像方法は、測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する過程とを含み、前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
本発明の距離画像撮像方法は、測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する過程とを含み、前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める。
本発明は、光パルスを照射した後に対象物からの反射光が測定可能な最小の距離(近距離)から、パルス幅で測定可能な最大の距離(遠距離)までの範囲において、近距離及び遠距離の各々の領域における距離の測定精度(距離分解能)のそれぞれを向上させる距離画像撮像装置及び距離画像撮像方法を提供する。
本発明の第1の実施形態の距離画像撮像装置の概略構成を示したブロック図である。 本発明の実施形態の距離画像撮像装置1に用いられる距離画像センサの概略構成例を示したブロック図である。 本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。 本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。 本発明の実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。 第1の実施形態による距離画像処理部4における距離算出部42の構成例を示すブロック図である。 第1の実施形態の電荷蓄積期間における通常モード、近距離モード及び遠距離モードの各々における光パルスPOの位相を説明するタイミングチャートである。 第1の実施形態による距離画像撮像装置1による距離測定の処理の動作例を示すフローチャートである。 本実施形態による距離画像撮像装置1による詳細測定モードによる距離測定の効果を説明する図である。 本実施形態の他の構成における電荷蓄積期間における通常モード、近距離モード及び遠距離モードの各々における光パルスPOの位相を説明するタイミングチャートである。 第2の実施形態による距離画像処理部4における距離算出部42Aの構成例を示すブロック図である。 第2の実施形態における変化量調整部428により光パルスPOの出射する位相の調整を説明する図である。 第2の実施形態による距離画像撮像装置1による光パルスPOの位相の調整処理の動作例を示すフローチャートである。 第3の実施形態による距離画像処理部4における距離算出部42Bの構成例を示すブロック図である。 第3の実施形態における蓄積駆動信号TX1、TX2、TX3のパルス幅の調整を説明する図である。 第3の実施形態による距離画像撮像装置1による蓄積駆動信号TX1、TX2、TX3のパルス幅の調整処理の動作例を示すフローチャートである。
<第1の実施形態>
以下、本発明の第1の実施形態について、図面を参照して説明する。図1は、本実施形態の距離画像撮像装置の概略構成を示したブロック図である。なお、図1には、距離画像撮像装置1において距離を測定する被写体である被写体Sも併せて示している。
図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備えている。
光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体Sが存在する空間に、所定の周期で断続的な光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。
光源装置21は、例えば、被写体Sに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光(光パルスPO)を発光する。
拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体Sのある測定空間Pに照射する所定の断面積の大きさに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして光源部2から出射されて、測定空間Pの被写体Sに照射される。
受光部3は、距離画像撮像装置1において距離を測定する対象の被写体Sによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。
レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備え、それぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられた振り分け構成の撮像素子である。距離画像センサ32は、タイミング制御部41からの制御に応じて、画素を構成する光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分け、それぞれの電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。
なお、距離画像センサ32では、複数の画素が二次元の格子状(行列状)に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
距離画像処理部4は、距離画像撮像装置1の全体を制御する制御部であり、かつ距離画像撮像装置1において測定する被写体Sとの間の距離を演算する演算部でもある。この距離画像処理部4は、タイミング制御部41と距離算出部42とを備えている。
タイミング制御部41は、光源部2が被写体Sに光パルスPOを照射するタイミングや、受光部3に備えた距離画像センサ32が反射光RLを受光するタイミングなどを制御する。
距離算出部42は、距離画像センサ32から出力された画素信号に基づいて、距離画像撮像装置1と被写体Sとの間の距離を演算した距離情報を出力する。
このような構成によって、距離画像撮像装置1では、光源部2が被写体Sに照射した近赤外の波長帯域の光パルスPOが被写体Sによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体Sとの距離を測定した距離情報を出力する。
なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1を示しているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。図2において、距離画像センサ32は、複数の画素回路321が配置された受光画素部320と、制御回路322と、垂直走査回路323と、水平走査回路324と、画素信号処理回路325と、画素駆動回路326とを備えている。なお、図2に示した距離画像センサ32では、複数の画素回路321が、8行8列に二次元の格子状に配置された受光画素部320の一例を示している。
制御回路322は、垂直走査回路323、水平走査回路324、画素信号処理回路325及び画素駆動回路326などの距離画像センサ32に備えた構成要素を制御する。制御回路322は、例えば、距離画像撮像装置1に備えた距離画像処理部4(より具体的には、タイミング制御部41)からの制御に応じて、距離画像センサ32に備えた構成要素の動作を制御する。なお、制御回路322による距離画像センサ32に備えた構成要素の制御は、例えば、距離画像処理部4(より具体的には、タイミング制御部41)が直接行う構成であってもよい。この場合、距離画像センサ32は、制御回路322を備えない構成であってもよい。
画素駆動回路326は、格子状に配列した画素回路321が備える光電変換素子(後述する光電変換素子PD)が発生した電荷を、画素回路321が備えた複数の電荷蓄積部(後述する電荷蓄積部CS1、CS2及びCS3)に振り分けて蓄積させる蓄積駆動信号(後述する蓄積駆動信号TX1、TX2、TX3及びリセット駆動信号RSTD)を、受光画素部320内に格子状に配置された画素回路321の列単位に出力する。
垂直走査回路323は、制御回路322からの制御に応じて、受光画素部320内に配置された画素回路321の各々を制御し、画素回路321それぞれから、入射した光を光電変換した電荷量に応じた電圧の信号(以下、「電圧信号」という)を対応する垂直信号線327に出力させる(読み出させる)駆動回路である。垂直走査回路323は、画素回路321を駆動(制御)して読み出すための制御信号(後述する選択駆動信号SEL1、SEL2、SEL3)を、受光画素部320内に格子状に配置された画素回路321の行単位に出力する。
これにより、画素回路321においてそれぞれの電荷蓄積部に振り分けられた電荷量に応じた電圧信号が、受光画素部320の行ごとに対応する垂直信号線327の各々に読み出され、画素信号処理回路325に出力される。
受光画素部320において、画素回路321は、光源部2が被写体Sに照射した光パルスPOが被写体Sによって反射された反射光RLを受光し、受光した反射光RLの光量(受光量)に応じた電荷を発生させる。それぞれの画素回路321において、画素駆動回路326は、蓄積駆動信号を出力することにより、複数備えたいずれかの電荷蓄積部に、受光した反射光RLの光量(受光量)に応じた電荷を振り分けて蓄積させる。そして、画素回路321において、垂直走査回路323は、読出駆動信号を出力することにより、それぞれの電荷蓄積部に振り分けられて蓄積された電荷の電荷量に応じた大きさの電圧信号を、対応する垂直信号線327に出力する。なお、画素回路321の構成と駆動(制御)方法とに関する詳細な説明は、後述する。
画素信号処理回路325は、垂直走査回路323からの制御に応じて、それぞれの列の画素回路321から、対応する垂直信号線327に出力された電圧信号に対して、予め定めた信号処理を行う信号処理回路である。予め定めた信号処理としては、例えば、相関二重サンプリング(Correlated Double Sampling:CDS)によって電圧信号に含まれるノイズを抑圧するノイズ抑圧処理などがある。
AD変換回路329は、画素信号処理回路325から、垂直信号線330を介して供給される列毎のアナログの電圧信号を、それぞれAD変換してデジタル値に変換する。
なお、画素信号処理回路325は、受光画素部320のそれぞれの列に対応した複数の画素信号処理回路からなる画素信号処理回路群であってもよい。この場合、画素信号処理回路325は、制御回路322からの制御に応じて、予め定めた信号処理をした後の電圧信号を、AD変換回路329に対して垂直信号線330を介して出力する。
そして、AD変換回路329は、水平走査回路324の制御に応じて、受光画素部320の行ごとに水平信号線338に出力する。
水平走査回路324は、制御回路322からの制御に応じて、AD変換回路329から信号線328を介して出力される、信号処理をした後の電圧信号がAD変換されたデジタル値を、水平信号線338に順次出力させる(読み出させる)駆動回路である。水平走査回路324は、それぞれの列の画素回路321に対応する電圧信号を出力させるための読出駆動信号を、画素信号処理回路325に順次出力する。これにより、画素信号処理回路325が出力した信号処理をした後の1フレーム分の電圧信号が、1フレーム分の画素信号として、水平信号線338を経由して距離画像センサ32の外部に順次出力される。このとき、距離画像センサ32は、例えば、出力アンプなどの不図示の出力回路から、信号処理をした後の電圧信号を、画素信号として距離画像センサ32の外部に出力する。
以下の説明においては、距離画像センサ32に備えた画素信号処理回路325が、画素回路321から出力された電圧信号に対してノイズ抑圧処理を行い、その後、AD変換回路329においてA/D変換処理をして出力する、つまり、デジタル値に変換した電圧信号を水平信号線338から出力するものとして説明する。
次に、距離画像センサ32に備える受光画素部320内に配置された画素回路321の構成について説明する。図3は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321の構成の一例を示した回路図である。図3には、受光画素部320内に配置された複数の画素回路321のうち、1つの画素回路321の構成の一例を示している。画素回路321は、3つの画素信号読み出し部を備えた構成の一例である。
画素回路321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備えている。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備えている。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。ドレインゲートトランジスタGD、読み出しゲートトランジスタG、リセットゲートトランジスタRT、ソースフォロアゲートトランジスタSF及び選択ゲートトランジスタSLは、NチャネルMOSトランジスタである。
なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部RUを区別して表す。図3に示した画素回路321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備えている。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も同様の構成である。
光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。なお、本発明においては、画素回路321に備える光電変換素子PDの構造に関して特に規定しない。このため、光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、画素回路321に備える光電変換素子としては、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
ドレインゲートトランジスタGDは、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積し、それぞれの画素信号読み出し部RUに転送されなかった電荷を破棄するためのトランジスタである。つまり、ドレインゲートトランジスタGDは、光電変換素子PDが発生した、被写体Sとの間の距離の測定に用いない電荷をリセットするトランジスタである。
読み出しゲートトランジスタGは、画素駆動回路326から入力された駆動信号に応じて、光電変換素子PDが発生して蓄積した電荷を、対応する電荷蓄積部CSに転送するためのトランジスタである。読み出しゲートトランジスタGによって転送された電荷は、対応する電荷蓄積部CSに保持(蓄積)される。
ここで、画素信号読み出し部RU1において、読み出しゲートトランジスタG1は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX1を伝搬する信号線LTX1に接続され、ソースがフローティングディフュージョンFD1及び電荷蓄積容量C1の第1の端子とに接続されている。
同様に、画素信号読み出し部RU2において、読み出しゲートトランジスタG2は、ドレインが光電変換素子PDの第2の端子に接続され、ゲートが蓄積駆動信号TX2を伝搬する信号線LTX2に接続され、ソースがフローティングディフュージョンFD2及び電荷蓄積容量C2の第1の端子とに接続されている。
また、同様に、画素信号読み出し部RU3において、読み出しゲートトランジスタG3は、ドレインが光電変換素子PDの第3の端子に接続され、ゲートが蓄積駆動信号TX3を伝搬する信号線LTX3に接続され、ソースがフローティングディフュージョンFD3及び電荷蓄積容量C3の第1の端子とに接続されている。
上述した蓄積駆動信号TX1、蓄積駆動信号TX2及び蓄積駆動信号TX3の各々は、画素駆動回路326から、信号線LTX1、信号線LTX2、信号線LTX3それぞれを介して供給される。
電荷蓄積容量Cは、対応する読み出しゲートトランジスタGによって転送された電荷を保持(蓄積)する容量である。
リセットゲートトランジスタRTは、垂直走査回路323から入力された駆動信号に応じて、対応する電荷蓄積部CSに保持された電荷を破棄するためのトランジスタである。つまり、リセットゲートトランジスタRTは、対応する電荷蓄積部CSに保持された電荷をリセットするトランジスタである。
ソースフォロアゲートトランジスタSFは、ゲート端子に接続された電荷蓄積部CSに蓄積された電荷量に応じた電圧信号を増幅して、対応する選択ゲートトランジスタSLに出力するためのトランジスタである。
選択ゲートトランジスタSLは、垂直走査回路323から入力された駆動信号に応じて、対応するソースフォロアゲートトランジスタSFによって増幅された電圧信号を、対応する出力端子Oから出力するためのトランジスタである。
上述した構成によって、画素回路321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける複数の画素信号読み出し部RUを備えた構成の画素であれば、いかなる構成の画素であってもよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
また、図3に示した構成の画素回路321では、電荷蓄積部CSを、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成する一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよい。つまり、画素回路321は、それぞれの電荷蓄積容量Cを備えていない構成であってもよい。この構成の場合には、電荷検出感度が高められる効果を有する。しかしながら、距離画像撮像装置1において距離の測定におけるダイナミックレンジを広くすることを考えると、より多くの電荷を保持(蓄積)することができる構成の方が優位である。このため、画素回路321では、画素信号読み出し部RUに電荷蓄積容量Cを備え、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSを構成することにより、フローティングディフュージョンFDのみで電荷蓄積部CSを構成した場合よりも、より多くの電荷を保持(蓄積)することができる構成にしている。
また、図3に示した構成の画素回路321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、光電変換素子PDに蓄積されている(残っている)電荷を破棄する必要がない場合には、距離画像センサ32に配置される画素に、ドレインゲートトランジスタGDを備えない構成であってもよい。
次に、距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)について説明する。図4は、本発明の実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の受光画素部320内に配置された画素回路321を駆動するタイミングを示したタイミングチャートである。図4には、距離画像センサ32に1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。
最初に、受光した光の光量(受光量)に応じて光電変換素子PDが発生して蓄積した電荷を、それぞれの画素信号読み出し部RUに振り分ける電荷蓄積期間における画素回路321の駆動(制御)について説明する。電荷蓄積期間では、光源部2によって光パルスPOを被写体Sに照射する。そして、光パルスPOを照射したタイミングに同期して画素回路321を駆動することにより、受光した背景光および反射光RLに応じた電荷を、それぞれの電荷蓄積部CSに振り分ける。画素駆動回路326は、受光画素部320内に配置された全ての画素回路321を同時に駆動する、いわゆる、グローバルシャッター駆動によって、全ての画素回路321に備えたそれぞれの電荷蓄積部CSに電荷を振り分けて蓄積させる。なお、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス幅Twは、例えば、10nsなど、予め定めた非常に短い時間である。その理由は、パルス変調方式による距離の測定では、測定することができる最大の距離(以下、「最大測定距離」という)が、光パルスPOのパルス幅Twによって決められるからである。上述した光パルスPOのパルス幅Twが10nsである場合、最大測定距離は1.5mになる。また、単純に光パルスPOのパルス幅Twを広くする、つまり、光源装置21におけるレーザー光の発光時間を長くすると、光電変換素子PDがより多くの反射光RLを受光することができるが、測定する被写体Sとの距離の分解能が低下する。他方、光パルスPOのパルス幅Twが短いと、光電変換素子PDが光電変換によって発生させる電荷の電荷量も少なくなる。このため、距離画像撮像装置1では、電荷蓄積期間においてそれぞれの電荷蓄積部CSに十分な量の電荷が蓄積されるように、光パルスPOの照射および電荷の振り分けを複数回行う。
ここで、垂直走査回路323及び画素駆動回路326の各々が画素回路321を駆動(制御)する構成として説明する。以下の説明において、制御回路322は、画素駆動回路326に対して、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を生成するクロック信号CK1、CK2、CK3、CKRSTDをそれぞれ出力する。また、制御回路322は、垂直走査回路323に対して、選択駆動信号SEL1、SEL2、SEL3、リセット信号RST1、RST2、RST3の各々を生成するクロック信号をそれぞれ出力する。
図4に示したタイミングチャートの電荷蓄積期間には、光パルスPOの照射および全ての画素回路321における電荷の振り分けを複数回行う場合の画素回路321の駆動タイミングを示している。なお、図4に示したタイミングチャートの電荷蓄積期間における光パルスPOは、“H(High)”レベルのときに光パルスPOが照射(光源装置21がレーザー光を発光)し、“L(Low)”レベルのときに光パルスPOの照射が停止(光源装置21が消灯)されるものとして説明する。また、図4に示したタイミングチャートは、全ての画素回路321がリセットされている、つまり、光電変換素子PDおよび電荷蓄積部CSに電荷が蓄積されていない状態から始まるものとして説明する。
以下の説明において、時刻tA1からtA5が電荷の振り分けを行なう蓄積周期であり、電荷蓄積期間に複数の蓄積周期が繰返される。また、例えば、時刻tA1、tA2、tA3、tA4の間の時間幅、すなわち光パルスPO、蓄積駆動信号TX1、TX2、TX3それぞれのパルス幅は、同一のTwである。
電荷蓄積期間では、まず、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA1から、光電変換素子PDが光電変換して発生させた、光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
その後、画素駆動回路326は、光源部2が光パルスPOを照射するタイミングと同じ時刻tA2から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG2を介して電荷蓄積部CS2に転送して蓄積させる。ここで、電荷蓄積部CS2に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間内に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した少ない遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが近い位置に存在する場合には、照射した光パルスPOが短い時間で被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS2には、近い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
その後、画素駆動回路326は、光源部2が光パルスPOの照射を停止するタイミングと同じ時刻tA3から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷を、読み出しゲートトランジスタG3を介して電荷蓄積部CS3に転送して蓄積させる。ここで、電荷蓄積部CS3に蓄積される電荷は、光パルスPOを照射しているパルス幅Twの時間外に被写体Sによって反射されてきた反射光RLに応じた電荷である。この電荷には、背景光に応じた電荷に加えて、被写体Sまでの距離(絶対距離)に比例した多くの遅れ時間で入射してきた反射光RLに応じた電荷が含まれている。より具体的には、例えば、被写体Sが遠い位置に存在する場合には、照射した光パルスPOがより長い時間を要して被写体Sによって反射されて反射光RLとして戻ってくるため、電荷蓄積部CS3には、遠い位置に存在する被写体Sが反射した反射光RLに応じた電荷がより多く含まれている。
その後、画素駆動回路326は、光源部2が光パルスPOを照射するパルス幅Twと同じ時間だけ経過した時刻tA4から、光電変換素子PDが現在光電変換した光に応じて発生させた電荷、つまり、被写体Sとの間の距離の測定に用いない電荷を、ドレインゲートトランジスタGDを介して破棄させる。言い換えれば、光電変換素子PDがリセットさせる。
その後、画素駆動回路326は、光源部2が次に光パルスPOを照射するパルス幅Twと同じ時間だけ前の時刻tA5において、光電変換素子PDのリセットを解除する。そして、画素駆動回路326は、時刻tA1からのタイミングと同様に、光電変換素子PDが次に光電変換して発生させた電荷、つまり、次に光パルスPOが照射される前の背景光に応じた電荷を、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に転送して蓄積させる。
以降、画素駆動回路326は、時刻tA1~時刻tA5までと同様の画素回路321の駆動(以下、「電荷振り分け駆動」という)を繰り返す。これにより、電荷蓄積期間では、全ての画素回路321に備えたそれぞれの電荷蓄積部CSに、電荷振り分け駆動を繰り返した分の電荷量が蓄積されて保持される。なお、電荷蓄積期間において電荷振り分け駆動を繰り返す最大の回数は、距離画像センサ32が、1フレーム分の画素信号を出力する(取得する)周期によって決まる。より具体的には、距離画像センサ32が、1フレーム分の画素信号を取得する時間から、画素信号読み出し期間を差し引いた時間を、光源装置21がパルス状のレーザー光を発光する時間、つまり、光パルスPOのパルス周期時間Toで除算した商の回数である。なお、距離画像センサ32では、電荷振り分け駆動の回数が多いほど、それぞれの電荷蓄積部CSに蓄積(積算)される電荷量が多くなり、高感度となる。これにより、距離画像センサ32では、測定する被写体Sとの距離の分解能を高めることができる。
続いて、電荷蓄積期間が終了した後に、それぞれの画素信号読み出し部RUに備えたそれぞれの電荷蓄積部CSに振り分けられた電荷量に応じた電圧信号を、受光画素部320内に配置された画素回路321の行ごとに順次出力させる画素信号読み出し期間における画素回路321の駆動(制御)について説明する。画素信号読み出し期間では、受光画素部320内に配置された画素回路321を行ごとに駆動する、いわゆる、ローリング駆動によって、対応する行に配置された画素回路321に備えた電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号を、行順次で画素信号処理回路325に出力させる。
なお、上述したように、距離画像センサ32においては、それぞれの画素回路321が出力した電圧信号に対して、画素信号処理回路325が、ノイズ抑圧処理などの予め定めた信号処理を行う。ここで、画素信号処理回路325がノイズ抑圧処理として行う相関二重サンプリング(CDS)処理は、電荷蓄積部CSに蓄積(積算)されて保持されている電荷量に応じた電圧信号(以下、「距離画素電圧信号PS」という)と、電荷蓄積部CSがリセットされている状態(リセット状態)の電荷量に応じた電圧信号(以下、「リセット電圧信号PR」という)との差分をとる処理である。このため、画素信号読み出し期間では、それぞれの画素回路321に備えたそれぞれの電荷蓄積部CSに対応する距離画素電圧信号PSとリセット電圧信号PRとのそれぞれの電圧信号を、行順次で画素信号処理回路325に出力させる。
図4に示したタイミングチャートの画素信号読み出し期間には、受光画素部320の垂直方向(行の配列方向)にy行(yは1以上の整数)、水平方向(列の配列方向)にx列(xは1以上の整数)の複数の画素回路321が配置されている場合において、受光画素部320のi行目(1≦i≦y)に配置されたそれぞれの画素回路321(i)から、距離画素電圧信号PS(i)とリセット電圧信号PR(i)とのそれぞれの電圧信号を出力させる場合の画素回路321の駆動タイミングを示している。なお、図4に示したタイミングチャートでは、それぞれの画素回路321(i)に備えた電荷蓄積部CS1(i)、電荷蓄積部CS2(i)、電荷蓄積部CS3(i)の順番に、それぞれの電圧信号を出力させている。
画素信号読み出し期間では、まず、時刻tR1~時刻tR2の期間において、垂直走査回路323は、距離画素電圧信号PS1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、垂直信号線を介して画素信号読み出し部RU1(i)から出力された距離画素電圧信号PS1(i)を、一旦保持する。
そして、時刻tR2~時刻tR3の期間において、垂直走査回路323は、リセット信号RST1(i)を供給して、画素回路321(i)に備えた電荷蓄積部CS1(i)の電荷を放電させ、リセットを行う。
その後、時刻tR3~時刻tR4の期間において、垂直走査回路323は、リセット電圧信号PR1(i)を、出力端子O1(i)から垂直信号線を介して画素信号処理回路325に出力させる。これにより、画素信号処理回路325は、一旦保持している距離画素電圧信号PS1(i)と、垂直信号線を介して画素信号読み出し部RU1(i)から出力されたリセット電圧信号PR1(i)との差分をとる、すなわち、電荷蓄積部CS1(i)に蓄積(積算)されて保持されている電荷量に応じた電圧信号に含まれるノイズを抑圧する。
その後、時刻tR4~時刻tR7の期間において、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS2(i)とリセット電圧信号PR2(i)とを、出力端子O2(i)から垂直信号線を介して画素信号処理回路325に出力させる。さらに、時刻tR7~時刻tR10の期間においても、垂直走査回路323は、時刻tR1~時刻tR4の期間と同様に、距離画素電圧信号PS3(i)とリセット電圧信号PR3(i)とを、出力端子O3(i)から垂直信号線を介して画素信号処理回路325に出力させる。
以降、垂直走査回路323は、時刻tR1~時刻tR10までと同様の画素回路321の駆動(以下、「画素信号読み出し駆動」という)を順次、受光画素部320の他の行に配置されたそれぞれの画素回路321(例えば、i+1行目に配置されたそれぞれの画素回路321)に対して行って、受光画素部320内に配置された全ての画素回路321から、それぞれの電圧信号を順次出力させる。
このような駆動(制御)方法(タイミング)によって、画素駆動回路326は、受光画素部320内に配置されたそれぞれの画素回路321において光電変換素子PDが発生して蓄積した電荷のそれぞれの画素信号読み出し部RUへの振り分けを複数回行う。
また、垂直走査回路323は、画素信号読み出し部RUに備えた電荷蓄積部CSに蓄積(積算)された電荷量に応じた電圧信号を順次、垂直信号線を介して画素信号処理回路325に出力させる。
なお、AD変換回路329は、ノイズを抑圧したそれぞれの電圧信号に対してA/D変換処理を行ごとに行う。そして、水平走査回路324が、AD変換回路329がA/D変換処理を行った後のそれぞれの行の電圧信号を、受光画素部320の列の順番に水平信号線を経由して順次出力させることによって、距離画像センサ32は、1フレーム分の全ての画素回路321の画素信号を外部に出力する。これにより、距離画像撮像装置1では、1フレーム分の画素信号が、いわゆる、ラスター順に、距離算出部42に出力される。
なお、図4に示した画素回路321の駆動(制御)タイミングからもわかるように、1フレーム分の画素信号のそれぞれには、対応する画素回路321に備えた3つの画素信号読み出し部RU(電荷蓄積部CS)のそれぞれに対応する3つの電圧信号が含まれている。距離算出部42は、距離画像センサ32から出力された1フレーム分の画素信号に基づいて、被写体Sとの間の距離を、それぞれの画素信号ごと、つまり、それぞれの画素回路321ごとに演算する。
ここで、距離算出部42における距離画像撮像装置1と被写体Sとの間の距離の演算方法について説明する。ここでは、画素信号読み出し部RU1の電荷蓄積部CS1に振り分けられた光パルスPOが照射される前の背景光に応じた電荷の電荷量を電荷量Q1とする。また、画素信号読み出し部RU2の電荷蓄積部CS2に振り分けられた背景光と少ない遅れ時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q2とする。また、画素信号読み出し部RU3の電荷蓄積部CS3に振り分けられた背景光と多くの遅れ時間で入射してきた反射光RLに応じた電荷の電荷量を電荷量Q3とする。距離算出部42は、それぞれの画素回路321ごとの被写体Sとの間の距離Dを、下式(1)によって求める。
D=(Q3-Q1)/(Q2+Q3-2Q1)×Dm ・・・(1)
上式(1)において、Dmは、光パルスPOの照射によって測定することができる最大の距離(最大測定距離)である。ここで、最大測定距離Dmは、下式(2)によって表される。
Dm=(c/2)Tw ・・・(2)
上式(2)において、cは光速、Twは光パルスPOのパルス幅である。
上述したように、距離画像撮像装置1は、距離画像センサ32の受光画素部320内に配置されたそれぞれの画素回路321ごとに、自身と被写体Sとの間の距離Dを求める。
なお、上述したように、距離画像センサ32に格子状に配置される画素回路の構成は、図3に示したような、3つの画素信号読み出し部RU1、RU2及びRU3を備えた構成に限定されるものではなく、1つの光電変換素子PDと、光電変換素子PDが発生して蓄積した電荷を振り分ける2つ以上の画素信号読み出し部RUを備えた構成の画素回路321であればよい。この場合、つまり、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサにおいても、画素の駆動(制御)方法(タイミング)は、図4に示した距離画像撮像装置1における画素回路321の駆動(制御)方法(タイミング)と同様に考えることによって、容易に実現することができる。より具体的には、それぞれの画素信号読み出し部RUに備えた読み出しゲートトランジスタGやドレインゲートトランジスタGDに入力する駆動信号の位相が互いに重ならないように位相関係を維持した周期で、画素に対する電荷振り分け駆動を繰り返すことによって、距離画像センサ32と同様に、それぞれの画素信号読み出し部RUに備えた電荷蓄積部CSに、対応する光に応じた電荷が蓄積(積算)させることができる。そして、画素信号読み出し駆動によって全ての画素からそれぞれの電圧信号を順次出力させることによって、距離画像センサ32と同様に、1フレーム分の画素信号を距離画像センサの外部に出力することができる。これにより、距離算出部42は、画素信号読み出し部RUを備える数が異なる構成の画素が配置された距離画像センサから出力された1フレーム分の画素信号に基づいて、同様に、距離画像撮像装置1と被写体Sとの間の距離Dをそれぞれの画素信号ごと(それぞれの画素ごと)に求めることができる。
通常、距離画像センサは対象物との距離を正確に測定するため、受光画素部320における全ての画素回路321は、グローバルシャッター方式に対応して、蓄積周期内で同一のタイミングで駆動させている。すなわち、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々は、格子状の画素回路321の配列において、画素回路321の列の全てに、それぞれ同一のタイミングで供給される。
上記図2において、画素回路321の列毎に、4個のタイミング調整回路326C及びドライバ回路326Dの各々が蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDのそれぞれを、上記列における各画素回路321に供給している。
そして、上記蓄積駆動信号TX1、TX2及びTX3の各々により、図3に示す読出しゲートトランジスタG1、G2、G3それぞれが制御され、蓄積部CS1、CS2、CS3それぞれに電荷がフレーム周期内の蓄電周期毎に蓄積される。
垂直走査回路323は、蓄積部CS1、CS2及びCS3の各々に蓄積された電荷の電荷量に対応した電圧を、ソースフォロアゲートトランジスタSF1、SF2、SF3から、画素信号処理回路325に出力させる。
垂直走査回路323は、選択駆動信号SEL1、SEL2及びSEL3の各々を出力することにより、選択ゲートトランジスタSL1、SL2、SL3それぞれを制御する。これにより、選択ゲートトランジスタSL1、SL2、SL3の各々は、蓄積部CS1、CS2、CS3に蓄積された電荷量に対応した電圧を、出力端子O1、O2、O3から距離画素電圧信号PS1、PS2、PS3(アナログ電圧であることを明確化するため、以下、入力電圧VA(CS1)、VA(CS2)、VA(CS3)と示す)として、画素信号処理回路325に出力する。
図5は、本発明の実施形態における画素信号処理回路から供給される入力電圧をAD変換するAD変換回路の構成例を示す概念図である。
AD変換回路329は、格子状に配列された画素回路321における列j毎に、列AD変換部329jを有している。垂直信号線330(図2)は、3本の垂直信号線からなる。例えば、格子状に配列された画素回路321の列jに対応する垂直信号線330jは、垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々を有している。
列AD変換部329jは、列jにおける出力端子O1、O2及びO3の各々に対応して設けられ、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)のそれぞれを介して接続された列AD変換回路329j(CS1)、329j(CS2)、329j(CS3)を備えている。
列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々には、垂直信号線330j(CS1)、330j(CS2)、330j(CS3)を介して、画素信号処理回路325から供給される信号処理後の電荷蓄積部CS1に蓄積された電荷量に応じたアナログ電圧がそれぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)として供給される。垂直信号線330j(CS1)、330j(CS2)及び330j(CS3)の各々は、それぞれ図3の画素回路321における出力端子O1、O2、O3に接続されている。
そして、列AD変換回路329j(CS1)、329j(CS2)及び329j(CS3)の各々は、それぞれ入力電圧VA(CS1)、VA(CS2)、VA(CS3)を、AD変換により得られたデジタル値の変換電圧VD(CS1)、VD(CS2)、VD(CS3)を、それぞれ補正して、出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号として出力する。
また、本実施形態において、被写体Sと距離画像センサ32との距離を測定する際、測定モードとして通常モード及び詳細測定モードのいずれかにより行う。
通常モードにおいて、測定したい被写体Sまでの距離Dが近距離の範囲に位置しているか、あるいは遠距離の範囲に位置しているかの判定を行う。
そして、距離画像センサ32の最大測定距離を2分割することにより、2つのサブ測定範囲を生成して、被写体Sとの距離が小さい方のサブ測定範囲を近距離範囲とし、被写体Sとの距離が大きい方のサブ測定範囲を遠距離範囲とする(後述する図9(a))。
上述した詳細測定モードは、近距離モードと遠距離モードとの2つがある。近距離モードは上記近距離範囲における被写体Sとの距離Dを測定する詳細測定モードである。また、遠距離モードは上記遠距離範囲における被写体Sとの距離Dを測定する詳細測定モードである。
図6は、本実施形態による距離画像処理部4における距離算出部42の構成例を示すブロック図である。
距離算出部42は、、電荷量判定部420、距離算出部421、距離判定部422、モード設定部423、測定可否部424及びモードテーブル425の各々を備えている。
電荷量判定部420は、測定モードが近距離モードの場合、画素回路321毎に、出力デジタル値OD(CS2)を出力デジタル値OD(CS1)と比較し、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)を超えているか否かの判定を行う。ここで、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)を超えている場合、電荷量Q2が電荷量Q1に加えて反射光RLにより生成される電荷量が含まれている、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定可能であることを示している。一方、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)と同一、または以下である場合、電荷量Q2が電荷量Q1に加えて反射光RLにより生成される電荷量を含んでいない、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定不可能であることを示している。この出力デジタル値OD(CS2)が出力デジタル値OD(CS1)以下である場合は、被写体Sが近距離のサブ測定範囲である近距離範囲ではなく、遠距離のサブ測定範囲である遠距離範囲に位置している。
一方、電荷量判定部420は、測定モードが遠距離モードの場合、画素回路321毎に、出力デジタル値OD(CS3)を出力デジタル値OD(CS1)と比較し、出力デジタル値OD(CS1)が出力デジタル値OD(CS3)を超えているか否かの判定を行う。ここで、出力デジタル値OD(CS1)が出力デジタル値OD(CS3)以下の場合、電荷量Q3が電荷量Q1に加えて反射光RLにより生成される電荷量が含まれている、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定可能であることを示している。一方、出力デジタル値OD(CS1)が出力デジタル値OD(CS3)を超えている場合、電荷量Q1が背景光による電荷量に加えて反射光RLにより生成される電荷量を含んでいる、すなわち電荷量Q2及びQ3により被写体Sまでの距離が測定不可能であることを示している。この出力デジタル値OD(CS1)が出力デジタル値OD(CS3)を超えている場合は、被写体Sが遠距離のサブ測定範囲でなく、近距離のサブ測定範囲である近距離範囲に位置している。
そして、上述した判定を行った後、電荷量判定部420は、電荷量の判定結果が距離の測定が可能である場合、距離算出部421に対して距離の算出を行う制御を行う。
一方、電荷量判定部420は、電荷量の判定結果が距離の測定が可能でない場合、距離算出部421に対して距離の算出を行わず、予め設定した数値を計算結果とする制御情報を出力する。このとき、例えば、距離算出部421は、計算結果として、近距離モードの場合に最大距離の数値を出力し、遠距離モードの場合に最小数値を出力する
また、電荷量判定部420は、測定モードが通常モードである場合には電荷量の判定処理を行わず、距離算出部421に対して所定の計算処理を行わせる制御情報を出力する。
距離算出部421は、すでに距離算出部42の距離算出処理の説明で述べた、画素回路321ごとの被写体Sとの間の距離Dを、通常モードの場合、上式(1)によって求める。
また、距離算出部421は、電荷量判定部420から計算を行わない制御が行われた場合、対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)を用いた計算を行わず、予め設定した数値を計算結果として出力する。
距離判定部422は、例えば、距離算出部421が算出した、注目領域における画素の距離Dが、近距離範囲及び遠距離範囲のいずれに含まれているかの判定を行う。上記注目領域は、撮像される距離画像において詳細に撮像したい領域(距離測定対象)を示している。
本実施形態においては、距離画像撮像装置1から、距離画像撮像装置1が測定可能とする最大測定距離(Dm)までの範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割している。例えば、距離範囲が0mから4mまでの場合、距離範囲を2つのサブ測定範囲、すなわち0mを超えて2m未満の近距離範囲及び2m以上で4m未満の遠距離範囲に2分割している。本実施形態においては、距離範囲を2分割としているが、3分割以上として構成してもよい。
サブ測定範囲に対応して、光パルスPO、蓄積駆動信号TX1、TX2、TX3それぞれのパルス幅Tswが設定される。
すなわち、上記(2)式により、分割数をnとした場合、各サブ測定範囲の幅の距離Dsmは、Dm/nの距離となり、パルス幅Tswは、(Dm/n)×(2/c)となる。
そして、距離判定部422は、注目領域における画素の距離Dがいずれのサブ測定範囲に含まれているか、例えば、近距離範囲及び遠距離範囲のいずれに含まれているかの判定を行い、判定結果の測定範囲情報をモード設定部423に対して出力する。
また、距離判定部422は、距離Dが不明の場合、最大測定距離Dmに対応した距離範囲にであることを示す測定範囲情報を、モード設定部423に対して出力する。
このため、距離算出部421は、近距離モードの場合、以下の式(3)、遠距離モードの場合、以下の式(4)により距離Dを求める。以下の式(3)、(4)において、Dsmはサブ測定範囲の幅における最大測定距離を示している。この最大測定距離Dsmは式(5)により求める。Tswは詳細測定モードにおける光パルスPOのパルス幅である。
D=(Q3-Q1)/(Q2+Q3-2Q1)×Dsm …(3)
D=Dsm+(Q3-Q1)/(Q2+Q3-2Q1)×Dsm …(4)
Dsm=(c/2)Tsw …(5)
モード設定部423は、距離判定部422から供給される測定範囲情報から、測定モードを通常モードと詳細測定モードとのいずれとするかの判定を行う。
ここで、本実施形態においては、測定モードとして、上述した通常モードと詳細測定モードとが設けられている。
モード設定部423は、最大測定距離Dmに対応した測定範囲の測定であることを示す測定範囲情報が距離判定部422から供給された場合、モードテーブル425から通常モードのモード設定値を読み出す。
一方、モード設定部423は、通常モードにおいて計測された距離に対応したサブ測定範囲におけるモード設定が行うことを示す測定範囲情報が距離判定部422から供給された場合、このサブ測定範囲に対応するモード設定値を、モードテーブル425から読み出す。
モード設定値は、上述したパルス幅Twと、光パルスPOの位相(出力タイミング)との各々の組合せである。また、モード設定値は、距離範囲における通常モードと、各サブ測定範囲における詳細測定モードの各々とに対応して、モードテーブル425に設定されている。
測定可否部424は、注目領域における画素の距離が現在の詳細測定モードにより、すなわち近距離モードの場合に近距離範囲に含まれているか否か、また遠距離モードの場合に遠距離範囲に含まれているか否かの判定を行う。
図7は、本実施形態の電荷蓄積期間における通常モード、近距離モード及び遠距離モードの各々における光パルスPOの位相を説明するタイミングチャートである。
図7(a)は、通常モードにおけるモード設定値のパルス幅Twと光パルスPOの位相とを示している。図7(b)は、近距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。図7(c)は、遠距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。
図7(a)は、距離画像センサ32の受光画素部320内に配置された画素回路321を、通常モードにおいて駆動するタイミングを示したタイミングチャートである。通常モードにおける各駆動信号のパルス幅Twは、Dm×(2/c)に設定されている。また、光パルスPOの位相は、蓄積駆動信号TX2と同一である。図7(a)は、距離画像センサ32において、通常モードにおける1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。
時刻tA1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tA1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tA2において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tA3において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。時刻tA4において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去(リセット)される。
図7(b)は、距離画像センサ32の受光画素部320内に配置された画素回路321を、近距離モードにおいて駆動するタイミングを示したタイミングチャートである。近距離モードにおける各駆動信号のパルス幅Tswは、(Dsm)×(2/c)、Dm/cに設定されている。ここで、DsmがDm/n、nが分割数であり、例えばDmが4mであり分割数nが2の場合、Dsmは近距離範囲及び遠距離範囲の各々が2mとなる。また、パルス幅Tswは、距離範囲を近距離範囲及び遠距離範囲のサブ測定範囲に2分割したため、パルス幅Twの1/2とされている。光パルスPOの位相は、蓄積駆動信号TX2と同一である。図7(b)は、距離画像センサ32において、近距離モードにおける1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。ここで、光パルスPOの位相を蓄積駆動信号TX2と等しくしたのは、近距離モードにおけるサブ測定範囲(近距離範囲)が0(m)<L<2(m)のためである。
時刻tB1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tB1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tB2において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tB3において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。また、時刻tB4において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去される。上述した処理により、画素回路321に対して2m未満の距離に位置する被写体Sからの反射光RLが蓄積駆動信号TX2及びTX3の各々により、電荷蓄積部CS2、CS3それぞれに電荷が振分けられて蓄積され、距離画像処理部4が式(3)により画素回路321と被写体Sとの距離Dを求める。
図7(c)は、距離画像センサ32の受光画素部320内に配置された画素回路321を、遠距離モードにおいて駆動するタイミングを示したタイミングチャートである。遠距離モードにおける各駆動信号のパルス幅Tswは、近距離モードと同様に、Dsm/cに設定されている。また、光パルスPOの位相は、蓄積駆動信号TX1と同一である。
ここで、光パルスPOの位相を蓄積駆動信号TX2でなく、蓄積駆動信号TX1と等しくしたのは、遠距離モードにおけるサブ測定範囲L(遠距離範囲)が2(m)≦L<4(m)のためである。このため、2mの距離を光が往復する4m(=Dm)/cの時間分より前のタイミング、すなわち電荷を振分ける蓄積駆動信号TX2のタイミングにおいて、2m以上の距離に位置する被写体Sからの反射光RLが入射されるように、距離画像処理部4が蓄積駆動信号TX1のタイミングで光パルスPOを光源部2に照射させる。
そして、図7(b)の近距離モードの場合と同様に、時刻tB1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tB1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tB2において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tB3において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。上述した処理により、画素回路321に対して2m以上の距離に位置する被写体Sからの反射光RLが蓄積駆動信号TX2及びTX3の各々により、電荷蓄積部CS2、CS3それぞれに電荷が振分けられて蓄積され、距離画像処理部4が式(4)により画素回路321と被写体Sとの距離Dを求める。
以下、図8を参照して、本実施形態における距離画像処理部4の距離測定の処理を説明する。図8は、本実施形態における距離画像撮像装置1による距離測定の処理の動作例を示すフローチャートである。以下の距離測定は、距離画像センサ32の受光画素部320における全ての画素回路321の画素信号(撮像画像のフレーム毎)について行われる。
ステップSA1:モード設定部423は、距離測定を行う測定モードを初期設定し、通常モードにおけるパルス幅Twと位相とをモードテーブル425から読出す。そして、モード設定部423は、読み出したパルス幅Tw及び位相をタイミング制御部41に対して出力する。これにより、タイミング制御部41は、蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を距離画像センサ32に供給し、光源装置21に光パルスPOを出射する駆動信号を出力する(図7(a)に示した波形)。
距離算出部421には、電荷量Q1、Q2、Q3に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号が距離画像センサ32から供給される。
距離算出部421は、出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の各々を、電荷量Q1、Q2、Q3それぞれとして、式(1)に代入し、距離画像センサ32から被写体Sまでの距離を算出する(距離計測)。
ステップSA2:ユーザは、例えば、距離画像撮像装置1に対して、距離画像において詳細に撮像したい領域である注目領域(距離測定対象)の情報を、不図示の入力手段を用いて入力する。
また、距離画像内における上記注目領域の情報を、予め距離画像撮像装置1に対して設定しておき、距離画像において設定された注目領域を枠画像で囲む構成としてもよい。この場合、ユーザは、自身が詳細に距離を計測する対象を、上記枠画像に入るように距離画像撮像装置1の撮像方向を調整する。
ステップSA3:距離判定部422は、入力される上記注目領域の画素の距離と、近距離モード及び遠距離モードの各々のサブ測定範囲とを比較する。ここで、距離判定部422は、例えば、注目領域の画素の距離が、近距離モードの詳細サブ測定範囲に含まれているか否かの判定を行う。
このとき、距離判定部422は、注目領域の画素の距離が近距離モードのサブ測定範囲である近距離範囲に含まれている場合、処理をステップSA4へ進める。
一方、距離判定部422は、注目領域の画素の距離が近距離モードの近距離範囲に含まれていない場合(遠距離モードのサブ測定範囲である遠距離範囲に含まれている場合)、処理をステップSA8へ進める。
ステップSA4:モード設定部423は、距離測定を行う測定モードを通常モードから、詳細測定モードの近距離モードに変更するため、近距離モードにおけるパルス幅Tswと位相とをモードテーブル425から読出す。そして、モード設定部423は、読み出したパルス幅Tsw及び位相をタイミング制御部41に対して出力する。これにより、タイミング制御部41は、供給されるパルス幅Tsw及び位相に対応した蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を距離画像センサ32に供給し、光源装置21に光パルスPOを出射する駆動信号を出力する(図7(b)に示した波形)。
ステップSA5:距離画像センサ32は、近距離モードにおいて、1フレーム分の振分け回数が終了した後、電荷量Q1、Q2及びQ3の各々に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号を、距離画像処理部4に対して出力する。
これにより、距離算出部421は、近距離モードで取得された電荷量Q1、Q2、Q3に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)を入力する。
ステップSA6:電荷量判定部420は、現在の測定モードが近距離モードであるため、画素回路321毎の出力デジタル値OD(CS2)を出力デジタル値OD(CS1)と比較し、出力デジタル値OD(CS2)が出力デジタル値OD(CS1)を超えているか否かを判定する。
そして、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定可能である場合、距離算出部421に対して距離の算出を行わせる制御情報を出力する。
距離算出部421は、距離の算出を行わせる制御情報が入力された場合、入力される電荷量Q1、Q2及びQ3の各々を式(3)に代入して、算出した距離Dを出力する(近距離モードによる距離計測)。
一方、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定不可能である場合、距離算出部421に対して、所定の数値(範囲外値)を算出結果とする制御情報を出力する。
距離算出部421は、入力される電荷量Q1、Q2及びQ3の各々を用いた距離Dの算出を行わず、予め設定した数値を算出結果として出力する。
撮像画像の全ての画素に対して、電荷量判定部420は電荷量Q1及びQ2の比較を行い、距離算出部421は比較結果に対応した距離Dの算出を行う。
ステップSA7:測定可否部424は、注目領域における画素の距離Dが、近距離モードにおける近距離範囲内で測定可能であるか否か、すなわち距離Dが範囲外値であるか否かの判定を行う。
このとき、測定可否部424は、距離Dが範囲外値で無い場合、注目領域の被写体Sが近距離範囲内の距離に含まれており、近距離モードにより測定が可能であるため、処理をステップSA5へ進める。
一方、測定可否部424は、距離Dが範囲外値である場合、注目領域の被写体Sが近距離範囲内の距離に含まれておらず、近距離モードにより測定が可能ではないため、処理をステップSA1へ進める。
ステップSA8:モード設定部423は、距離測定を行う測定モードを通常モードから、詳細測定モードの遠距離モードに変更するため、遠距離モードにおけるパルス幅Tswと位相とをモードテーブル425から読出す。そして、モード設定部423は、読み出したパルス幅Tsw及び位相をタイミング制御部41に対して出力する。これにより、タイミング制御部41は、供給されるパルス幅Tsw及び位相に対応した蓄積駆動信号TX1、TX2、TX3、リセット駆動信号RSTDの各々を距離画像センサ32に供給し、光源装置21に光パルスPOを出射する駆動信号を出力する(図7(c)に示した波形)。
ステップSA9:距離画像センサ32は、遠距離モードにおいて、1フレーム分の振分け回数が終了した後、電荷量Q1、Q2及びQ3の各々に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号を、距離画像処理部4に対して出力する。
これにより、距離算出部421は、遠距離モードで取得された電荷量Q1、Q2、Q3に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の画素信号を距離画像センサ32から入力する。
ステップSA10:電荷量判定部420は、現在の測定モードが遠距離モードであるため、出力デジタル値OD(CS3)を出力デジタル値OD(CS1)と比較し、出力デジタル値OD(CS3)が出力デジタル値OD(CS1)を超えているか否かを判定する。
そして、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定可能である場合、距離算出部421に対して距離の算出を行わせる制御情報を出力する。
距離算出部421は、距離の算出を行わせる制御情報が入力された場合、入力される電荷量Q1、Q2及びQ3の各々を式(4)に代入して、算出した距離Dを出力する(遠距離モードによる距離計測)。
一方、電荷量判定部420は、電荷量Q2及びQ3により被写体Sまでの距離が測定不可能である場合、距離算出部421に対して、所定の数値(範囲外値)を算出結果とする制御情報を出力する。
距離算出部421は、入力される電荷量Q1、Q2及びQ3の各々を用いた距離Dの算出を行わず、予め設定した数値を算出結果として出力する。
撮像画像の全ての画素に対して、電荷量判定部420は電荷量Q1及びQ2の比較を行い、距離算出部421は比較結果に対応した距離Dの算出を行う。
ステップSA11:測定可否部424は、注目領域における画素の距離Dが、遠距離モードにおける遠距離範囲内で測定可能であるか否か、すなわち距離Dが範囲外値であるか否かの判定を行う。
このとき、測定可否部424は、距離Dが範囲外値で無い場合、注目領域の被写体Sが遠距離範囲内の距離に含まれており、遠距離モードにより測定が可能であるため、処理をステップSA9へ進める。
一方、測定可否部424は、距離Dが範囲外値である場合、注目領域の被写体Sが遠距離範囲内の距離に含まれておらず、遠距離モードにより測定が可能ではないため、処理をステップSA1へ進める。
図9は、本実施形態による距離画像撮像装置1による詳細測定モードによる距離測定の効果を説明する図である。図9(a)は、本実施形態における通常モード、近距離モード及び遠距離モードの各々の測定範囲を示している。図9(b)は、通常モード及び遠距離モードの各々における被写体Sとの距離に対応した電荷量を示している。
本実施形態においては、一例として、通常モードにおける測定範囲Lである0.1mから4mまで(0.1[m]<L<4[m])を、0.1mから2mまで(0.1[m]<L<2[m])の近距離範囲と、2mから4mまで(2[m]≦L<4[m])の遠距離範囲とのサブ測定範囲に分割している。
そして、通常モードにおける測定範囲に対して、測定可能なサブ測定範囲を狭く設定し、このサブ測定範囲における距離の測定を行うため、パルス幅をTwからTswと短くし、光パルスPOの幅をサブ測定範囲における距離の測定に対応させるため短くしている。
上述した構成により、本実施形態においては、通常モードから詳細測定モードに移行した場合、パルス幅Twをパルス幅Tswと短くすることにより、光源装置21の消費電力を変更することなく、光パルスの強度を増加させることができる。光パルスの強度を増加させることにより、電荷量Q2及びQ3において、背景光による電荷量に対して反射光RLによる電荷量の比を増加させることが可能となり、反射光RLの強度のS/N比を増加させることで測定する距離の精度を向上させることが可能となる。
また、本実施形態においては、詳細測定モードとすることにより、遠距離範囲における被写体Sの距離を測定する際、近距離範囲内の被写体Sからの反射光RLが入力されないため、遠距離範囲における被写体Sからの反射光RLのS/N比を向上させることができる。すなわち、通常モードにおいては、近距離範囲における被写体Sからの反射光RLの強度が大きいため、遠距離における反射光RLの相対的な強度が低下するため、式(1)から得られる距離DのS/N比が増加してしまう。
しかしながら、遠距離範囲内における被写体Sからの反射光RLの電荷量Q2及びQ3とを用いて式(4)により算出するため、近距離における高い強度の反射光RLにより発生する電荷量を含まず、距離の測定の精度(分解能)を向上させることができる。
また、本実施形態においては、電荷蓄積部CSの蓄積量が飽和しないように、距離画像の1フレーム当たりの振分け回数を設定している。
図9(b)に示すように、通常モードにおいては、近い距離、例えば、距離画像センサ32から0.1mの距離に位置する被写体Sからの反射光RLにより生成される電荷に対応して、電荷蓄積部CSの蓄積量が飽和しない振分け回数が設定されている。このため、距離画像センサ32からの距離、例えば2m及び4mの距離に位置する被写体Sからの反射光RLの強度が低いため、相対的に電荷量が小さな量に抑制されてしまい、距離が遠いほどS/N比が低下する。
本実施形態において、近距離範囲と遠距離範囲とに測定範囲を分割することにより、遠距離モードの測定の場合、近距離範囲内の被写体Sからの反射光RLにより生成される電荷が距離画像センサ32における電荷蓄積部CSに蓄積されないため、遠距離範囲内における強度の低い反射光RLにより発生する電荷のみを蓄積するために電荷蓄積部CSの蓄積量が抑制され、かつパルス幅Twを短くしてパルス幅Tswとするため、同じ1フレームの距離画像を撮像するフレーム期間における振分け回数を通常モードに比較して増加させることができる。これにより、遠距離範囲内における2mあるいは4mなどにおける反射光RLによる電荷量を増加させることができ、S/N比を向上させて、距離の測定の精度(分解能)を向上させることができる。
図10は、本実施形態の他の構成における電荷蓄積期間における通常モード、近距離モード及び遠距離モードの各々における光パルスPOの位相を説明するタイミングチャートである。
図10(a)は、図7(a)と同様であり、通常モードにおけるモード設定値のパルス幅Twと光パルスPOの位相とを示している。図10(b)は、近距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。図10(c)は、遠距離モードにおけるモード設定値のパルス幅Tswと光パルスPOの位相とを示している。
また、図10(a)は、図7(a)と同様のため、説明を省略する。
図10(b)は、距離画像センサ32の受光画素部320内に配置された画素回路321を、近距離モードにおいて駆動するタイミングを示したタイミングチャートである。近距離モードにおける各駆動信号のパルス幅Tswは、(Dsm)×(2/c)、Dm/cに設定されている。ここで、DsmがDm/n、nが分割数であり、例えばDmが4mであり分割数nが2の場合、Dsmは近距離範囲及び遠距離範囲の各々が2mとなる。また、パルス幅Tswは、距離範囲を近距離範囲及び遠距離範囲のサブ測定範囲に2分割したため、パルス幅Twの1/2とされている。光パルスPOの位相は、蓄積駆動信号TX2と同一である。図7(b)は、距離画像センサ32において、近距離モードにおける1フレーム分の画素信号を出力させる際の画素回路321の駆動信号のタイミングとともに、光源部2が被写体Sに照射する光パルスPOのタイミングを示している。ここで、光パルスPOの位相を蓄積駆動信号TX2と等しくしたのは、近距離モードにおけるサブ測定範囲(近距離範囲)が0(m)<L<2(m)のためである。
時刻tC1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tC1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tC2において、リセット駆動信号RSTDのパルスが挿入されており、光電変換素子PDが生成する電荷が消去される。距離Dを求めるための電荷が生成される前に、背景光により生成された電荷が、光電変換素子PDから完全に消去される。これにより、電荷量Q2における背景光によるノイズとなる電荷量が低減され、電荷量Q2及びQ3により算出される距離Dの精度が向上する。時刻tC3において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tC4において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。また、時刻tC5において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去される。上述した処理により、画素回路321に対して2m未満の距離に位置する被写体Sからの反射光RLが蓄積駆動信号TX2及びTX3の各々により、電荷蓄積部CS2、CS3それぞれに電荷が振分けられて蓄積され、距離画像処理部4が式(3)により画素回路321と被写体Sとの距離Dを求める。
図10(c)は、距離画像センサ32の受光画素部320内に配置された画素回路321を、遠距離モードにおいて駆動するタイミングを示したタイミングチャートである。遠距離モードにおける各駆動信号のパルス幅Tswは、近距離モードと同様に、Dsm/cに設定されている。
時刻tC1の直前まで、リセット駆動信号RSTDが画素回路321に対して供給されている。時刻tC1において、画素駆動回路326が蓄積駆動信号TX1により、背景光により光電変換素子PDが生成する電荷を電荷蓄積部CS1に振分ける。時刻tC2において、リセット駆動信号RSTDのパルス幅Tswのパルスが挿入されており、光電変換素子PDが生成する電荷が消去される。時刻tC3において、画素駆動回路326が蓄積駆動信号TX2により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS2に振分ける。時刻tC4において、画素駆動回路326が蓄積駆動信号TX3により、被写体Sから反射された反射光RLにより光電変換素子PDが生成する電荷を電荷蓄積部CS3に振分ける。また、時刻tC5において、リセット駆動信号RSTDが供給されることにより、光電変換素子PDが生成する電荷が消去される。また、光パルスPOの位相は、時刻tC2におけるリセット駆動信号RSTDのパルスと同一である。
ここで、光パルスPOの位相を蓄積駆動信号TX2でなく、時刻tC2におけるリセット駆動信号RSTDのパルスとしたのは、遠距離モードにおけるサブ測定範囲L(遠距離範囲)が2(m)≦L<4(m)のためである。このため、2mの距離を光が往復する4m(=Dm)/cの時間分より前のタイミング、すなわち電荷を振分ける蓄積駆動信号TX2のタイミングにおいて、2m以上の距離に位置する被写体Sからの反射光RLが入射されるように、距離画像処理部4が時刻tC2におけるリセット駆動信号RSTDのパルスのタイミングで光パルスPOを光源部2に照射させる。
上述した処理により、画素回路321に対して2m以上の距離に位置する被写体Sからの反射光RLが蓄積駆動信号TX2及びTX3の各々により、電荷蓄積部CS2、CS3それぞれに電荷が振分けられて蓄積され、距離画像処理部4が式(4)により画素回路321と被写体Sとの距離Dを求める。
また、時刻tC2におけるリセット駆動信号RSTDのパルスを挿入したことにより、距離Dを求めるための電荷が生成される前に、背景光により生成された電荷が、光電変換素子PDから完全に消去される。これにより、電荷量Q2における背景光によるノイズとなる電荷量が低減され、電荷量Q2及びQ3により算出される距離Dの精度が向上する。
<第2の実施形態>
以下、本発明の第2の実施形態について、図面を参照して説明する。図11は、本実施形態による距離画像処理部4における距離算出部42Aの構成例を示すブロック図である。以下、第1の実施形態と異なる構成及び動作の説明を行う。
図11に示した距離算出部42Aは、電荷量比較部426と、距離算出部427と、変化量調整部428とを備えている。
電荷量比較部426は、電荷量Q2及びQ3の各々の差分を算出し、差分電荷量を求め、距離算出部427及び変化量調整部428の各々に対して出力する。
すなわち、電荷量比較部426は、距離画像センサ32から供給される電荷量Q1、Q2及びQ3の各々に対応する出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)において、出力デジタル値OD(CS2)及びOD(CS3)の差分電圧を求める。また、本実施形態においても、ユーザが距離画像において設定した抽象領域における所定の画素(例えば、抽象領域の中心や重心の画素)の画素信号における、または抽象領域における画素の画素信号の平均値における、出力デジタル値OD(CS2)及びOD(CS3)の差分電圧を求める。
距離算出部427は、第1の実施形態と同様に、受光画素部320内における画素回路321ごとの被写体Sとの間の距離Dを、式(1)あるいは以下に示す式(6)により求める。以下の式(6)において、Tcは光パルスPOの位相を調整するための位相調整時間である(詳細は後述)。
D=(c/2)Tc+
(Q3’-Q1)/(Q2’+Q3’-2Q1)×Dm …(6)
距離算出部427は、電荷量比較部426から供給される差分電圧により、式(1)及び式(2)のいずれを距離Dの算出に用いるかを選択する。ここで、距離算出部427は、差分電圧が「0」である場合に距離Dの算出に式(6)を用い、差分電圧が「0」で無い場合に距離Dの算出に式(1)を用いる。
変化量調整部428は、電荷量比較部426から供給される差分電圧に対応して、光パルスPOを出射する位相(タイミング)の調整量を求める。
図12は、本実施形態における変化量調整部428により光パルスPOの出射する位相の調整を説明する図である。
図12(a)は、電荷量Q2及びQ3の各々を同一とする際、電荷量Q2が電荷量Q3未満である場合、電荷量Q2を増加させる必要がある。このため、電荷量Q2を増加させるためには、距離画像センサ32と被写体Sとの距離を短くさせることが考えられる。すなわち、光パルスPOを出射させるタイミングを、所定の時間早くする(位相を進める)ことにより、距離画像センサ32と被写体Sとの距離を実質的に短くすることに相当する。領域501において、タイミング調整を行う前の光パルスPOが出射される位相(時刻tD2-tD5、蓄積駆動信号TX2と同一位相)と、被写体Sからの反射光RLの位相(時刻tD4-tD7)とを示している。また、領域502において、タイミング調整を行った後の光パルスPOが出射される位相(時刻tD1)と、被写体Sからの反射光RLの位相(時刻tD3-tD6)とを示している。
そのため、変化量調整部428は、差分電圧の数値に対応した位相の調整量、位相を進める調整時間Tcを求める。そして、変化量調整部428は、調整時間Tcを含む、光パルスPOの出射のタイミング制御を指示する制御信号をタイミング制御部41に対して出力する。
これにより、タイミング制御部41は、光パルスPOを出力するタイミングを、時刻tD2から時刻tD1へと調整時間Tc進める。
上述したように位相を進めることにより、電荷量Q2を増加させ、電荷量Q3を減少させ、電荷量Q2及びQ3の各々を等しくした電荷量Q2’、Q3’それぞれが得られる。
電荷量Q2を増加させることで、式(1)を用いた場合には、相対的に被写体Sとの距離Dが小さく算出される。このため、光パルスPOの照射の位相を調整時間Tc進めた補正値として、式(6)において、調整時間Tcを光が往復する距離(c/2)Tcを加算している。このとき、調整時間Tcの極性は距離を増加する補正を行うため、「+」である。
上述した処理により、等しい電荷量Q2’及びQ3’を式(6)に代入することにより、光パルスPOの照射の位相を調整時間Tc進めた際における、被写体Sまでの距離Dを算出することができる。
図12(b)は、電荷量Q2及びQ3の各々を同一とする際、電荷量Q2が電荷量Q3を超えている場合、電荷量Q2を減少させる必要がある。このため、電荷量Q2を減少させるためには、距離画像センサ32と被写体Sとの距離を長くさせることが考えられる。すなわち、光パルスPOを出射させるタイミングを、所定の時間遅くする(位相を遅らせる)ことにより、距離画像センサ32と被写体Sとの距離を実質的に長くすることに相当する。領域511において、タイミング調整を行う前の光パルスPOが出射される位相(時刻tE1-tE5、蓄積駆動信号TX2と同一位相)と、被写体Sからの反射光RLの位相(時刻tE3-tE6)とを示している。また、領域512において、タイミング調整を行った後の光パルスPOが出射される位相(時刻tE2)と、被写体Sからの反射光RLの位相(時刻tE4-tE7)とを示している。
そのため、変化量調整部428は、差分電圧の数値に対応した位相の調整量、位相を遅らせる調整時間Tcを求める。そして、変化量調整部428は、調整時間Tcを含む、光パルスPOの出射のタイミング制御を指示する制御信号をタイミング制御部41に対して出力する。
これにより、タイミング制御部41は、光パルスPOを出力するタイミングを、時刻tE1から時刻tE2へと調整時間Tc遅らせる。
上述したように位相を進めることにより、電荷量Q2を減少させ、電荷量Q3を増加させ、電荷量Q2及びQ3の各々を等しくした電荷量Q2’、Q3’それぞれが得られる。
電荷量Q2を減少させることで、式(1)を用いた場合には、相対的に被写体Sとの距離Dが大きく算出される。このため、光パルスPOの照射の位相を調整時間Tc遅らせた補正値として、式(6)において、調整時間Tcを光が往復する距離(c/2)Tcを加算している。このとき、調整時間Tcの極性は距離を減少させる補正を行うため、「-」である。
上述した処理により、等しい電荷量Q2’及びQ3’を式(6)に代入することにより、光パルスPOの照射の位相を調整時間Tc遅らせた際における、被写体Sまでの距離Dを算出することができる。
背景光によるノイズ(ショットノイズ)に対して、信号強度が大きくなる程、S/N比が向上し、距離分解能が改善する。しかしながら、電荷量Q2及びQ3のいずれか一方と他方との信号強度の比が大きく異なる場合、以下に示すようにノイズが大きくなり、信号強度の比の小さい方の距離分解能が低下する。
電荷量の比が Q2:Q3=1:3の場合
Noise=(1+31/2=(10)1/2≒3.16
電荷量の比が Q2:Q3=2:2の場合
Noise=(2+21/2=(8)1/2≒2.83
このように、電荷量Q2及びQ3の各々を等しくすることにより、ノイズを低減させることができる。
上述したように、本実施形態によれば、被写体までの距離Dが測定されていれば、その距離Dにおいて電荷量Q2及びQ3が等しくなるように、光パルスPOの位相を調整することにより、距離分解能を向上させ、より精度の高い被写体Sとの距離を求めることができる。
また、本実施形態においては、電荷量Q2及びQ3を同一とするとして、すなわち差分電圧を0とするとして説明したが、許容できるノイズの大きさに対応させて、所定の幅の差分電圧範囲を設定し、この差分電圧範囲に差分電圧が入るように、調整時間Tcを生成する構成としてもよい。
以下、図13を参照して、本実施形態における距離画像処理部4の距離測定における光パルスPOの位相の調整処理を説明する。図13は、本実施形態による距離画像撮像装置1による光パルスPOの位相の調整処理の動作例を示すフローチャートである。以下の距離測定は、距離画像センサ32がフレーム単位で撮像する距離画像における注目領域の画素信号により光パルスPOの照射の位相調整が行われ、計測については、全ての画素回路321の画素信号(撮像画像のフレーム毎)について行われる。
ステップSB1:ユーザは、例えば、距離画像撮像装置1に対して、距離画像において詳細に撮像したい領域である注目領域(距離測定対象)の情報を、不図示の入力手段を用いて入力する。
また、距離画像内における上記注目領域の情報を、予め距離画像撮像装置1に対して設定しておき、距離画像において設定された注目領域を枠画像で囲む構成としてもよい。この場合、ユーザは、自身が詳細に距離を計測する対象(注目対象)を、上記枠画像に入るように距離画像撮像装置1の撮像方向を調整する。この構成の場合には、ユーザは注目対象を変更した際、変更したことを示す操作を行うことにより図13の処理が行われる。
ステップSB2:距離画像センサ32は、1フレーム分の画素信号を取得した後、距離画像処理部4に対して、画素信号を順次出力する。
そして、電荷量比較部426は、距離画像センサ32から供給される距離画像(1フレーム分の全ての画素回路321の画素信号)から、設定された注目領域に対応する画素信号を抽出する(画素信号の取得)。
ステップSB3:電荷量比較部426は、注目領域の画素信号における電荷量Q2及びQ3の比較を、すなわち出力デジタル値OD(CS2)及びOD(CS3)の比較を行う。ここで、電荷量比較部426は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えているか否かの判定を行う。
このとき、電荷量比較部426は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えている場合、処理をステップSB4へ進める。一方、電荷量比較部426は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えていない場合(出力デジタル値OD(CS2)が出力デジタル値OD(CS3)と等しいか、あるいは出力デジタル値OD(CS2)が出力デジタル値OD(CS3)未満のいずれかの場合)、処理をステップSB5へ進める。
ステップSB4:電荷量比較部426は、出力デジタル値OD(CS2)と出力デジタル値OD(CS3)との差分電圧(このとき正極性)を求め、変化量調整部428に対して出力する。
変化量調整部428は、例えば、差分電圧と調整時間Tcとの対応が記載されている対応テーブルを参照して、電荷量比較部426から供給される差分電圧に対応した調整時間Tcを抽出して求める。
また、予め差分電圧から調整時間Tcを算出する計算式を実験などから生成しておき、変化量調整部428は、この計算式に電荷量比較部426から供給される差分電圧を代入して調整時間Tcを算出する構成としてもよい。
このとき、変化量調整部428は、出力デジタル値OD(CS2)が出力デジタル値OD(CS3)を超えているため、差分電圧が正極性となり、調整時間Tcを光パルスPOの位相を遅らせる時間として求める。
そして、変化量調整部428は、光パルスPOの出射のタイミング制御を指示する制御信号に調整時間Tcを付加して、タイミング制御部41に出力する。
これにより、タイミング制御部41は、光源装置21から調整時間Tc遅らせて、パルス光POを出射させる。また、変化量調整部428は、調整時間Tcを距離算出部427に対して出力する。
ステップSB5:電荷量比較部426は、注目領域の画素信号における出力デジタル値OD(CS2)及びOD(CS3)の比較を行う。ここで、電荷量比較部426は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えているか否かの判定を行う。
このとき、電荷量比較部426は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えている場合、処理をステップSB6へ進める。一方、電荷量比較部426は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えていない場合(出力デジタル値OD(CS3)が出力デジタル値OD(CS2)と等しい場合)、処理をステップSB7へ進める。
ステップSB6:電荷量比較部426は、出力デジタル値OD(CS2)と出力デジタル値OD(CS3)との差分電圧(このとき負極性)を求め、変化量調整部428に対して出力する。
変化量調整部428は、例えば、差分電圧と調整時間Tcとの対応が記載されている対応テーブルを参照して、電荷量比較部426から供給される差分電圧に対応した調整時間Tcを抽出して求める。
また、予め差分電圧から調整時間Tcを算出する計算式を実験などから生成しておき、変化量調整部428は、この計算式に電荷量比較部426から供給される差分電圧を代入して調整時間Tcを算出する構成としてもよい。
このとき、変化量調整部428は、出力デジタル値OD(CS3)が出力デジタル値OD(CS2)を超えているため、差分電圧が負極性となり、調整時間Tcを光パルスPOの位相を進める時間として求める。
そして、変化量調整部428は、光パルスPOの出射のタイミング制御を指示する制御信号に調整時間Tcを付加して、タイミング制御部41に出力する。
これにより、タイミング制御部41は、光源装置21から調整時間Tc進めさせて、パルス光POを出射させる。また、変化量調整部428は、調整時間Tcを距離算出部427に対して出力する。
ステップSB7:距離算出部427は、フレーム全ての画素信号におけるパルス光POの位相を調整した調整時間Tcと、電荷量Q1(出力デジタル値OD(CS1))、電荷量Q2’(出力デジタル値OD(CS2))及びQ3’(出力デジタル値OD(CS3))とを式(6)に代入して、距離Dの算出を行う。
また、本実施形態における光パルスPOの出射する位相の調整を、第1の実施形態における注目領域の近距離モード及び遠距離モードのモード選択の後に行うように構成してもよい。
すなわち、第1の実施形態における距離算出部42に対して、本実施形態における電荷量比較部426及び変化量調整部428を付加させる。
そして、第1の実施形態における距離算出部42の構成が、詳細測定モードとしてサブ計測範囲が選択され、近距離範囲及び遠距離範囲のいずれかの範囲に注目領域の被写体Sが位置することを計測する。
そしてた、電荷量比較部426は、電荷量Q2及びQ3の比較を行い、詳細測定モードに対応して光パルスPOの出射の位相を調整する。
例えば、図7(b)に示す近距離モードの場合には、光パルスPOの位相を、時刻tB2を起点にして調整時間Tc進めるあるいは遅らせる処理が行われる。また、図7(c)の遠距離モードの場合には、光パルスPOの位相を、時刻tB1を起点にして調整時間Tc進めるあるいは遅らせる処理が行われる。このとき、それぞれの詳細測定モードにおいて用いる式(3)及び式(4)の各々には、式(6)と同様に、補正距離として(c/2)Tcが加算される。
このように、第1の実施形態における距離算出部42に対して、第2の実施形態よる光パルスPOの位相を調節する構成を付加することにより、第1の実施形態より精度の高い分解能で、距離画像撮像装置1と被写体Sとの距離Dを計測することができる。
<第3の実施形態>
以下、本発明の第3の実施形態について、図面を参照して説明する。図14は、本実施形態による距離画像処理部4における距離算出部42Bの構成例を示すブロック図である。以下、第2の実施形態と異なる構成及び動作の説明を行う。
図14に示した距離算出部42Bは、電荷量比較部426と、距離算出部427と、変化量調整部428と、パルス幅調整部429とを備えている。ここで、電荷量比較部426、距離算出部427及び変化量調整部428の各々は、第2の実施形態における距離算出部42Aの構成と同様である。
パルス幅調整部429は、電荷量Q2及びQ3の比に対応して、蓄積駆動信号TX1、TX2、TX3のパルス幅(位相も含まれる)を調整する。また、光パルスPOの幅はパルス幅Twで固定である。
図15は、本実施形態における蓄積駆動信号TX1、TX2、TX3のパルス幅の調整を説明する図である。
図15(a)は、電荷量Q2及びQ3の各々を同一とされた際における背景光により生成された電荷と反射光RLにより生成された電荷とを示している。
図15(b)は、蓄積駆動信号TX1、TX2、TX3のパルス幅の調整後における背景光により生成された電荷と反射光RLにより生成された電荷とを示している。
図15(a)において、時刻tF1に蓄積駆動信号TX2が立ち上がり、時刻tF3により立ち下がる。また、時刻tF3に蓄積駆動信号TX3が立ち上がり、時刻tF5により立ち下がる。
ここで、パルス幅調整部429は、電荷量Q2及びQ3の比、すなわち出力デジタル値OD(CS2)及びOD(CS3)の比により、反射パルスPLの位相(時刻tF2-tF4)が判る。これにより、時刻tF3を基準として、パルス幅TX1(時刻tF2-tF3)及びTX2(時刻tF3-tF4)の各々が求まる。ここで、Tw=Tw1+Tw2である。
図15(b)において、パルス幅調整部429は、反射光RLの位相に対応して、蓄積駆動信号TX1、TX2、TX3のパルス幅の調整を行う。また、第2の実施形態において説明したように、電荷量Q2及びQ3の各々が同一となるようにパルス光POの位相が調整されていることから、Tw1=Tw2=Tw/2となる。
これにより、パルス幅調整部429は、蓄積駆動信号TX1、TX2、TX3のパルス幅をTw/2とし、時刻tF3を基準として蓄積駆動信号TX1、TX2、TX3の各々の位相を調整する制御を、タイミング制御部41に対して行わせる制御信号を出力する。
これにより、タイミング制御部41は、距離画像センサ32に対して、蓄積駆動信号TX1、TX2、TX3のパルス幅をTw/2とし、蓄積駆動信号TX1が時刻tF1で立ち上がり、時刻tF2で立ち下がり、蓄積駆動信号TX2が時刻tF2で立ち上がり、時刻tF3で立ち下がり、蓄積駆動信号TX3が時刻tF3で立ち上がり、時刻tF4で立ち下がる制御を行う。
上述した構成により、図15に示すように、パルス幅の調整を行う前後で、反射光RLにより生成される電荷量を減少させずに、背景光により生成される電荷量を低減することができる。すなわち、ショットノイズを低減することができ、背景光が強い場合でも、反射光RLによる距離測定の精度の低下を抑制することが可能となる。
また、背景光により生成される電荷量を低減させることで電荷蓄積部CSの電荷の蓄積量に余裕を生じさせ、かつ蓄積駆動信号TX1、TX2、TX3のパルス幅を短くするため、フレーム周期を変えることなく、フレーム当たりの振分け回数を増加させることが可能となり、電荷量における反射光RLによる電荷量の比率を増加させ、S/N比を向上させて、距離Dの計測の精度を向上させることができる。
以下、図16を参照して、本実施形態における距離画像処理部4の距離測定における蓄積駆動信号TX1、TX2、TX3のパルス幅の調整の処理を説明する。図16は、本実施形態による距離画像撮像装置1による蓄積駆動信号TX1、TX2、TX3のパルス幅の調整処理の動作例を示すフローチャートである。以下の距離測定は、距離画像センサ32の撮像する距離画像における注目領域の画素信号により光パルスPOの照射の位相調整、蓄積駆動信号TX1、TX2、TX3のパルス幅の調整が行われ、計測については、全ての画素回路321の画素信号(撮像画像のフレーム毎)について行われる。また、ステップSB1からステップSB6の各々は、第2の実施形態と同様の動作であるため、説明を省略する。
ステップSB8:パルス幅調整部429は、フレーム周期毎に距離画像センサ32から供給される画素信号において、注目領域における画素信号を抽出する。
そして、パルス幅調整部429は、出力デジタル値OD(CS2)及びOD(CS3)の各々を比較し、すでに図15で説明したように、蓄積駆動信号TX1、TX2、TX3のパルス幅及び位相の調整の処理を行う。
そして、タイミング制御部41は、図15(b)に示す、反射光RLと同一の位相で、かつ反射光RLのパルス幅Twに、蓄積駆動信号TX2及びTX3が含まれるように、蓄積駆動信号TX1、TX2、TX3のパルス幅及び位相を、距離画像センサ32に調整させる。
ステップSB9:距離画像センサ32は、1フレーム分の画素信号を取得した後、距離画像処理部4に対して、画素信号を順次出力する。
これにより、距離算出部427は、距離画像センサ32から供給される距離画像(1フレーム分の全ての画素回路321の画素信号)を入力する(画素信号の取得)。
ステップSB10:距離算出部427は、入力した画素信号における出力デジタル値OD(CS1)、OD(CS2)、OD(CS3)の各々を、それぞれ電荷量Q1、Q2’及びQ3’として式(6)に代入し、被写体Sとの距離Dを求める。
ステップSB11:パルス幅調整部429は、ユーザが入力手段から、注目領域を変更することを示す操作がなされたか否かの判定を行う。
このとき、パルス幅調整部429は、変更する操作がなされた場合、処理をステップSB1へ進める。一方、パルス幅調整部429は、変更する操作がなされない場合、処理をステップSB9へ進める。
また、パルス幅調整部429は、測定された距離Dが直前に測定した距離Dと比較して、所定の閾値を超えた変化を有する場合、注目領域における被写体Sが移動したとして処理をステップSB1に戻す構成としてもよい。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…距離画像撮像装置
2…光源部
3…受光部
4…距離画像処理部
21…光源装置
22…拡散板
31…レンズ
32…距離画像センサ
41…タイミング制御部
42,42A,42B…距離演算部
320…受光画素部
321…画素回路
322…制御回路
323…垂直走査回路
324…水平走査回路
325…画素信号処理回路
326…画素駆動回路
329…AD変換回路
329j…列AD変換部
329j(CS1),329j(CS2),329j(CS3)…列AD変換回路
420…電荷量判定部
421,427…距離算出部
422…距離判定部
423…モード設定部
424…測定可否部
425…モードテーブル
426…電荷量比較部
428…変化量調整部
429…パルス幅調整部
C…電荷蓄積容量
CS 電荷蓄積部
FD…フローティングディフュージョン
G…読み出しゲートトランジスタ
GD…ドレインゲートトランジスタ
O…出力端子
P…測定空間
PD…光電変換素子
PO…光パルス
RL…反射光
RT…リセットゲートトランジスタ
RU…画素信号読み出し部
S…対象物
SF…ソースフォロアゲートトランジスタ
SL…選択ゲートトランジスタ

Claims (10)

  1. 測定対象の空間である測定空間に対して照射光を照射する光源部と、
    前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
    前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する距離画像処理部と
    を備え
    前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
    距離画像撮像装置。
  2. 前記距離画像処理部が、
    前記通常モードによる距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された照射光の幅及び位相による前記詳細測定モードによる距離測定を行う
    請求項に記載の距離画像撮像装置。
  3. 前記距離画像処理部が、
    前記通常モードにおいて、予め定めた固定の電荷振り分け回数で振り分けられて、前記電荷蓄積部における複数の振分電荷蓄積部のそれぞれに積算された前記電荷の量である電荷量に基づいて、前記測定空間に存在する前記対象物との距離を求め、
    前記通常モードにおける距離の測定後、当該測定で求められた距離が含まれる前記サブ測定範囲に対応して設定された電荷振り分け回数における電荷量に基づいて前記詳細測定モードによる距離測定を行う
    請求項または請求項に記載の距離画像撮像装置。
  4. 前記距離画像処理部が、
    前記対象物までの距離に対応して、前記光源部から照射する前記照射光の強度を調整する
    請求項から請求項のいずれか一項に記載の距離画像撮像装置。
  5. 前記距離画像処理部が、
    前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
    前記詳細測定モードに移行した後、前記第1振分電荷蓄積部あるいは前記第2振分電荷蓄積部のいずれかが前記反射光による電荷量が予め設定した電荷量閾値以下の場合、距離を求める処理を行わず、前記通常モードに移行する
    請求項1から請求項のいずれか一項に記載の距離画像撮像装置。
  6. 前記電荷量閾値が、背景光電荷蓄積部において背景光によって蓄積された電荷量である
    請求項に記載の距離画像撮像装置。
  7. 測定対象の空間である測定空間に対して照射光を照射する光源部と、
    前記照射光が、前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を発生する光電変換素子と、フレーム周期において前記照射光が照射された際に前記電荷を蓄積する電荷蓄積部とを具備し、前記照射光の照射に同期して前記電荷を前記電荷蓄積部に蓄積する画素回路を有する受光画素部と、
    前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定し、当該通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相を調整する距離画像処理部と
    を備え
    前記距離画像処理部が、
    前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
    前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める
    距離画像撮像装置。
  8. 前記距離画像処理部が、
    前記照射光の位相の調整を行って前記電荷量を同一とした後、前記反射光による電荷が含まれない領域が無くなるように、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれに電荷を振分ける蓄積駆動信号の幅を調整する
    求項に記載の距離画像撮像装置。
  9. 測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、
    前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、
    フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、
    前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、
    前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相と幅を調整する過程と
    を含み、
    前記詳細測定モードにおいて、前記通常モードにおける測定可能な距離の範囲である距離範囲を、同一幅の複数のサブ測定範囲に分割し、当該サブ測定範囲に対応して照射光の幅が設定され、前記サブ測定範囲における最小の距離に対応して照射光の位相が設定されている
    距離画像撮像方法。
  10. 測定対象の空間である測定空間に対して光源部から照射光を照射する過程と、
    前記照射光が前記測定空間における対象物において反射した反射光と、前記測定空間の環境における背景光とを受光し、受光した前記反射光及び前記背景光に応じた電荷を光電変換素子が発生する過程と、
    フレーム周期において前記照射光の照射に同期して前記反射光による前記電荷を電荷蓄積部に対して蓄積する過程と、
    前記電荷蓄積部に蓄積された電荷量に応じた入力電圧により距離測定を行う際、所定の照射光の幅の通常モードにより距離を測定する過程と、
    前記通常モードにより測定された前記対象物までの距離に対応して、詳細測定モードに移行して前記光源部から照射する前記照射光の位相を調整する過程と
    を含み、
    前記反射光の電荷を蓄積する2個の前記電荷蓄積部である第1振分電荷蓄積部及び第2振分電荷蓄積部の各々に積算される前記電荷の量である電荷量の比に基づいて前記対象物との距離を求める場合、
    前記通常モードによる距離の測定後、前記第1振分電荷蓄積部、前記第2振分電荷蓄積部のそれぞれ電荷量が同一となるように前記照射光の位相を調整し、当該電荷量と当該位相の調整量との各々に基づいて前記距離を求める
    距離画像撮像方法。
JP2021529640A 2019-07-04 2019-07-04 距離画像撮像装置及び距離画像撮像方法 Active JP7363899B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/026560 WO2021001975A1 (ja) 2019-07-04 2019-07-04 距離画像撮像装置及び距離画像撮像方法

Publications (2)

Publication Number Publication Date
JPWO2021001975A1 JPWO2021001975A1 (ja) 2021-01-07
JP7363899B2 true JP7363899B2 (ja) 2023-10-18

Family

ID=74100765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021529640A Active JP7363899B2 (ja) 2019-07-04 2019-07-04 距離画像撮像装置及び距離画像撮像方法

Country Status (4)

Country Link
US (1) US20220350024A1 (ja)
JP (1) JP7363899B2 (ja)
CN (1) CN114026460A (ja)
WO (1) WO2021001975A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022109077A (ja) * 2021-01-14 2022-07-27 凸版印刷株式会社 距離画像撮像装置、及び距離画像撮像方法
WO2023100826A1 (ja) * 2021-12-01 2023-06-08 株式会社 Rosnes 距離測定装置
WO2023174646A1 (en) * 2022-03-16 2023-09-21 Sony Semiconductor Solutions Corporation Time-of-flight demodulation circuitry and time-of-flight demodulation method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159330A (ja) 2011-01-31 2012-08-23 Sanyo Electric Co Ltd レーザレーダ
WO2017022152A1 (ja) 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
JP2019027937A (ja) 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 測距制御装置および測距システム
JP2019032206A (ja) 2017-08-07 2019-02-28 ソニーセミコンダクタソリューションズ株式会社 距離センサ、距離測定装置、および画像センサ

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235729B2 (ja) * 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
JP6320154B2 (ja) * 2014-04-25 2018-05-09 キヤノン株式会社 撮像装置及び撮像装置の駆動方法
US10048357B2 (en) * 2015-06-15 2018-08-14 Microsoft Technology Licensing, Llc Time-of-flight (TOF) system calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159330A (ja) 2011-01-31 2012-08-23 Sanyo Electric Co Ltd レーザレーダ
WO2017022152A1 (ja) 2015-07-31 2017-02-09 パナソニックIpマネジメント株式会社 測距撮像装置、及び、固体撮像装置
JP2019027937A (ja) 2017-07-31 2019-02-21 パナソニックIpマネジメント株式会社 測距制御装置および測距システム
JP2019032206A (ja) 2017-08-07 2019-02-28 ソニーセミコンダクタソリューションズ株式会社 距離センサ、距離測定装置、および画像センサ

Also Published As

Publication number Publication date
US20220350024A1 (en) 2022-11-03
WO2021001975A1 (ja) 2021-01-07
CN114026460A (zh) 2022-02-08
JPWO2021001975A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7363899B2 (ja) 距離画像撮像装置及び距離画像撮像方法
CN114175618B (zh) 距离图像摄像装置以及距离图像摄像方法
JP6480712B2 (ja) 撮像装置及びその制御方法
JP7016183B2 (ja) 距離画像撮像装置、および距離画像撮像方法
US8446499B2 (en) Image capturing apparatus, image capturing system, and processing method
CN113544544B (zh) 距离图像拍摄装置以及由距离图像拍摄装置实施的距离图像拍摄方法
CN113518930B (zh) 距离图像传感器以及距离图像拍摄装置
JP7014324B1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2022154073A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP7253846B2 (ja) 距離画像センサ及び距離画像撮像装置
WO2021070212A1 (ja) 距離画像撮像装置及び距離画像撮像方法
WO2023234253A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
CN115667984A (zh) 距离图像拍摄装置及距离图像拍摄方法
US20230204727A1 (en) Distance measurement device and distance measurement method
US20240210535A1 (en) Range imaging device and range imaging method
CN116745645A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2022135438A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2022176579A (ja) 距離画像撮像装置及び距離画像撮像方法
JP2023147558A (ja) 距離画像撮像装置、及び距離画像撮像方法
CN116671123A (zh) 距离图像摄像装置以及距离图像摄像方法
CN118160320A (zh) 成像元件及测距装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20230529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R150 Certificate of patent or registration of utility model

Ref document number: 7363899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150