JP2020148510A - 測距装置 - Google Patents

測距装置 Download PDF

Info

Publication number
JP2020148510A
JP2020148510A JP2019044283A JP2019044283A JP2020148510A JP 2020148510 A JP2020148510 A JP 2020148510A JP 2019044283 A JP2019044283 A JP 2019044283A JP 2019044283 A JP2019044283 A JP 2019044283A JP 2020148510 A JP2020148510 A JP 2020148510A
Authority
JP
Japan
Prior art keywords
unit
light
distance measuring
information
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019044283A
Other languages
English (en)
Inventor
小野　博明
Hiroaki Ono
博明 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019044283A priority Critical patent/JP2020148510A/ja
Priority to PCT/JP2020/005036 priority patent/WO2020184028A1/ja
Priority to US17/310,804 priority patent/US20220046158A1/en
Publication of JP2020148510A publication Critical patent/JP2020148510A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】ＴｏＦ方式に応じて輝度が調整された画像を副次的に利用する際の利便性を向上させる。【解決手段】測距部は、光源部の発光に応じて受光部が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う。制御部は、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する。調整部は、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する。制御部は、位相毎の受光信号に基づき調整値を生成する。【選択図】図１４

Description

本発明は、測距装置に関する。
光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するＴｏＦ(Time of Flight)と呼ばれる測距方式が知られている。このＴｏＦ方式の測距において、受光部が受光する光には、測距に有効な光源から射出された光の反射光以外にも、太陽光などによる環境光が含まれる。ＴｏＦ方式の測距を行う測距装置（以下、ＴｏＦ方式測距装置）では、受光部に受光された光から、この環境光の成分を除去した反射光成分に基づき、被測定物までの距離を取得する。
また、ＴｏＦ方式測距装置においては、適切な輝度で光を受光するために、ＡＥ(Automatic Exposure)機能が搭載される場合がある。ＡＥ機能を利用することで、撮影シーンの明るさなどに応じて露光（輝度）が自動調整され、撮影シーンに依らず良好に測距精度を得ることが可能となる。
特開２０１８−１１７１１７号公報
ところで、ＴｏＦ方式測距装置において取得された、環境光成分を含む光による画像や、環境光成分を除去した反射光成分の光による画像を、測距以外の他の用途に利用したい場合がある。このように、ＴｏＦ方式測距装置において取得された各画像を副次的に利用する場合、各画像の輝度がＴｏＦ方式による測距に合わせてＡＥ機能により変動することは、好ましくない。
本開示は、ＴｏＦ方式に対応して調整された画像を副次的に利用する際の利便性を向上させることが可能な測距装置を提供することを目的とする。
本開示に係る計測装置は、光源部の発光に応じて受光部が位相毎の受光を行い、位相毎の受光により受光部が出力した位相毎の受光信号に基づき距離情報の算出を行う測距部と、位相毎の受光信号のレベルを、位相毎の受光信号に基づく距離情報の算出に応じて制御する制御部と、位相毎の受光信号に基づき画像信号を生成する生成部と、調整値に従い画像信号のレベルを調整する調整部と、を備え、制御部は、距離情報の算出に応じて制御した位相毎の受光信号に基づき調整値を生成する。
各実施形態に適用可能な測距装置を用いた電子機器の一例の構成を示すブロック図である。 間接ＴｏＦ方式の原理を説明するための図である。 光源部からの射出光がＰＷＭにより変調された矩形波である場合の例を示す図である。 受光部に受光される光量の例を示す図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第１の方法を説明するための図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第２の方法を説明するための図である。 各実施形態に適用可能な各光量値の取得および各情報の算出の第３の方法を説明するための図である。 受光部毎の各位相におけるタップＡおよびタップＢの露光期間の例を示す図である。 各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。 各実施形態に適用可能なセンサユニットの構成の例を示すブロック図である。 各実施形態に適用可能な画素の一例の構成を示す回路図である。 各実施形態に適用可能なセンサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 各実施形態に適用可能な、センサユニットを層構造の積層型ＣＩＳにより形成した例を示す図である。 既存技術による測距装置の機能を説明するための一例の機能ブロック図である。 既存技術による測距装置における処理を示す一例のフローチャートである。 第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第１の実施形態に適用可能な制御部の機能を説明するための一例の機能ブロック図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 各実施形態に適用可能な、制御値生成部が生成する制御信号について概略的に説明するための図である。 第１の実施形態に適用可能な測距部の機能を説明するための一例の機能ブロック図である。 第１の実施形態に適用可能な、調整部の機能を説明するための一例の機能ブロック図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 距離情報と、直接反射光情報と、スケール調整された直接反射光情報と、について、より具体的に説明するための図である。 第１の実施形態に係る測距装置における処理を示す一例のフローチャートである。 第２の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る調整部の機能を説明するための一例の機能ブロック図である。 第３の実施形態に係る測距装置における処理を示す一例のフローチャートである。 第４の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。
以下、本開示の各実施形態について、図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
（各実施形態に共通の構成）
本開示は、光を用いて測距を行う技術に用いて好適なものである。本開示の実施形態の説明に先んじて、理解を容易とするために、実施形態に適用な測距方式の一つとして、間接ＴｏＦ(Time of Flight)方式について説明する。間接ＴｏＦ方式は、例えばＰＷＭ(Pulse Width Modulation)により変調された光源光（例えば赤外領域のレーザ光）を被測定物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
図１は、各実施形態に適用可能な測距装置を用いた電子機器の一例の構成を示すブロック図である。図１において、電子機器１は、測距装置１０と、アプリケーション部２０と、を含む。アプリケーション部２０は、例えばＣＰＵ(Central Processing Unit)上でプログラムが動作することで実現され、測距装置１０に対して測距の実行を要求し、測距の結果である距離情報などを測距装置１０から受け取る。
測距装置１０は、光源部１１と、受光部１２と、測距処理部１３と、を含む。光源部１１は、例えば赤外領域の波長の光を発光する発光素子と、当該発光素子を駆動して発光させる駆動回路と、を含む。光源部１１が含む発光素子として、例えばＬＥＤ(Light Emitting Diode)を適用することができる。これに限らず、光源部１１が含む発光素子として、複数の発光素子がアレイ状に形成されたＶＣＳＥＬ(Vertical Cavity Surface Emitting LASER)を適用することもできる。以下、特に記載の無い限り、「光源部１１の発光素子が発光する」ことを、「光源部１１が発光する」などのように記述する。
受光部１２は、例えば赤外領域の波長の光を検出可能な受光素子と、当該受光素子に検出された光に応じた画素信号を出力する信号処理回路と、を含む。受光部１２が含む受光素子として、フォトダイオードを適用することができる。以下、特に記載の無い限り、「受光部１２が含む受光素子が受光する」ことを、「受光部１２が受光する」などのように記述する。
測距処理部１３は、例えばアプリケーション部２０からの測距指示に応じて、測距装置１０における測距処理を実行する。例えば、測距処理部１３は、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。また、測距処理部１３は、光源部１１に供給する光源制御信号と同期して受光部１２による受光を制御する。例えば、測距処理部１３は、受光部１２における露光期間を制御する露光制御信号を光源制御信号と同期させて生成し、受光部１２供給する。受光部１２は、この露光制御信号に示される露光期間内において、有効な画素信号を出力する。
測距処理部１３は、受光に応じて受光部１２から出力された画素信号に基づき距離情報を算出する。また、測距処理部１３は、この画素信号に基づき所定の画像情報を生成することも可能である。測距処理部１３は、画素信号に基づき算出および生成した距離情報および画像情報をアプリケーション部２０に渡す。
このような構成において、測距処理部１３は、例えばアプリケーション部２０からの測距を実行する旨の指示に従い、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。ここでは、測距処理部１３は、ＰＷＭにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部１１に供給する。それと共に、測距処理部１３は、受光部１２による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
測距装置１０において、光源部１１は、測距処理部１３が生成した光源制御信号に応じて所定のデューティに従い明滅して発光する。光源部１１において発光した光は、射出光３０として光源部１１から射出される。この射出光３０は、例えば被測定物３１に反射され、反射光３２として受光部１２に受光される。受光部１２は、反射光３２の受光に応じた画素信号を測距処理部１３に供給する。なお、実際には、受光部１２には、反射光３２以外に、周囲の環境光も受光され、画素信号は、反射光３２の成分と共に、この環境光の成分を含む。
測距処理部１３は、受光部１２による受光を、異なる位相で複数回、実行する。測距処理部１３は、異なる位相での受光による画素信号の差分に基づき、被測定物までの距離Ｄを算出する。また、測距処理部１３は、当該画素信号の差分に基づき反射光３２の成分を抽出した第１の画像情報と、反射光３２の成分と環境光の成分とを含む第２の画像情報と、を算出する。以下、第１の画像情報を直接反射光情報と呼び、第２の画像情報をＲＡＷ画像情報と呼ぶ。
（各実施形態に適用可能な間接ＴｏＦ方式による測距について）
次に、各実施形態に適用可能な間接ＴｏＦ方式による測距について説明する。図２は、間接ＴｏＦ方式の原理を説明するための図である。図２において、光源部１１が射出する射出光３０として、正弦波により変調された光を用いている。反射光３２は、理想的には、射出光３０に対して、距離Ｄに応じた位相差ｐｈａｓｅを持った正弦波となる。
測距処理部１３は、反射光３２を受光した画素信号に対して、異なる位相で複数回のサンプリングを行い、サンプリング毎に、光量を示す光量値を取得する。図２の例では、射出光３０に対して位相が９０°ずつ異なる、位相０°、位相９０°、位相１８０°および位相２７０°の各位相において、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をそれぞれ取得している。間接ＴｏＦ方式においては、各位相０°、９０°、１８０°および２７０°のうち、位相が１８０°異なる組の光量値の差分に基づき、距離情報を算出する。
図３を用いて、間接ＴｏＦ方式における距離情報の算出方法について、より具体的に説明する。図３は、光源部１１からの射出光３０がＰＷＭにより変調された矩形波である場合の例を示す図である。図３において、上段から、光源部１１による射出光３０、受光部１２に到達した反射光３２を示す。図３の上段に示されるように、光源部１１は、所定のデューティで周期的に明滅して射出光３０を射出する。
図３において、さらに、受光部１２の位相０°（Φ＝０°と記載）、位相９０°（Φ＝９０°と記載）、位相１８０°（Φ＝１８０°と記載）、および、位相２７０°（Φ＝２７０°と記載）それぞれにおける露光制御信号を示している。例えば、この露光制御信号がハイ（Ｈｉｇｈ）状態の期間が、受光部１２が有効な画素信号を出力する露光期間とされる。
図３の例では、時点ｔ0において光源部１１から射出光３０が射出され、時点ｔ0から被測定物までの距離Ｄに応じた遅延の後の時点ｔ1に、当該射出光３０が被測定物により反射された反射光３２が受光部１２に到達している。
一方、受光部１２は、測距処理部１３からの露光制御信号に従い、光源部１１における射出光３０の射出タイミングの時点ｔ0に同期して、位相０°の露光期間が開始される。同様に、受光部１２は、測距処理部１３からの露光制御信号に従い、位相９０°、位相１８０°および位相２７０°の露光期間が開始される。ここで、各位相における露光期間は、射出光３０のデューティに従ったものとなる。なお、図３の例では、説明のため、各位相の露光期間が時間的に並列しているように示されているが、実際には、受光部１２は、各位相の露光期間がシーケンシャルに指定され、各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270がそれぞれ取得される。
図３の例では、反射光３２の到達タイミングが、時点ｔ1、ｔ2、ｔ3、…となっており、位相０°における光量値Ｃ0が、時点ｔ0から位相０°における当該時点ｔ0が含まれる露光期間の終了時点までの受光光量の積分値として取得される。一方、位相０°に対して１８０°位相が異なる位相１８０°においては、光量値Ｃ180が、当該位相１８０°における露光期間の開始時点から、当該露光期間に含まれる反射光３２の立ち下がりの時点ｔ2までの受光光量の積分値として取得される。
位相Ｃ９０と、当該位相９０°に対して１８０°位相が異なる位相２７０°についても、上述の位相０°および１８０°の場合と同様にして、それぞれの露光期間内において反射光３２が到達した期間の受光光量の積分値が、光量値Ｃ90およびＣ270として取得される。
これら光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち、次式（１）および式（２）に示されるように、位相が１８０°異なる光量値の組み合わせに基づき、差分Ｉと差分Ｑとを求める。
Ｉ＝Ｃ0−Ｃ180 …（１）
Ｑ＝Ｃ90−Ｃ270 …（２）
これら差分ＩおよびＱに基づき、位相差ｐｈａｓｅは、次式（３）により算出される。なお、式（３）において、位相差ｐｈａｓｅは、（０≦ｐｈａｓｅ＜２π）の範囲で定義される。
ｐｈａｓｅ＝ｔａｎ-1(Ｑ／Ｉ) …（３）
位相差ｐｈａｓｅと、所定の係数ｒａｎｇｅとを用いて、距離情報Ｄｅｐｔｈは、次式（４）により算出される。
Ｄｅｐｔｈ＝(ｐｈａｓｅ×ｒａｎｇｅ)／２π …（４）
また、差分ＩおよびＱに基づき、受光部１２に受光された光の成分から反射光３２の成分（直接反射光情報）を抽出できる。直接反射光情報ＤｉＲｅｆｌは、差分ＩおよびＱそれぞれの絶対値を用いて、次式（５）により算出される。
ＤｉＲｅｆｌ＝｜Ｉ｜＋｜Ｑ｜ …（５）
また、ＲＡＷ画像情報ＲＡＷは、次式（６）に示すように、各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の平均値として算出することができる。
ＲＡＷ＝(Ｃ0＋Ｃ90＋Ｃ180＋Ｃ270)／４ …（６）
図４は、受光部１２に受光される光量の例を示す図である。上述したように、受光部１２には、光源部１１からの射出光３０が被測定物３１で反射した反射光３２すなわち直接反射光に加えて、光源部１１からの射出光３０が寄与しない環境光も受光される。そのため、受光部１２に受光される光量は、直接反射光の光量と、環境光の光量と、の和となる。上述した式（１）〜式（３）、および、式（５）の計算により、環境光の成分がキャンセルされ、直接反射光の成分が抽出される。
一方、ＲＡＷ画像は、上述の式（６）に示すように、各位相の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の平均値であるので、図４に例示されるように、環境光の成分を含むものとなる。
次に、図５Ａ〜図５Ｃを用いて、各実施形態に適用可能な、各位相の各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270の取得方法、ならびに、距離情報および直接反射光情報ＤｉＲｅｆｌの計算方法について、より具体的に説明する。
図５Ａは、各実施形態に適用可能な各光量値の取得および各情報の算出の第１の方法を説明するための図である。図５Ａにおいて、受光部１２は、各位相についてシーケンシャルに各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を取得する。図５Ａの例では、受光部１２は、時点ｔ10〜ｔ11の期間に位相０°による露光を行い、時点ｔ11から所定の時間（例えば処理の切り替え時間）を挟んだ時点ｔ12〜ｔ13の期間に位相９０°による露光を行う。以下同様に、時点ｔ13から所定の時間を挟んだ時点ｔ14〜ｔ15の期間に位相１８０°による受光を行い、時点ｔ15から所定の時間を挟んだ時点ｔ16〜ｔ17の期間に位相２７０°による露光を行う。
時点ｔ17から所定の時間を挟んだ時点ｔ18において、上述した時点ｔ10からの動作を再び実行する。
この、図５Ａに示した、各位相についてシーケンシャルに各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を取得する方式を、１タップ方式と呼ぶ。
ここで、各位相による露光を行うシーケンスを、１マイクロフレーム（μＦｒａｍｅ）とする。図５Ａの例では、時点ｔ10〜ｔ18の期間が、１マイクロフレームの期間となる。１マイクロフレームの期間は、撮像の１フレーム期間（例えば１／３０ｓｅｃ）より短い期間であって、１マイクロフレームの処理を、１フレーム期間内に複数回、実行することができる。
測距処理部１３は、１マイクロフレームの期間内に取得された、各位相において順次に取得された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を、例えばメモリに記憶する。測距処理部１３は、メモリに記憶された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出する。
この場合、差分ＩおよびＱ、位相差ｐｈａｓｅ、ならびに、距離情報Ｄｅｐｔｈは、上述した式（１）〜式（４）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述した式（６）を用いて算出できる。一方、直接反射光情報ＤｉＲｅｆｌは、ここでは、次式（７）を用いて算出することができる。
ＤｉＲｅｆｌ＝(Ｉ2＋Ｑ2)1/2 …（７）
図５Ｂは、各実施形態に適用可能な各光量値の取得および各情報の算出の第２の方法を説明するための図である。この第２の方法では、受光部１２は、１つの受光素子に対して２つの読み出し回路（タップＡ、タップＢとする）を備え、このタップＡおよびタップＢによる読み出しをシーケンシャル（交互）に実行可能とされている（詳細は後述する）。
図５Ｂにおいて、受光部１２は、各位相それぞれにおいて、タップＡおよびタップＢの読み出しをシーケンシャルに実行する。さらに、受光部１２は、１マイクロフレームの期間内において、各位相の読み出しをシーケンシャルに実行する。
すなわち、図５Ｂの例では、受光部１２は、時点ｔ20〜ｔ21の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ21から所定の時間を挟んだ時点ｔ22〜ｔ23の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
以下同様に、時点ｔ23から所定の時間を挟んだ時点ｔ24〜ｔ25の期間に位相１８０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ180および光量値Ｂ180をそれぞれ求める。さらに、受光部１２は、時点ｔ25から所定の時間を挟んだ時点ｔ26〜ｔ27の期間に位相２７０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ270および光量値Ｂ270をそれぞれ求める。
時点ｔ27から所定の時間を挟んだ時点ｔ28において、上述した時点ｔ20からの動作を再び実行する。
この、図５Ｂに示した、各位相０°、９０°、１８０°および２７０°についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、４位相／２タップ方式と呼ぶ。
この第２の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、Ａ90およびＢ90、Ａ180およびＢ180、ならびに、Ａ270およびＢ270を用いて、次式（８）および（９）により算出される。
Ｉ＝Ｃ0−Ｃ180＝(Ａ0−Ｂ0)−(Ａ180−Ｂ180) …（８）
Ｑ＝Ｃ90−Ｃ270＝(Ａ90−Ｂ90)−(Ａ270−Ｂ270) …（９）
位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび直接反射光情報ＤｉＲｅｆｌは、これら式（８）および（９）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（７）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述の式（６）に倣い、各光量値Ａ0およびＢ0、Ａ90およびＢ90、Ａ180およびＢ180、ならびに、Ａ270およびＢ270の平均値として算出できる。
この図５Ｂに示した４位相／２タップ方式では、各位相における露光期間を、タップＡおよびタップＢにより冗長化している。そのため、算出される距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのＳ／Ｎ比を向上させることが可能となる。
図５Ｃは、各実施形態に適用可能な各光量値の取得および各情報の算出の第３の方法を説明するための図である。この第３の方法では、受光部１２は、上述の第２の方法と同様にタップＡおよびタップＢを備え、このタップＡおよびタップＢからの読み出しをシーケンシャルに実行する。さらに、受光部１２は、上述した各位相０°、９０°、１８０°および２７０°のうち、位相０°および９０°の読み出しをシーケンシャルに実行する。この第３の方法では、この位相０°および９０°の読み出しの期間を、１マイクロフレームの期間としている。
図５Ｃの場合、読み出しシーケンスは、上述した図５Ｂの時点ｔ20〜24と同様のシーケンスとなる。すなわち、受光部１２は、時点ｔ30〜ｔ31の期間に、位相０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ0および光量値Ｂ0をそれぞれ求める。受光部１２は、時点ｔ31から所定の時間を挟んだ時点ｔ32〜ｔ33の期間に位相９０°による露光を行う。測距処理部１３は、タップＡおよびタップＢそれぞれにより読み出された画素信号に基づき、光量値Ａ90および光量値Ｂ90をそれぞれ求める。
時点ｔ33から所定の時間を挟んだ時点ｔ34において、上述した時点ｔ30からの動作を再び実行する。
この、図５Ｃに示した、各位相０°および９０についてタップＡおよびＢによる読み出しをシーケンシャルに実行し、さらに、各位相０°および９０°についてタップＡおよびＢの読み出しに基づく各光量値を求める方法を、２位相／２タップ方式と呼ぶ。
ここで、図５Ｃの２位相／２タップ方式では、各位相０°および９０°において、それぞれタップＡおよびタップＢによる読み出しをシーケンシャルに実行している。これは、例えば位相０°において、位相０°と、位相０°から位相が１８０°異なる位相１８０°と、の読み出しをそれぞれ実行していることに相当する。同様に、位相９０°において、位相９０°と、位相９０°から位相が１８０°異なる位相２７０°と、の読み出しをそれぞれ実行していることに相当する。
図６を用いて、受光部１２におけるタップＡおよびタップＢによる読み出しの位相差について説明する。図６は、受光部１２毎（受光素子毎）の各位相０°、９０°、１８０°および２７０°におけるタップＡおよびタップＢの露光期間の例を示す図である。なお、図６では、説明のため、各位相の露光期間を、位相を合わせて並列に並べて示している。実際には、図５Ａ〜図５Ｃを用いて説明したように、各位相の露光は、シーケンシャルに実行される。
図６において、位相０°のタップＡおよびタップＢによる露光（それぞれ光量値Ａ0およびＢ0として示す）がシーケンシャルに（交互に）実行される。一方、位相１８０°のタップＡおよびタップＢによる露光が、位相０°のタップＡおよびタップＢによる露光に対して位相が１８０°遅れて、タップＡおよびタップＢによる露光がシーケンシャルに実行される。このとき、位相０°におけるタップＡによる露光期間と、位相１８０°におけるタップＢの露光期間と、の位相が一致する。同様に、位相０°におけるタップＢによる露光期間と、位相１８０°におけるタップＡによる露光期間と、の位相が一致する。
すなわち、例えば位相０°におけるタップＡおよびタップＢによる露光期間は、位相０°における露光期間と、位相１８０°における露光期間と考えることができる。したがって、この第３の方法の場合、差分ＩおよびＱは、各光量値Ａ0およびＢ0、ならびに、Ａ90およびＢ90を用いて、次式（１０）および（１１）により算出される。
Ｉ＝Ｃ0−Ｃ180＝(Ａ0−Ｂ0) …（１０）
Ｑ＝Ｃ90−Ｃ270＝(Ａ90−Ｂ90) …（１１）
位相差ｐｈａｓｅ、距離情報Ｄｅｐｔｈおよび直接反射光情報ＤｉＲｅｆｌは、これら式（１０）および（１１）により算出された差分ＩおよびＱを用いて、上述した式（３）、（４）および（７）により算出できる。また、ＲＡＷ画像情報ＲＡＷは、上述の式（６）に倣い、各光量値Ａ0およびＢ0、ならびに、Ａ90およびＢ90の平均値として算出できる。
このように、１つの受光素子に対して２つの読み出し回路（タップＡおよびタップＢ）が設けられ、これらタップＡおよびタップＢによる読み出しをシーケンシャルに実行する。これにより、位相が１８０°異なる露光期間を１つの位相（例えば位相０°）において実現できる。したがって、図５Ｃに示した２位相／２タップ方式では、図５Ａに示した１タップ方式と同等の結果を、１タップ方式に対して短時間で得ることができる。
（各実施形態に適用可能な構成）
次に、各実施形態に適用可能な構成の例について説明する。図７は、各実施形態に適用可能な電子機器の一例の構成を示すブロック図である。図７において、電子機器２は、ＣＰＵ(Central Processing Unit)１００と、ＲＯＭ(Read Only Memory)１０１と、ＲＡＭ(Random Access Memory)１０２と、ストレージ１０３と、ＵＩ(User Interface)部１０４と、インタフェース（Ｉ／Ｆ）１０５と、を含む。さらに、電子機器２は、図１の光源部１１および受光部１２にそれぞれ対応する光源ユニット１１０およびセンサユニット１１１と、を含む。
なお、この図７に示す電子機器２として、例えばスマートフォン（多機能型携帯電話端末）やタブレット型パーソナルコンピュータを適用することが考えられる。この電子機器２が適用される機器は、これらスマートフォンやタブレット型パーソナルコンピュータに限定されない。
ストレージ１０３は、フラッシュメモリやハードディスクドライブといった、不揮発性の記憶媒体である。ストレージ１０３は、各種のデータや、ＣＰＵ１００が動作するためのプログラムを記憶することができる。また、ストレージ１０３は、図１を用いて説明したアプリケーション部２０を実現するためのアプリケーションプログラム（以下、アプリと略称する）を記憶することができる。ＲＯＭ１０１は、ＣＰＵ１００が動作するためのプログラムおよびデータが予め記憶される。ＲＡＭ１０２は、データを記憶する揮発性の記憶媒体である。
ＣＰＵ１００は、ストレージ１０３やＲＯＭ１０１に記憶されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて動作し、この電子機器２の全体の動作を制御する。
ＵＩ部１０４は、この電子機器２を操作するための各種操作子、電子機器２の状態を表示するための表示素子などが配置される。ＵＩ部１０４は、さらに、後述するセンサユニット１１１により撮像された画像を表示するディスプレイを含めてもよい。また、このディスプレイを、表示デバイスと入力デバイスとが一体的に形成されたタッチパネルとしてもよく、各種操作子を、タッチパネルに表示される各部品により構成してもよい。
光源ユニット１１０は、ＬＥＤやＶＣＳＥＬといった発光素子と、当該発光素子を駆動するためのドライバと、を含む。光源ユニット１１０において、ドライバは、ＣＰＵ１００の指示に応じて所定のデューティの駆動信号を生成する。発光素子は、ドライバにより生成された駆動信号に従い発光し、ＰＷＭにより変調された光を射出光３０として射出する。
センサユニット１１１は、複数の受光素子がアレイ状に配列された画素アレイ部と、画素アレイ部に配列される複数の受光素子を駆動し、各受光素子から読み出された画素信号を出力する駆動回路と、を含む。センサユニット１１１から出力された画素信号は、ＣＰＵ１００に供給される。
次に、図８〜図１１を用いて、各実施形態に適用可能なセンサユニット１１１について説明する。
図８は、各実施形態に適用可能なセンサユニット１１１の構成の例を示すブロック図である。図８において、センサユニット１１１は、センサチップ１１１０と、センサチップ１１１０に積層された回路チップ１１２０と、を含む積層構造を有している。この積層構造において、センサチップ１１１０と回路チップ１１２０とは、ビア（ＶＩＡ）やＣｕ−Ｃｕ接続などの接続部（図示しない）を通じて、電気的に接続される。図８の例では、当該接続部により、センサチップ１１１０の配線と、回路チップ１１２０の配線とが接続された状態が示されている。
画素エリア１１１１は、センサチップ１１１０上にアレイ状の配列で配置された複数の画素１１１２を含んでいる。例えば、この画素エリア１１１１に含まれる複数の画素１１１２から出力される画素信号に基づき、１フレームの画像信号が形成される。画素エリア１１１１に配置された各画素１１１２は、例えば赤外光を受光可能とされ、受光した赤外光に基づき光電変換を行いアナログ画素信号を出力する。画素エリア１１１１に含まれる各画素１１１２は、それぞれ２本の垂直信号線ＶＳＬ1およびＶＳＬ2が接続される。
センサユニット１１１は、さらに、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４が回路チップ１１２０に配置されている。
タイミング制御回路１１２３は、外部から制御線５０を介して供給される素子制御信号に応じて、垂直駆動回路１１２１の駆動タイミングを制御する。また、タイミング制御回路１１２３は、当該素子制御信号に基づき垂直同期信号を生成する。カラム信号処理部１１２２、出力回路１１２４は、タイミング制御回路１１２３により生成された垂直同期信号と同期して、それぞれの処理を実行する。
画素１１１２の列毎に、図８上の垂直方向に垂直信号線ＶＳＬ1およびＶＳＬ2が配線される。画素エリア１１１１内の列の総数をＭ列（Ｍは１以上の整数）とすると、画素エリア１１１１には、合計で２×Ｍ本の垂直信号線が配線される。詳細は後述するが、それぞれの画素１１１２は、それぞれ光電変換により生成された電荷を蓄積する２つのタップＡ（ＴＡＰ＿Ａ）およびタップＢ（ＴＡＰ＿Ｂ）を含む。垂直信号線ＶＳＬ1は、画素１１１２のタップＡに接続され、垂直信号線ＶＳＬ2は、画素１１１２のタップＢに接続される。
垂直信号線ＶＳＬ1は、対応する画素列の画素１１１２のタップＡの電荷に基づくアナログ画素信号である画素信号ＡＩＮP1が出力される。また、垂直信号線ＶＳＬ2は、対応する画素列の画素１１１２のタップＢの電荷に基づくアナログ画素信号である画素信号ＡＩＮP2が出力される。
垂直駆動回路１１２１は、タイミング制御回路１１２３によるタイミング制御に従い、画素エリア１１１１に含まれる各画素１１１２を画素行の単位で駆動し、画素信号ＡＩＮP1およびＡＩＮP2を出力させる。各画素１１１２から出力された画素信号ＡＩＮP1およびＡＩＮP2は、各列の垂直信号線ＶＳＬ1およびＶＳＬ2を介してカラム信号処理部１１２２に供給される。
カラム信号処理部１１２２は、画素エリア１１１１の画素列に対応して、例えば画素列毎に設けられた複数のＡＤ変換器を含む。カラム信号処理部１１２２に含まれる各ＡＤ変換器は、垂直信号線ＶＳＬ1およびＶＳＬ2を介して供給される画素信号ＡＩＮP1およびＡＩＮP2に対してＡＤ変換を実行し、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2を出力回路１１２４に供給する。
出力回路１１２４は、ＣＤＳ(Correlated Double Sampling)処理などの信号処理を、カラム信号処理部１１２２から出力された、ディジタル信号に変換された画素信号ＡＩＮP1およびＡＩＮP2に対して実行し、信号処理された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれタップＡから読み出した画素信号、タップＢから読み出した画素信号として、出力線５１を介してセンサユニット１１１の外部に出力する。
図９は、各実施形態に適用可能な画素１１１２の一例の構成を示す回路図である。画素１１１２は、フォトダイオード２３１、２つの転送トランジスタ２３２および２３７、２つのリセットトランジスタ２３３および２３８、２つの浮遊拡散層２３４および２３９、２つの増幅トランジスタ２３５および２４０、ならびに、２つの選択トランジスタ２３６および２４１を含む。浮遊拡散層２３４および２３９は、それぞれ上述したタップＡ（ＴＡＰ＿Ａと記載）およびタップＢ（ＴＡＰ＿Ｂと記載）に対応する。
フォトダイオード２３１は、受光した光を光電変換して電荷を生成する受光素子である。フォトダイオード２３１は、半導体基板において回路を配置する面を表面として、表面に対する裏面に配置される。このような固体撮像素子は、裏面照射型の固体撮像素子と呼ばれる。なお、裏面照射型の代わりに、表面にフォトダイオード２３１を配置する表面照射型の構成を用いることもできる。
オーバーフロートランジスタ２４２は、フォトダイオード２３１のカソードと電源ラインＶＤＤとの間に接続されており、フォトダイオード２３１をリセットする機能を有する。すなわち、オーバーフロートランジスタ２４２は、垂直駆動回路１１２１から供給されるオーバーフローゲート信号ＯＦＧに応じてオン状態となることで、フォトダイオード２３１の電荷をシーケンシャルに電源ラインＶＤＤに排出する。
転送トランジスタ２３２は、フォトダイオード２３１のカソードと浮遊拡散層２３４と、の間に接続される。また、転送トランジスタ２３７は、フォトダイオード２３１のカソードと、浮遊拡散層２３９と、の間に接続される。転送トランジスタ２３２および２３７は、それぞれ、垂直駆動回路１１２１から供給される転送信号ＴＲＧに応じて、フォトダイオード２３１で生成された電荷を、浮遊拡散層２３４および２３９にそれぞれシーケンシャルに転送する。
それぞれタップＡおよびタップＢに対応する浮遊拡散層２３４および２３９は、フォトダイオード２３１から転送された電荷を蓄積し、蓄積した電荷量に応じた電圧値の電圧信号に変換し、アナログ画素信号である画素信号ＡＩＮP1およびＡＩＮP2をそれぞれ生成する。
また、２つのリセットトランジスタ２３３および２３８が電源ラインＶＤＤと、浮遊拡散層２３４および２３９それぞれとの間に接続される。リセットトランジスタ２３３および２３８は、垂直駆動回路１１２１から供給されるリセット信号ＲＳＴおよびＲＳＴpに応じてオン状態となることで、浮遊拡散層２３４および２３９それぞれから電荷を引き抜いて、浮遊拡散層２３４および２３９を初期化する。
２つの増幅トランジスタ２３５および２４０は、電源ラインＶＤＤと、選択トランジスタ２３６および２４１それぞれとの間に接続される。各増幅トランジスタ２３５および２４０は、浮遊拡散層２３４および２３９のそれぞれで電荷が電圧に変換された電圧信号を増幅する。
選択トランジスタ２３６は、増幅トランジスタ２３５と、垂直信号線ＶＳＬ1との間に接続される。また、選択トランジスタ２４１は、増幅トランジスタ２４０と、垂直信号線ＶＳＬ2との間に接続される。選択トランジスタ２３６および２４１は、垂直駆動回路１１２１から供給される選択信号ＳＥＬおよびＳＥＬpに応じてオン状態とされることで、増幅トランジスタ２３５および２４０それぞれで増幅された画素信号ＡＩＮP1およびＡＩＮP2を、それぞれ垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2に出力する。
画素１１１２に接続される垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、カラム信号処理部１１２２に含まれる１つのＡＤ変換器の入力端に接続される。垂直信号線ＶＳＬ1および垂直信号線ＶＳＬ2は、画素列毎に、画素１１１２から出力される画素信号ＡＩＮP1およびＡＩＮP2を、カラム信号処理部１１２２に含まれるＡＤ変換器に供給する。
図１０および図１１を用いて、センサユニット１１１の積層構造について概略的に説明する。
一例として、センサユニット１１１を、半導体チップを２層に積層した２層構造により形成することができる。図１０は、各実施形態に適用可能なセンサユニット１１１を２層構造の積層型ＣＩＳ(Complementary Metal Oxide Semiconductor Image Sensor)により形成した例を示す図である。図１０の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成し、回路チップ１１２０である第２層の半導体チップに回路部を形成している。
回路部は、例えば、垂直駆動回路１１２１、カラム信号処理部１１２２、タイミング制御回路１１２３および出力回路１１２４を含む。なお、センサチップ１１１０が画素エリア１１１１と例えば垂直駆動回路１１２１とを含む構成でもよい。図１０の右側に示されるように、センサチップ１１１０と、回路チップ１１２０とを電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
別の例として、センサユニット１１１を半導体チップを３層に積層した３層構造により形成することができる。図１１は、各実施形態に適用可能な、センサユニット１１１を３層構造の積層型ＣＩＳにより形成した例を示す図である。図１１の構造では、センサチップ１１１０である第１層の半導体チップに画素エリア１１１１を形成する。また、上述した回路チップ１１２０を、第２層の半導体チップによる第１の回路チップ１１２０ａと、第３層の半導体チップによる第２の回路チップ１１２０ｂと、に分割して形成している。図１１の右側に示されるように、センサチップ１１１０と、第１の回路チップ１１２０ａと、第２の回路チップ１１２０ｂと、を電気的に接触させつつ貼り合わせることで、センサユニット１１１を１つの固体撮像素子として構成する。
（既存技術による測距装置の例）
次に、既存技術による測距装置による処理について説明する。図１２は、既存技術による測距装置の機能を説明するための一例の機能ブロック図である。図１２において、測距装置１０００は、光源部１１と、受光部１２と、制御部１４０と、測距部１４１と、を含む。
制御部１４０は、光源制御信号を生成し、光源部１１に供給する。光源制御信号は、例えばＰＷＭの変調におけるデューティ、光源部１１により発光される光の強度、発光のタイミングなどを指定する情報を含む。光源部１１は、制御部１４０から供給される光源制御信号に応じて、ＰＷＭにより変調された射出光３０（図１参照）を射出する。また、制御部１４０は、露光制御信号を生成し、受光部１２に供給する。露光制御信号は、受光部１２に対して、光源部１１のデューティに従った露光長の露光を、異なる位相それぞれにおいて行うように制御する情報を含む。また、露光制御信号は、受光部１２における露光量を制御するための情報をさらに含む。
受光部１２から出力された各位相の画素信号は、測距部１４１に供給される。測距部１４１は、受光部１２から供給された各位相の画素信号に基づき、上述の式（１）〜（４）、（６）および（７）の演算を行い、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを算出する。式（７）の代わりに式（５）を用いてもよい。測距部１４１は、算出した距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に渡す。
ここで、上述した制御部１４０は、受光部１２から供給された各位相（例えば位相０°、９０°、１８０°および２７０°）の各画素信号に基づき、受光部１２における露光量を制御するための制御信号を生成する。制御部１４０が生成するこの制御信号は、測距部１４１が、撮像するシーンに依らず適切に距離情報Ｄｅｐｔｈを算出可能とするためのものである。例えば、制御部１４０は、各位相の画素信号に基づく各光量値を適切な範囲内の値に調整するように、制御信号を生成する。
すなわち、より具体的には、上述した式（１）および（２）を参照すると、各位相それぞれに対応する各画素信号のうち１以上の画素信号が飽和している、あるいは、所定以下のレベルであるような場合、差分ＩおよびＱを適切に算出できないおそれがある。この場合、測距部１４１において差分ＩおよびＱに基づき算出される距離情報Ｄｅｐｔｈの信頼性も、低いものとなってしまう。
そのため、制御部１４０は、各位相の各画素信号に基づく各光量値を適切な範囲内の値に制御するする制御信号を求める。制御部１４０は、求めた制御信号に基づき、受光部１２によるゲインや露光時間、光源部１１による発光のデューティや強度を制御して、受光部１２に受光される光量が適切になるように調整する。
一例として、被測定物３１の反射率が低い場合や、測距部１４１が算出した距離情報Ｄｅｐｔｈに示される距離が所定以上である場合、算出される距離情報ＤｅｐｔｈのＳ／Ｎが低くなり、この距離情報Ｄｅｐｔｈの精度が低下する。この場合、制御部１４０は、測距部１４１により算出される距離情報ＤｅｐｔｈのＳ／Ｎを維持するために、受光部１２による露光時間が長くなるように受光部１２を制御する制御信号を生成する。
制御部１４０は、生成した制御信号をレジスタなどに記憶する。制御部１４０は、光源部１１による発光および受光部１２による受光を、所定周期のフレーム毎に実行する。制御部１４０は、レジスタに記憶された制御情報に基づき１フレーム分の処理を行い、処理の結果に基づき制御信号を求め、レジスタに記憶される制御信号を更新する。
図１３は、既存技術による測距装置１０００における処理を示す一例のフローチャートである。例えば、アプリケーション部２０から測距装置１０００に対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図１３のフローチャートによる処理が開始される。
ステップＳ１００で、測距装置１０００は、制御部１４０により、レジスタに記憶された制御信号に基づき光源部１１および受光部１２を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部１２から制御部１４０および測距部１４１に渡される。
次のステップＳ１０１で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づき距離情報Ｄｅｐｔｈを算出する。より具体的には、測距部１４１は、撮像され受光部１２から供給された各位相の各画素信号に基づき上述した式（１）〜（４）の演算を行い、距離情報Ｄｅｐｔｈを算出する。測距装置１０００は、測距部１４１により算出された距離情報Ｄｅｐｔｈを、例えばアプリケーション部２０に出力する。
次のステップＳ１０２で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づき直接反射光情報ＤｉＲｅｆｌを算出する。より具体的には、測距部１４１は、ステップＳ１０１で距離情報Ｄｅｐｔｈの算出の際に求めた差分ＩおよびＱに基づき上述した式（７）または式（５）の演算を行い、直接反射光情報ＤｉＲｅｆｌを算出する。測距装置１０００は、測距部１４１により算出された直接反射光情報ＤｉＲｅｆｌを、例えばアプリケーション部２０に出力する。
次のステップＳ１０３で、測距装置１０００は、測距部１４１により、ステップＳ１００で撮像された撮像結果に基づきＲＡＷ画像情報ＲＡＷを算出する。より具体的には、測距部１４１は、ステップＳ１００の撮像により取得された各位相の各画素信号に基づき、上述した式（６）の演算を行い、ＲＡＷ画像情報ＲＡＷを算出する。測距装置１０００は、測距部１４１により算出されたＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に出力する。
次のステップＳ１０４で、測距装置１０００は、制御部１４０により、ステップＳ１００で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御する制御信号を求める。制御部１４０は、求めた制御信号をレジスタなどに記憶する。
次のステップＳ１０５で、測距装置１０００は、撮像が終了したか否かを判定する。測距装置１０００は、例えば、アプリケーション部２０から撮像の終了を指示する撮像終了指示を受け取った場合に、撮像が終了したと判定する（ステップＳ１０５、「Ｙｅｓ」）。この場合、測距装置１０００は、図１３のフローチャートによる一連の処理を終了させる。
一方、測距装置１０００は、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。このステップＳ１００〜ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
ここで、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷについて考える。上述の制御信号に基づき受光部１２によるゲインや露光時間、光源部１１による発光のデューティや強度が変化すると、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの信号値が変動する。
一方、測距部１４１が生成する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、測距以外にも、様々な用途に利用可能である。例えば、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、距離情報Ｄｅｐｔｈの精度向上のために利用することが考えられる。また、これら直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを、顔認識やＳＬＡＭ(Simultaneous Localization And Mapping)などに適用することも考えられる。さらに、間接ＴｏＦセンサとしての視点からの画像が重要となる場合も考えられる。さらにまた、当該測距装置１０００をスマートフォンに適用し、当該スマートフォンに多眼カメラが搭載される場合など、この多眼カメラによる撮像画像から合成画像を作成する際に、これら直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用することも考えられる。
これらのように、距離情報Ｄｅｐｔｈの算出に対して副次的に直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷを用いる場合、距離情報Ｄｅｐｔｈの算出のための制御信号に応じてこれら直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷの信号値が変動することは、好ましくない。
本開示においては、距離情報Ｄｅｐｔｈが適切に算出されるように生成された制御信号に応じて調整値を生成し、この調整値に基づき、直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷのスケール（信号レベル）を調整する。これにより、受光部１２から出力される画素信号を、距離情報Ｄｅｐｔｈを適切に算出するために制御した場合であっても、直接反射光情報ＤｉＲｅｆｌやＲＡＷ画像情報ＲＡＷの信号値を安定的とすることができる。
［第１の実施形態］
次に、本開示の第１の実施形態について説明する。図１４は、第１の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図１４において、測距装置１０ａは、光源部１１と、受光部１２と、制御部１３０と、測距部１３１と、調整部１３２と、を含む。これら光源部１１、受光部１２、制御部１３０、測距部１３１および調整部１３２のうち、制御部１３０、測距部１３１および調整部１３２は、例えばＣＰＵ１００（図７参照）上で所定のプログラムが動作することで構成される。これに限らず、制御部１３０、測距部１３１および調整部１３２のうち一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
なお、以下では、説明のため、受光部１２における各位相０°、９０°、１８０°および２７０°における各光量値の取得および各情報の算出は、図５Ａを用いて説明した１タップ方式により実行されるものとする。ただし、実際には、各位相における各光量値の取得および各情報の算出に、図５Ｂに示した４位相／２タップ方式を適用すると、算出される距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのＳ／Ｎ比を向上させることが可能となり、好ましい。
制御部１３０は、光源部１１の駆動を制御するための光源制御信号と、受光部１２における露光を制御するための露光制御信号と、を生成する。制御部１３０は、生成した各制御信号（光源制御信号および露光制御信号）を、レジスタなどに記憶する。
ここで、制御部１３０に対して、アプリケーション部２０からパラメータＰａｒａｍが供給される。パラメータＰａｒａｍは、例えばアプリケーション部２０の動作モードを示す値を含む。アプリケーション部２０の動作モードとしては、受光部１２から出力される画素信号に基づき顔認証を行うモード、当該画素信号に基づき人物認証を行うモードなど、認証系の動作モードが考えられる。また、アプリケーション部２０の動作モードとして、当該画素信号に基づく画像を表示する動作モードも考えられる。さらに、例えば顔認証モードは、距離情報Ｄｅｐｔｈに基づく３次元情報を用いた３次元顔認証モードと、直接反射光情報ＤｉＲｅｆｌに基づく２次元情報を用いた２次元顔認証モードと、を含むことができる。
制御部１３０は、上述した光源制御信号および露光制御信号を、アプリケーション部２０から供給されたパラメータＰａｒａｍに基づき、受光部１２から出力される画素信号がアプリケーション部２０の動作モードに対して適切となるように、光源制御信号および露光制御信号を生成する。
例えば、当該パラメータＰａｒａｍが３次元顔認証モードを示している場合には、制御部１３０は、測距部１３１により算出される距離情報Ｄｅｐｔｈが当該３次元顔認証モードによる顔認証に対して適切となるように、光源制御信号および露光制御信号を生成する。なお、このパラメータＰａｒａｍは、例えば、制御部１３０が光源制御信号および露光制御信号を生成するための各パラメータを含むことができる。
制御部１３０は、さらに、光源制御信号および露光制御信号に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを調整するための調整値を生成する。制御部１３０は、生成した調整値を調整部１３２に供給すると共に、レジスタなどに記憶する。
測距部１３１は、図１２を用いて説明した測距部１４１と対応する機能を有する。すなわち、測距部１３１は、受光部１２から供給された各位相の画素信号に基づき、上述の式（１）〜（４）、（６）および（７）の演算を行い、距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを算出する。測距部１３１から出力された距離情報Ｄｅｐｔｈ、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷは、例えばアプリケーション部２０に供給される。また、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷは、調整部１３２にも供給される。
調整部１３２は、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを、制御部１３０から供給された調整値に基づき調整する。調整部１３２は、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケールを調整した直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、アプリケーション部２０に渡す。
（第１の実施形態に係る構成の詳細）
図１５は、第１の実施形態に適用可能な制御部１３０の機能を説明するための一例の機能ブロック図である。図１５において、制御部１３０は、制御値生成部１３００と、記憶部１３０１と、駆動信号生成部１３０２と、受光制御部１３０３と、受光量検出部１３０４と、を含む。
駆動信号生成部１３０２は、制御値生成部１３００により生成された光源制御信号に従い、所定のデューティのＰＷＭにより変調され、且つ、所定レベルに制御された駆動信号を生成する。駆動信号生成部１３０２は、生成した駆動信号を光源部１１に供給する。光源部１１は、供給された駆動信号に基づき発光し、所定のデューティのＰＷＭにより変調された射出光３０を射出する。
受光制御部１３０３は、制御値生成部１３００により生成された露光制御信号に従い、受光部１２における露光期間およびゲインを制御する。受光部１２は、受光制御部１３０３により露光期間およびゲインを制御され、露光期間中に受光した光に応じた画素信号を出力する。
受光量検出部１３０４は、受光部１２により出力された画素信号が供給される。ここで、受光部１２により出力される画素信号は、各位相０°、９０°、１８０°および２７０°の各画素信号である。受光量検出部１３０４は、受光部１２から供給された画素信号に基づき、各位相において受光された光の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を求める。受光量検出部１３０４は、求めた各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を、制御値生成部１３００に渡す。
制御値生成部１３００は、受光量検出部１３０４から渡された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、光源制御信号および露光制御信号を生成する。これに限らず、制御値生成部１３００は、光源制御信号および露光制御信号のうち少なくとも一方を生成してもよい。例えば、制御値生成部１３００は、各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270のうち少なくとも１つの光量値が所定の範囲外の値である場合に、当該光量値が所定の範囲内の値になるような、光源制御信号および露光制御信号のうち一方、または、両方を生成する。
例えば、制御値生成部１３００は、光源部１１に対しては、光源部１１により射出される射出光３０の光量を制御するための光源制御信号を生成する。光源部１１から射出される射出光３０の光量を制御することで、受光部１２による反射光３２の受光量を制御できる。また、制御値生成部１３００は、受光部１２に対しては、露光期間内に受光される光の光量を制御するための露光制御信号を生成する。
記憶部１３０１は、例えばレジスタであって、制御値生成部１３００により生成された光源制御信号および露光制御信号を記憶する。制御値生成部１３００は、この記憶部１３０１に記憶された光源制御信号および露光制御信号を、駆動信号生成部１３０２および受光制御部１３０３にそれぞれ供給することができる。
図１６Ａ〜図１６Ｃは、各実施形態に適用可能な、制御値生成部１３００が生成する制御信号について概略的に説明するための図である。
図１６Ａは、制御値生成部１３００による制御の第１の例を示す図である。この第１の例では、制御値生成部１３００は、露光制御信号により受光部１２を制御する。図１６Ａにおいて、チャート５０ａおよび５１ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５０ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。また、チャート５１ａは、光源部１１の発光周期に対応する、デフォルト状態の受光部１２における露光期間（長露光）の例を示す。
例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、図１６Ａのチャート５１ｂに例示されるように、制御値生成部１３００は、受光部１２の露光期間をデフォルト状態の露光期間の１／２の時間とする露光制御信号を生成する。制御値生成部１３００は、生成した露光制御信号を受光制御部１３０３に渡す。この露光制御信号により、受光部１２の露光時間が上述の長露光に対して１／２の短露光となり、デフォルト状態に対して受光量が減少する。
また、この場合、制御値生成部１３００は、図１６Ａのチャート５０ｂに実線で示されるように、光源部１１の発光のデューティをデフォルト状態の１／２とする光源制御信号を生成し、光源部１１が発光している期間と受光部１２の露光期間とを同期させる。これに限らず、チャート５０ｂにおいて点線で示されるように、光源部１１の発光のデューティをデフォルト状態のままとしてもよい。
図１６Ｂは、制御値生成部１３００による制御の第２の例を示す図である。この第２の例では、制御値生成部１３００は、光源制御信号により光源部１１を制御している。図１６Ｂにおいて、チャート５２ａおよび５３ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５２ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。デフォルト状態では、光源部１１は、デューティ＝５０％に従い明滅して発光する。また、チャート５３ａは、光源部１１のデューティに対応する、デフォルト状態の受光部１２における露光期間の例を示す。
この第２の例では、例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、制御値生成部１３００は、図１６Ｂのチャート５２ｂに例示されるように、光源部１１における発光のデューティを、デフォルト状態の１／２の２５％とする光源制御信号を生成する。制御値生成部１３００は、生成した光源制御信号を駆動信号生成部１３０２に渡す。受光部１２の露光期間は、チャート５３ｂに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部１１がＰＷＭ波形の１周期に発光する時間がデフォルト状態の１／２の時間となり、受光部１２における受光量がデフォルト状態に対して減少する。
図１６Ｃは、制御値生成部１３００による制御の第３の例を示す図である。この第３の例では、制御値生成部１３００は、光源制御信号により光源部１１を制御している。図１６Ｃにおいて、チャート５４ａおよび５５ａは、例えばデフォルト状態の光源部１１の発光および受光部１２の露光期間の例をそれぞれ示している。より具体的には、チャート５４ａは、デフォルト状態の光源部１１の１周期の発光の例を示す。また、チャート５５ａは、光源部１１の発光周期に対応する、デフォルト状態の受光部１２における露光期間の例を示す。
この第３の例では、例えば受光部１２が露光期間に受光する光量をデフォルト状態の１／２に制御する場合、制御値生成部１３００は、図１６Ｃのチャート５４ｂに例示されるように、光源部１１における発光強度を、デフォルト状態の１／２とする光源制御信号を生成する。制御値生成部１３００は、生成した光源制御信号を駆動信号生成部１３０２に渡す。受光部１２の露光期間は、チャート５５ｂに例示されるように、デフォルト状態のままとする。この光源制御信号により、光源部１１による１周期の発光量がデフォルト状態の１／２の時間となり、受光部１２における受光量がデフォルト状態に対して減少する。
制御値生成部１３００は、受光量検出部１３０４から渡された各光量値Ｃ0、Ｃ90、Ｃ180およびＣ270に基づき、上述した第１〜第３の例のうち何れか１つ、若しくは、第１〜第３の例のうち２以上の組み合わせにより、受光部１２における受光量を制御するための制御信号を生成する。ここで生成される制御信号は、上述したように、露光制御信号および光源制御信号のうち少なくとも一方である。制御値生成部１３００は、生成した制御信号を記憶部１３０１に記憶する。
なお、制御値生成部１３００は、図１６Ａ〜図１６Ｃを用いて説明した第１〜第３の例以外にも、例えば、受光部１２におけるゲインを制御することもできる。受光部１２におけるゲインを制御することで、受光部１２から出力される画素信号のレベルが制御される。制御値生成部１３００は、受光部１２におけるゲインを制御するためのゲイン制御信号を生成し、受光制御部１３０３に渡す。受光制御部１３０３は、制御値生成部１３００から渡されたゲイン制御信号に応じて、受光部１２における例えば出力回路１１２４（図８参照）の出力ゲインを制御する。
制御値生成部１３００は、生成した制御信号に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール（信号レベル）を調整するための調整値を生成する。制御値生成部１３００は、生成した調整値を、制御部１３０から出力する。
図１７は、第１の実施形態に適用可能な測距部１３１の機能を説明するための一例の機能ブロック図である。図１７において、測距部１３１は、測距演算部１３１０と、メモリ１３１１と、直接反射光情報算出部１３１２と、ＲＡＷ画像情報算出部１３１３と、を含む。
受光部１２から出力された各位相の各画素信号が測距演算部１３１０に供給される。測距演算部１３１０は、受光部１２から供給された画素信号に基づき、各位相において受光された光の光量値Ｃ0、Ｃ90、Ｃ180およびＣ270を求める。測距演算部１３１０は、求めた光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をメモリ１３１１に記憶する。
測距演算部１３１０は、メモリ１３１１に光量値Ｃ0、Ｃ90、Ｃ180およびＣ270が全て記憶されると、上述した式（１）および（２）に基づき差分ＩおよびＱを算出する。さらに、測距演算部１３１０は、算出した差分ＩおよびＱに基づき、上述した式（３）および（４）により、距離情報Ｄｅｐｔｈを算出する。測距演算部１３１０は、算出した距離情報Ｄｅｐｔｈを、測距部１３１から出力する。
また、測距演算部１３１０は、算出した差分ＩおよびＱを直接反射光情報算出部１３１２に渡す。直接反射光情報算出部１３１２は、測距演算部１３１０から渡された差分ＩおよびＱを用いて、上述した式（７）に基づき直接反射光情報ＤｉＲｅｆｌを算出する。直接反射光情報算出部１３１２は、これに限らず、上述した式（５）に基づき直接反射光情報ＤｉＲｅｆｌを算出してもよい。直接反射光情報算出部１３１２は、算出した直接反射光情報ＤｉＲｅｆｌを、測距部１３１から出力する。
さらに、測距演算部１３１０は、メモリ１３１１に記憶された光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をＲＡＷ画像情報算出部１３１３に渡す。ＲＡＷ画像情報算出部１３１３は、上述の式（６）に基づきＲＡＷ画像情報ＲＡＷを算出する。ＲＡＷ画像情報算出部１３１３は、算出したＲＡＷ画像情報ＲＡＷを、測距部１３１から出力する。
図１８は、第１の実施形態に適用可能な、調整部１３２の機能を説明するための一例の機能ブロック図である。図１８において、調整部１３２は、直接反射光情報ＤｉＲｅｆｌを調整するための構成として、係数生成部１３２０Ｄおよび乗算器１３２１Ｄを含む。さらに、調整部１３２は、ＲＡＷ画像情報ＲＡＷを調整するための構成として、係数生成部１３２０Ｒおよび乗算器１３２１Ｒを含む。
図１８において、係数生成部１３２０Ｄおよび１３２０Ｒに対して、制御値生成部１３００から出力された調整値と、アプリケーション部２０から出力されたパラメータＰａｒａｍと、がそれぞれ入力される。
ここで、パラメータＰａｒａｍは、上述した動作モードを示す情報に対し、さらに、アプリケーション部２０が要求する直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの信号レベルを示すターゲット情報ｔａｒｇｅｔを含む。パラメータＰａｒａｍは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷそれぞれについて、ターゲット情報ｔａｒｇｅｔを含むことができる。以下、特に記載の無い限り、ターゲット情報ｔａｒｇｅｔは、直接反射光情報ＤｉＲｅｆｌに対応するものとする。この場合、ターゲット情報ｔａｒｇｅｔは、例えば、所定のデフォルト状態における直接反射光情報ＤｉＲｅｆｌの信号レベルに基づき正規化された値である。
直接反射光情報ＤｉＲｅｆｌを調整するための構成において、係数生成部１３２０Ｄは、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるターゲット情報ｔａｒｇｅｔと、に基づき、直接反射光情報ＤｉＲｅｆｌの信号レベル（スケール）を調整するための係数ｋDを求める。
ここで、スケールＳｃａｌｅは、ターゲット情報ｔａｒｇｅｔと、調整値とに基づき、次式（１２）により定義される。
Ｓｃａｌｅ＝ｔａｒｇｅｔ／調整値 …（１２）
なお、調整値は、受光部１２の所定のデフォルト状態の受光量に対して、制御信号により光源部１１および受光部１２のうち少なくとも一方が制御された場合の、受光量の比率を示すものとする。例えば、上述した図１６Ｂの例の場合、光源部１１の発光のデューティが５０％から２５％に制御され、受光量が１／２となっているため、調整値＝１／２とされる。
式（１２）によれば、受光部１２による受光量の制御分をキャンセルした上で、直接反射光情報ＤｉＲｅｆｌの信号レベルをスケールＳｃａｌｅに基づきスケーリングする。例えば、調整値＝１／２、ターゲット情報ｔａｒｇｅｔ＝１であれば、スケールＳｃａｌｅ＝２であり、係数ｋD＝２として算出される。係数生成部１３２０Ｄは、算出した係数ｋDを、乗算器１３２１Ｄの乗算値入力端に入力する。
乗算器１３２１Ｄの被乗算値入力端に、直接反射光情報算出部１３１２から出力された直接反射光情報ＤｉＲｅｆｌが入力される。乗算器１３２１Ｄは、被乗算値入力端に入力された直接反射光情報ＤｉＲｅｆｌに対して、乗算入力端に入力された係数ｋDを乗じて、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌを出力する。
ＲＡＷ画像情報ＲＡＷを調整するための構成も、上述した直接反射光情報ＤｉＲｅｆｌを調整するための構成と同等の機能を有する。すなわち、係数生成部１３２０Ｒは、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、に基づき、上述した式（１２）により、ＲＡＷ画像情報ＲＡＷの信号レベルを調整するための係数ｋRを算出する。係数生成部１３２０Ｒは、算出した係数ｋRを、乗算器１３２１Ｒの乗算値入力端に入力する。
乗算器１３２１Ｒの被乗算値入力端に、ＲＡＷ画像情報算出部１３１３から出力されたＲＡＷ画像情報ＲＡＷが入力される。乗算器１３２１Ｒは、被乗算値入力端に入力されたＲＡＷ画像情報ＲＡＷに対して、乗算入力端に入力された係数ｋRを乗じて、スケール調整されたＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを出力する。
（第１の実施形態による各情報の例）
図１９Ａ〜図１９Ｄを用いて、距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌと、について、より具体的に説明する。図１９Ａは、受光部１２により撮像される被測定物３１の例を示す図である。図１９Ａの例では、マネキンの頭部が被測定物３１として用いられている。
図１９Ｂは、距離情報Ｄｅｐｔｈの例を示す図である。図１９Ｂにおいて、距離情報Ｄｅｐｔｈは、各画素位置に対応する距離情報Ｄｅｐｔｈに基づく画像として表現されている。図１９Ｂの例では、被測定物３１の各部までの距離情報Ｄｅｐｔｈが、画素の明暗により表現されている。例えば、距離が近いほどより明るく表現され、距離が離れるに連れ、暗さが増していくように表現されている。３次元情報を用いた３次元顔認識モードにおける顔認証は、この図１９Ｂに示すような距離情報Ｄｅｐｔｈに基づき実行することができる。
図１９Ｃは、直接反射光情報ＤｉＲｅｆｌの例を示す図である。光源部１１からの射出光３０が被測定物３１より反射した反射光３２が抽出された画像のため、被測定物３１における反射率の高い部分、例えば顔面の肌部分などが周囲より明るく表示されている。また、マネキンの頭部における細かい部分（眼、***、眉など）は、不明瞭となっている。
図１９Ｄは、各実施形態に係るスケール調整を施された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌの例を示す図である。被測定物３１における反射率の高い部分が、上述の図１９Ｃの例と比較して、より明瞭に表示されている。例えば、図１９Ｃの例では不明瞭であった眼、***、眉などの部分が、より明確に認識可能となっている。例えば、顔認証のうち、２次元情報を用いた２次元顔認証モードにおいては、上述した図１９Ｃの直接反射光情報ＤｉＲｅｆｌよりも、この図１９Ｄに示す、スケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌを用いる方が、より高精度に認識処理を実行できる。
（第１の実施形態に係る測距装置における処理）
図２０は、第１の実施形態に係る測距装置１０ａにおける処理を示す一例のフローチャートである。図１３のフローチャートと同様に、例えば、アプリケーション部２０から測距装置１０ａに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図２０のフローチャートによる処理が開始される。アプリケーション部２０は、それと共に、アプリケーション部２０の動作モードを示す情報と、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、を含むパラメータＰａｒａｍを測距装置１０ａに渡す。
図２０のフローチャートにおいて、ステップＳ１００〜ステップＳ１０４の処理は、上述した図１３の対応する処理と同様である。すなわち、ステップＳ１００で、測距装置１０ａは、制御部１３０により、レジスタに記憶された制御信号に基づき光源部１１および受光部１２を制御して、撮像を行う。撮像により得られた各位相の画素信号は、受光部１２から制御部１４０および測距部１４１に渡される。
次のステップＳ１０１で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づき距離情報Ｄｅｐｔｈを算出する。測距装置１０ａは、測距部１４１により算出された距離情報Ｄｅｐｔｈを、例えばアプリケーション部２０に出力する。次のステップＳ１０２で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づき直接反射光情報ＤｉＲｅｆｌを算出する。測距装置１０ａは、測距部１３１により算出された直接反射光情報ＤｉＲｅｆｌを、例えばアプリケーション部２０に出力する。次のステップＳ１０３で、測距装置１０ａは、測距部１３１により、ステップＳ１００で撮像された撮像結果に基づきＲＡＷ画像情報ＲＡＷを算出する。測距装置１０ａは、測距部１３１により算出されたＲＡＷ画像情報ＲＡＷを、例えばアプリケーション部２０に出力する。
次のステップＳ１０４で、測距装置１０ａは、制御部１３０により、ステップＳ１００で撮像された各位相の各画素信号に基づき、光源部１１および受光部１２を制御するための制御情報を求める。制御部１４０は、求めた制御情報をレジスタなどに記憶する。
次のステップＳ１１０で、測距装置１０ａは、制御部１３０により、ステップＳ１０４で求めた制御情報と、アプリケーション部２０から渡されたパラメータＰａｒａｍと、に基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール調整を行うための調整値を算出する。算出された調整値は、調整部１３２に渡される。
次のステップＳ１１１で、測距装置１０ａは、調整部１３２により、ステップＳ１１０で算出された調整値に基づき、ステップＳ１０２で算出された直接反射光情報ＤｉＲｅｆｌと、ステップＳ１０３で算出されたＲＡＷ画像情報ＲＡＷと、を調整し、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを取得する。測距装置１０ａは、取得されたこれらスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、例えばアプリケーション部２０に出力する。
次のステップＳ１０５で、測距装置１０ａは、撮像が終了したか否かを判定する。測距装置１０ａは、例えば、アプリケーション部２０から撮像終了指示を受け取った場合に、撮像が終了したと判定し（ステップＳ１０５、「Ｙｅｓ」）、図２０のフローチャートによる一連の処理を終了させる。
一方、測距装置１０００は、アプリケーション部２０から撮像終了指示を受け取っておらず、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。このステップＳ１１０、ステップＳ１１１を含むステップＳ１００〜ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
このように、第１の実施形態では、受光部１２により受光される受光量を距離情報Ｄｅｐｔｈの算出のために制御する制御信号に基づき、画素信号に基づき算出される直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してスケール調整を行っている。そのため、距離情報Ｄｅｐｔｈの算出のために受光部１２による受光量が変化した場合であっても、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの輝度変化を抑え、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷによる一定輝度の動画像を出力することが可能となる。これにより、例えばアプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
なお、上述では、測距装置１０ａが直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみを算出し、算出された情報に対してスケール調整を行ってもよい。
また、測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみに対してスケール調整を行ってもよい。直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち、算出やスケール調整を行う情報は、例えばアプリケーション部２０がパラメータＰａｒａｍに含めて測距装置１０ａに対して指定することができる。
［第２の実施形態］
次に、本開示の第２の実施形態について説明する。第２の実施形態は、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷと、スケール調整された直接反射光情報ＤｉＲｅｆｌ＿ＳｃａｌｅおよびＲＡＷ画像情報ＲＡＷ＿Ｓｃａｌｅと、のうち一方を選択してアプリケーション部２０に出力可能とした例である。
図２１は、第２の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２１において、測距装置１０ｂは、図１４を用いて説明した測距装置１０ａに対して、セレクタ１３３が追加されている。セレクタ１３３は、ＣＰＵ１００（図７参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
セレクタ１３３に対して、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、調整部１３２から出力された、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、が入力される。セレクタ１３３は、例えば、アプリケーション部２０から出力されるパラメータＰａｒａｍに含まれる、アプリケーション部２０の動作モードを示す情報に基づき、これら２つの組のうち一方の組を選択する。セレクタ１３３は、選択された組の直接反射光情報およびＲＡＷ画像情報を、それぞれ直接反射光情報ＤｉＲｅｆｌ’およびＲＡＷ画像情報ＲＡＷ’としてアプリケーション部２０に供給する。
このように、第２の実施形態に係る測距装置１０ｂは、セレクタ１３３により、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、うち一方を選択して、アプリケーション部２０に供給している。そのため、測距装置１０ｂは、アプリケーション部２０に対して、直接反射光情報およびＲＡＷ画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
［第３の実施形態］
次に、本開示の第３の実施形態について説明する。第３の実施形態は、受光部１２から出力される画素信号に基づき特定の被写体の検出を行う。そして、撮像されたフレームにおいて検出された被写体を含む被写体領域における直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対してスケール調整を行う。
図２２は、第３の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２２において、測距装置１０ｃは、図１４を用いて説明した測距装置１０ａに対して、被写体検出部１３４が追加されると共に、調整部１３２’の機能が変更されている。被写体検出部１３４は、ＣＰＵ１００（図７参照）上でプログラムが動作することで構成されてもよいし、ハードウェア回路により実現してもよい。
被写体検出部１３４に対して、測距部１３１から出力された距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、が供給される。被写体検出部１３４は、１フレームの距離情報Ｄｅｐｔｈと、直接反射光情報ＤｉＲｅｆｌと、のうち少なくとも一方の情報に基づき、当該フレームに含まれる特定の被写体（例えば顔）を検出する。検出対象の被写体は、顔に限定されない。すなわち、被写体の３次元あるいは２次元形状パターンが既知であれば、他の種類の被写体を検出対象としてもよい。
一例として、顔検出を行う場合、被写体検出部１３４は、例えば、距離情報Ｄｅｐｔｈに基づきフレーム内における顔の領域を検出し（図１９Ｂ参照）、さらに、検出された顔の領域に対して３次元情報のパターンマッチングなどを行い、顔の各パーツの３次元情報としての位置および形状を検出する。また、被写体検出部１３４は、例えば、直接反射光情報ＤｉＲｅｆｌに対して画像解析を行って顔の領域を検出し（図１９Ｄ参照）、さらに、２次元情報のパターンマッチングなどを行って、顔の各パーツの２次元情報としての位置および形状を検出する。さらに、被写体検出部１３４は、これら距離情報Ｄｅｐｔｈに基づく顔検出結果と、直接反射光情報ＤｉＲｅｆｌに基づく顔検出結果と、を併用して顔検出を行うこともできる。
被写体検出部１３４は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。座標情報は、例えば、図８を参照し、画素エリア１１１１内における各画素１１１２の位置を示す情報を適用できる。被写体検出部１３４は、取得された被写体領域の座標情報を被写体領域情報Ｓｕｂｊとして、調整部１３２’に供給する。調整部１３２’は、被写体領域情報Ｓｕｂｊに基づき、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの、被写体領域情報Ｓｕｂｊに示される領域の情報に対してスケール調整を行う。
図２３は、第３の実施形態に係る調整部１３２’の機能を説明するための一例の機能ブロック図である。図２３において、調整部１３２’は、図１８を用いて説明した調整部１３２と同様に、直接反射光情報ＤｉＲｅｆｌを調整するための構成として、係数生成部１３２０Ｄ’および乗算器１３２１Ｄを含む。さらに、調整部１３２は、ＲＡＷ画像情報ＲＡＷを調整するための構成として、係数生成部１３２０Ｒ’および乗算器１３２１Ｒを含む。
係数生成部１３２０Ｄ’および係数生成部１３２０Ｒ’に対して、被写体検出部１３４から供給された被写体領域情報Ｓｕｂｊが入力される。例えば係数生成部１３２０Ｄ’は、図１８を用いた説明と同様にして、制御値生成部１３００から出力された調整値と、パラメータＰａｒａｍに含まれるターゲット情報ｔａｒｇｅｔと、に基づき、上述した式（１２）により、直接反射光情報ＤｉＲｅｆｌの信号レベル（スケール）を調整するための係数ｋDを求める。
係数生成部１３２０Ｄ’は、さらに直接反射光情報ＤｉＲｅｆｌが入力され、求めた係数ｋDを、調整部１３２’に入力される直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域に対して適用する。係数生成部１３２０Ｄ’は、直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域以外の領域に対しては、例えば係数「１」を適用する。これにより、乗算器１３２１Ｄ’において、被写体領域情報Ｓｕｂｊに示される領域に対して選択的に係数ｋDによる乗算が実行され、直接反射光情報ＤｉＲｅｆｌの、被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行うことができる。
ＲＡＷ画像情報ＲＡＷに対する係数ｋRを生成する係数生成部１３２０Ｒ’についても、上述の係数生成部１３２０Ｄ’と同様な処理を適用可能であるので、ここでの詳細な説明を省略する。
（第３の実施形態に係る測距装置における処理）
図２４は、第３の実施形態に係る測距装置１０ｃにおける処理を示す一例のフローチャートである。図２０のフローチャートと同様に、例えば、アプリケーション部２０から測距装置１０ｃに対して、撮像（測距）の開始を指示する撮像開始指示が渡されることで、図２４のフローチャートによる処理が開始される。アプリケーション部２０は、それと共に、アプリケーション部２０の動作モードを示す情報と、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷに対するターゲット情報ｔａｒｇｅｔと、を含むパラメータＰａｒａｍを測距装置１０ｃに渡す。
図２４のフローチャートにおいて、ステップＳ１００〜ステップＳ１０４の処理は、上述した図２０の対応する処理と同様であるので、ここでの詳細な説明を省略する。測距装置１０ｃは、ステップＳ１０４で光源部１１および受光部１２を制御する制御信号を求めると、処理をステップＳ１１０に移行する。ステップＳ１１０の処理は、上述した図２０のステップＳ１１０の処理と同等であるので、ここでの詳細な説明を省略する。
測距装置１０ｃは、ステップＳ１１０で制御情報とパラメータＰａｒａｍとに基づき、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのスケール調整を行うための調整値を算出する。測距装置１０ｃは、算出した調整値を調整部１３２に渡すと、処理をステップＳ１２０に移行させる。
ステップＳ１２０で、測距装置１０ｃは、被写体検出部１３４により、測距部１３１から出力された１フレームの距離情報Ｄｅｐｔｈと直接反射光情報ＤｉＲｅｆｌとのうち少なくとも一方に基づき、当該フレームに含まれる特定の被写体を検出する。被写体検出部１３４は、特定の被写体が検出されたフレーム内の領域を被写体領域として求め、当該被写体領域の座標情報を取得する。被写体検出部１３４は、被写体領域を示す被写体領域情報Ｓｕｂｊを、調整部１３２’に渡す。
次のステップＳ１２１で、測距装置１０ｃは、調整部１３２’により、測距部１３１から供給された直接反射光情報ＤｉＲｅｆｌの、ステップＳ１２０で被写体検出部１３４から渡された被写体領域情報Ｓｕｂｊに示される領域に対して、ステップＳ１１０で算出された調整値に基づき、スケール調整を行う。調整部１３２’は、さらに、測距部１３１から供給されたＲＡＷ画像情報ＲＡＷの、ステップＳ１２０で被写体検出部１３４から渡された被写体領域情報Ｓｕｂｊに示される領域に対して、ステップＳ１１０で算出された調整値に基づき、スケール調整を行うこともできる。
被写体領域情報Ｓｕｂｊに示される領域がスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌは、調整部１３２’から出力され、アプリケーション部２０に供給される。調整部１３２’は、ＲＡＷ画像情報ＲＡＷに対して被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行った場合、スケール調整されたＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷを、アプリケーション部２０に供給する。
次のステップＳ１０５で、測距装置１０ｃは、撮像が終了したか否かを判定する。測距装置１０ｃは、例えば、アプリケーション部２０から撮像終了指示を受け取った場合に、撮像が終了したと判定し（ステップＳ１０５、「Ｙｅｓ」）、図２４のフローチャートによる一連の処理を終了させる。
一方、測距装置１０ｃは、撮像が終了していないと判定した場合（ステップＳ１０５、「Ｎｏ」）、処理をステップＳ１００に戻す。この、ステップＳ１１０、ステップＳ１１１、ステップＳ１２０およびステップＳ１２１を含む、ステップＳ１００〜ステップＳ１０５の処理は、例えば１フレーム単位で繰り返される。
このように、第３の実施形態では、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの、フレーム内の被写体領域情報Ｓｕｂｊに示される領域に対して選択的にスケール調整を行うことができる。そのため、フレーム内において、特定の被写体を強調することができる。これにより、例えばアプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
なお、上述では、測距装置１０ｃが直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの被写体領域情報Ｓｕｂｊに示される領域に対してそれぞれスケール調整を行うように説明したが、これはこの例に限定されない。例えば、測距装置１０ｃは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方のみを算出し、算出された情報の被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行ってもよい。
また、測距装置１０ｃは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷをそれぞれ算出し、算出された測距装置１０ａは、直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち何れか一方の被写体領域情報Ｓｕｂｊに示される領域に対してスケール調整を行ってもよい。直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷのうち、算出やスケール調整を行う情報は、例えばアプリケーション部２０により測距装置１０ｃに対して指定することができる。
［第４の実施形態］
次に、本開示の第４の実施形態について説明する。第４の実施形態は、上述した第２の実施形態と、第３の実施形態とを組み合わせた例である。図２５は、第４の実施形態に係る測距装置の機能を説明するための一例の機能ブロック図である。図２５において、測距装置１０ｄは、図２２を用いて説明した測距装置１０ｃに対して、図２１を用いて説明した測距装置１０ｂにおけるセレクタ１３３が追加されている。
第４の実施形態に係る測距装置１０ｄは、図２１の測距装置１０ｂと同様に、セレクタ１３３に対して、測距部１３１から出力された直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、調整部１３２から出力された、それぞれスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、が入力される。セレクタ１３３は、例えばアプリケーション部２０から出力されるパラメータＰａｒａｍに含まれる、アプリケーション部２０の動作モードを示す情報に基づき、これら２つの組のうち一方の組を選択する。セレクタ１３３は、選択された組の直接反射光情報およびＲＡＷ画像情報を、それぞれ直接反射光情報ＤｉＲｅｆｌ’およびＲＡＷ画像情報ＲＡＷ’としてアプリケーション部２０に供給する。
第４の実施形態に係る測距装置１０ｄによれば、セレクタ１３３により、スケール調整されていない直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷの組と、それぞれ被写体領域情報Ｓｕｂｊに示される領域が選択的にスケール調整された直接反射光情報Ｓｃａｌｅｄ＿ＤｉＲｅｆｌおよびＲＡＷ画像情報Ｓｃａｌｅｄ＿ＲＡＷの組と、うち一方を選択して、アプリケーション部２０に供給している。そのため、測距装置１０ｄは、アプリケーション部２０に対して、直接反射光情報およびＲＡＷ画像情報のより多彩な利用形態を提供することが可能となり、アプリケーション部２０が直接反射光情報ＤｉＲｅｆｌおよびＲＡＷ画像情報ＲＡＷを利用する際の利便性を向上させることができる。
［第５の実施形態］
上述した第１の実施形態では、測距装置１０ａがＣＰＵ１００、ＲＯＭ１０１、ＲＡＭ１０２、ＵＩ部１０４、ストレージ１０３、Ｉ／Ｆ１０５などを含む電子機器２により、ハードウェア装置として構成されるように説明したが、これはこの例に限定されない。例えば、図１０または図１１に示した、半導体チップを積層して構成したセンサユニット１１１に対して、図１４に示した制御部１３０、測距部１３１および調整部１３２を含め、測距装置１０ａの全体として、１つの半導体素子として構成することもできる。これは、第２〜第４の実施形態に係る測距装置１０ｂ、１０ｃおよび１０ｄにも、同様に適用できる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
前記位相毎の受光信号に基づき画像信号を生成する生成部と、
調整値に従い前記画像信号のレベルを調整する調整部と、
を備え、
前記制御部は、
前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
測距装置。
（２）
前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
前記調整部は、
前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
前記（１）に記載の測距装置。
（３）
前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
前記（１）または（２）に記載の測距装置。
（４）
前記生成部は、
前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
前記（１）乃至（３）の何れかに記載の測距装置。
（５）
前記生成部は、
前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
前記（４）に記載の測距装置。
（６）
前記制御部は、
前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（５）の何れかに記載の測距装置。
（７）
前記制御部は、
前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（６）の何れかに記載の測距装置。
（８）
前記制御部は、
前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（７）の何れかに記載の測距装置。
（９）
前記制御部は、
前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
前記（１）乃至（８）の何れかに記載の測距装置。
（１０）
前記制御部は、
前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
前記（１）乃至（９）の何れかに記載の測距装置。
１ 電子機器
１０，１０ａ，１０ｂ，１０ｃ，１０ｄ，１０００ 測距装置
１１ 光源部
１２ 受光部
１３ 測距処理部
２０ アプリケーション部
３０ 射出光
３１ 被測定物
３２ 反射光
１００ ＣＰＵ
１１０ 光源ユニット
１１１ センサユニット
１３０，１４０ 制御部
１３１，１４１ 測距部
１３２，１３２’ 調整部
１３３ セレクタ
１３４ 被写体検出部
１１１０ センサチップ
１１１１ 画素エリア
１１２０ 回路チップ
１１２０ａ 第１の回路チップ
１１２０ｂ 第２の回路チップ
１３００ 制御値生成部
１３０１ 記憶部
１３１０ 測距演算部
１３１２ 直接反射光情報算出部
１３１３ ＲＡＷ画像情報算出部
１３２０Ｄ，１３２０Ｄ’，１３２０Ｒ，１３２０Ｒ’ 係数生成部
１３２１Ｄ，１３２１Ｒ 乗算器

Claims (10)

  1. 光源部の発光に応じて受光部が位相毎の受光を行い、該位相毎の受光により該受光部が出力した該位相毎の受光信号に基づき距離情報の算出を行う測距部と、
    前記位相毎の受光信号のレベルを、前記位相毎の受光信号に基づく前記距離情報の算出に応じて制御する制御部と、
    前記位相毎の受光信号に基づき画像信号を生成する生成部と、
    調整値に従い前記画像信号のレベルを調整する調整部と、
    を備え、
    前記制御部は、
    前記距離情報の算出に応じて制御した前記位相毎の受光信号に基づき前記調整値を生成する
    測距装置。
  2. 前記測距部が算出した前記距離情報と、前記生成部が生成した前記画像信号と、に基づき、前記画像信号に基づく画像領域における所定の被写体が含まれる被写体領域を検出する検出部をさらに備え、
    前記調整部は、
    前記被写体領域における前記画像信号のレベルを前記調整値に基づき調整する
    請求項１に記載の測距装置。
  3. 前記生成部が生成した前記画像信号と、前記画像信号のレベルを前記調整部で調整した調整画像信号と、のうち一方を選択する選択部をさらに備える
    請求項１に記載の測距装置。
  4. 前記生成部は、
    前記受光部が受光した光の成分のうち、前記光源部の発光により出射された光の反射光を前記受光部が受光した成分に基づく前記画像信号を生成する
    請求項１に記載の測距装置。
  5. 前記生成部は、
    前記受光部が前記反射光と環境光とを受光した成分に基づく前記画像信号をさらに生成する
    請求項４に記載の測距装置。
  6. 前記制御部は、
    前記受光部における露光長を制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  7. 前記制御部は、
    前記光源部による前記発光のデューティを制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  8. 前記制御部は、
    前記光源部による前記発光の強度を制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  9. 前記制御部は、
    前記受光部が出力する前記位相毎の受光信号のゲインを制御することで、前記位相毎の受光信号のレベルを制御する
    請求項１に記載の測距装置。
  10. 前記制御部は、
    前記位相毎の受光信号に基づき、前記制御部による前記位相毎の受光信号のレベルの制御をキャンセルする前記調整値を生成する
    請求項１に記載の測距装置。
JP2019044283A 2019-03-11 2019-03-11 測距装置 Pending JP2020148510A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019044283A JP2020148510A (ja) 2019-03-11 2019-03-11 測距装置
PCT/JP2020/005036 WO2020184028A1 (ja) 2019-03-11 2020-02-10 測距装置
US17/310,804 US20220046158A1 (en) 2019-03-11 2020-02-10 Distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044283A JP2020148510A (ja) 2019-03-11 2019-03-11 測距装置

Publications (1)

Publication Number Publication Date
JP2020148510A true JP2020148510A (ja) 2020-09-17

Family

ID=72427280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044283A Pending JP2020148510A (ja) 2019-03-11 2019-03-11 測距装置

Country Status (3)

Country Link
US (1) US20220046158A1 (ja)
JP (1) JP2020148510A (ja)
WO (1) WO2020184028A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172690A1 (ja) * 2021-02-12 2022-08-18 オムロン株式会社 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022124821A (ja) * 2021-02-16 2022-08-26 ソニーセミコンダクタソリューションズ株式会社 測距センサ及び測距装置
CN113709359B (zh) * 2021-07-14 2023-09-01 安克创新科技股份有限公司 图像采集装置
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010313A (ja) * 2003-06-17 2005-01-13 Minolta Co Ltd 撮像装置
JP4883517B2 (ja) * 2004-11-19 2012-02-22 学校法人福岡工業大学 三次元計測装置および三次元計測方法並びに三次元計測プログラム
JP5521854B2 (ja) * 2010-07-26 2014-06-18 コニカミノルタ株式会社 撮像装置及び画像入力装置
JP2015127682A (ja) * 2013-12-27 2015-07-09 スリーエム イノベイティブ プロパティズ カンパニー 分析装置、システムおよびプログラム
KR102610830B1 (ko) * 2015-12-24 2023-12-06 삼성전자주식회사 거리 정보를 획득하는 방법 및 디바이스
KR20170098089A (ko) * 2016-02-19 2017-08-29 삼성전자주식회사 전자 장치 및 그의 동작 방법
US20190195478A1 (en) * 2017-12-21 2019-06-27 Circuit Services, LLC Lighting apparatus including a distance sensor for indoor plants

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172690A1 (ja) * 2021-02-12 2022-08-18 オムロン株式会社 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム
DE112022001051T5 (de) 2021-02-12 2024-02-22 Omron Corporation Graustufenbildgenerierungsvorrichtung, Graustufenbildkorrekturverfahren und Graustufenbildkorrekturprogramm

Also Published As

Publication number Publication date
US20220046158A1 (en) 2022-02-10
WO2020184028A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
WO2020184028A1 (ja) 測距装置
US11378690B2 (en) Time of flight sensor, a three-dimensional imaging device using the same, and a method for driving the three-dimensional imaging device
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
CN105898281B (zh) 用于使用相位检测像素生成深度图的图像生成装置
US10491842B2 (en) Imaging device, a solid-state imaging device for use in the imaging device
CN105933603B (zh) 焦点检测装置、摄像装置、摄像***及焦点检测方法
KR101722641B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
JP7208156B2 (ja) ピクセルワイズイメージングの方法及びシステム
CN107370913A (zh) 摄像装置、摄像***以及光检测方法
KR20160032014A (ko) 타임 오브 플라이트 시스템 구동 방법
US10261287B2 (en) Imaging devices having autofocus control
JPWO2017022219A1 (ja) 固体撮像装置の駆動方法
JP6025081B2 (ja) 距離画像センサ
CN109791204A (zh) 用于确定到对象的距离的***
US20150193934A1 (en) Motion sensor apparatus having a plurality of light sources
US10948596B2 (en) Time-of-flight image sensor with distance determination
JP6716902B2 (ja) 電子機器
KR20160026189A (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
EP4189426A1 (en) Time of flight imaging using long and short-exposure storage nodes
US10356314B2 (en) Image sensor and image capturing apparatus
WO2021059748A1 (ja) 情報処理装置、補正方法およびプログラム
KR20170076477A (ko) 거리 정보를 획득하는 방법 및 디바이스
WO2021059735A1 (ja) 画像処理装置、電子機器、画像処理方法及びプログラム
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置