JP7271119B2 - デプス画像取得装置、制御方法、およびデプス画像取得システム - Google Patents

デプス画像取得装置、制御方法、およびデプス画像取得システム Download PDF

Info

Publication number
JP7271119B2
JP7271119B2 JP2018176947A JP2018176947A JP7271119B2 JP 7271119 B2 JP7271119 B2 JP 7271119B2 JP 2018176947 A JP2018176947 A JP 2018176947A JP 2018176947 A JP2018176947 A JP 2018176947A JP 7271119 B2 JP7271119 B2 JP 7271119B2
Authority
JP
Japan
Prior art keywords
light
depth image
sensor
image acquisition
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018176947A
Other languages
English (en)
Other versions
JP2019078748A (ja
Inventor
和秀 難波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to PCT/JP2018/037854 priority Critical patent/WO2019078074A1/en
Priority to EP18795818.6A priority patent/EP3698171B1/en
Priority to US16/633,623 priority patent/US11579270B2/en
Priority to CN201880049938.9A priority patent/CN110998367B/zh
Publication of JP2019078748A publication Critical patent/JP2019078748A/ja
Application granted granted Critical
Publication of JP7271119B2 publication Critical patent/JP7271119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は、デプス画像取得装置、制御方法、およびデプス画像取得システムに関し、特に、デプス画像の取得性能の向上を図ることができるようにしたデプス画像取得装置、制御方法、およびデプス画像取得システムに関する。
従来、光飛行時間に基づいて距離を測定するTOF（Time Of Flight）方式には、パルス波を利用して直接的に計測される光飛行時間から距離を測定する直接TOF方式と、変調光の位相を利用して間接的に算出される光飛行時間から距離を測定する間接TOF方式とがある。
ところで、間接TOF方式または直接TOF方式を採用してデプス画像を取得するシステムは、屋外において距離を測定する際に太陽光などの外乱光の影響を受けやすいため、デプス画像の精度が低下することがあった。そのため、光源から照射される光が一定の強度である場合、外乱光の影響によって、十分な精度のデプス画像を取得することができる距離（以下、取得距離と称する）が大幅に低下してしまうことがあった。
例えば、特許文献１には、光源から出射する照明光と検出器が検出する反射光との位相差に基づいて距離を測定する測距装置において、光源から出射される照明光の波長を1290～1330ｎｍに限定することで、外乱光の影響を抑制する技術が提案されている。
特開２０１６－３５３９８号公報
上述の特許文献１に開示されているように、外乱光の影響を抑制する技術が提案されているが、さらに外乱光の影響を効果的に抑制し、より高精度なデプス画像を取得可能な取得距離を長距離化して、デプス画像の取得性能を向上させることが求められている。
本開示は、このような状況に鑑みてなされたものであり、デプス画像の取得性能の向上を図ることができるようにするものである。
本開示の一側面のデプス画像取得装置は、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、前記光源または前記センサの温度を取得する温度センサと、前記温度センサによって取得された前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部とを備え、前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する。
本開示の一側面の制御方法は、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタとを備えるデプス画像取得装置が、前記光源または前記センサの温度を取得することと、前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することとを含み、前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する。
本開示の一側面のデプス画像取得システムは、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサとのうち、いずれか一方の温度を取得する温度センサによって取得された前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部を備え、前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する。
本開示の一側面においては、光源から、デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光が照射され、センサにより、光源から照射された光が検出領域にある物体に反射して入射する光が受光されて、デプス画像を生成するための信号が出力され、フィルタにより、センサに向かって入射してくる光のうち、所定の通過帯域の波長の光が、所定の通過帯域以外の波長の光よりも多く通過される。また、光源またはセンサの温度を取得する温度センサによって取得された温度に従って、光源と、センサと、フィルタの配置とのうち、少なくともいずれか１つが制御される。さらに、光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、温度に従って、複数の光源のうちの少なくともいずれか１つが選択される。
本技術を適用したデプス画像取得装置の第１の実施の形態の構成例を示すブロック図である。 屋外において観測される光の波長と照度との関係を示す図である。 デプス画像取得装置を車両で利用する利用例について説明する図である。 デプス画像取得装置の第２の実施の形態の構成例を示すブロック図である。 デプス画像取得装置の第３の実施の形態の構成例を示すブロック図である。 光源分光特性と温度変化について説明する図である。 フィルタの通過帯域と２つの光源の特性との関係について説明する図である。 デプス画像取得装置の第４の実施の形態の構成例を示すブロック図である。 ２つのフィルタと光源の特性との関係について説明する図である。 デプス画像取得装置の第５の実施の形態の構成例を示すブロック図である。 ２つのフィルタを用いる構成における配置例を示す図である。 ４つのフィルタを用いる構成における配置例を示す図である。 ８つのフィルタを用いる構成における配置例を示す図である。 図１３に示す配置例のTOFセンサの利用例を説明する図である。 所定数の画素ごとに交互にフィルタを配置する配置例を示す図である。 デプス画像の復元について説明する図である。 フィルタを狭帯域化することによるＳＮ比の向上について説明する図である。 発光ダイオードの温度を一定に維持するための制御について説明する図である。 デプス画像取得装置の利用例について説明する図である。 デプス画像取得装置の利用例について説明する図である。 デプス画像取得装置の利用例について説明する図である。 デプス画像取得装置の利用例について説明する図である。 TOFセンサの断面的な構造を示す図である。 TOFセンサの構成例を示すブロック図である。 画素の行方向および列方向に交互にフィルタを配置する配置例を示す図である。 画素の列方向に交互にフィルタを配置する配置例を示す図である。 画素の行方向に交互にフィルタを配置する配置例を示す図である。 左右に二分割するようにフィルタを配置する配置例を示す図である。 上下に二分割するようにフィルタを配置する配置例を示す図である。 ベイヤ配列と組み合わせてフィルタを配置する配置例を示す図である。 モジュール配置による構成のTOFセンサの断面的な構造を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。 積層型の固体撮像装置23020の第１の構成例を示す断面図である。 積層型の固体撮像装置23020の第２の構成例を示す断面図である。 積層型の固体撮像装置23020の第３の構成例を示す断面図である。 本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜デプス画像取得装置の第１の構成例＞
図１は、本技術を適用したデプス画像取得装置の第１の実施の形態の構成例を示すブロック図である。
図１において、デプス画像取得装置１１は、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。
光変調部２１は、発光ダイオード２２から出力される光を、例えば、10MHz程度の高周波で変調させるための変調信号を、発光ダイオード２２に供給する。また、光変調部２１は、発光ダイオード２２の光が変調するタイミングを示すタイミング信号を、TOFセンサ２６および同期処理部２８に供給する。
発光ダイオード２２は、光変調部２１から供給される変調信号に従って、例えば、赤外光などのような不可視域の光を高速で変調させながら発光し、その光を、デプス画像取得装置１１がデプス画像を取得して距離を検出する領域となる検出領域に向かって照射する。なお、本実施の形態では、検出領域に向かって光を照射する光源を、発光ダイオード２２として説明するが、レーザダイオードなど他の光源を用いてもよい。
また、発光ダイオード２２は、後述するTOFセンサ２６と隣接して配置されても良い。この構成により、発光した光が物体に反射してデプス画像取得装置１１に戻ってくる際の、往きと帰りの経路差が最少となり、測距誤差を低減することができる。さらに、発光ダイオード２２とTOFセンサ２６とは、１つの筐体で一体的に形成されても良い。この構成により、発光した光が物体に反射してデプス画像取得装置１１に戻ってくる際の、往きと帰りの経路のばらつきを抑えることができ、測距誤差を低減することができる。
投光レンズ２３は、発光ダイオード２２から照射される光が所望の照射角度となるように、光の配光を調節するレンズにより構成される。
受光レンズ２４は、発光ダイオード２２から光が照射される検出領域を視野に収めるレンズにより構成され、検出領域にある物体で反射した光を、TOFセンサ２６のセンサ面に結像させる。
フィルタ２５は、所定の帯域の光のみを通過させるBPF（Band Pass Filter）であり、検出領域にある物体で反射してTOFセンサ２６に向かって入射してくる光のうち、所定の通過帯域の光のみを通過させる。例えば、フィルタ２５は、通過帯域の中心波長が920nm~960nmの間に設定され、その通過帯域の光を、通過帯域以外の波長の光よりも多く通過させる。具体的には、フィルタ２５において、通過帯域の波長の光は60%以上透過し、通過帯域以外の波長の光は30%未満透過する。
また、フィルタ２５が光を通過させる通過帯域は、従来のTOF方式で用いられていたフィルタの通過帯域よりも狭く、発光ダイオード２２から照射される光の波長に対応した狭帯域に限定される。例えば、発光ダイオード２２から照射される光の波長が940nmである場合、その波長に連動して、フィルタ２５の通過帯域として、940nmを中心とした前後10ｎｍの帯域（930~950nm）が採用される。
このようなフィルタ２５の通過帯域により、TOFセンサ２６が太陽の外乱光の影響を抑えつつ照射光を検出することができる。なお、フィルタ２５の通過帯域はこれに限定されず、所定波長を中心とした前後15ｎｍ以下の帯域であってもよい。また、フィルタ２５の通過帯域として、TOFセンサ２６が最も特性の良い波長帯である850nmを中心とした前後10ｎｍの帯域（840~860nm）が採用されても良い。これにより、TOFセンサ２６が効果的に照射光を検出することができる。
TOFセンサ２６は、発光ダイオード２２から照射される光の波長域に感度を有する撮像素子により構成され、受光レンズ２４によって集光されてフィルタ２５を通過した光を、センサ面にアレイ状に配置される複数の画素により受光する。図示するように、TOFセンサ２６は、発光ダイオード２２の近傍に配置され、発光ダイオード２２により光が照射される検出領域にある物体で反射した光を受光することができる。そして、TOFセンサ２６は、それぞれの画素が受光した光の光量を、デプス画像を生成するための画素値とした画素信号を出力する。TOFセンサ２６の具体的な構成としては、例えば、SPAD（single photon avalanche diode）、APD（Avalanche Photo Diode）やCAPD(Current Assisted Photonic Demodulator)などの種々のセンサを適用可能である。
画像記憶部２７は、TOFセンサ２６から出力される画素信号により構築される画像を記憶する。例えば、画像記憶部２７は、検出領域内で変化があったときの最新の画像を記憶したり、検出領域内に物体が存在していない状態の画像を背景画像として記憶したりすることができる。
同期処理部２８は、光変調部２１から供給されるタイミング信号に同期して、TOFセンサ２６から供給される画素信号のうち、発光ダイオード２２が照射した変調光に対応する反射光を受光したタイミングの画素信号を抽出する処理を行う。これにより、同期処理部２８は、発光ダイオード２２から照射され、検出領域にある物体で反射した光を主成分とするタイミングの画素信号のみを距離情報演算部２９に供給することができる。また、同期処理部２８は、例えば、画像記憶部２７に記憶されている背景画像を読み出し、TOFセンサ２６から供給される画素信号により構築される画像との差分を求めることで、検出領域において動きのある物体のみからなる画素信号を生成することができる。なお、同期処理部２８は必須の構成ではなく、TOFセンサ２６から供給される画素信号を距離情報演算部２９に直接供給してもよい。
距離情報演算部２９は、同期処理部２８またはTOFセンサ２６から供給される画素信号に基づいて、それぞれの画素ごとに検出領域内にある物体までの距離を求める演算を行い、その演算により求められる距離を示すデプス信号をデプス画像生成部３０に供給する。
具体的には、間接TOF方式の場合、距離情報演算部２９は、発光ダイオード２２が発光した光の位相と、発光ダイオード２２から照射された光が物体で反射してTOFセンサ２６の画素に入射した光の位相との位相差に基づいて、検出領域内にある物体までの距離を求める演算を行う。また、直接TOF方式の場合、距離情報演算部２９は、発光ダイオード２２が光を発光してからTOFセンサ２６の各画素が光を受光するまでの時間を各画素ごとに複数回（例えば、数千～数万回）計測し、計測された時間に対応するヒストグラムを作成する。そして、距離情報演算部２９は、当該ヒストグラムのピークを検出することで、発光ダイオード２２から照射された光が物体で反射し戻ってくるまでの時間を判定する。そして、距離情報演算部２９は、判定された時間と光速に基づいて、物体までの距離を求める演算を行う。
デプス画像生成部３０は、距離情報演算部２９から供給されるデプス信号から、被写体までの距離が画素の配置に従って並べられたデプス画像を生成し、そのデプス画像を後段の処理装置（図示せず）に出力する。
このように構成されるデプス画像取得装置１１では、上述したように、発光ダイオード２２から照射される光の波長に対応して、通過帯域が狭帯域に限定された狭帯域のフィルタ２５が採用されている。これにより、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。即ち、デプス画像取得装置１１では、TOFセンサ２６が、ノイズ成分となる外乱光と比較して、測定に必要な信号成分である光を多く受光することができ、取得されるデプス画像のＳＮ比（Signal to Noise Ratio）を改善することができる。
従って、デプス画像取得装置１１は、外乱光の影響を受けるような環境であっても、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。
例えば、図２には、屋外において観測される光の波長と照度との関係が示されており、屋外では一般的に、波長940ｎｍの付近の光の照度が低下している。従って、デプス画像取得装置１１は、波長940nmの光を発光する発光ダイオード２２を使用し、それに連動して、940nmを中心とした前後10ｎｍの通過帯域のフィルタ２５を採用することで、外乱光の影響を抑制する効果を向上させることができる。これにより、デプス画像取得装置１１は、例えば、図３に示すように車両に搭載するような利用においても、高精度なデプス画像を取得することができる。
図３には、デプス画像取得装置１１を車両で利用する利用例が示されている。図示するように、デプス画像取得装置１１は、車両のサイドミラーに内蔵され、車両の側方から下方に向かうようなデプス画像を取得するように取り付けられる。これにより、デプス画像取得装置１１は、ハッチングが施されている領域に光を照射して、破線の矢印で示されている距離を検出することができる。このように、デプス画像取得装置１１を車両で利用して、屋外において使用される場合でも、デプス画像取得装置１１は、外乱光の影響を抑制して、道路縁石または白線までの距離を高精度に検出可能なデプス画像を取得することができる。
＜デプス画像取得装置の第２の構成例＞
図４は、本技術を適用したデプス画像取得装置の第２の実施の形態の構成例を示すブロック図である。なお、図４に示すデプス画像取得装置１１Ａにおいて、図１のデプス画像取得装置１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
即ち、デプス画像取得装置１１Ａは、図１のデプス画像取得装置１１と同様に、光変調部２１、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。
さらに、デプス画像取得装置１１Ａは、２つの発光ダイオード２２－１および２２－２、並びに、投光レンズ２３－１および２３－２を備えて構成される。つまり、図１のデプス画像取得装置１１は、１組の発光ダイオード２２および投光レンズ２３を備えていたのに対し、デプス画像取得装置１１Ａは、２組の発光ダイオード２２および投光レンズ２３を備えている。
発光ダイオード２２－１および２２－２は、それぞれ異なる波長の光を発光することができる。例えば、発光ダイオード２２－１は波長970ｎｍの光を発光し、発光ダイオード２２－２は波長945ｎｍの光を発光する。そして、デプス画像取得装置１１Ａは、フィルタ２５の通過帯域に連動させて、発光ダイオード２２－１および２２－２のいずれか一方が、光を照射するものとして採用される構成となっている。
例えば、デプス画像取得装置１１Ａは、外乱光の影響を抑制することができるように狭帯域のフィルタ２５を採用している。従って、デプス画像取得装置１１Ａは、それぞれ異なる波長域の光を発光する発光ダイオード２２－１および２２－２のうち、フィルタ２５の通過帯域に適した光を発光する一方を採用して、光変調部２１から変調信号が供給される。これにより、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分（発光ダイオード２２－１および２２－２のうち、採用された一方の波長の光）を多く通過させることができ、TOFセンサ２６は、デプス画像のＳＮ比を改善することができる。
従って、デプス画像取得装置１１Ａは、狭帯域のフィルタ２５により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、本実施の形態に限定されず、発光ダイオード２２を３つ以上備える構成としても良い。３つ以上の発光ダイオード２２を備える場合は、それぞれ異なる波長の光を発光することで、より狭帯域のフィルタ２５を用いることができ、太陽光などの外乱光による影響を更に抑制することができる。
＜デプス画像取得装置の第３の構成例＞
図５は、本技術を適用したデプス画像取得装置の第３の実施の形態の構成例を示すブロック図である。なお、図５に示すデプス画像取得装置１１Ｂにおいて、図４のデプス画像取得装置１１Ａと共通する構成については同一の符号を付し、その詳細な説明は省略する。
即ち、デプス画像取得装置１１Ｂは、図４のデプス画像取得装置１１Ａと同様に、光変調部２１、２つの発光ダイオード２２－１および２２－２、投光レンズ２３－１および２３－２、受光レンズ２４、フィルタ２５、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、並びに、デプス画像生成部３０を備えて構成される。
これに加えて、デプス画像取得装置１１Ｂは、連動制御部３１を備えて構成されており、デプス画像取得装置１１Ｂの外部に設けられる環境センサ４１が周辺環境をセンシングして得られるセンサ情報（環境情報）が、連動制御部３１に供給される。そして、連動制御部３１は、環境センサ４１によって取得されたセンサ情報に従って、後述するように、発光ダイオード２２と、TOFセンサ２６と、フィルタ２５の配置とのうち、少なくともいずれか１つを制御する。
例えば、環境センサ４１として、デプス画像取得装置１１Ｂの周辺環境の温度を検出する温度センサを用いる場合、環境センサ４１は、デプス画像取得装置１１Ｂの周辺環境、特に、発光ダイオード２２またはTOFセンサ２６の温度を示すセンサ情報を取得して、連動制御部３１に供給する。もちろん、環境センサ４１として温度センサ以外にも、照度センサなどの各種のセンサを用いてもよく、環境センサ４１がデプス画像取得装置１１Ｂに組み込まれた構成であってもよい。さらには、環境センサ４１が発光ダイオード２２－１および２２－２の筐体内に組み込まれた構成であっても良い。このような構成とした場合、より正確に発光ダイオード２２－１および２２－２の温度を検出することが可能となる。
このようにデプス画像取得装置１１Ｂは構成されており、連動制御部３１は、環境センサ４１から供給されるセンサ情報を取得し、そのセンサ情報に従って、フィルタ２５の通過帯域に連動させて、発光ダイオード２２－１および２２－２のうちの一方を選択する制御を実行する。そして、連動制御部３１は、選択した一方の発光ダイオード２２から光を照射させ、選択されなかった他方の発光ダイオード２２からの照射を停止させる。
例えば、発光ダイオード２２－１および２２－２は、図６に示すようなピークを有する光源分光特性を備えている。図６には、波長855ｎｍを中心とした光を発光する光源の光源分光特性の一例が示されている。図示するように、この光源は、温度変化が100度増加すると、+10ｎｍの波長シフトが発生するような温度特性を有している。
このような温度特性があることより、例えば、１つの光源のみを用いる構成では、光源の温度変化による波長シフトに対応するために、通過帯域が広帯域（例えば、940±50ｎｍ）に設定されているフィルタを選定する必要がある。その結果、太陽光などの外乱光の影響を受け易くなることよりＳＮ比が悪化してしまい、測定精度が低下することになっていた。
そこで、デプス画像取得装置１１Ｂでは、温度変化による波長シフトが発生しても、それぞれの温度において使用される光の波長がフィルタ２５の通過帯域に対応するように、発光ダイオード２２－１および２２－２のいずれか一方が選択される。
例えば、図７に示すように、フィルタ２５の通過帯域（Pass bandwidth）が設定されている場合、温度125度の環境においてフィルタ２５の通過帯域の光を発光するような発光ダイオード２２－１と、温度25度の環境においてフィルタ２５の通過帯域の光を発光するような発光ダイオード２２－２とが用いられる。つまり、発光ダイオード２２－１は、温度125度の環境ではフィルタ２５の通過帯域の波長でピークを有し、温度25度の環境ではフィルタ２５の通過帯域以下の波長でピークを有するように、温度に応じて波長がシフトする特性を備えている。一方、発光ダイオード２２－２は、温度125度の環境ではフィルタ２５の通過帯域以上の波長でピークを有し、温度25度の環境ではフィルタ２５の通過帯域の波長でピークを有するように、温度に応じて波長がシフトする特性を備えている。従って、デプス画像取得装置１１Ｂは、フィルタ２５の通過帯域に連動させて、温度125度の環境では発光ダイオード２２－１を発光させ、温度25度の環境では発光ダイオード２２－２を発光させるように構成される。
具体的には、デプス画像取得装置１１Ｂでは、温度25度の環境では波長925ｎｍの光を発光し、温度125度の環境では波長935ｎｍの光を発光する発光ダイオード２２－１と、温度25度の環境では波長945ｎｍの光を発光し、温度125度の環境では波長955ｎｍの光を発光する発光ダイオード２２－２とを使用することができる。また、デプス画像取得装置１１Ｂでは、通過帯域が940nmを中心とした前後10ｎｍの狭帯域（通過帯域の幅の１／２が、発光ダイオード２２の温度変化による波長シフトの変動幅（10ｎｍ）よりも狭く）に限定されたフィルタ２５を使用することができる。
このように構成されるデプス画像取得装置１１Ｂでは、連動制御部３１は、センサ情報が示す温度が25度である場合には発光ダイオード２２－２を選択し、センサ情報が示す温度が125度である場合には発光ダイオード２２－１を選択するような制御を実行する。これにより、デプス画像取得装置１１Ｂでは、周辺環境の温度が25度から125度まで変化しても、センサ情報に従って発光ダイオード２２－１および２２－２の一方が適切に選択される。その結果、フィルタ２５は、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。
従って、デプス画像取得装置１１Ｂは、周辺環境に温度変化があっても、狭帯域のフィルタ２５により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。
＜デプス画像取得装置の第４の構成例＞
図８は、本技術を適用したデプス画像取得装置の第４の実施の形態の構成例を示すブロック図である。なお、図８に示すデプス画像取得装置１１Ｃにおいて、図１のデプス画像取得装置１１および図５のデプス画像取得装置１１Ｂと共通する構成については同一の符号を付し、その詳細な説明は省略する。
即ち、デプス画像取得装置１１Ｃは、図１のデプス画像取得装置１１と
同様に、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、およびデプス画像生成部３０を備えて構成される。また、デプス画像取得装置１１Ｃは、図５のデプス画像取得装置１１Ｂと同様に、連動制御部３１を備えて構成されており、環境センサ４１から連動制御部３１にセンサ情報が供給される。
さらに、デプス画像取得装置１１Ｃは、２つのフィルタ２５－１および２５－２を備えて構成される。フィルタ２５－１および２５－２は、それぞれ異なる波長域の光を通過させることができる。例えば、フィルタ２５－１の通過帯域は、940nmを中心とした前後10ｎｍの狭帯域に限定され、フィルタ２５－２の通過帯域は、960nmを中心とした前後10ｎｍの狭帯域に限定されている。また、デプス画像取得装置１１Ｃが備える発光ダイオード２２は、上述の図６に示したような光源分光特性を備え、例えば、温度が25度である環境では945ｎｍの光を発光し、温度が125度である環境では955ｎｍの光を発光するような温度特性となっている。
例えば、図９に示すように、２つのフィルタ２５－１および２５－２それぞれの通過帯域が設定されている場合、発光ダイオード２２は、温度25度の環境においてフィルタ２５－１の通過帯域の光を発光し、温度125度の環境においてフィルタ２５－２の通過帯域の光を発光するように、温度に応じてピークが変化する特性を備える。従って、デプス画像取得装置１１Ｃは、発光ダイオード２２の特性に連動させて、温度25度の環境ではフィルタ２５－１を通過した光をTOFセンサ２６に受光させ、温度125度の環境ではフィルタ２５－２を通過した光をTOFセンサ２６に受光させるように構成される。
このようにデプス画像取得装置１１Ｃは構成されており、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２が発光する光の波長に連動させて、フィルタ２５－１および２５－２のうちの一方を選択する制御を実行する。即ち、連動制御部３１は、センサ情報が示す温度が25度である場合にはフィルタ２５－１を選択し、センサ情報が示す温度が125度である場合にはフィルタ２５－２を選択するような制御を実行する。
例えば、デプス画像取得装置１１Ｃは、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方がTOFセンサ２６の受光面上に配置されるように、それらの配置位置が切り替え可能となるように構成されている。この配置位置の切り替え方法としては、図示しないアクチュエータなどによって、自動的に配置を切り替えるようにしてもよい。また、ユーザーの操作によって配置を切り替えるようにしてもよい。または、電圧を印加することでフィルタの特性を変化させることにより通過帯域を切り替えてもよい。
これにより、デプス画像取得装置１１Ｃは、周辺環境の温度が25度から125度まで変化しても、センサ情報に従ってフィルタ２５－１および２５－２の一方が適切に選択される。その結果、選択された一方が、外乱光によるノイズ成分を除去し、測定に必要な信号成分を多く通過させることができる。
従って、デプス画像取得装置１１Ｃは、周辺環境に温度変化があっても、狭帯域のフィルタ２５－１または２５－２により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、本実施の形態に限定されず、フィルタ２５を３つ以上備える構成としても良い。３つ以上のフィルタ２５を備える場合は、それぞれ異なる波長帯域の光を透過することで、より狭帯域のフィルタ２５を用いることができ、太陽光などの外乱光による影響を更に抑制することができる。
＜デプス画像取得装置の第５の構成例＞
図１０は、本技術を適用したデプス画像取得装置の第５の実施の形態の構成例を示すブロック図である。なお、図１０に示すデプス画像取得装置１１Ｄにおいて、図８のデプス画像取得装置１１Ｃと共通する構成については同一の符号を付し、その詳細な説明は省略する。
即ち、デプス画像取得装置１１Ｄは、図８のデプス画像取得装置１１Ｃと同様に、光変調部２１、発光ダイオード２２、投光レンズ２３、受光レンズ２４、フィルタ２５－１および２５－２、TOFセンサ２６、画像記憶部２７、同期処理部２８、距離情報演算部２９、デプス画像生成部３０、並びに、連動制御部３１を備えて構成される。また、デプス画像取得装置１１Ｄには、図８のデプス画像取得装置１１Ｃと同様に、環境センサ４１から連動制御部３１にセンサ情報が供給される。
そして、デプス画像取得装置１１Ｄは、フィルタ２５－１および２５－２がTOFセンサ２６の受光面を複数の領域に分割するように配置されている点で、図８のデプス画像取得装置１１Ｃと異なる構成となっている。即ち、デプス画像取得装置１１Ｄは、TOFセンサ２６の受光面が、フィルタ２５－１が配置された分割領域と、フィルタ２５－２が配置された分割領域とに分けられ、それぞれ対応する通過帯域の光を受光するように構成される。
このように構成されるデプス画像取得装置１１Ｄでは、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２が発光する光の波長に連動させて、フィルタ２５－１および２５－２のうちの一方を選択する制御を実行する。即ち、デプス画像取得装置１１Ｄでは、フィルタ２５－１および２５－２のうちの、連動制御部３１により選択された一方が配置された分割領域から出力される画素信号が、デプス画像の生成に用いられる。
例えば、デプス画像取得装置１１Ｄは、940nmを中心とした前後10ｎｍの通過帯域のフィルタ２５－１と、960nmを中心とした前後10ｎｍの通過帯域のフィルタ２５－２とを使用することができる。また、デプス画像取得装置１１Ｄが備える発光ダイオード２２は、上述の図６に示したような光源分光特性を備え、例えば、温度が25度である環境では945ｎｍの光を発光し、温度が125度である環境では955ｎｍの光を発光するような温度特性となっている。
このように構成されるデプス画像取得装置１１Ｄでは、連動制御部３１は、センサ情報が示す温度が25度である場合には、フィルタ２５－１を選択し、例えば、フィルタ２５－１が配置された分割領域の画素信号を出力するようにTOFセンサ２６に対する制御が行われる。また、連動制御部３１は、センサ情報が示す温度が125度である場合には、フィルタ２５－２を選択し、例えば、フィルタ２５－２が配置された分割領域の画素信号を出力するようにTOFセンサ２６に対する制御が行われる。
これにより、デプス画像取得装置１１Ｄは、周辺環境の温度が25度から125度まで変化してもセンサ情報に従ってフィルタ２５－１および２５－２の一方が適切に選択される。その結果、選択された一方により、外乱光によるノイズ成分が除去され、測定に必要な信号成分が多く通過されて得られる画素信号を出力させることができる。
従って、デプス画像取得装置１１Ｄは、周辺環境に温度変化があっても、狭帯域のフィルタ２５－１または２５－２により外乱光の影響を抑制して、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができ、デプス画像の取得性能を向上させることができる。なお、上述した各構成例は、適宜組み合わされてもよい。例えば、複数の発光ダイオード２２と、複数のフィルタ２５とを備え、環境センサ４１により取得されたセンサ情報に基づいて、複数の発光ダイオード２２と複数のフィルタ２５を適宜組み合わせて動作させるようにしてもよい。
＜フィルタの配置例＞
図１１乃至図１７を参照して、TOFセンサ２６の受光面に対するフィルタ２５－１および２５－２の配置例と、それぞれの配置において取得されるデプス画像について説明する。
図１１には、２つのフィルタ２５－１および２５－２を用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の受光面を左右の分割領域に２分割する矩形形状のフィルタ２５－１および２５－２が用いられる。そして、図示する配置例では、フィルタ２５－１がTOFセンサ２６の受光面の左側の分割領域に配置され、フィルタ２５－２がTOFセンサ２６の受光面の右側の分割領域に配置されている。
従って、温度が25度のときには、TOFセンサ２６の左側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の右側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、TOFセンサ２６の右側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の左側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５－１が配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５－２が配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
図１２には、４つのフィルタ２５－１ａおよび２５－１ｂ、並びに、フィルタ２５－２ａおよび２５－２ｂを用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の受光面を２×２の分割領域に４分割する矩形形状のフィルタ２５－１ａおよび２５－１ｂ、並びに、フィルタ２５－２ａおよび２５－２ｂが用いられる。そして、図示する配置例では、フィルタ２５－１ａがTOFセンサ２６の受光面の左上側の分割領域に配置され、フィルタ２５－２ａがTOFセンサ２６の受光面の右上側の分割領域に配置され、フィルタ２５－１ｂがTOFセンサ２６の受光面の右下側の分割領域に配置され、フィルタ２５－２ｂがTOFセンサ２６の受光面の左下側の分割領域に配置されている。
従って、温度が25度のときには、TOFセンサ２６の左上側および右下側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の右上側および左下側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、TOFセンサ２６の右上側および左下側の分割領域において正常なデプス画像を取得することができるが、TOFセンサ２６の左上側および右下側の分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５－１ａおよび２５－１ｂが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５－２ａおよび２５－２ｂが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
図１３には、８つのフィルタ２５－１ａ乃至２５－１ｄ、および、フィルタ２５－２ａ乃至２５－２ｄを用いる構成における配置の一例が示されている。例えば、TOFセンサ２６の縦幅に応じた長さ、かつ、TOFセンサ２６の横幅を８等分するような幅となる８つの分割領域に分割する細長い矩形形状のフィルタ２５－１ａ乃至２５－１ｄ、および、フィルタ２５－２ａ乃至２５－２ｄが用いられる。そして、図示する配置例では、フィルタ２５－１ａ乃至２５－１ｄと、フィルタ２５－２ａ乃至２５－２ｄとが、TOFセンサ２６の横方向に向かって交互に配置されている。
従って、温度が25度のときと、温度が125度のときとで、正常なデプス画像を取得することができる領域が、それぞれ交互に縞模様となる。即ち、温度が25度のときには、フィルタ２５－１ａ乃至２５－１ｄが配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５－２ａ乃至２５－２ｄが配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、フィルタ２５－２ａ乃至２５－２ｄが配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５－１ａ乃至２５－１ｄが配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
このような配置例の構成において、連動制御部３１は、環境センサ４１から供給されるセンサ情報に従って、発光ダイオード２２の温度特性に連動して分割領域を選択することになる。即ち、連動制御部３１は、温度が25度のときには、フィルタ２５－１ａ乃至２５－１ｄが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。一方、連動制御部３１は、温度が125度のときには、フィルタ２５－２ａ乃至２５－２ｄが配置されている分割領域の画素信号を出力するようにTOFセンサ２６に対する制御を行う。
例えば、このような配置例のデプス画像取得装置１１Ｄは、上述の図３に示したように、車両に搭載する利用方法が想定される。例えば、デプス画像取得装置１１Ｄの横方向が車両の進行方向となり、車両の側方から下方に向かうようなデプス画像を取得するように、デプス画像取得装置１１Ｄが車両に取り付けられる。
これにより、図１４に示すように、デプス画像取得装置１１Ｄは、フィルタ２５－１ａ乃至２５－１ｄ、および、フィルタ２５－２ａ乃至２５－２ｄの長手方向に直交するように白線が撮像されるデプス画像を取得することができる。従って、デプス画像取得装置１１Ｄは、温度が25度のときには、フィルタ２５－１ａ乃至２５－１ｄが配置されている分割領域において白線が撮像されたデプス画像を取得することができる。一方、デプス画像取得装置１１Ｄは、温度が125度のときには、フィルタ２５－２ａ乃至２５－２ｄが配置されている分割領域において白線が撮像されたデプス画像を取得することができる。
即ち、デプス画像取得装置１１Ｄは、周辺環境の温度が25度から125度まで変化しても確実に、白線が撮像されたデプス画像を取得することができ、その白線までの距離を測定することができる。
図１５には、所定数の画素（例えば、４×４の１６画素）が矩形に配置された分割領域ごとに、縦方向および横方向に交互に、フィルタ２５－１および２５－２を配置した構成における配置の一例が示されている。例えば、フィルタ２５－１および２５－２は、TOFセンサ２６に対して直接的に積層するようなオンチップで配置することができる。
従って、温度が25度のときには、フィルタ２５－１が配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５－２が配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。一方、温度が125度のときには、フィルタ２５－２が配置されている分割領域において正常なデプス画像を取得することができるが、フィルタ２５－１が配置されている分割領域ではＳＮ比が不足していることより正常なデプス画像は取得されない。
このように、フィルタ２５－１および２５－２を縦方向および横方向に交互に配置する配置例では、ＳＮ比が不足していることより正常なデプス画像を取得すことができない分割領域を、図１６に示すように、後段で復元することができる。例えば、正常なデプス画像を取得することができた分割領域を用いて、その分割領域に隣接し正常なデプス画像を取得すことができない分割領域を補完するように、いわゆる人工知能やディープラーニング（deep learning）などを利用した学習処理が行われる。これにより、正常なデプス画像を取得すことができない分割領域を、その上下および左右の分割領域から復元して、TOFセンサ２６の全体に応じたデプス画像を取得することができる。
また、例えば、TOFセンサ２６の受光面を複数の分割領域に分割してフィルタ２５－１および２５－２を配置した構成は、広帯域のフィルタを採用した従来の技術よりもＳＮ比を改善することができる。
即ち、図１７に示すように、広帯域のフィルタを採用した従来の技術において、ある２つの画素について、外乱光が少ない環境では、それらの画素は信号成分が多い画素信号を出力することができる。また、その２つの画素について、外乱光が多い環境では、どちらの画素もノイズ成分が多い画素信号を出力することになり、このときのＳＮ比は1.4となる。
これに対し、例えば、従来よりも通過帯域を１／２に限定した狭帯域のフィルタ２５－１および２５－２を配置した場合、外乱光が少ない環境では、一方の画素は信号成分が多い画素信号を出力し、他方の画素はノイズ成分が多い画素信号を出力することになる。また、外乱光が多い環境では、どちらの画素も、従来と比較してノイズ成分が１／２となる画素信号を出力することになり、このときのＳＮ比は２となる。
従って、通過帯域が広帯域のフィルタを採用した従来の技術と比較して、従来よりも通過帯域が狭帯域のフィルタ２５－１および２５－２を配置した場合、ＳＮ比が向上することになる。これにより、例えば、図１６に示したように復元を行う際に、全体として、よりノイズの少ないデプス画像を取得することができる。
＜光源温度の制御＞
図１８を参照して、発光ダイオード２２の温度を一定に維持するための制御について説明する。
例えば、TOF方式を実現するために、CAPD（Current Assisted Photonic Demodulator）画素を採用したTOFセンサ２６は、大電力を消費するという特徴を備えている。この特徴を利用し、例えば、TOFセンサ２６において電力を消費することにより発生した熱を用いて、発光ダイオード２２の温度を制御することができる。つまり、TOFセンサ２６を発光ダイオード２２の近傍に配置して、TOFセンサ２６で発生した熱を、熱伝達経路を介して発光ダイオード２２に熱移動させることによって、発光ダイオード２２の温度を調整することができる。
即ち、TOFセンサ２６が有するCAPD画素のうちの所定個数をダミー動作させておき、発光ダイオード２２が所望温度よりも高い温度に上昇した場合には、ダミー動作させているCAPD画素の個数を減少させる。これにより、発光ダイオード２２への熱伝達を削減することができる結果、発光ダイオード２２の温度を所望温度へ低下させることができる。一方、発光ダイオード２２が所望温度よりも低い温度に低下した場合には、ダミー動作させているCAPD画素の個数を増加させる。これにより、発光ダイオード２２への熱伝達を増加させることができる結果、発光ダイオード２２の温度を所望温度へ上昇させることができる。
従って、図１８のＡに示すように、例えば、発光ダイオード２２の温度上昇が小さな変化であるときには、少ない個数のCAPD画素のダミー動作を停止させて発光ダイオード２２の温度を調整し、発光ダイオード２２の温度を一定に維持することができる。一方、図１８のＢに示すように、例えば、発光ダイオード２２の温度上昇が大きな変化であるときには、多い個数のCAPD画素のダミー動作を停止させて発光ダイオード２２の温度を調整し、発光ダイオード２２の温度を一定に維持することができる。
このように、TOFセンサ２６は、発光ダイオード２２の温度を調整することで、発光ダイオード２２が一定の所望温度を維持するように制御することができ、上述したような温度特性による波長シフトの発生を抑制させることができる。従って、狭帯域のフィルタ２５を通過するような光を発光ダイオード２２に発光させることができ、外乱光の影響を抑制して、デプス画像の取得性能を向上させることができる。なお、このような光源温度の制御は、CAPD画素に限定されず、SPAD画素やAPD画素等への応用も可能であり、同様の効果を奏することができる。
＜デプス画像取得装置の利用例＞
図１９乃至図２２を参照して、デプス画像取得装置１１の利用例について説明する。
上述したように、デプス画像取得装置１１は、狭帯域のフィルタ２５を使用することで、屋外での使用においても、より高精度なデプス画像を取得することが可能な取得距離を長距離化することができる。例えば、屋外における取得距離が１５ｍ程度である場合、デプス画像取得装置１１は、他の方式（例えば、超音波センサや、ミリ波センサ、カメラなど）と比較して、画素解像度や、分解能、視野角などの向上により、より良好な認識特性を備えることができる。
図１９は、対象物を検出したことを外部に通知する通知手段を備えたTOFシステムの構成例を示すブロック図である。
図１９に示すように、TOFシステム５１は、デプス画像取得装置１１および音声出力装置１２を備えて構成される。なお、図１９に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
デプス画像取得装置１１は、発光ダイオード２２から照射されて対象物で反射した光をTOFセンサ２６で受光することにより、例えば、TOFシステム５１と対象物との間に霧が発生していても、その対象物を認識可能なデプス画像を取得することができる。そして、デプス画像取得装置１１は、TOFセンサ２６が取得したデプス画像に基づいて、例えば、人物が特定のジェスチャを行った場合、その人物を検出したことを示す信号を、音声出力装置１２に出力する。
音声出力装置１２は、特定の音声を出力することで、対象物を検出したことを通知する通知手段である。なお、音声を利用した通知は、一例であり、音声以外を利用して対象物を検出したことを通知してもよい。
このように構成されるTOFシステム５１は、対象物となる人物からTOFシステム５１を認識できないような夜間や悪天候などの環境であっても、TOFシステム５１から人物を認識することができる。そして、その人物がジェスチャなどにより合図をすると、デプス画像取得装置１１から音声出力装置１２に供給される信号に従って、音声出力装置１２が音声を出力する。この音声により、人物に、TOFシステム５１を搭載した装置（例えば、自動運転車両など）を認識させることが可能となる。
図２０は、対象物を検出したことを外部に通知する通知手段を備えたTOFシステムの構成例を示すブロック図である。
図２０に示すように、TOFシステム５２は、デプス画像取得装置１１および振動装置１３を備えて構成される。なお、図２０に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
TOFシステム５２は、利用者の身体に振動を伝えることができるような道具、例えば、二輪車の運転者が装着するヘルメットなどに搭載するような利用例が想定される。例えば、ヘルメットに搭載されたTOFシステム５２は、運転者が前方を注意しながら運転しているときに、デプス画像取得装置１１が取得するデプス画像に基づいて、側方や後方などにある物体を、夜間や悪天候などの環境であっても認識することができる。そして、TOFシステム５２は、運転に対して危険となるような物体を検知すると、その物体を検知したことを示す信号を振動装置１３に供給し、振動装置１３が振動することによって、運転者に通知することができる。
図２１は、対象物を検出したことを記録する記録手段を備えたTOFシステムの構成例を示すブロック図である。
図２１に示すように、TOFシステム５３は、デプス画像取得装置１１および記録装置１４を備えて構成される。なお、図２１に示すデプス画像取得装置１１では、発光ダイオード２２およびTOFセンサ２６以外のブロックの図示は省略されている。
TOFシステム５３は、自動草刈り装置や農作物収穫装置などのような自動移動体に搭載するような利用例が想定される。
例えば、欧米などにある広い庭の草刈りやゴルフ場などの芝のメンテナンスのために自律型の自動草刈り装置が使用され、自動草刈り装置に搭載されたTOFシステム５３は、外乱光があるような昼間でも物体を認識することができる。また、TOFシステム５３が搭載された自動草刈り装置を夜間に利用してもよく、夜間の利用されていない芝のメンテナンスを自動で行うことで、メンテナンス作業の効率化を図ることができる。
そして、TOFシステム５３は、デプス画像取得装置１１が取得するデプス画像に基づいて物体を認識すると、物体を認識したことを示す信号を記録装置１４に供給し、その物体を認識した情報を記録することができる。これにより、例えば、TOFシステム５３が搭載された自動草刈り装置を、夜間警備装置として利用することもでき、記録した情報に基づいて不審者などを把握し、リスク情報として管理することができる。
例えば、今後の人手不足が懸念される農作物の収穫に、自律型の農作物収穫装置を利用することが想定され、農作物収穫装置に搭載されたTOFシステム５３は、外乱光があるような昼間でも、農場を往来する動物などの物体を認識することができる。また、TOFシステム５３が搭載された農作物収穫装置を夜間に利用してもよく、夜間に農作物の収穫を行うことで、収穫作業の効率化を図ることができる。
そして、TOFシステム５３は、デプス画像取得装置１１が取得するデプス画像に基づいて動物などの物体を認識すると、物体を認識したことを示す信号を記録装置１４に供給し、その物体を認識した情報を記録することができる。これにより、農場を往来する動物が害獣である場合には、その駆除を行う際の参考とすることができる。また、TOFシステム５３では、発光ダイオード２２から出力される赤外光を、例えば、収穫物の鮮度検出に使用することで、収穫対象を決定する農作業収穫システムに利用することができる。
図２２は、水中および陸上での対象物を検出することができるTOFシステムの構成例を示すブロック図である。
図２２に示すように、TOFシステム５４は、デプス画像取得装置１１Ｅおよび記録装置１４を備えて構成される。例えば、デプス画像取得装置１１Ｅは、図４のデプス画像取得装置１１Ａと同様に、２つの発光ダイオード２２－１および２２－２を備え、図１０のデプス画像取得装置１１Ｄと同様に、TOFセンサ２６の受光面にフィルタ２５－１および２５－２が配置されて構成される。なお、図２２に示すデプス画像取得装置１１Ｅでは、発光ダイオード２２－１および２２－２、フィルタ２５－１および２５－２、並びにTOFセンサ２６以外のブロックの図示は省略されている。
TOFシステム５４は、陸上および水中での対象物を検出して自律的に移動することが可能な水陸両用移動体に搭載するような利用例が想定される。
例えば、TOFシステム５４は、屋外での照度の低い波長940nm（図２参照）の光を発光する発光ダイオード２２－１を使用するとともに、水中での減衰率が低い波長520ｎｍの光を発光する発光ダイオード２２－２を使用することができる。これに応じて、フィルタ２５－１の通過帯域は、発光ダイオード２２－１に対応した940nmを中心とした狭帯域に限定し、フィルタ２５－２の通過帯域は、発光ダイオード２２－２に対応した520nmを中心とした狭帯域に限定する。
従って、TOFシステム５４を搭載した水陸両用移動体は、陸上においては、発光ダイオード２２－１を選択して、それに連動してフィルタ２５－１を通過した光に基づいてデプス画像を取得するような制御が行われる。これにより、陸上の対象物をTOFセンサ２６により検出することができる。一方、TOFシステム５４を搭載した水陸両用移動体は、水中においては、発光ダイオード２２－２を選択して、それに連動してフィルタ２５－２を通過した光に基づいてデプス画像を取得するような制御が行われる。これにより、水中の対象物をTOFセンサ２６により検出することができる。
このように、TOFシステム５４を搭載した水陸両用移動体は、陸上および水中それぞれに対応した発光ダイオード２２およびフィルタ２５を選択することで、陸上および水中どちらにおいても対象物を良好に認識可能なデプス画像を取得することができる。
なお、デプス画像取得装置１１Ｅのように、２つの発光ダイオード２２－１および２２－２を備え、TOFセンサ２６の受光面にフィルタ２５－１および２５－２が配置された構成を、上述の図２１を参照して説明したような自動移動体に搭載してもよい。この構成では、例えば、昼間用と夜間用とで、発光ダイオード２２－１および２２－２の選択と、フィルタ２５－１および２５－２の選択とが切り替えられる。
例えば、発光ダイオード２２－１およびフィルタ２５－１は昼間用（波長940ｎｍ）とし、発光ダイオード２２－１およびフィルタ２５－１は夜間用（波長850ｎｍ）とすることができる。従って、自動移動体に搭載されたデプス画像取得装置１１Ｅは、昼間は、外乱光の影響を抑制することができる波長940ｎｍを使用し、夜間は、よりセンサ感度の良好な波長850ｎｍを使用することができる。これにより、デプス画像取得装置１１Ｅを搭載した自動移動体は、昼間および夜間どちらにおいても対象物を良好に認識可能なデプス画像を取得することができる。
その他、上述したようなデプス画像取得装置１１乃至１１Ｅを備えたTOFシステムは、カーナビゲーションや、ドライブレコーダなどのような様々な装置で利用することが想定される。
＜TOFセンサの構成例＞
図２３乃至図３１を参照して、TOFセンサ２６の構成例について説明する。
図２３には、TOFセンサ２６の断面的な構成が示されている。
図２３に示す構成例において、TOFセンサ２６の受光面には画素６１が行列状に配置されており、TOFセンサ２６は、ロジック基板６２とセンサ基板６３とが積層された積層構造となっている。
ロジック基板６２には、センサ基板６３から出力される信号に対する信号処理を行う信号処理回路や、センサ基板６３の画素６１に対する制御を行う制御回路、センサ基板６３から出力される信号を記憶するメモリ回路などが形成される。
センサ基板６３は、半導体層６４およびオンチップレンズ層６５が積層されて構成される。半導体層６４には、画素６１ごとにフォトダイオード６６が形成され、半導体層６４の受光面には画素６１ごとにフィルタ２５が配置されており、オンチップレンズ層６５には、画素６１ごとにマイクロレンズ６７が配置されている。
TOFセンサ２６では、フィルタ２５－１が配置されている画素６１－１は、フィルタ２５－１の通過帯域に対応する波長の光を受光し、フィルタ２５－２が配置されている画素６１－２は、フィルタ２５－２の通過帯域に対応する波長の光を受光する。
図２４には、TOFセンサ２６の構成例を示すブロック図が示されている。
図２４に示すように、TOFセンサ２６は、画素領域７１、垂直駆動回路７２、カラム信号処理回路７３、水平駆動回路７４、出力回路７５、および制御回路７６を備えて構成される。
画素領域７１は、例えば、図１の受光レンズ２４により集光される光を受光する受光面である。画素領域７１には、複数の画素６１が行列状に配置されており、それぞれの画素６１は、水平信号線７７を介して行ごとに垂直駆動回路７２に接続されるとともに、垂直信号線７８を介して列ごとにカラム信号処理回路７３に接続される。複数の画素６１は、それぞれ配置されているフィルタ２５を通過した光の光量に応じたレベルの画素信号を出力する。
垂直駆動回路７２は、画素領域７１に配置される複数の画素６１の行ごとに順次、それぞれの画素６１を駆動（転送や、選択、リセットなど）するための駆動信号を、水平信号線７７を介して画素６１に供給する。カラム信号処理回路７３は、複数の画素６１から垂直信号線７８を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。
水平駆動回路７４は、画素領域７１に配置される複数の画素６１の列ごとに順次、カラム信号処理回路７３から画素信号をデータ出力信号線７９に出力させるための駆動信号を、カラム信号処理回路７３に供給する。出力回路７５は、水平駆動回路７４の駆動信号に従ったタイミングでカラム信号処理回路７３からデータ出力信号線７９を介して供給される画素信号を増幅し、後段の回路（例えば、図１の同期処理部２８）に出力する。制御回路７６は、例えば、TOFセンサ２６の各ブロックの駆動周期に従ったクロック信号を生成して供給することで、それらの各ブロックの駆動を制御する。
そして、TOFセンサ２６では、環境センサ４１から出力されるセンサ情報、または、TOFセンサ２６の製造時に登録されている固有情報に従って、連動制御部３１が、上述したような制御を実行する。
例えば、環境センサ４１が発光ダイオード２２の周辺環境の温度を検出して、その温度を示すセンサ情報を連動制御部３１に供給すると、連動制御部３１は、センサ情報が示す温度に従って、フィルタ２５－１および２５－２のうちの一方を選択する制御を実行する。そして、連動制御部３１は、フィルタ２５－１および２５－２のうちの、選択した一方を制御回路７６に通知し、制御回路７６は、連動制御部３１により選択された一方が配置された画素６１から画素信号が出力されるように、画素６１の駆動を制御する。これにより、温度変化があっても、高精度なデプス画像を生成することができる画素信号を出力することができる。
また、例えば、環境センサ４１が、周辺環境の水の有無を検出することができる場合、環境センサ４１は、陸上または水中のどちらで使用されているかを示すセンサ情報を連動制御部３１に供給することができる。従って、連動制御部３１は、図２２を参照して説明したように、センサ情報に従って、フィルタ２５－１および２５－２のうち、陸上用（波長940nm）と水中用（波長520ｎｍ）とのいずれか一方を選択する制御を実行する。そして、連動制御部３１は、フィルタ２５－１および２５－２のうちの、選択した一方を制御回路７６に通知し、制御回路７６は、連動制御部３１により選択された一方が配置された画素６１から画素信号が出力されるように、画素６１の駆動を制御する。これにより、陸上および水中のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
また、例えば、環境センサ４１が、周辺環境の照度を検出することができる場合、環境センサ４１は、昼間または夜間のどちらであるかを示すセンサ情報を連動制御部３１に供給することができる。従って、連動制御部３１は、センサ情報に従って、発光ダイオード２２－１およびフィルタ２５－１のうち、昼間用（波長940ｎｍ）と夜間用（波長850ｎｍ）とのいずれか一方を選択する制御を実行する。これにより、昼間および夜間のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
ところで、連動制御部３１は、センサ信号の他、個々のTOFセンサ２６に固有の固有情報に従った制御を実行することができる。例えば、固有情報としては、画素６１ごとに画角端または中央を示す情報や、製造バラツキを示す情報などを用いることができる。
例えば、TOFセンサ２６では、受光レンズ２４の集光角度（広角または狭角）に従って、画角端にある画素６１と、中央にある画素６１とでフィルタ２５の適切な通過帯域を使用する必要がある。従って、連動制御部３１は、受光レンズ２４の集光角度の切り替えに応じて、画素６１が画角端および中央のどちらに配置されているかによって、発光ダイオード２２－１およびフィルタ２５－１のいずれか一方を選択する制御を実行する。これにより、TOFセンサ２６は、受光レンズ２４の集光角度が広角および狭角のどちらでも、高精度なデプス画像を生成することができる画素信号を出力することができる。
また、TOFセンサ２６は、製造時のバラツキによって、個々の画素６１において適切な通過帯域を使用する必要がある。従って、連動制御部３１は、製造時のバラツキを補正するように、発光ダイオード２２－１およびフィルタ２５－１のいずれか一方を選択する制御を実行する。これにより、TOFセンサ２６は、画素６１ごとのバラツキが抑制された高精度なデプス画像を生成することができる画素信号を出力することができる。
図２５には、画素６１ごとに設けられるフィルタ２５－１および２５－２が、画素領域７１の行方向および列方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方が配置されている画素６１を駆動するように、垂直駆動回路７２および水平駆動回路７４に対する制御を行うことができる。
図２６には、画素６１の行に沿って設けられるフィルタ２５－１および２５－２が、画素領域７１の列方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方が配置されている画素６１の行を駆動するように、垂直駆動回路７２に対する制御を行うことができる。このとき、フィルタ２５－１および２５－２のうち、連動制御部３１により選択されていない画素６１の行に対する駆動は行われないため、その行に対応する垂直駆動回路７２の駆動素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
図２７には、画素６１の列に沿って設けられるフィルタ２５－１および２５－２が、画素領域７１の行方向に交互に配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方が配置されている画素６１の列を駆動するように、水平駆動回路７４に対する制御を行うことができる。このとき、フィルタ２５－１および２５－２のうち、連動制御部３１により選択されていない画素６１の列に対する駆動は行われないため、その列に対応するカラム信号処理回路７３のＡＤ変換素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
図２８には、画素領域７１の左側半分の領域にフィルタ２５－１が配置され、画素領域７１の右側半分の領域にフィルタ２５－２が配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方が配置されている画素６１の領域を駆動するように、水平駆動回路７４に対する制御を行うことができる。このとき、フィルタ２５－１および２５－２のうち、連動制御部３１により選択されていない画素６１の領域に対する駆動は行われないため、その領域に対応するカラム信号処理回路７３のＡＤ変換素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
図２９には、画素領域７１の上側半分の領域にフィルタ２５－１が配置され、画素領域７１の下側半分の領域にフィルタ２５－２が配置された配置例が示されている。このようなTOFセンサ２６において、制御回路７６は、フィルタ２５－１および２５－２のうち、連動制御部３１により選択された一方が配置されている画素６１の領域を駆動するように、垂直駆動回路７２に対する制御を行うことができる。このとき、フィルタ２５－１および２５－２のうち、連動制御部３１により選択されていない画素６１の領域に対する駆動は行われないため、その領域に対応する垂直駆動回路７２の駆動素子の駆動を停止するような制御を行うことができる。このように、画素信号の読み出しを停止することによって、TOFセンサ２６は、例えば、低消費電力化および高速化を図ることができる。
図３０には、ベイヤ配列と組み合わせてフィルタ２５－１および２５－２が配置された配置例が示されている。即ち、２×２で配置される４個の画素６１に対して、赤色のフィルタＲ、緑色のフィルタＧ、および青色のフィルタＢと、フィルタ２５－１または２５－２が配置される。また、フィルタ２５－１および２５－２は、画素領域７１の行方向および列方向に交互に配置されている。このような配置例のTOFセンサ２６により、デプス画像とともに、ＲＧＢ画像を取得することができる。
図３１には、モジュール配置による構成のTOFセンサ２６の断面的な構成例が示されている。例えば、図２３に示したように、フィルタ２５－１および２５－２を、TOFセンサ２６半導体層６４の受光面に対して直接的に積層するようなオンチップで配置する他、図３１に示すようにモジュールとして配置することができる。
図示するように、例えば、センサ基板８１にはボンディングワイヤ８２を介して外部に信号を出力することができ、センサ基板８１を収納する収納ケース８３を利用してフィルタ２５－１および２５－２がセンサ基板８１の受光面側にモジュールとして外付けで配置される。さらに、収納ケース８３に対してレンズホルダ８４および８５を用いて受光レンズ２４が固定されている。
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、単一のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（制御方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図３４は、撮像部１２０３１の設置位置の例を示す図である。
図３４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図３４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。これにより、より高精度なデプス画像を取得可能な取得距離を長距離化することができ、例えば、より安全な自動運転等を実現することができる。さらには、本開示に係る技術は、以上説明した構成のうち、運転者状態検出部１２０４１にも適用され得る。これにより、太陽光等の外乱光による影響が低減された、より高精度なデプス画像を取得可能となる。従って、例えば、運転者のジェスチャや覚醒状態あるいは属性情報等をより高精度に検出可能となる。
＜本開示に係る技術を適用し得る積層型の固体撮像装置の構成例＞
図３５は、本開示に係る技術を適用し得る積層型の固体撮像装置の構成例の概要を示す図である。
図３５のＡは、非積層型の固体撮像装置の概略構成例を示している。固体撮像装置23010は、図３５のＡに示すように、１枚のダイ（半導体基板）23011を有する。このダイ23011には、画素がアレイ状に配置された画素領域23012と、画素の駆動その他の各種の制御を行う制御回路23013と、信号処理するためのロジック回路23014とが搭載されている。
図３５のＢ及びＣは、積層型の固体撮像装置の概略構成例を示している。固体撮像装置23020は、図３５のＢ及びＣに示すように、センサダイ23021とロジックダイ23024との2枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成されている。
図３５のＢでは、センサダイ23021には、画素領域23012と制御回路23013が搭載され、ロジックダイ23024には、信号処理を行う信号処理回路を含むロジック回路23014が搭載されている。
図３５のＣでは、センサダイ23021には、画素領域23012が搭載され、ロジックダイ23024には、制御回路23013及びロジック回路23014が搭載されている。
図３６は、積層型の固体撮像装置23020の第１の構成例を示す断面図である。
センサダイ23021には、画素領域23012となる画素を構成するPD（フォトダイオード）や、FD（フローティングディフュージョン）、Tr（MOS FET）、及び、制御回路23013となるTr等が形成される。さらに、センサダイ23021には、複数層、本例では３層の配線23110を有する配線層23101が形成される。なお、制御回路23013（となるTr）は、センサダイ23021ではなく、ロジックダイ23024に構成することができる。
ロジックダイ23024には、ロジック回路23014を構成するTrが形成される。さらに、ロジックダイ23024には、複数層、本例では３層の配線23170を有する配線層23161が形成される。また、ロジックダイ23024には、内壁面に絶縁膜23172が形成された接続孔23171が形成され、接続孔23171内には、配線23170等と接続される接続導体23173が埋め込まれる。
センサダイ23021とロジックダイ23024とは、互いの配線層23101及び23161が向き合うように貼り合わされ、これにより、センサダイ23021とロジックダイ23024とが積層された積層型の固体撮像装置23020が構成されている。センサダイ23021とロジックダイ23024とが貼り合わされる面には、保護膜等の膜23191が形成されている。
センサダイ23021には、センサダイ23021の裏面側（PDに光が入射する側）（上側）からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達する接続孔23111が形成される。さらに、センサダイ23021には、接続孔23111に近接して、センサダイ23021の裏面側から１層目の配線23110に達する接続孔23121が形成される。接続孔23111の内壁面には、絶縁膜23112が形成され、接続孔23121の内壁面には、絶縁膜23122が形成される。そして、接続孔23111及び23121内には、接続導体23113及び23123がそれぞれ埋め込まれる。接続導体23113と接続導体23123とは、センサダイ23021の裏面側で電気的に接続され、これにより、センサダイ23021とロジックダイ23024とが、配線層23101、接続孔23121、接続孔23111、及び、配線層23161を介して、電気的に接続される。
図３７は、積層型の固体撮像装置23020の第２の構成例を示す断面図である。
固体撮像装置23020の第２の構成例では、センサダイ23021に形成する１つの接続孔23211によって、センサダイ23021（の配線層23101（の配線23110））と、ロジックダイ23024（の配線層23161（の配線23170））とが電気的に接続される。
すなわち、図３７では、接続孔23211が、センサダイ23021の裏面側からセンサダイ23021を貫通してロジックダイ23024の最上層の配線23170に達し、且つ、センサダイ23021の最上層の配線23110に達するように形成される。接続孔23211の内壁面には、絶縁膜23212が形成され、接続孔23211内には、接続導体23213が埋め込まれる。上述の図３６では、２つの接続孔23111及び23121によって、センサダイ23021とロジックダイ23024とが電気的に接続されるが、図３７では、１つの接続孔23211によって、センサダイ23021とロジックダイ23024とが電気的に接続される。
図３８は、積層型の固体撮像装置23020の第３の構成例を示す断面図である。
図３８の固体撮像装置23020は、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されていない点で、センサダイ23021とロジックダイ23024とが貼り合わされる面に、保護膜等の膜23191が形成されている図３６の場合と異なる。
図３８の固体撮像装置23020は、配線23110及び23170が直接接触するように、センサダイ23021とロジックダイ23024とを重ね合わせ、所要の加重をかけながら加熱し、配線23110及び23170を直接接合することで構成される。
図３９は、本開示に係る技術を適用し得る積層型の固体撮像装置の他の構成例を示す断面図である。
図３９では、固体撮像装置23401は、センサダイ23411と、ロジックダイ23412と、メモリダイ23413との3枚のダイが積層された３層の積層構造になっている。
メモリダイ23413は、例えば、ロジックダイ23412で行われる信号処理において一時的に必要となるデータの記憶を行うメモリ回路を有する。
図３９では、センサダイ23411の下に、ロジックダイ23412及びメモリダイ23413が、その順番で積層されているが、ロジックダイ23412及びメモリダイ23413は、逆順、すなわち、メモリダイ23413及びロジックダイ23412の順番で、センサダイ23411の下に積層することができる。
なお、図３９では、センサダイ23411には、画素の光電変換部となるPDや、画素Trのソース／ドレイン領域が形成されている。
PDの周囲にはゲート絶縁膜を介してゲート電極が形成され、ゲート電極と対のソース／ドレイン領域により画素Tr23421、画素Tr23422が形成されている。
PDに隣接する画素Tr23421が転送Trであり、その画素Tr23421を構成する対のソース／ドレイン領域の一方がFDになっている。
また、センサダイ23411には、層間絶縁膜が形成され、層間絶縁膜には、接続孔が形成される。接続孔には、画素Tr23421、及び、画素Tr23422に接続する接続導体23431が形成されている。
さらに、センサダイ23411には、各接続導体23431に接続する複数層の配線23432を有する配線層23433が形成されている。
また、センサダイ23411の配線層23433の最下層には、外部接続用の電極となるアルミパッド23434が形成されている。すなわち、センサダイ23411では、配線23432よりもロジックダイ23412との接着面23440に近い位置にアルミパッド23434が形成されている。アルミパッド23434は、外部との信号の入出力に係る配線の一端として用いられる。
さらに、センサダイ23411には、ロジックダイ23412との電気的接続に用いられるコンタクト23441が形成されている。コンタクト23441は、ロジックダイ23412のコンタクト23451に接続されるとともに、センサダイ23411のアルミパッド23442にも接続されている。
そして、センサダイ23411には、センサダイ23411の裏面側（上側）からアルミパッド23442に達するようにパッド孔23443が形成されている。
本開示に係る技術は、以上のような固体撮像装置に適用することができる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、
前記光源または前記センサの環境情報を取得する環境センサと、
前記環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部と
を備えるデプス画像取得装置。
（２）
前記環境センサは、前記光源の温度を取得する温度センサである
上記（１）に記載のデプス画像取得装置。
（３）
前記連動制御部は、前記環境情報に従って、前記光源が照射する光の波長、および、前記フィルタの通過帯域のうちの、少なくとも一方を、他方に連動させて選択する制御を実行する
上記（１）または（２）に記載のデプス画像取得装置。
（４）
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
上記（２）に記載のデプス画像取得装置。
（５）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタのうちの少なくともいずれか１つを選択する
上記（２）に記載のデプス画像取得装置。
（６）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
前記複数のフィルタが前記センサの受光面に対して積層して配置されており、
前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
前記連動制御部は、前記温度に従って、前記複数のフィルタが配置されている複数の領域のうち少なくともいずれか１つを選択して前記信号を出力するように前記センサに対する制御を行う
上記（２）に記載のデプス画像取得装置。
（７）
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの受光面の縦幅に応じた長さ、かつ、横幅を前記所定数の２倍の数で等分割するような幅となる矩形形状で、前記センサの受光面の横方向に交互に配置されている
上記（６）に記載のデプス画像取得装置。
（８）
前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
前記第１および第２のフィルタが、前記センサの複数の画素が矩形に配置された分割領域ごとに、前記センサの受光面の縦方向および横方向に交互に配置されている
上記（７）に記載のデプス画像取得装置。
（９）
前記第１のフィルタが配置されている前記分割領域に対応する前記デプス画像と、前記第２のフィルタが配置されている前記分割領域に対応する前記デプス画像とのうち、正常に取得することができた一方の前記デプス画像から、正常に取得することができなかった他方の前記デプス画像を復元する
上記（８）に記載のデプス画像取得装置。
（１０）
前記センサは、前記連動制御部により選択されなかった前記フィルタが配置されている領域の画素からの前記信号を読み出すのに用いる素子の駆動を停止する
上記（６）から（９）までのいずれかに記載のデプス画像取得装置。
（１１）
前記光源の近傍に前記センサが配置され、前記センサが有する複数の画素のうち、前記光源の温度の上昇に対応させて、ダミー動作を行わせる前記画素の個数を減少させ、前記光源の温度の低下に対応させて、ダミー動作を行わせる前記画素の個数を増加させる
上記（２）から（１０）までのいずれかに記載のデプス画像取得装置。
（１２）
前記センサから出力される信号から生成される前記デプス画像に基づいて、前記検出領域にある所定の対象物が検出されると、前記所定の対象物を検出したことを外部に通知する通知手段に対して、前記所定の対象物を検出したことを示す信号を供給する
上記（１）から（１１）までのいずれかに記載のデプス画像取得装置。
（１３）
前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタを有し、
前記複数のフィルタが、前記センサの受光面側にモジュールとして外付けで配置される
上記（１）から（１２）までのいずれかに記載のデプス画像取得装置。
（１４）
前記連動制御部は、前記複数の光源のうち、選択された光源から前記光を照射させ、選択されなかった光源からの照射を停止させる
上記（４）から（１３）までのいずれかに記載のデプス画像取得装置。
（１５）
前記光源は、100度の温度変化に応じて所定の変動幅の波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、前記所定の変動幅よりも狭い
上記（４）から（１４）までのいずれかに記載のデプス画像取得装置。
（１６）
前記光源は、100度の温度変化に応じて少なくとも10nmの波長シフトが発生し、
前記フィルタにおける前記所定の通過帯域の幅の1/2は、10nm未満である
上記（１５）に記載のデプス画像取得装置。
（１７）
前記所定の通過帯域の中心波長は、920nm乃至960nmの間である
上記（１）から（１６）までのいずれかに記載のデプス画像取得装置。
（１８）
前記フィルタは、前記所定の通過帯域の波長の光を60%以上透過し、前記所定の通過帯域以外の波長の光を30%未満透過する
上記（１）から（１７）までのいずれかに記載のデプス画像取得装置。
（１９）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと
を備えるデプス画像取得装置が、
前記光源または前記センサの環境情報を取得することと、
前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することと
を含むデプス画像取得装置の制御方法。
（２０）
デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源、
または、前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサ
の環境情報を取得する環境センサによって取得された前記環境情報に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部
を備えるデプス画像取得システム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。例えば、発光ダイオード２２やTOFセンサ２６などを外部に設け、連動制御部３１やデプス画像生成部３０などを備えるシステムが、発光ダイオード２２に対する制御やTOFセンサ２６の画素信号に対する処理を行うような構成としてもよい。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ デプス画像取得装置， １２ 音声出力装置， １３ 振動装置， １４ 記録装置， ２１ 光変調部， ２２ 発光ダイオード， ２３ 投光レンズ， ２４ 受光レンズ， ２５ フィルタ， ２６ TOFセンサ， ２７ 画像記憶部， ２８ 同期処理部， ２９ 距離情報演算部， ３０ デプス画像生成部， ３１ 連動制御部， ４１ 環境センサ， ５１乃至５４ TOFシステム， ６１ 画素， ６２ ロジック基板， ６３ センサ基板， ６４ 半導体層， ６５ オンチップレンズ層， ６６ フォトダイオード， ６７ マイクロレンズ， ７１ 画素領域， ７２ 垂直駆動回路， ７３ カラム信号処理回路， ７４ 水平駆動回路， ７５ 出力回路， ７６ 制御回路， ７７ 水平信号線， ７８ 垂直信号線， ７９ データ出力信号線， ８１ センサ基板， ８２ ボンディングワイヤ， ８３ 収納ケース， ８４および８５ レンズホルダ

Claims (18)

  1. デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
    前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
    前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと、
    前記光源または前記センサの温度を取得する温度センサと、
    前記温度センサによって取得された前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部と
    を備え、
    前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
    前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
    デプス画像取得装置。
  2. 前記連動制御部は、前記温度に従って、前記光源が照射する光の波長、および、前記フィルタの通過帯域のうちの、少なくとも一方を、他方に連動させて選択する制御を実行する
    請求項１に記載のデプス画像取得装置。
  3. 前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
    前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
    前記連動制御部は、前記温度に従って、前記複数のフィルタのうちの少なくともいずれか１つを選択する
    請求項１に記載のデプス画像取得装置。
  4. 前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタであり、
    前記複数のフィルタが前記センサの受光面に対して積層して配置されており、
    前記光源は、温度変化に応じて波長シフトが発生する温度特性を有しており、
    前記連動制御部は、前記温度に従って、前記複数のフィルタが配置されている複数の領域のうち少なくともいずれか１つを選択して前記信号を出力するように前記センサに対する制御を行う
    請求項１に記載のデプス画像取得装置。
  5. 前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
    前記第１および第２のフィルタが、前記センサの受光面の縦幅に応じた長さ、かつ、横幅を前記所定数の２倍の数で等分割するような幅となる矩形形状で、前記センサの受光面の横方向に交互に配置されている
    請求項４に記載のデプス画像取得装置。
  6. 前記複数のフィルタは、第１の通過帯域を有する所定数の第１のフィルタと、第２の通過帯域を有する前記所定数の第２のフィルタとを有し、
    前記第１および第２のフィルタが、前記センサの複数の画素が矩形に配置された分割領域ごとに、前記センサの受光面の縦方向および横方向に交互に配置されている
    請求項４に記載のデプス画像取得装置。
  7. 前記第１のフィルタが配置されている前記分割領域に対応する前記デプス画像と、前記第２のフィルタが配置されている前記分割領域に対応する前記デプス画像とのうち、正常に取得することができた一方の前記デプス画像から、正常に取得することができなかった他方の前記デプス画像を復元する
    請求項６に記載のデプス画像取得装置。
  8. 前記センサは、前記連動制御部により選択されなかった前記フィルタが配置されている領域の画素からの前記信号を読み出すのに用いる素子の駆動を停止する
    請求項４に記載のデプス画像取得装置。
  9. 前記光源の近傍に前記センサが配置され、前記センサが有する複数の画素のうち、前記光源の温度の上昇に対応させて、ダミー動作を行わせる前記画素の個数を減少させ、前記光源の温度の低下に対応させて、ダミー動作を行わせる前記画素の個数を増加させる
    請求項１に記載のデプス画像取得装置。
  10. 前記センサから出力される信号から生成される前記デプス画像に基づいて、前記検出領域にある所定の対象物が検出されると、前記所定の対象物を検出したことを外部に通知する通知手段に対して、前記所定の対象物を検出したことを示す信号を供給する
    請求項１に記載のデプス画像取得装置。
  11. 前記フィルタは、それぞれ異なる通過帯域を有する複数のフィルタを有し、
    前記複数のフィルタが、前記センサの受光面側にモジュールとして外付けで配置される
    請求項１に記載のデプス画像取得装置。
  12. 前記連動制御部は、前記複数の光源のうち、選択された光源から前記光を照射させ、選択されなかった光源からの照射を停止させる
    請求項１に記載のデプス画像取得装置。
  13. 前記光源は、100度の温度変化に応じて所定の変動幅の波長シフトが発生し、
    前記フィルタにおける前記所定の通過帯域の幅の1/2は、前記所定の変動幅よりも狭い
    請求項１に記載のデプス画像取得装置。
  14. 前記光源は、100度の温度変化に応じて少なくとも10nmの波長シフトが発生し、
    前記フィルタにおける前記所定の通過帯域の幅の1/2は、10nm未満である
    請求項１３に記載のデプス画像取得装置。
  15. 前記所定の通過帯域の中心波長は、920nm乃至960nmの間である
    請求項１に記載のデプス画像取得装置。
  16. 前記フィルタは、前記所定の通過帯域の波長の光を60%以上透過し、前記所定の通過帯域以外の波長の光を30%未満透過する
    請求項１に記載のデプス画像取得装置。
  17. デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
    前記光源から照射された光が前記検出領域にある物体に反射して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと、
    前記センサに向かって入射してくる光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く通過させるフィルタと
    を備えるデプス画像取得装置が、
    前記光源または前記センサの温度を取得することと、
    前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御することと
    を含み、
    前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
    前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
    デプス画像取得装置の制御方法。
  18. デプス画像を取得して距離を検出する領域となる検出領域に向かって、変調された光を照射する光源と、
    前記光源から照射された光が前記検出領域にある物体に反射する光のうち、所定の通過帯域の波長の光を、前記所定の通過帯域以外の波長の光よりも多く光のみを通過させるフィルタを介して入射する光を受光して、前記デプス画像を生成するための信号を出力するセンサと
    のうち、いずれか一方の温度を取得する温度センサによって取得された前記温度に従って、前記光源と、前記センサと、前記フィルタの配置とのうち、少なくともいずれか１つを制御する連動制御部
    を備え、
    前記光源は、温度変化に応じて波長シフトが発生する温度特性を有し、それぞれ異なる波長のピークを有する光を発光する複数の光源であり、
    前記連動制御部は、前記温度に従って、前記複数の光源のうちの少なくともいずれか１つを選択する
    デプス画像取得システム。
JP2018176947A 2017-10-20 2018-09-21 デプス画像取得装置、制御方法、およびデプス画像取得システム Active JP7271119B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2018/037854 WO2019078074A1 (en) 2017-10-20 2018-10-11 IN-DEPTH PICTURE ACQUISITION APPARATUS, CONTROL METHOD, AND DEPTH PICTURE ACQUISITION SYSTEM
EP18795818.6A EP3698171B1 (en) 2017-10-20 2018-10-11 Depth image acquiring apparatuses and control methods
US16/633,623 US11579270B2 (en) 2017-10-20 2018-10-11 Depth image acquiring apparatus, control method, and depth image acquiring system
CN201880049938.9A CN110998367B (zh) 2017-10-20 2018-10-11 深度图像获取设备、控制方法及深度图像获取***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017203519 2017-10-20
JP2017203519 2017-10-20

Publications (2)

Publication Number Publication Date
JP2019078748A JP2019078748A (ja) 2019-05-23
JP7271119B2 true JP7271119B2 (ja) 2023-05-11

Family

ID=66627755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018176947A Active JP7271119B2 (ja) 2017-10-20 2018-09-21 デプス画像取得装置、制御方法、およびデプス画像取得システム

Country Status (4)

Country Link
US (1) US11579270B2 (ja)
EP (1) EP3698171B1 (ja)
JP (1) JP7271119B2 (ja)
CN (1) CN110998367B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7072641B2 (ja) * 2018-04-16 2022-05-20 三菱電機株式会社 路面検出装置、路面検出装置を利用した画像表示装置、路面検出装置を利用した障害物検知装置、路面検出方法、路面検出方法を利用した画像表示方法、および路面検出方法を利用した障害物検知方法
CN110231611A (zh) * 2019-06-14 2019-09-13 炬佑智能科技(苏州)有限公司 Tof传感器及其距离检测方法
US11284785B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
JP2021085821A (ja) * 2019-11-29 2021-06-03 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距システム、および、電子機器
JP7241710B2 (ja) 2020-02-03 2023-03-17 株式会社ソニー・インタラクティブエンタテインメント 位相差算出装置、位相差算出方法およびプログラム
JP7472674B2 (ja) 2020-06-22 2024-04-23 コニカミノルタ株式会社 口腔内測定装置
WO2022004441A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 測距装置および測距方法
CN114723797B (zh) * 2021-01-06 2024-04-12 南京大学 一种基于深度学习的tof深度成像方法
JP2022168742A (ja) * 2021-04-26 2022-11-08 キヤノン株式会社 測距装置
WO2024042803A1 (ja) * 2022-08-24 2024-02-29 住友電気工業株式会社 光モジュール
CN116208849B (zh) * 2023-05-05 2023-07-18 中国科学技术大学 一种超低功耗物联网图像采集和传输***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122183A (ja) 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
DE102011011875B3 (de) 2011-02-21 2012-07-26 Ingenieurbüro Spies GbR (vertretungsberechtigte Gesellschafter: Hans Spies, Martin Spies, 86558 Hohenwart) Optischer Pulslaufzeitsensor
JP2014238262A (ja) 2011-09-29 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011200410A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp キャリブレーション手段を備えた内視鏡システムおよびそのキャリブレーション方法
JP5521745B2 (ja) 2010-04-28 2014-06-18 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
JP5899957B2 (ja) * 2012-01-20 2016-04-06 株式会社リコー 画像処理システム及びそれを備えた車両
KR101951318B1 (ko) * 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
KR102056904B1 (ko) * 2013-05-22 2019-12-18 삼성전자주식회사 3차원 영상 획득 장치 및 그 구동 방법
JP2016012903A (ja) 2014-06-02 2016-01-21 ソニー株式会社 撮像素子、撮像方法、および電子機器
JP2016035398A (ja) 2014-08-01 2016-03-17 パナソニックＩｐマネジメント株式会社 測距装置および測距方法
US9529079B1 (en) * 2015-03-26 2016-12-27 Google Inc. Multiplexed multichannel photodetector
JP2017122673A (ja) * 2016-01-08 2017-07-13 富士通株式会社 レーザ距離測定装置、測定方法及び測定プログラム
JP7089586B2 (ja) * 2017-09-18 2022-06-22 ベロダイン ライダー ユーエスエー，インコーポレイテッド Ｌｉｄａｒ信号収集

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122183A (ja) 2008-11-21 2010-06-03 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
DE102011011875B3 (de) 2011-02-21 2012-07-26 Ingenieurbüro Spies GbR (vertretungsberechtigte Gesellschafter: Hans Spies, Martin Spies, 86558 Hohenwart) Optischer Pulslaufzeitsensor
JP2014238262A (ja) 2011-09-29 2014-12-18 三洋電機株式会社 情報取得装置および物体検出装置

Also Published As

Publication number Publication date
JP2019078748A (ja) 2019-05-23
CN110998367B (zh) 2023-12-26
US11579270B2 (en) 2023-02-14
EP3698171B1 (en) 2022-09-07
US20200371217A1 (en) 2020-11-26
EP3698171A1 (en) 2020-08-26
CN110998367A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
JP7271119B2 (ja) デプス画像取得装置、制御方法、およびデプス画像取得システム
US11394905B2 (en) Dynamic region of interest and frame rate for event based sensor and imaging camera
WO2019087783A1 (ja) 撮像装置及び撮像システム
JP2021509238A (ja) ダイナミックレンジを拡大するための複数の動作モード
EP3045936A1 (en) Surround sensing system with telecentric optics
US20230008723A1 (en) Ebs/tof/rgb camera for smart surveillance and intruder detection
EP3428677B1 (en) A vision system and a vision method for a vehicle
CN110383481A (zh) 固态成像装置和电子设备
CN211507638U (zh) 受光装置以及测距***
WO2020045125A1 (ja) 受光素子および測距システム
TW202025506A (zh) 受光元件及測距系統
JP7487252B2 (ja) 受光素子
US20220390383A1 (en) Imaging device, imaging system, and imaging method
WO2019078074A1 (en) IN-DEPTH PICTURE ACQUISITION APPARATUS, CONTROL METHOD, AND DEPTH PICTURE ACQUISITION SYSTEM
US20220276379A1 (en) Device, measuring device, distance measuring system, and method
US20220390611A1 (en) Light receiving element and distance measuring device
WO2022234806A1 (ja) 固体撮像素子
TWI839646B (zh) 測定裝置及測距裝置
TWI839653B (zh) 測定裝置及測距裝置
US20230142762A1 (en) Sensing system
WO2021029270A1 (ja) 測定装置および測距装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230426

R150 Certificate of patent or registration of utility model

Ref document number: 7271119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150