JP7255513B2 - 物体検出装置、受光部および物体検出装置の制御方法 - Google Patents

物体検出装置、受光部および物体検出装置の制御方法 Download PDF

Info

Publication number
JP7255513B2
JP7255513B2 JP2020024823A JP2020024823A JP7255513B2 JP 7255513 B2 JP7255513 B2 JP 7255513B2 JP 2020024823 A JP2020024823 A JP 2020024823A JP 2020024823 A JP2020024823 A JP 2020024823A JP 7255513 B2 JP7255513 B2 JP 7255513B2
Authority
JP
Japan
Prior art keywords
light
light receiving
object detection
detection device
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020024823A
Other languages
English (en)
Other versions
JP2021131229A5 (ja
JP2021131229A (ja
Inventor
満里子 瀬戸
謙一 柳井
光宏 清野
憲幸 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2020024823A priority Critical patent/JP7255513B2/ja
Priority to CN202180015429.6A priority patent/CN115136024A/zh
Priority to PCT/JP2021/002052 priority patent/WO2021166542A1/ja
Publication of JP2021131229A publication Critical patent/JP2021131229A/ja
Publication of JP2021131229A5 publication Critical patent/JP2021131229A5/ja
Priority to US17/820,513 priority patent/US20220390571A1/en
Application granted granted Critical
Publication of JP7255513B2 publication Critical patent/JP7255513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本開示は車両において用いられる物体を検出するための技術に関する。
反射光を用いて対象物までの距離を測定する測距装置の固体撮像装置として、IR画素およびRGB画素が配列されている画素部を撮像単位として備える固体撮像装置が提案されている(例えば、特許文献1)。一般的に、IR画素を用いて測距画像が取得され、RGB画素を用いて可視光画像が取得される。
特開2019-114728号公報
しかしながら、従来の技術では、IR画素によって占められていた画素部にRGB画素を備えるため、IR画素の配置領域が小さくなり、測距性能が低下するという問題がある。
したがって、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することが求められている。
本開示は、以下の態様として実現することが可能である。
第1の態様は、検出範囲を走査して物体を検出する物体検出装置を提供する。第1の態様に係る物体検出装置は、パルス検出光を発光する発光部と、複数の受光画素群を有する受光部と、を備え、前記複数の受光画素群は、前記走査の単位走査角に対応して、前記パルス検出光の発光に応じた反射光を受光する反射光受光画素群と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群とを含む。
第1の態様に係る物体検出装置によれば、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。
第2の態様は、検出範囲を走査して物体を検出する物体検出装置の制御方法を提供する。第2の態様に係る物体検出装置の制御方法は、前記検出範囲に対してパルス検出光を走査し、前記走査の単位走査角に対応して、受光部が備える反射光受光画素群によって前記パルス検出光の発光に応じた反射光を受光し、前記受光部が備える可視光成分に対応する1または複数の可視光受光画素群によって可視光を受光する。
第2の態様に係る物体検出装置の制御方法によれば、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。
第1の実施形態に係る物体検出装置が搭載された車両の一例を示す説明図。 第1の実施形態において用いられるライダーの概略構成を示す説明図。 第1の実施形態において用いられる受光素子アレイを模式的に示す説明図。 第1の実施形態において用いられる受光素子アレイにおけるフィルタ配置を模式的に示す説明図。 第1の実施形態において用いられる受光素子アレイにおけるフィルタ配置の他の例を模式的に示す説明図。 第1の実施形態に係る物体検出装置の機能的構成を示すブロック図。 第1の実施形態に係る物体検出装置によって実行される物体検出処理の処理フローを示すフローチャート。 第1の実施形態における受光素子アレイと走査位置との関係を模式的に示す説明図。 第1の実施形態に係る物体検出装置により得られる各色成分データ、取得タイミングおよび走査位置との関係を模式的に示す説明図。 その他の実施形態において用いられる受光素子アレイを模式的に示す説明図。 各色成分の感度を模式的に示す説明図。
本開示に係る物体検出装置、受光部および物体検出装置の制御方法について、いくつかの実施形態に基づいて以下説明する。
第1の実施形態:
図1に示すように、第1の実施形態に係る車両における物体検出装置10は、車両50に搭載されて用いられる。物体検出装置10は、ライダー(Lidar:Light Detection and Ranging)200およびライダー200の動作を制御する制御装置100を備えている。なお、物体検出装置10は、測距装置とも呼ばれ、ライダー200を用いて対象物までの距離の他、対象物の位置や特性が検出され得る。車両50は、この他に、RGB画像データを取得可能なカメラ48、運転支援を実行するために運転支援制御装置を備えていても良い。
図2に示すように、物体検出装置10は、パルス状の検出光を発光し、検出光の発光に応じて入射する反射光である検出反射光または検出光の反射光とは異なる環境光を受光する光測定部であるライダー200と、ライダー200の発光動作や受光動作を制御する制御装置100とを備えている。ライダー200および制御装置100は、物理的に一体の筐体に収容されていても良く、あるいは、別々の筐体に収容されていても良い。ライダー200は、受光部20、発光部30、電動機40、回転角センサ41および走査鏡42を備えている。ライダー200は、水平方向HDに予め定められた走査角範囲SRを有しており、走査角範囲SRを複数の角度に分割した単位走査角SCを単位として発光部30による検出光の照射および受光部20による検出反射光の受光を実行することによって走査角範囲SRの全体にわたる検出反射点の取得が実行され、測距が実現される。単位走査角SCは、水平方向HDにおけるライダー200の分解能またはライダー200により得られる測距結果の解像度を規定し、単位走査角が小さくなるに連れて、すなわち検出反射点数が多くなるに連れて分解能および解像度は高くなる。ライダー200における単位走査角SCを単位とする検出点の取得、すなわち、発光および受光処理は、走査角範囲SRを一方向へ往走査する際、あるいは、走査角範囲SRを双方向へ往復走査する際に実行される。
受光部20は、少なくとも、複数の受光画素群を有する受光素子アレイ22を備えている。受光部は20さらに、受光制御部21、並びに図示しない受光レンズを備え、発光部30から出射される検出光に対応する検出反射光の受光に応じて、検出点を示す検出信号を出力する受光処理を実行し、また、発光部30からの出射に対応せず入射する環境光の受光に応じて、背景光画像データとも呼ばれる環境光画像データを出力する受光処理を実行する。環境光には、発光部30からの検出光ではない、太陽光や照明光によりもたらされる周囲雰囲気の雰囲気光、太陽光や照明光が照射された周囲物体からの反射光や散乱光が含まれ、RGBフィルタを用いることによってRGB光を得ることができる。受光素子アレイ22は、図3に示すように、複数の受光素子220が縦横方向に配列されている平板状の光センサであり、例えば、SPAD(Single Photon Avalanche Diode)、その他のフォトダイオードが各受光素子を構成する。なお、受光処理の最小単位、すなわち検出点に対応する受光単位として受光画素の用語が用いられることがあり、受光単位は、単一の受光素子によって構成される受光画素221、または、複数の受光素子によって構成される受光画素221のいずれかを意味する。受光素子アレイ22において、受光画素、すなわち、受光単位を構成する受光素子数が少なくなるにつれて、受光単位、すなわち、検出点数は増大する。本実施形態においては、例えば、8個の受光素子220から構成される受光画素222を受光単位として、走査角範囲SRの垂直方向に対応する上段から、第1の受光画素221、第2の受光画素222、第3の受光画素223および第4の受光画素224を備えている。
本実施形態において、受光素子アレイ22は、単位走査角SCに対応する受光領域として、検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光する可視光受光画素群Pr、Pg、Pbとを備えている。単位走査角に応じて反射光および可視光を連続的に取得するために反射光受光画素群Pirと、可視光受光画素群Pr、Pg、Pbとは、走査方向に対応する方向に隣接して配列されている列群であることが望ましく、複数の可視光受光画素群Pr、Pg、Pbは、走査方向に対応する方向に配置されていることが望ましい。また、測距に用いられる反射光を受光する反射光受光画素群Pirは、検出精度を維持するために物体検出装置10の検出軸に対応する受光素子アレイ22の中央に配置されていることが望ましい。さらには、感度が低いIR光を受光する反射光受光画素群Pirの受光面積は、可視光受光画素群Pr、Pg、Pbの受光面積以上である。図4に示すように、反射光受光画素群Pirには、赤外光のみを透過するIR透過フィルタFirが配置されている。発光部30によって照射されたパルス状のIR検出光に応じて物体から反射したIR反射光は、受光素子アレイ22における反射光受光領域DLAに入射されるように受光部20は設計されており、IR反射光は、反射光受光画素群Pirによって受光される。可視光受光画素群Pr、Pg、Pbには、それぞれ赤色光、緑色光、青色光のみを透過するR透過フィルタFr、G透過フィルタFg、B透過フィルタFbが配置されており、可視光受光画素群Pr、Pg、Pbは、発光部30による検出光の照射タイミングとは異なるタイミングまたは同じタイミングにて環境光を受光する。この結果、受光部20は、単位走査角SCに対応する時間ウィンドウの間に、反射光および環境光、すなわち、赤外光、赤色光、緑色光および青色光を異なるタイミングまたは同じタイミングで順次受光する。なお、図4の例では、各受光画素群Pir、Pr、Pg、Pbの全体に対して各フィルタFir、Fr、Fg、Fbが装着されているが、図5に示すように、各受光画素群Pir、Pr、Pg、Pbを構成する各受光素子220に対して、対応する各フィルタFir、Fr、Fg、Fbが配置されていても良い。この場合、既存の受光素子アレイを用いることが可能となり、汎用性がより向上する。
受光制御部21は、発光部30によるパルス状の検出光の発光に応じて、各受光画素群Pir、Pr、Pg、Pb毎に、入射された入射光量または入射光強度に応じた入射光強度信号を出力する受光処理を実行する。具体的には、受光制御部21は、全受光画素221~224を用いて単位走査角SC毎に、受光画素221~224を構成する受光素子が入射光量に応じて発生させる電流、または、電流から変換された電圧を取り出して入射光強度信号として制御装置100へ出力する。入射光強度信号は、単位走査各SC毎に制御装置100に対して出力されても良く、走査角範囲SRにわたる走査が完了した所で走査角範囲SRに対応する入射光強度信号が制御装置100に対して出力されても良い。なお、各受光画素221~224を構成する受光素子が受光する光子の合計個数に応じた入射光強度信号が制御装置100へ出力されるということもできる。一般的にSPADでは、1つの受光素子220によって得られる入射光量は少ないので、受光画素221のように8個の受光素子220からの入射強度信号を図示しない加算器により加算してS/Nの向上が図られる。TOF(Time Of Flight)等による検出点の測距を実行する測距機能部は、受光制御部21の回路として、一体に備えられていても良く、後述するように、制御装置100において実行されるプログラムとして備えられても良い。
発光部30は、発光制御部31、発光素子32およびコリメータレンズを備え、単位走査角SC単位で検出光を単一回または離散的に複数回照射する。発光素子32は、例えば、1または複数の赤外レーザダイオードであり、検出光としてパルス状の赤外レーザ光を出射する。発光部30は垂直方向に単一の発光素子を備えていても良く、複数の発光素子を備えていても良い。複数の発光素子が備えられる場合には、発光制御部31によって、走査タイミングに応じて発光する発光素子が切り換えられ得る。発光制御部31は、制御装置100から単位走査角毎に入力される発光素子の発光を指示する発光制御信号に応じて、パルス駆動波形の駆動信号によって発光素子を駆動して赤外レーザ光の発光を実行する。発光部30から照射される赤外レーザ光は、走査鏡42によって反射され、ライダー200の外部、すなわち、対象物の検出が所望される範囲に向けて射出される。
電動機40は、図示しない電動機ドライバを備える。電動機40には、電動機40の回転角度を検出するための回転角センサ41が配置されている。電動機ドライバは、回転角センサ41から回転角信号の入力を受けて制御装置100によって出力される回転角度指示信号を受けて電動機40に対する印加電圧を変更して電動機40の回転角度を制御する。電動機40は、例えば、超音波モータ、ブラシレスモータ、ブラシモータであり、走査角範囲SRにおいて往復動を行うための周知の機構を備えている。電動機40の出力軸の先端部には、走査鏡42が取り付けられている。走査鏡42は、発光素子32から出射された検出光を水平方向HDに走査させる反射体、すなわち、鏡体であり、電動機40によって往復駆動されることによって水平方向HDにおける走査角範囲SRの走査が実現される。なお、走査鏡42による1往復の走査は1フレームと呼ばれ、ライダー200の検出単位である。また、発光部30による検出光の発光は、走査鏡42の往方向への変位にのみに対応して実行されても良く、往復方向の平易に対応して実行されても良い。すなわち、ライダー200による物体検出は、走査角範囲SRにおける一方向、または、双方向において実行され得る。水平方向HDに加えて垂直方向VDへの走査、すなわち垂直方向VDにおける走査位置の変更が実現されても良い。水平方向HDおよび垂直方向VDへの走査を実現するために、走査鏡42は、多面鏡体、例えば、ポリゴンミラーであっても良く、あるいは、垂直方向VDへ揺動される機構を備える単面鏡体、あるいは、垂直方向VDへ揺動される別の単面鏡体を備えていても良い。なお、走査鏡42は、電動機40により回転駆動されて回転走査を実行しても良く、この場合には、走査角範囲SRに対応して発光部30および受光部20による発光・受光処理が実行されれば良い。さらに、例えば、60度程度の走査角範囲SRが実現される場合には、走査鏡42を備えることなく、走査角範囲SRに応じた横幅の受光素子アレイを備え、行および列を順次選択することによって対象物の検出、すなわち、測距処理が実行されても良い。
発光部30から照射された検出光は、走査鏡42によって反射され、単位走査角SCを単位として水平方向の走査角範囲SRにわたり走査される。検出光が物体によって反射された検出反射光は、走査鏡42によって、受光部20へと反射され、単位走査角SC毎に受光部20に入射される。受光部20は、発光部30による発光タイミングに応じて、列単位にて受光処理を実行する。受光処理が実行される単位走査角SCは、順次インクリメントされ、この結果、所望の走査角範囲SRにわたる受光処理のための走査が可能となる。発光部30および受光部20は走査鏡42と共に電動機40によって回転されても良く、走査鏡42とは別体であり、電動機40によって回転されなくても良い。さらに、走査鏡42が備えられることなく、走査角範囲SRに対応してアレイ状に配置された複数の受光画素または受光素子アレイ22を備え、レーザ光を順次外界に対して直接照射し、受光画素を順次切り換えて反射光を直接受光する構成を備えていても良い。
図6に示すように、制御装置100は、演算部としての中央処理装置(CPU)101、記憶部としてのメモリ102、入出力部としての入出力インタフェース103および図示しないクロック発生器を備えている。CPU101、メモリ102、入出力インタフェース103およびクロック発生器は内部バス104を介して双方向に通信可能に接続されている。メモリ102は、物体検出処理を実行するための物体検出処理プログラムPr1を不揮発的且つ読み出し専用に格納するメモリ、例えばROMと、CPU101による読み書きが可能なメモリ、例えばRAMとを含んでいる。CPU101、すなわち、制御装置100は、メモリ102に格納されている物体検出処理プログラムPr1を読み書き可能なメモリに展開して実行することによって、物体検出部として機能する。なお、CPU101は、単体のCPUであっても良く、各プログラムを実行する複数のCPUであっても良く、あるいは、複数のプログラムを同時実行可能なマルチタスクタイプあるいはマルチスレッドタイプのCPUであっても良い。なお、発光タイミングと受光タイミングとを用いた物体までの測距処理は、受光制御部21において実行される他に、物体検出処理の一処理として、制御装置100によって実行されても良い。
入出力インタフェース103には、受光部20を構成する受光制御部21、発光部30を構成する発光制御部31、電動機40および回転角センサ41がそれぞれ制御信号線を介して接続されている。発光制御部31に対しては発光制御信号が送信され、受光制御部21に対しては環境光取得のための受光処理、あるいは発光制御信号の送信に対応する物体検出のための受光処理を指示する受光制御信号が送信され、受光制御部21からは環境光強度または検出反射光強度を示す入射光強度信号が受信される。電動機40に対しては回転角度指示信号が送信され、回転角センサ41からは回転角信号が受信される。
第1の実施形態に係る物体検出装置10により実行される環境光強度の取得を含む物体検出処理について説明する。図7に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば、数100msにて繰り返して実行される。CPU101が物体検出処理プログラムPr1を実行することによって図7に示す処理フローが実行される。
CPU101は、入出力インタフェース103を介して、発光制御部31に対して発光指示信号を送信し、発光素子32を発光させて検出光を照射する(ステップS100)。CPU101は、受光制御部21に対して受光指示信号を送信し、受光素子アレイ22により検出反射光およびRGB光を取得して(ステップS102)、本処理ルーチンを終了する。検出反射光は、既述の反射光受光画素群Pirによって受光され、環境光として入射する入射光に含まれるRGB光は、既述の可視光受光画素群Pr、Pg、Pbによって受光される。各受光画素群Pir、Pr、Pg、Pbは、水平方向に異なった位置に配置されているため、同一タイミングにおいて各受光画素群Pir、Pr、Pg、Pbによって取得される入射光は、それぞれ異なる位置に対応する入射光となる。例えば、図8に示すように、受光時間Tがt1からt4に進むにつれて、すなわち、走査鏡42の走査に伴い、位置P1からの入射光が、受光素子アレイ22が備える反射光受光画素群Pir、可視光受光画素群Pr、可視光受光画素群Pg、可視光受光画素群Pbに対して順次入射する。T=t1においては、検出光に応じて位置P1から反射した入射光が反射光受光画素群Pirに入射し、T=t2においては、位置P1からの入射光が可視光受光画素群Prに入射し、検出光に応じて位置P2から反射した入射光が反射光受光画素群Pirに入射し、T=t3においては、位置P1およびP2からの入射光が可視光受光画素群Pr、Pgにそれぞれ入射し、検出光に応じて位置P3から反射した入射光が反射光受光画素群Pirに入射し、T=t4においては、位置P1~P3からの入射光が可視光受光画素群Pr、Pg、Pbにそれぞれ入射し、検出光に応じて位置P4から反射した入射光が反射光受光画素群Pirに入射する。図8の例において、各受光時間t1~t4は一定時間であり、また、受光時間Tは、検出時間でもあり、さらに、単位走査角SCと置換することが可能である。
この結果、図9に示すように、位置P1に対応する赤外反射光IR、赤色光R、緑色光G、青色光Bが受光時間t1~t4にかけて順次取得される。すなわち、同一位置、あるいは、同一空間における検出反射光および環境光の情報、例えば、強度を示す検出データを取得することができる。なお、各受光時間Tの時間間隔はmsオーダーであるから、実質的に同一タイミング、あるいは、後段の処理において十分な精度を得ることができる検出反射光および環境光の情報を取得することができる。
以上説明した第1の実施形態に係る物体検出装置10によれば、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群Pr、Pg、Pbとを含む複数の受光画素群を備える受光部20を備えるので、測距性能の低下をもたらすことなく、測距画像および可視光画像を取得することができる。すなわち、走査の走査単位である単位走査角に対応して、反射光を受光する反射光受光画素群Pirと、可視光成分に対応して可視光を受光する1または複数の可視光受光画素群Pr、Pg、Pbとが備えられており、また、各色成分について対応する受光画素群が割り当てられており、受光感度の低減を抑制、あるいは、受光感度の向上を図ることができる。この結果、単位走査角毎に、IR成分を含む各色成分が受光されるので、各色成分について所望の入射光強度以上の入射光強度を得ることが可能となり、測距精度や対象物の認識精度を向上させることができる。また、反射光に加えてRGB成分を含む環境光を取得することができるので、対象物の認識の精度を向上させることが可能となり、車両50と対象物との距離や位置を用いた運転支援制御および自動運転制御の実行精度を向上させることができる。
以上説明した第1の実施形態に係る物体検出装置10が備える受光部20は、単位走査角に対応して、反射光を受光する反射光受光画素群Pirと、可視光成分に対応して可視光を受光する1または複数の可視光受光画素群Pr、Pg、Pbとを備えているので、物体の検出空間における同一位置に対応する反射光、赤色光、緑色光および青色光を容易に精度良く取得することができる。
上記の説明においては、受光素子アレイ22は、各色成分に対して同一面積または同一個数の受光画素221を有する各受光画素群Pir、Pr、Pg、Pbを有しているが、各受光画素群Pir、Pr、Pg、Pbにおける受光画素221の受光感度または受光画素221を構成する受光素子220は光波長によって変化する。そこで、IR、RGBの各成分について均一感度または最適感度を設定するために、図10に示すように、色成分に応じて異なる受光面積を備えていても良い。図11に示すようにG成分は、RGB成分およびIR成分の中で最も受光感度が高いので、他の色成分の受光面積よりも小さい受光面積にて同等の入射光強度を得ることができる。一方、IR成分は、RGB成分およびIR成分の中で最も受光感度が低いので、他の色成分の受光面積よりも大きい受光面積を割り当てることで、同等の入射光強度を得ることができる。図10に示す例では、G成分に対応する受光画素群Pgの受光面積は、R成分、B成分に対応する受光画素群Pr、Pbの受光面積よりも小さく、IR成分に対応する受光画素群Pirの受光面積は、R成分、B成分に対応する受光画素群Pr、Pbの受光面積よりも大きい。この結果、各色成分の感度に応じた受光面積を設定することにより、受光素子アレイ22を構成する受光画素221を有効活用することができる。なお、受光素子アレイ22における各色成分に対応する受光面積の割り当ては、各受光画素群Pir、Pr、Pg、Pbの一部を使用しなかったり、各受光画素群Pir、Pr、Pg、Pbを構成する受光画素221の数を変えることや、各受光画素221を構成する受光素子220の数を変えることによって実現されても良い。
上記の説明においては、受光時間T、すなわち、露光時間は一定であったが、RGB成分、すなわち、可視光受光画素群Pr、Pg、Pbにおける露光時間は可変とされ得る。例えば、ホワイトバランスの観点から、夕刻においては、赤色光を取得する可視光受光画素群Prの露光時間を短くすることができる。また、受光素子アレイ22における、IR成分、RGB各成分の受光感度に応じて、反射光受光画素群Pir、可視光受光画素群Pr、Pg、Pbにおける露光時間が適宜調整されても良い。
上記説明においては、受光素子220として用いられるSPADに印加されるエクセスバイアス電圧は一定である。これに対して、エクセスバイアス電圧を変更することによって、SPADの感度が調整されても良い。具体的には、IR成分、RGB各成分の受光感度に応じて、各受光画素群Pir、Pr、Pg、Pbに対応する受光画素221に対するエクセスバイアス電圧が変更されても良い。すなわち、受光感度を低下させるためには、エクセスバイアス電圧値が小さくされ、受光感度を増大させるためにはエクセスバイアス電圧値が大きくされる。
上記説明においては、各フィルタFir、Fr、Fg、Fbのフィルタ透過率について特に言及しておらず、例えば、同一である。これに対して、IR成分、RGB各成分の受光感度に応じて、各受光画素群Pir、Pr、Pg、Pbに備えられている各フィルタFir、Fr、Fg、Fbのフィルタ透過率が適用されても良い。具体的には、受光感度を低下させたい場合にはフィルタの透過率を下げ、受光感度を増大させたい場合にはフィルタの透過率が上げられる。なお、上記説明において、受光感度は、IR成分、RGB成分によって決定されているが、受光素子アレイ22における基準入射強度に対する検出により得られる実際の入射強度の変化によって動的に判定されても良い。
その他の実施形態:
(1)上記実施形態においては、発光部30を備える物体検出装置10について説明したが、上記実施形態において得られる技術的効果は、最小構成として、検出範囲を走査する物体検出装置10に用いられ、走査の走査単位に対応して、パルス検出光の発光に応じた反射光を受光する反射光受光画素群Pirと、可視光を受光する可視光受光画素群Pr、Pg、Pbとを含む複数の受光画素群を備える受光部20によっても得ることができる。
(2)上記実施形態においては、受光素子アレイ22は、RGB成分に対応する可視光受光画素群Pr、Pg、Pbを備えているが、R成分、G成分およびB成分の少なくともいずれかの可視光が受光されれば良い。この場合、反射光受光画素群Pirと可視光受光画素群Prとは走査の方向に対応する方向に隣接して配列されている列群を構成する。例えば、赤色光を取得する可視光受光画素群Prのみが備えられていても良い。RGB成分のうち、R成分、すなわち、赤色光は、交通信号における赤信号、車両50の制動灯あるいは緊急車両の赤色灯の色に対応しており、車両50においては、可能な限り速やかな運転支援や車両制御が求められるからである。この場合、受光時間のずれを抑制するために、反射光受光画素群Pirと赤色光を受光する可視光受光画素群Prとは隣接していることが望ましい。また、上記実施形態においては、RGB成分に応じて、3つの可視光受光画素群Pr、Pg、Pbを備えているが、単一の可視光受光画素群に複数の色成分、すなわち、R成分、G成分、およびB成分のフィルタを備える1または複数の可視光受光画素群が用いられても良い。この場合には、同一位置に対応する反射光、赤色光、緑色光および青色光の各色成分、特にRGB成分の取得時間のずれを解消することができる。さらに、上記実施形態においては、反射光受光画素群Pirと、可視光受光画素群Pr、Pg、Pbとは、走査方向に対応する方向に隣接して配列されているが、隣接していなくても良い。
(3)上記実施形態においては、反射光受光画素群および可視光受光画素群は、同一の受光素子アレイ22に備えられているが、反射光受光画素群を備える受光素子アレイおよび可視光受光画素群を備える受光素子アレイがそれぞれ別々に備えられていても良い。すなわち、可視光受光画素群としては、RGB画像を取得する一般的な撮像素子、例えば、CMOS(相補型MOS)やCCD(Charge-Coupled Device)が用いられても良い。但し、この場合であっても、撮像素子は、単位走査角毎に反射光受光画素群と連動して同一位置の画像を取得できるように物体検出装置10に配置されている。
(4)上記各実施形態においては、CPU101が物体検出処理プログラムPr1を実行することによって、物体検出を実行する物体検出装置10が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…物体検出装置、20…受光部、22…受光素子アレイ、220…受光素子、221…受光画素、30…発光部、100…制御装置、Pir…反射光受光画素群、Pr、Pg、Pb…可視光受光画素群、50…車両、Pr1…物体検出処理プログラム。

Claims (10)

  1. 検出範囲を走査して物体を検出する物体検出装置(10)であって、
    パルス検出光を発光する発光部(30)と、
    複数の受光画素群(22)を有する受光部(20)と、を備え、
    前記複数の受光画素群は、前記走査の単位走査角に対応して、前記パルス検出光の発光に応じた反射光を受光する反射光受光画素群(Pir)と、可視光を受光し、可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)とを含む、物体検出装置。
  2. 請求項1に記載の物体検出装置において、
    前記複数の可視光受光画素群は、前記走査の方向に対応する方向に配置されている、物体検出装置。
  3. 請求項1に記載の物体検出装置において、
    前記反射光受光画素群と前記可視光受光画素群とは前記走査の方向に対応する方向に隣接して配列されている列群であり、
    前記受光部は、前記反射光受光画素群による受光処理と前記可視光受光画素群による受光処理とを実行する、物体検出装置。
  4. 請求項1から3のいずれか一項に記載の物体検出装置において、
    前記反射光受光画素群および前記可視光受光画素群は、受光感度に応じた受光面積を有する、物体検出装置。
  5. 請求項1から3のいずれか一項に記載の物体検出装置において、
    前記受光部は、受光感度に応じて、前記反射光受光画素群および前記可視光受光画素群における受光時間を制御する、物体検出装置。
  6. 請求項1から3のいずれか一項に記載の物体検出装置において、
    前記受光部は、受光感度に応じて、前記反射光受光画素群および前記可視光受光画素群における印加電圧を制御する、物体検出装置。
  7. 請求項1から6のいずれか一項に記載の物体検出装置において、
    前記可視光受光画素群は、R成分、G成分およびB成分の少なくともいずれか一つの可視光成分を受光する、物体検出装置。
  8. 請求項7に記載の物体検出装置において、
    前記可視光受光画素群は、R成分の可視光成分を受光する、物体検出装置。
  9. 請求項1から8のいずれか一項に記載の物体検出装置において、
    前記可視光受光画素群は、受光画素の上にフィルタ(Fr、Fg、Fb)を備えている、物体検出装置。
  10. 検出範囲を走査して物体を検出する物体検出装置(10)の制御方法であって、
    前記検出範囲に対してパルス検出光を走査し、
    前記走査の単位走査角に対応して、受光部(20)が備える反射光受光画素群(Pir)によって前記パルス検出光の発光に応じた反射光を受光し、前記受光部が備える可視光成分に対応する1または複数の可視光受光画素群(Pr、Pg、Pb)によって可視光を受光する、物体検出装置の制御方法。
JP2020024823A 2020-02-18 2020-02-18 物体検出装置、受光部および物体検出装置の制御方法 Active JP7255513B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020024823A JP7255513B2 (ja) 2020-02-18 2020-02-18 物体検出装置、受光部および物体検出装置の制御方法
CN202180015429.6A CN115136024A (zh) 2020-02-18 2021-01-21 物体检测装置、受光部以及物体检测装置的控制方法
PCT/JP2021/002052 WO2021166542A1 (ja) 2020-02-18 2021-01-21 物体検出装置、受光部および物体検出装置の制御方法
US17/820,513 US20220390571A1 (en) 2020-02-18 2022-08-17 Object detection apparatus, receiving unit and control method of object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020024823A JP7255513B2 (ja) 2020-02-18 2020-02-18 物体検出装置、受光部および物体検出装置の制御方法

Publications (3)

Publication Number Publication Date
JP2021131229A JP2021131229A (ja) 2021-09-09
JP2021131229A5 JP2021131229A5 (ja) 2021-12-23
JP7255513B2 true JP7255513B2 (ja) 2023-04-11

Family

ID=77391969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020024823A Active JP7255513B2 (ja) 2020-02-18 2020-02-18 物体検出装置、受光部および物体検出装置の制御方法

Country Status (4)

Country Link
US (1) US20220390571A1 (ja)
JP (1) JP7255513B2 (ja)
CN (1) CN115136024A (ja)
WO (1) WO2021166542A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162386A (ja) 2004-12-06 2006-06-22 Canon Inc 3次元モデル生成装置、3次元モデル生成システム及び3次元モデル生成プログラム
JP2008157851A (ja) 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラモジュール
JP2012029130A (ja) 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置
WO2015104870A1 (ja) 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP2015132546A (ja) 2014-01-14 2015-07-23 ソニー株式会社 情報処理装置および方法
JP2017138199A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP2020016654A (ja) 2018-07-24 2020-01-30 三星電子株式会社Samsung Electronics Co.,Ltd. グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
JP5014971B2 (ja) * 2007-12-19 2012-08-29 ソニーモバイルディスプレイ株式会社 ディスプレイ装置
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
WO2013015145A1 (ja) * 2011-07-22 2013-01-31 三洋電機株式会社 情報取得装置および物体検出装置
JP2013207415A (ja) * 2012-03-27 2013-10-07 Osaka City Univ 撮像システム及び撮像方法
CN107210314B (zh) * 2015-04-14 2021-12-14 索尼公司 固态成像装置、成像***和测距方法
JP7013926B2 (ja) * 2018-02-23 2022-02-01 株式会社デンソー 光学的測距装置およびその方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162386A (ja) 2004-12-06 2006-06-22 Canon Inc 3次元モデル生成装置、3次元モデル生成システム及び3次元モデル生成プログラム
JP2008157851A (ja) 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd カメラモジュール
JP2012029130A (ja) 2010-07-26 2012-02-09 Konica Minolta Opto Inc 撮像装置及び画像入力装置
WO2015104870A1 (ja) 2014-01-08 2015-07-16 三菱電機株式会社 画像生成装置
JP2015132546A (ja) 2014-01-14 2015-07-23 ソニー株式会社 情報処理装置および方法
JP2017138199A (ja) 2016-02-03 2017-08-10 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP2020016654A (ja) 2018-07-24 2020-01-30 三星電子株式会社Samsung Electronics Co.,Ltd. グレイスケールイメージングのための時間分解イメージセンサ及びイメージングユニット並びにグレイスケールイメージ生成方法

Also Published As

Publication number Publication date
CN115136024A (zh) 2022-09-30
WO2021166542A1 (ja) 2021-08-26
JP2021131229A (ja) 2021-09-09
US20220390571A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
US10412352B2 (en) Projector apparatus with distance image acquisition device and projection mapping method
US8169466B2 (en) Endoscope system
JP2004245832A (ja) マルチビーム走査カラー検査装置
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
US20240012111A1 (en) Optical distance measuring device
JP7255513B2 (ja) 物体検出装置、受光部および物体検出装置の制御方法
JP2024063018A (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
WO2021181868A1 (ja) 測距センサ及び距離測定方法
WO2019021887A1 (ja) 光レーダ装置
US20220400240A1 (en) Imaging system, control method of imaging system, and program
JP2020187042A (ja) 光測距装置
JP7322908B2 (ja) 光学式検出装置および光学式検出装置における光軸ずれ判定方法
US20240083346A1 (en) Gating camera, vehicle sensing system, and vehicle lamp
CN113678021A (zh) 测距装置以及测距装置中的异常判定方法
WO2023013777A1 (ja) ゲーティングカメラ、車両用センシングシステム、車両用灯具
JP7135846B2 (ja) 物体検出装置および物体検出方法
WO2021230018A1 (ja) 光測距装置
WO2024116745A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP2020134182A (ja) 光測距装置
JP7302622B2 (ja) 光測距装置
JP7432768B2 (ja) 光検出及び測距用ライダーセンサー、ライダーモジュール、ライダー対応装置、及び光検出及び測距用ライダーセンサーの操作方法
US20230243937A1 (en) Optical detection device, optical distance measurement device, and non-transitory computer readable medium
CN114793447A (zh) 物体检测装置以及物体检测装置的控制方法
CN115176171A (zh) 光学式检测装置以及光学式检测装置中的光轴偏移判定方法
WO2021166523A1 (ja) 距離測定装置及び距離測定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230313

R151 Written notification of patent or utility model registration

Ref document number: 7255513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151