JP7501398B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP7501398B2
JP7501398B2 JP2021018327A JP2021018327A JP7501398B2 JP 7501398 B2 JP7501398 B2 JP 7501398B2 JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 7501398 B2 JP7501398 B2 JP 7501398B2
Authority
JP
Japan
Prior art keywords
image
point cloud
resolution
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021018327A
Other languages
English (en)
Other versions
JP2021131385A (ja
Inventor
啓子 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2021/005722 priority Critical patent/WO2021166912A1/ja
Priority to CN202180015257.2A priority patent/CN115176175A/zh
Publication of JP2021131385A publication Critical patent/JP2021131385A/ja
Priority to US17/820,505 priority patent/US20220392194A1/en
Application granted granted Critical
Publication of JP7501398B2 publication Critical patent/JP7501398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、物体検出装置に関する。
特許文献1には、レーザレーダにより検出された複数の検出点をクラスタリングすることにより生成されたクラスタを用いて物体を検出する物体識別装置が記載されている。具体的には、物体識別装置は、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することで物体を表すクラスタを特定する。このとき、物体識別装置は、クラスタがツリー構造をなしていることを利用して、根ノードのクラスタから子ノードのクラスタに向かって一致度を計算していく。
特開2013-228259号公報
しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、特許文献1に記載の装置のように点群のみを用いてクラスタリングすると、物体を正しい単位で検出しにくい。例えば、検出対象とする物体について、本来生成されるべきクラスタよりも小さいクラスタが根ノードのクラスタとして生成された場合、根ノードのクラスタよりも大きなクラスタを物体として検出することが難しく、過分割されてしまう。また、例えば、前回生成されたクラスタが存在しない場合、つまり初回のクラスタリング時には、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することができないため、物体を表すクラスタを特定することが難しく、検出精度が低くなってしまう。
本開示の一局面は、より高精度に物体を正しい単位で検出することができる物体検出装置を提供する。
本開示の一態様は、物体検出装置であって、照射部(2)と、受光部(3)と、検出部(51~54)と、を備える。照射部は、所定の測距エリアに光を照射するように構成される。受光部は、照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成される。検出部は、反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成される。点群は、測距エリア全体で検出された反射点の群である。画像は、環境光に基づく画像である環境光画像、反射光に基づき検出される物体までの距離に基づく画像である距離画像及び反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つである。
このような構成によれば、より高精度に物体を正しい単位で検出することができる。
物体検出装置の構成を示すブロック図である。 歩行者を示す画像物標の模式的な図の一例である。 点群における歩行者を示す部分の模式的な図の一例である。 ミキサー車を示す画像物標の模式的な図の一例である。 点群におけるミキサー車を示す部分の模式的な図の一例である。 第1実施形態の物体検出処理の前半部分を示すフローチャートである。 第1実施形態の物体検出処理の後半部分を示すフローチャートである。 第2実施形態の物体検出処理の前半部分を示すフローチャートである。 第2実施形態の変形例の物体検出処理を示すフローチャートである。
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
[1.構成]
図1に示す物体検出装置1は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
物体検出装置1は、図1に示すように、照射部2と、受光部3と、記憶部4と、処理部5と、を備える。
照射部2は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部2は、レーザ光を水平方向に走査する。
受光部3は、測距エリアからの入射光の光量を検出する。受光部3により検出される入射光には、照射部2により照射されたレーザ光が物体で反射した反射光の他、太陽光の反射光などの環境光が含まれる。
測距エリアは、複数の分割エリアに区分されており、複数の分割エリアごとに入射光の光量を検出可能である。測距エリアを、受光部3を視点として前方(すなわち、レーザ光の照射方向)を見たときに視認される2次元平面として表したとき、上述した複数の分割エリアは、当該2次元平面を水平方向及び鉛直方向に関して複数段に分割した1つ1つの領域に対応する。分割エリアそれぞれは、3次元空間として見れば、受光部3から延びる直線にそって長さを持つ空間領域である。分割エリアごとに、上述した直線の水平方向の角度及び鉛直方向の角度が対応付けられて定まる。
本実施形態では、測距エリアが、従来の一般的なLIDARと比較して細かな分割エリアに区分されている。例えば、測距エリアにおける分割エリアの数が、上述した2次元平面において、水平方向に500個、鉛直方向に100個に区分されるように設計されている。
各分割エリアには、1つ以上の受光素子が対応づけられている。1つの分割エリアに対応づけられる受光素子の数によって、分割エリアの大きさ(すなわち、上述した2次元平面上においては、その面積の大きさ)が変化する。1つの分割エリアに対応づけられる受光素子の数が少ないほど、1つの分割エリアの大きさは小さくなり、分解能が高くなる。このような構成を実現するため、受光部3は複数の受光素子が配列されている受光素子アレイを備える。受光素子アレイは、例えばSPAD、その他のフォトダイオードによって構成される。なお、SPADは、Single Photon Avalanche Diodeの略である。
上述したように、入射光には、反射光と環境光が含まれる。照射部2により照射されたレーザ光が物体で反射した反射光は、レーザ光の照射タイミングを開始時刻とする一定期間の入射光の光量をサンプリングした、時間と入射光の光量との関係を表す受光波形において、環境光と十分に区別可能なピークとして検出される。照射部2によるレーザ光の照射タイミングから反射光の検出タイミングまでの時間から、レーザ光が物体で反射した反射点までの距離が算出される。したがって、分割エリアの水平方向及び鉛直方向の角度、及び、物体検出装置1からの距離から、反射点の3次元位置が特定される。反射点の3次元位置は分割エリアごとに特定されるため、測距エリア全体で検出された反射点の群である点群の3次元位置が特定される。つまり、レーザ光を反射した物体について、その3次元位置と、3次元空間における水平方向及び鉛直方向のサイズと、が特定される。なお、後述するクラスタリング等の処理のため、反射点の3次元位置は、X,Y,Zの座標値に変換される。
環境光は、反射光が検出されない期間における受光波形として検出される。例えば、レーザ光の反射光を検出するために設定されている期間が経過した後の受光波形が環境光として検出されてもよい。上述のように、受光部3は、各分割エリアからの入射光の光量を検出することから、受光された環境光に基づき、横500画素、縦100画素の解像度かつ多階調のグレースケール画像が環境光画像として生成される。つまり、環境光画像は、車両の前方をカメラで撮影した場合と同様の画像となる。加えて、点群における各反射点の角度位置と、環境光画像における各画素の位置とは1対1で対応することから、環境光画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。なお、環境光画像は、後述する画像生成部61で生成される。
記憶部4は、種別情報と、距離閾値と、サイズ閾値と、を記憶している。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
距離閾値とは、検出対象とする物体を検出し得る距離範囲の目安として物体の種別ごとに設定されている閾値のことである。例えば、物体検出装置1の性能、走行環境等の要因により、所定距離以上離れた位置に歩行者を検出できる可能性が極めて低い場合、当該所定距離が歩行者についての距離閾値として設定される。なお、使用される距離閾値が走行環境等に応じて変更されてもよい。
サイズ閾値とは、検出対象とする物体の適正なサイズの目安として物体の種別ごとに設定されている閾値のことである。例えば、歩行者の可能性がある高さ及び幅の範囲であって、当該範囲を超える場合は歩行者である可能性が極めて低い高さ及び幅の範囲それぞれの上限値が、歩行者についてのサイズ閾値として設定される。下限値を設定しないことにより、例えば、歩行者の上半身のみしか撮像されていない場合などであっても、歩行者であるとの判定が可能となる。
処理部5は、図示しないCPU、ROM、RAM、フラッシュメモリ等を有する周知のマイクロコンピュータを中心に構成される。CPUは、非遷移的実体的記録媒体であるROMに格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、処理部5は当該プログラムに従い、後述する図6及び図7に示す物体検出処理を実行する。なお、処理部5は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
処理部5は、CPUがプログラムを実行することで実現される機能ブロック、すなわち、仮想的な構成要素として、点群生成部51と、クラスタ生成部52と、識別部53と、物体検出部54と、切替部55と、画像生成部61と、を備える。処理部5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
点群生成部51は、受光波形に基づき点群を生成する。点群とは、測距エリア全体で検出された反射点の群である。反射点とは、照射部2によるレーザ光が反射した点を表すものであって、上述した分割エリアごとに取得される。1つの分割エリアに対応づけられる受光素子の数を変更することで、当該点群において、点群解像度を切り替えることが可能である。点群解像度とは、点群を構成する複数の反射点を検出する単位(すなわち分割エリア)の数である。
クラスタ生成部52は、点群生成部51により生成された点群をクラスタリングすることにより、複数のクラスタを生成する。
画像生成部61は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部2により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部2により照射されたレーザ光が物体で反射した反射光を受光部3が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
識別部53は、環境光画像を解析し、検出対象とする物体であると識別された部分である画像物標を環境光画像において検出する。つまり、識別部53は、記憶部4に記憶されている種別情報と合致する物体を環境光画像から検出する。画像物標を検出する方法としては、例えば、Deep Learning、機械学習などが用いられる。
物体検出部54は、点群において、識別部53により検出された画像物標に対応するクラスタを検出する。画像物標に対応するクラスタの検出については、後に詳述する。
切替部55は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部3において、1画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置1は、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置1は、横6個×縦4個の計24個の受光素子を1画素とするデフォルトの解像度と、横6個×縦2個の計12個の受光素子を1画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部2において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横1000画素、縦200画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に1000個、鉛直方向に200個の分割エリアにおいて検出された反射点の群として点群が生成される。
ここで、図2及び図3を用いて、壁と歩行者とが近接している場面を例にとって説明する。図2の環境光画像において、壁21と分離して歩行者22が画像物標として検出された場合でも、図3の点群においては、壁23と歩行者24とが区別されず1つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき複数のクラスタが1つのクラスタに結合している状態を、クラスタが過結合しているという。
また、図4及び図5を用いて、ミキサー車を例にとって説明する。図4に示すように、環境光画像においてミキサー車25が画像物標として検出された場合でも、図5の点群においては、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき1つのクラスタが複数のクラスタに分割されている状態を、クラスタが過分割しているという。
つまり、図2~図5に示す場面では、環境光画像において物体を正しい単位で検出することができたとしても、点群においては物体を正しい単位で検出することが難しい場合がある。
逆に、点群において物体を正しい単位で検出することができたとしても、環境光画像においては物体を正しい単位で検出することが難しい場合もある。例えば、環境光画像において、まだらな模様を有する壁の一部や、路面にペイントされた矢印などが、歩行者を示す画像物標として検出されることがある。
そこで、本実施形態の物体検出装置1は、環境光画像と点群との両方を利用することによって物体の検出精度を向上させる物体検出処理を実行する。
[2.処理]
物体検出装置1の処理部5が実行する物体検出処理について、図6及び図7のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
まず、S101で、処理部5は、点群を生成する。なお、S101が、点群生成部51としての処理に相当する。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、S102が、クラスタ生成部52としての処理に相当する。
続いて、S103で、処理部5は、環境光画像から画像物標を検出する。画像物標が検出されることにより、当該画像物標の種別も認識される。環境光画像に検出対象とする物体が複数存在する場合、処理部5は、環境光画像から複数の画像物標を検出する。以降の処理は、画像物標ごとに実行される。なお、S102でクラスタが生成されたにもかかわらず、S103で画像物標が検出されなかった場合、処理部5は、S112へ移行し生成された各クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、生成された各クラスタは種別情報をもたない物体として検出される。なお、S103が、識別部53としての処理に相当する。
続いて、S104で、処理部5は、画像物標対応クラスタを検出する。具体的には、まず処理部5は、環境光画像においてS103で検出された画像物標を矩形で囲む。加えて処理部5は、点群を各反射点の角度位置の情報を有する2次元平面とみなして、点群においてS102で生成された複数のクラスタをそれぞれ矩形で囲む。次に処理部5は、画像物標の矩形と重複するクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。ここで、画像物標の矩形と重複するクラスタの矩形が複数存在する場合、画像物標の矩形との重複率が最大のクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。つまり、処理部5は、画像物標とクラスタとの対応付けを実施する。なお、画像物標の矩形と重複するクラスタの矩形が存在しない場合、画像物標を無効とし、図6の物体検出処理を終了する。
続いて、S105で、処理部5は、画像物標が示す物体までの距離が適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体までの距離が距離閾値以内である場合、当該距離が適切であると判定する。物体までの距離が適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点までの距離の情報をもつ点群を用いることで可能となる。つまり、画像物標とクラスタとが対応付けられているため、例えば画像物標対応クラスタの中心点と物体検出装置1との距離を、画像物標と物体検出装置1との距離として用いることができる。なお以下の説明において、画像物標対応クラスタの画素又は画素数とは、点群を構成する複数の反射点を検出する単位である分割エリア又は分割エリアの数を意味する。
処理部5は、S105で、画像物標が示す物体までの距離が適切であると判定した場合には、S106へ移行し、画像物標が示す物体のサイズが適切であるか否かを判定する。具体的には、処理部5は、画像物標が示す物体のサイズがサイズ閾値に収まる場合、当該サイズが適切であると判定する。物体のサイズが適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点の3次元位置の情報をもつ点群を用いることで可能となる。画像物標が示す物体のサイズは、画像物標に対応する点群における部分に基づいて推定される。画像物標に対応する点群における部分とは、点群における、画像物標の各画素の位置に対応する角度位置の部分である。例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が多い場合、画像物標対応クラスタのうち、画像物標に対応する点群における部分のサイズが、画像物標が示す物体のサイズと推定される。また例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が少ない場合、画像物標対応クラスタの画素数に対する画像物標の画素数の比率を画像物標対応クラスタに乗じたクラスタのサイズが、画像物標が示す物体のサイズと推定される。
処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S107へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であるか否かを判定する。具体的には、処理部5は、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、所定の画素数の範囲を示す画素数閾値における上限値以下及び下限値以上に収まる場合、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であると判定する。例えば画素数閾値が、プラスマイナス10画素の範囲を示す場合、上限値はプラス10、下限値はマイナス10を示す。
処理部5は、S107で、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等でないと判定した場合には、S108へ移行し、クラスタが過結合しているか否かを判定する。クラスタが過結合しているか否かは、画像物標に対応する点群における部分に、画像物標に対応する点群における部分と比較してサイズが大きなクラスタである過結合クラスタが存在するか否かによって判定される。例えば、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における上限値よりも大きい場合、過結合クラスタが存在すると判定する。過結合クラスタが存在する場合、処理部5は、クラスタが過結合していると判定する。
処理部5は、S108でクラスタが過結合していると判定した場合には、S109へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。なお、解像度を切り替える処理は、後述するS110又はS115において実行される。
処理部5は、S109で解像度を切り替え済みでないと判定した場合には、S110へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101~S108における処理を実行する。
一方、処理部5は、S109で解像度を切り替え済みであると判定した場合には、S111へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101~S108における処理を実行し、なおもクラスタが過結合していると判定した場合、S111へ移行する。
処理部5は、S111で過結合クラスタを分割する。処理部5は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。なお、処理部5は、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとしてもよい。
続いて、処理部5は、S112で画像物標に対応する点群における部分のクラスタを物体として検出する。つまり、処理部5は、S108でクラスタが過結合していると判定し、S111で過結合クラスタを分割した場合、過結合クラスタのうち画像物標に対応する部分のクラスタを、種別情報をもつ物体として検出する。加えて、処理部5は、S112で、過結合クラスタから分割した隣接クラスタを、種別情報をもたない物体として検出する。その後、処理部5は、図6の物体検出処理を終了する。
一方、処理部5は、S108で、クラスタが過結合していないと判定した場合には、S113へ移行し、クラスタが過分割しているか否かを判定する。クラスタが過分割しているか否かは、画像物標に対応する点群における部分に2以上のクラスタが存在するか否かによって判定される。具体的には、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における下限値よりも小さく、かつ、画像物標に対応する点群における部分に画像物標対応クラスタ以外にも1以上のクラスタが存在する場合、処理部5は、クラスタが過分割していると判定する。
処理部5は、S113でクラスタが過分割していると判定した場合には、S114へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部5は、解像度を切り替え済みであるか否かを判定する。
処理部5は、S114で解像度を切り替え済みでないと判定した場合には、S115へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、S101に戻る。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101~S108,S113における処理を実行する。なお、S110,S115が、切替部55としての処理に相当する。
一方、処理部5は、S114で解像度を切り替え済みであると判定した場合には、S116へ移行する。つまり、処理部5は、画像及び点群の解像度がより高い状態で、再びS101~S108,S113における処理を実行し、なおもクラスタが過分割していると判定した場合、S116へ移行する。
処理部5は、S116で画像物標に対応する点群における部分に存在する2以上のクラスタを結合した後、S112へ移行する。つまり、処理部5は、S116で2以上のクラスタを結合した場合、結合後のクラスタを種別情報をもつ物体として検出する。処理部5は、その後、図6の物体検出処理を終了する。
処理部5は、S113でクラスタが過分割していないと判定した場合には、S112へ移行し、画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、処理部5は、S113でクラスタが過分割していないと判定した場合であっても、S104で、画像物標の矩形と重複するクラスタの矩形が複数存在した場合は、画像物標の矩形との重複率が次に最大のクラスタを画像物標対応クラスタとして、S105以降の処理を繰り返す。
一方、処理部5は、S107で、画像物標対応クラスタのサイズが適切であると判定した場合には、S112へ移行し、画像物標に対応する点群における部分のクラスタとして画像物標対応クラスタを種別情報をもつ物体として検出した後、図6の物体検出処理を終了する。これは、画像物標対応クラスタにおける画素数が、画像物標における画素数とほぼ同等であり、画像物標対応クラスタが過分割も過結合もしていないことを表す。つまり、画像物標が示す物体も、画像物標に対応する点群における部分のクラスタも、正しい単位で検出されていることを表す。
一方、処理部5は、S106で、画像物標が示す物体のサイズが適切でないと判定した場合には、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。
また、処理部5は、S105で、画像物標が示す物体までの距離が適切でないと判定した場合にも、物標画像を無効とする。また処理部5は、S112へ移行し画像物標対応クラスタを物体として検出した後、図6の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、S104~S108,S111~S113,S116が、物体検出部54としての処理に相当する。
[3.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)物体検出装置1は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも2回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置1によれば、より高精度に物体を正しい単位で検出することができる。
(3b)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち2以上のクラスタが画像物標に対応する点群における部分に存在すると判定した場合、当該2以上のクラスタを1つの物体として検出する。このような構成によれば、点群においてクラスタが過分割している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。
(3c)物体検出装置1は、点群をクラスタリングすることにより生成された複数のクラスタのうち画像物標に対応する点群における部分と比較してサイズが大きな過結合クラスタが画像物標に対応する点群における部分に存在していると判定した場合、当該過結合クラスタのうち画像物標に対応する部分を物体として検出する。このような構成によれば、点群においてクラスタが過結合している場合でも、物体検出装置1は、物体を正しい単位で検出することができる。
(3d)物体検出装置1は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタおける隣り合う2点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う2点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。このような構成によれば、過結合クラスタのうち画像物標に対応する部分をそのまま分割して1つのクラスタとする場合と比較して、物体検出装置1は、物体を正しい単位で検出することができる。
(3e)物体検出装置1は、画像物標が示す物体の種別に応じて、物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定されるサイズに基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体のサイズを算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。
(3f)物体検出装置1は、画像物標が示す物体の種別に応じて、物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置1は、物体の種別ごとに想定される存在位置に基づき、物体の確からしさを検証している。このとき、物体検出装置1は、環境光画像を用いて物体の種別を識別し、点群を用いて物体までの距離を算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置1は、物体の種別の誤識別を生じにくくすることができる。
(3g)物体検出装置1では、受光部3が、複数の受光素子を有し、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能である。このような構成によれば、解像度を第1の解像度と第2の解像度とに切り替え可能でない場合と比較して、物体検出装置1は、より高精度に物体を検出することができる。
なお、本実施形態では、点群生成部51、クラスタ生成部52、識別部53及び物体検出部54が検出部としての処理に相当する。
[4.第2実施形態]
[4-1.第1実施形態との相違点]
第2実施形態は、基本的な構成及び処理は第1実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
第1実施形態では、物体検出処理のS103で、環境光画像のみから画像物標を検出した。一方、第2実施形態では、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出する。また、第2実施形態では、外部の明るさに応じて、点群、環境光画像、距離画像及び反射強度画像の解像度を切り替える。
[4-2.処理]
第2実施形態の物体検出装置1の処理部5が実行する物体検出処理について、図8のフローチャートを用いて説明する。
S201で、処理部5は、外部の明るさが所定の閾値よりも明るいか否かを判定する。例えば、処理部5は、環境光の強度が、所定の閾値以上であった場合、外部が明るいと判定する。
S202で、処理部5は、外部の明るさに応じた点群解像度の点群を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、点群解像度が相対的に低い点群を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、点群解像度が相対的に高い点群を生成する。点群解像度は、S203で生成される距離画像及び反射強度画像の解像度と一致する。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。
続いて、S203で、処理部5は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
また、S203で、処理部5は、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出し、画像物標を統合する。統合とは、3種類の画像を用いて検出された画像物標に基づいて、S203に続いて行われる処理で使用される1つの画像物標を生成することである。例えば、処理部5は、3種類の画像のうち、いずれかの画像から画像物標が検出された場合、画像物標として採用する。なお、画像物標を統合する方法はこれに限定されるものではない。例えば、3種類の画像のうち、いずれか1つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。すなわち、この場合には、画像物標は検出されなかったものとして処理が進む。また、例えば、3種類の画像のうち、いずれか2つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。また、3種類の画像において異なる画像物標が検出されたときは、予め画像ごとに定められた優先度に基づいて画像物標を決定したり、2つの画像で検出された画像物標を統合された画像物標としてもよい。このS203の後、処理がS104に進む。S104~S106の処理は、図6にて示したS104~S106の処理と同様である。
処理部5は、S106で、画像物標が示す物体のサイズが適切であると判定した場合には、S204へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応しているか否かを判定する。
上述した第1実施形態のS107では、画像物標と画像物標対応クラスタのサイズを比較するために、画像物標対応クラスタと画像物標との画素数を比較した。しかしながら第2実施形態では、点群解像度と画像の解像度が異なる場合があるため、単純な比較ができない。そこで、S202にて生成した点群の点群解像度と、S203にて生成した画像の解像度と、に基づき、点群解像度と画像の解像度との比率を求める。例えば、もし仮に画像の解像度が横500画素、縦200画素であり、点群解像度が横1000画素、縦200画素であれば、画像の1画素の面積は、点群の1画素の面積の2倍である。この場合、画像物標の画素数に対して、画像物標対応クラスタの画素数が2倍であれば、測距エリアにおける同一範囲の広さであると言える。このようにして上述した比率を求め、その比率を考慮した上で、画像物標のサイズと、画像物標対応クラスタのサイズと、が同等であるか否かを求める。なお、上記の手法は一例であり、画像物標対応クラスタと画像物標との画素数が異なる場合にそれらのサイズを比較可能な様々な手法をとり得る。
処理部5は、S204で、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していないと判定した場合には、S108へ移行する。一方、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していると判定した場合には、S112へ移行する。S108以降の処理は、図7にて示したS108~S116の処理と同様であるため、説明を割愛する。
[4-3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(4a)物体検出装置1は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、SNが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、SNとは、信号とノイズの比のことである。
(4b)物体検出装置1は、外部の明るさが明るくないと判定した場合、外部の明るさが明るいと判定した場合と比較して相対的に解像度の低い環境光画像と、相対的に解像度の高い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、そもそも外部が明るくない場合の環境光画像の信頼度は低いため、環境光画像の解像度を低くしても信頼度に影響を与えにくい。よって、処理負荷を抑制しつつ環境光画像を生成することができる。また、距離画像及び反射強度画像においては、環境光の強度が低い場合にはノイズが少なくなるので、検知距離が長くなる傾向にある。よって、解像度を高くしても検知距離が下がるのを抑制できる。
(4c)物体検出装置1において、点群解像度は、距離画像及び反射強度画像の解像度と一致する。このような構成によれば、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応することから、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応がとりやすくなる。
(4d)物体検出装置1において、処理部5は、S202で外部の明るさに応じた点群解像度の点群を生成し、S203で外部の明るさに応じた解像度の画像を生成した。加えて、処理部5は、S108でクラスタが過結合していると判定した場合、S110で高水準の点群解像度及び解像度に切り替えた。処理部5は、S113でクラスタが過分割していると判定した場合にも、S115で高水準の点群解像度及び解像度に切り替えた。このような構成によれば、第1実施形態と同様に、より高精度に物体を検出することができる。
なお、本実施形態では、S201が判定部としての処理に相当する。
[4-4.第2実施形態の変形例]
(i)上記実施形態では、環境光画像、距離画像及び反射強度画像の3種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも1種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
(ii)上記実施形態では、外部の明るさが明るいと判定された場合、外部の明るさが明るくないと判定された場合と比較して環境光画像の解像度は相対的に高く、点群の点群解像度は相対的に低かった。また、外部の明るさが明るくないと判定された場合、外部の明るさが明るいと判定された場合と比較して環境光画像の解像度は相対的に低く、点群の点群解像度は相対的に高かった。つまり、点群の点群解像度が相対的に低いときには、環境光画像の解像度は相対的に高く、点群の点群解像度が相対的に高いときには、環境光画像の解像度は相対的に低く設定された。しかし、点群解像度と解像度との設定の方法はこれに限定されるものではない。例えば、点群の点群解像度を一定にしたまま、環境光画像の解像度を高く又は低く切り替えてもよいし、環境光画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、環境光画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、環境光画像の解像度も高くなるように切り替えてもよい。
また、距離画像及び反射強度画像についても同様に、例えば、点群の点群解像度を一定にしたまま、距離画像及び反射強度画像の解像度を高く又は低く切り替えてもよいし、距離画像及び反射強度画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、距離画像及び反射強度画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、距離画像及び反射強度画像の解像度も高くなるように切り替えてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
(iii)上記実施形態では、環境光画像と、距離画像及び反射強度画像とは解像度が異なっていた。すなわち、第3の解像度を有する環境光画像と、第3の解像度とは異なる第4の解像度を有する距離画像及び反射強度画像と、に基づいて物体が検出された。しかし、環境光画像と、距離画像及び反射強度画像との解像度は一致していてもよい。このような構成によれば、それぞれの画像から検出された画像物標の対応がとりやすくなる。
(iv)上記実施形態では、点群解像度は、距離画像及び反射強度画像の解像度と一致していた。しかし、点群の解像度は、距離画像及び反射強度画像の解像度と一致していなくてもよいし、距離画像及び反射強度画像のうちの一方の解像度とのみ一致していてもよい。
(v)上記実施形態では、外部の明るさに応じた解像度の点群及び画像を生成した。しかし、点群及び画像は、外部の明るさ以外の要件により解像度が設定されてもよい。例えば、時刻、ヘッドライトの点灯の有無、走行する道路の属性などに応じて解像度が設定される構成であってもよい。
(vi)上記実施形態では、環境光の強度に基づき、外部の明るさを判定した。しかし、外部の明るさの判定の方法はこれに限定されるものではない。例えば、照度センサが用いられてもよい。
(vii)上記実施形態では、処理部5は、S107からS111、及びS113~S116の処理によって、クラスタが過結合している場合には分割し、クラスタが過分割している場合には結合した。しかし、処理部5は、上述したクラスタの分割や結合をおこなわなくてもよい。例えば、図9に示すように、処理部5は、S104で画像物標対応クラスタを検出した後、S205で、画像物標が示す物体までの距離が適切かを判定する。具体的には、処理部5は、図6のS105と同様に判定する。
続いて、S206で、処理部5は、画像物標が示す物体のサイズが適切かを判定する。具体的には、処理部5は、図6のS106と同様に判定する。
続いて、S207で、処理部5は、物体を検出する。このとき、S205で画像物標が示す物体までの距離が適切であると判定され、かつ、S206で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
一方、S207で、S205で画像物標が示す物体までの距離が適切でないと判定され、又は、S206で画像物標が示す物体のサイズが適切でないと判定された場合、画像物標対応クラスタは、種別情報をもたない物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
また、図7に戻り、例えば、処理部5は、S108でクラスタが過結合しているかを判定した後、S109,S110の処理をスキップしてもよい。また、処理部5は、S113でクラスタが過分割しているかを判定した後、S114,S115の処理をスキップしてもよい。つまり、処理部5は、切替処理を実施することなく、クラスタを分割又は結合し、種別情報をもつ物体として検出してもよい。
[5.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
(5a)上記実施形態では、受光素子としてSPADを備える構成を例示した。しかし、入射光の光量の時間的変化を検出できれば、どのような受光素子が用いられてもよい。
(5b)上記実施形態では、環境光画像が用いられる構成を例示した。しかし、用いられる画像の種類はこれに限定されるものではない。例えば、環境光画像に加えて又は代えて、距離画像及び反射強度画像の少なくとも一方が用いられてもよい。なお、距離画像も反射強度画像も、分割エリアの数に応じて生成されることから、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは1対1で対応する。これにより、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。
ここで、環境光画像を用いた場合、晴れた日中などには検出性能が高いが、夜間やトンネル内などでは検出性能が下がることがある。一方、距離画像及び反射強度画像を用いた場合、これとは逆の特性をもつ。よって、物体検出装置1は、これらの画像を併用することで、より高精度に物体を正しい単位で検出することができる。
(5c)上記実施形態では、過分割又は過結合の疑いがある場合、解像度を切り替えた後、測距エリア全体において再び測距が実行された。しかし、再び測距が実行される範囲はこれに限定されるものではない。物体検出装置1は、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限って再び測距を実行してもよい。これにより、解像度の切り替えが不要な範囲で物体が過剰に検出されることを抑制し、検出タイミングが遅くなるのを防ぎやすくすることができる。
(5d)上記実施形態では、1画素あたりの受光素子の個数を切り替えることによって解像度を第1の解像度と第2の解像度とに切り替える構成を例示した。しかし物体検出装置1は、測距エリアの範囲を切り替えることによって解像度を切り替えてもよい。具体的には、照射部2により照射されるレーザ光の水平方向における角度範囲を切り替える。例えば物体検出装置1は、分割エリアの数は変えずに、角度範囲を-60°~+60°から-20°~+20°に切り替える。分割エリアの数は変えずに角度範囲を狭くすると、当該角度範囲における分割エリアの数が相対的に多くなり、解像度は相対的に高くなる。よって、より詳細な点群を生成することができる。また、環境光画像においても、画素数を変えずに3分の1の範囲を表現するので、解像度は相対的に高くなる。
また、物体検出装置1は、切替処理として、解像度を切り替えることに加えて又は代えて、各分割エリアに対してレーザ光を照射する回数を、第1の照射回数から、第1の照射回数よりも多い第2の照射回数に切り替えることによってSNを向上させてもよい。レーザ光を照射する回数とは、測距エリアにおける測距を一巡する間に分割エリアのそれぞれに対して物体検出装置1がレーザ光を照射する各回数のことである。なお、上記実施形態では、第1の照射回数として1回が設定されており、各分割エリアに対してレーザ光が1回ずつ照射されていた。このような構成によれば、例えば図5のように、ミキサー車が車体における前方の部分26とタンクの部分27とで2つのクラスタとして検出されてしまうような場合にも、物体検出装置1は、SNを高くすることで前方の部分26とタンクの部分27とをつなぐ車体における部分も検出しやすくなる。これにより、物体検出装置1は、ミキサー車を2つのクラスタではなく1つのクラスタとして検出することができるようになる。
なお、上記実施形態では、測距エリア全体がレーザ光を照射する対象の範囲と設定されていたが、各分割エリアに対してレーザ光を照射する回数を増やすと、検出周期が長くなり、物体を検出するタイミングが遅れることが考えられる。そこで、物体検出装置1は、第1の照射回数から第2の照射回数に切り替えるのを、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限ってもよい。これにより、物体検出装置1は、物体を検出するタイミングが遅れるのを抑制しつつ、より高精度に物体を正しい単位で検出することができる。
(5e)上記実施形態では、サイズ閾値として、上限値のみが設定された構成を例示した。しかし、サイズ閾値として、上限値に加えて又は代えて下限値を設定してもよい。
(5f)上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、1よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
(5g)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。
1…物体検出装置、2…照射部、3…受光部、51…点群生成部、52…クラスタ生成部、53…識別部、54…物体検出部。

Claims (11)

  1. 所定の測距エリアに光を照射するように構成された照射部(2)と、
    前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
    前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
    を備え、
    前記点群は、測距エリア全体で検出された反射点の群であり、
    前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
    前記検出部は、第1の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第1の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第1の解像度よりも高い第2の解像度の前記画像と、前記第1の点群解像度よりも高い第2の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。
  2. 請求項1に記載の物体検出装置であって、
    前記受光部は、複数の受光素子を有し、
    前記検出部は、前記複数の受光素子のうち第1の個数の受光素子を1画素とする前記第1の解像度と、前記複数の受光素子のうち前記第1の個数よりも数が少ない第2の個数の受光素子を1画素とする前記第2の解像度と、に切り替え可能である、物体検出装置。
  3. 請求項1又は請求項2に記載の物体検出装置であって、
    前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
    前記検出部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第1の解像度から前記第2の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第1の点群解像度から前記第2の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。
  4. 所定の測距エリアに光を照射するように構成された照射部(2)と、
    前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
    前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
    を備え、
    前記点群は、測距エリア全体で検出された反射点の群であり、
    前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
    前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。
  5. 請求項4に記載の物体検出装置であって、
    前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。
  6. 所定の測距エリアに光を照射するように構成された照射部(2)と、
    前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
    前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
    を備え、
    前記点群は、測距エリア全体で検出された反射点の群であり、
    前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
    前記検出部は、第3の解像度を有する前記環境光画像と、前記第3の解像度とは異なる第4の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出可能である、物体検出装置。
  7. 請求項6に記載の物体検出装置であって、
    外部の明るさを判定する明るさ判定部を更に備え、
    前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出する、物体検出装置。
  8. 請求項1から請求項までのいずれか1項に記載の物体検出装置であって、
    前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能である、物体検出装置。
  9. 所定の測距エリアに光を照射するように構成された照射部(2)と、
    前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
    前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
    を備え、
    前記点群は、測距エリア全体で検出された反射点の群であり、
    前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
    前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能であり、
    前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
    前記照射部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第1の照射回数から前記第2の照射回数に切り替え、
    前記検出部は、光を照射する回数が前記第1の照射回数から前記第2の照射回数に切り替えられた場合、前記第2の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。
  10. 請求項1から請求項までのいずれか1項に記載の物体検出装置であって、
    前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。
  11. 請求項1から請求項9までのいずれか1項に記載の物体検出装置であって、
    前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。
JP2021018327A 2020-02-18 2021-02-08 物体検出装置 Active JP7501398B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/005722 WO2021166912A1 (ja) 2020-02-18 2021-02-16 物体検出装置
CN202180015257.2A CN115176175A (zh) 2020-02-18 2021-02-16 物体检测装置
US17/820,505 US20220392194A1 (en) 2020-02-18 2022-08-17 Object detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020025300 2020-02-18
JP2020025300 2020-02-18

Publications (2)

Publication Number Publication Date
JP2021131385A JP2021131385A (ja) 2021-09-09
JP7501398B2 true JP7501398B2 (ja) 2024-06-18

Family

ID=77550869

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021018327A Active JP7501398B2 (ja) 2020-02-18 2021-02-08 物体検出装置

Country Status (1)

Country Link
JP (1) JP7501398B2 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232167B1 (ja) 2007-08-27 2009-03-04 三菱電機株式会社 対象特定装置、対象特定方法および対象特定プログラム
JP2011247872A (ja) 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
EP2562688A2 (en) 2011-08-22 2013-02-27 Samsung Electronics Co., Ltd. Method of Separating Object in Three Dimensional Point Cloud
WO2018170472A1 (en) 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
CN109100741A (zh) 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109345510A (zh) 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备、存储介质及车辆
WO2019186742A1 (ja) 2018-03-28 2019-10-03 日本電気株式会社 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2019187216A1 (ja) 2018-03-30 2019-10-03 Necソリューションイノベータ株式会社 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体
WO2020179065A1 (ja) 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
JP7420038B2 (ja) 2019-10-16 2024-01-23 株式会社デンソー 車載の異常検出装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4232167B1 (ja) 2007-08-27 2009-03-04 三菱電機株式会社 対象特定装置、対象特定方法および対象特定プログラム
JP2011247872A (ja) 2010-04-27 2011-12-08 Denso Corp 距離測定装置、距離測定方法、および距離測定プログラム
EP2562688A2 (en) 2011-08-22 2013-02-27 Samsung Electronics Co., Ltd. Method of Separating Object in Three Dimensional Point Cloud
WO2018170472A1 (en) 2017-03-17 2018-09-20 Honda Motor Co., Ltd. Joint 3d object detection and orientation estimation via multimodal fusion
WO2019186742A1 (ja) 2018-03-28 2019-10-03 日本電気株式会社 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2019187216A1 (ja) 2018-03-30 2019-10-03 Necソリューションイノベータ株式会社 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体
CN109100741A (zh) 2018-06-11 2018-12-28 长安大学 一种基于3d激光雷达及图像数据的目标检测方法
CN109345510A (zh) 2018-09-07 2019-02-15 百度在线网络技术(北京)有限公司 物体检测方法、装置、设备、存储介质及车辆
WO2020179065A1 (ja) 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
JP7420038B2 (ja) 2019-10-16 2024-01-23 株式会社デンソー 車載の異常検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大谷駿介,榎田修一,「LIDARによる歩行者検出のためのk-means++法を用いた歩行者群分割」,第25回 画像センシングシンポジウム SSII2019,画像センシング技術研究会,2019年06月12日

Also Published As

Publication number Publication date
JP2021131385A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
JP5409929B2 (ja) 車両用ヘッドライト装置の制御方法およびヘッドライト装置
US8908924B2 (en) Exterior environment recognition device and exterior environment recognition method
JP6471528B2 (ja) 物体認識装置、物体認識方法
US20130027511A1 (en) Onboard Environment Recognition System
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
US10339405B2 (en) Image recognition device and image recognition method
US9506859B2 (en) Method and device for determining a visual range in daytime fog
JP7095640B2 (ja) 物体検出装置
JP6236039B2 (ja) 車外環境認識装置
JP2004104646A (ja) 車載用画像処理装置
JP6420650B2 (ja) 車外環境認識装置
US20220011440A1 (en) Ranging device
JP7501398B2 (ja) 物体検出装置
WO2021166912A1 (ja) 物体検出装置
US20220214434A1 (en) Gating camera
US20230336876A1 (en) Vehicle-mounted sensing system and gated camera
JP5170058B2 (ja) 物体検出装置
JP7487470B2 (ja) 物体検出装置および物体検出装置の制御方法
WO2023047886A1 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム
JP6125975B2 (ja) ピッチ角検出装置及びピッチ角検出方法
JP2003174642A (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
US20240221399A1 (en) Vehicle detection device, vehicle detection method, and non transitory computer-readable medium
JP2010221756A (ja) 車両灯火判定装置
JP2023128481A (ja) 物体認識方法及び物体認識装置
CN118235419A (zh) 感测***

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240520