JP7501398B2 - 物体検出装置 - Google Patents
物体検出装置 Download PDFInfo
- Publication number
- JP7501398B2 JP7501398B2 JP2021018327A JP2021018327A JP7501398B2 JP 7501398 B2 JP7501398 B2 JP 7501398B2 JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 7501398 B2 JP7501398 B2 JP 7501398B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- resolution
- light
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 119
- 238000005259 measurement Methods 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 120
- 238000000034 method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
Description
[1.構成]
図1に示す物体検出装置1は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
照射部2は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部2は、レーザ光を水平方向に走査する。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
画像生成部61は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部2により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部2により照射されたレーザ光が物体で反射した反射光を受光部3が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
切替部55は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部3において、1画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置1は、複数の受光素子のうち第1の個数の受光素子を1画素とする第1の解像度と、複数の受光素子のうち第1の個数よりも数が少ない第2の個数の受光素子を1画素とする第2の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置1は、横6個×縦4個の計24個の受光素子を1画素とするデフォルトの解像度と、横6個×縦2個の計12個の受光素子を1画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部2において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横1000画素、縦200画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に1000個、鉛直方向に200個の分割エリアにおいて検出された反射点の群として点群が生成される。
[2.処理]
物体検出装置1の処理部5が実行する物体検出処理について、図6及び図7のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
続いて、S102で、処理部5は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、S102が、クラスタ生成部52としての処理に相当する。
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)物体検出装置1は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも2回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置1によれば、より高精度に物体を正しい単位で検出することができる。
[4.第2実施形態]
[4-1.第1実施形態との相違点]
第2実施形態は、基本的な構成及び処理は第1実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
第2実施形態の物体検出装置1の処理部5が実行する物体検出処理について、図8のフローチャートを用いて説明する。
続いて、S203で、処理部5は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部5は、S201で外部の明るさが所定の閾値よりも明るいと判定した場合、S201で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部5は、S201で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
以上詳述した第2実施形態によれば、以下の効果が得られる。
(4a)物体検出装置1は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、SNが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、SNとは、信号とノイズの比のことである。
[4-4.第2実施形態の変形例]
(i)上記実施形態では、環境光画像、距離画像及び反射強度画像の3種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも1種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
続いて、S207で、処理部5は、物体を検出する。このとき、S205で画像物標が示す物体までの距離が適切であると判定され、かつ、S206で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部5は、図9の物体検出処理を終了する。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
(5f)上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、1よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
Claims (11)
- 所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
前記検出部は、第1の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第1の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第1の解像度よりも高い第2の解像度の前記画像と、前記第1の点群解像度よりも高い第2の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項1に記載の物体検出装置であって、
前記受光部は、複数の受光素子を有し、
前記検出部は、前記複数の受光素子のうち第1の個数の受光素子を1画素とする前記第1の解像度と、前記複数の受光素子のうち前記第1の個数よりも数が少ない第2の個数の受光素子を1画素とする前記第2の解像度と、に切り替え可能である、物体検出装置。 - 請求項1又は請求項2に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記検出部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第1の解像度から前記第2の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第1の点群解像度から前記第2の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。 - 所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項4に記載の物体検出装置であって、
前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。 - 所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
前記検出部は、第3の解像度を有する前記環境光画像と、前記第3の解像度とは異なる第4の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出可能である、物体検出装置。 - 請求項6に記載の物体検出装置であって、
外部の明るさを判定する明るさ判定部を更に備え、
前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも1つと、に基づいて前記物体を検出する、物体検出装置。 - 請求項1から請求項7までのいずれか1項に記載の物体検出装置であって、
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能である、物体検出装置。 - 所定の測距エリアに光を照射するように構成された照射部(2)と、
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部(3)と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部(51~54)と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも1つであり、
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第1の照射回数と、前記第1の照射回数よりも多い第2の照射回数と、に切り替え可能であり、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記照射部は、前記複数のクラスタのうち2以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第1の照射回数から前記第2の照射回数に切り替え、
前記検出部は、光を照射する回数が前記第1の照射回数から前記第2の照射回数に切り替えられた場合、前記第2の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。 - 請求項1から請求項9までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 - 請求項1から請求項9までのいずれか1項に記載の物体検出装置であって、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/005722 WO2021166912A1 (ja) | 2020-02-18 | 2021-02-16 | 物体検出装置 |
CN202180015257.2A CN115176175A (zh) | 2020-02-18 | 2021-02-16 | 物体检测装置 |
US17/820,505 US20220392194A1 (en) | 2020-02-18 | 2022-08-17 | Object detection device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020025300 | 2020-02-18 | ||
JP2020025300 | 2020-02-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021131385A JP2021131385A (ja) | 2021-09-09 |
JP7501398B2 true JP7501398B2 (ja) | 2024-06-18 |
Family
ID=77550869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021018327A Active JP7501398B2 (ja) | 2020-02-18 | 2021-02-08 | 物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7501398B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (ja) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
JP2011247872A (ja) | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
EP2562688A2 (en) | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
WO2018170472A1 (en) | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
CN109100741A (zh) | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
CN109345510A (zh) | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
WO2019186742A1 (ja) | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
WO2019187216A1 (ja) | 2018-03-30 | 2019-10-03 | Necソリューションイノベータ株式会社 | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 |
WO2020179065A1 (ja) | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
JP7420038B2 (ja) | 2019-10-16 | 2024-01-23 | 株式会社デンソー | 車載の異常検出装置 |
-
2021
- 2021-02-08 JP JP2021018327A patent/JP7501398B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4232167B1 (ja) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | 対象特定装置、対象特定方法および対象特定プログラム |
JP2011247872A (ja) | 2010-04-27 | 2011-12-08 | Denso Corp | 距離測定装置、距離測定方法、および距離測定プログラム |
EP2562688A2 (en) | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
WO2018170472A1 (en) | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
WO2019186742A1 (ja) | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | 監視制御装置、監視システム、監視制御方法及びプログラムが格納された非一時的なコンピュータ可読媒体 |
WO2019187216A1 (ja) | 2018-03-30 | 2019-10-03 | Necソリューションイノベータ株式会社 | 物体識別装置、物体識別方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 |
CN109100741A (zh) | 2018-06-11 | 2018-12-28 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
CN109345510A (zh) | 2018-09-07 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 物体检测方法、装置、设备、存储介质及车辆 |
WO2020179065A1 (ja) | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記録媒体 |
JP7420038B2 (ja) | 2019-10-16 | 2024-01-23 | 株式会社デンソー | 車載の異常検出装置 |
Non-Patent Citations (1)
Title |
---|
大谷駿介,榎田修一,「LIDARによる歩行者検出のためのk-means++法を用いた歩行者群分割」,第25回 画像センシングシンポジウム SSII2019,画像センシング技術研究会,2019年06月12日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021131385A (ja) | 2021-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5409929B2 (ja) | 車両用ヘッドライト装置の制御方法およびヘッドライト装置 | |
US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
JP6471528B2 (ja) | 物体認識装置、物体認識方法 | |
US20130027511A1 (en) | Onboard Environment Recognition System | |
US10552688B2 (en) | Method and device for detecting objects in the surroundings of a vehicle | |
US10339405B2 (en) | Image recognition device and image recognition method | |
US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
JP7095640B2 (ja) | 物体検出装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP2004104646A (ja) | 車載用画像処理装置 | |
JP6420650B2 (ja) | 車外環境認識装置 | |
US20220011440A1 (en) | Ranging device | |
JP7501398B2 (ja) | 物体検出装置 | |
WO2021166912A1 (ja) | 物体検出装置 | |
US20220214434A1 (en) | Gating camera | |
US20230336876A1 (en) | Vehicle-mounted sensing system and gated camera | |
JP5170058B2 (ja) | 物体検出装置 | |
JP7487470B2 (ja) | 物体検出装置および物体検出装置の制御方法 | |
WO2023047886A1 (ja) | 車両検出装置、車両検出方法、及び車両検出プログラム | |
JP6125975B2 (ja) | ピッチ角検出装置及びピッチ角検出方法 | |
JP2003174642A (ja) | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 | |
US20240221399A1 (en) | Vehicle detection device, vehicle detection method, and non transitory computer-readable medium | |
JP2010221756A (ja) | 車両灯火判定装置 | |
JP2023128481A (ja) | 物体認識方法及び物体認識装置 | |
CN118235419A (zh) | 感测*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |