JP7501398B2 - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP7501398B2 JP7501398B2 JP2021018327A JP2021018327A JP7501398B2 JP 7501398 B2 JP7501398 B2 JP 7501398B2 JP 2021018327 A JP2021018327 A JP 2021018327A JP 2021018327 A JP2021018327 A JP 2021018327A JP 7501398 B2 JP7501398 B2 JP 7501398B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- resolution
- light
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 119
- 238000005259 measurement Methods 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 11
- 238000005286 illumination Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 120
- 238000000034 method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Description
本開示は、物体検出装置に関する。 This disclosure relates to an object detection device.
特許文献１には、レーザレーダにより検出された複数の検出点をクラスタリングすることにより生成されたクラスタを用いて物体を検出する物体識別装置が記載されている。具体的には、物体識別装置は、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することで物体を表すクラスタを特定する。このとき、物体識別装置は、クラスタがツリー構造をなしていることを利用して、根ノードのクラスタから子ノードのクラスタに向かって一致度を計算していく。
しかしながら、発明者の詳細な検討の結果、以下の課題が見出された。すなわち、特許文献１に記載の装置のように点群のみを用いてクラスタリングすると、物体を正しい単位で検出しにくい。例えば、検出対象とする物体について、本来生成されるべきクラスタよりも小さいクラスタが根ノードのクラスタとして生成された場合、根ノードのクラスタよりも大きなクラスタを物体として検出することが難しく、過分割されてしまう。また、例えば、前回生成されたクラスタが存在しない場合、つまり初回のクラスタリング時には、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算することができないため、物体を表すクラスタを特定することが難しく、検出精度が低くなってしまう。
However, after detailed investigation by the inventors, the following problem was found. That is, when clustering is performed using only point clouds as in the device described in
本開示の一局面は、より高精度に物体を正しい単位で検出することができる物体検出装置を提供する。 One aspect of the present disclosure provides an object detection device that can detect objects in correct units with higher accuracy.
本開示の一態様は、物体検出装置であって、照射部（２）と、受光部（３）と、検出部（５１～５４）と、を備える。照射部は、所定の測距エリアに光を照射するように構成される。受光部は、照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成される。検出部は、反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成される。点群は、測距エリア全体で検出された反射点の群である。画像は、環境光に基づく画像である環境光画像、反射光に基づき検出される物体までの距離に基づく画像である距離画像及び反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも１つである。 One aspect of the present disclosure is an object detection device comprising an illumination unit (2), a light receiving unit (3), and a detection unit (51-54). The illumination unit is configured to illuminate a predetermined distance measurement area with light. The light receiving unit is configured to receive reflected light, which is light reflected from the light illuminated by the illumination unit, and ambient light. The detection unit is configured to detect a predetermined object based on an image and a point cloud, which is information based on the reflected light. The point cloud is a group of reflection points detected in the entire distance measurement area. The image is at least one of an ambient light image, which is an image based on ambient light, a distance image, which is an image based on the distance to an object detected based on the reflected light, and a reflection intensity image, which is an image based on the reflection intensity of the reflected light.
このような構成によれば、より高精度に物体を正しい単位で検出することができる。 This configuration allows objects to be detected with greater accuracy and in the correct units.
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示す物体検出装置１は、車両に搭載して使用され、光を照射し、照射した光を反射する物体からの反射光を受光することで、車両前方に存在する物体を検出する。
Hereinafter, exemplary embodiments of the present disclosure will be described with reference to the drawings.
[1. Configuration]
An
物体検出装置１は、図１に示すように、照射部２と、受光部３と、記憶部４と、処理部５と、を備える。
照射部２は、車両の前方における測距エリアにレーザ光を照射する。測距エリアは、水平方向及び鉛直方向のそれぞれに所定の角度範囲で広がるエリアである。照射部２は、レーザ光を水平方向に走査する。
As shown in FIG. 1 , the
The
受光部３は、測距エリアからの入射光の光量を検出する。受光部３により検出される入射光には、照射部２により照射されたレーザ光が物体で反射した反射光の他、太陽光の反射光などの環境光が含まれる。
The light receiving
測距エリアは、複数の分割エリアに区分されており、複数の分割エリアごとに入射光の光量を検出可能である。測距エリアを、受光部３を視点として前方（すなわち、レーザ光の照射方向）を見たときに視認される２次元平面として表したとき、上述した複数の分割エリアは、当該２次元平面を水平方向及び鉛直方向に関して複数段に分割した１つ１つの領域に対応する。分割エリアそれぞれは、３次元空間として見れば、受光部３から延びる直線にそって長さを持つ空間領域である。分割エリアごとに、上述した直線の水平方向の角度及び鉛直方向の角度が対応付けられて定まる。
The ranging area is divided into multiple divided areas, and the amount of incident light can be detected for each of the multiple divided areas. When the ranging area is represented as a two-dimensional plane that is visible when looking forward (i.e., in the direction of laser light irradiation) from the
本実施形態では、測距エリアが、従来の一般的なＬＩＤＡＲと比較して細かな分割エリアに区分されている。例えば、測距エリアにおける分割エリアの数が、上述した２次元平面において、水平方向に５００個、鉛直方向に１００個に区分されるように設計されている。 In this embodiment, the measurement area is divided into smaller divided areas compared to conventional general LIDAR. For example, the number of divided areas in the measurement area is designed to be 500 in the horizontal direction and 100 in the vertical direction on the two-dimensional plane described above.
各分割エリアには、１つ以上の受光素子が対応づけられている。１つの分割エリアに対応づけられる受光素子の数によって、分割エリアの大きさ（すなわち、上述した２次元平面上においては、その面積の大きさ）が変化する。１つの分割エリアに対応づけられる受光素子の数が少ないほど、１つの分割エリアの大きさは小さくなり、分解能が高くなる。このような構成を実現するため、受光部３は複数の受光素子が配列されている受光素子アレイを備える。受光素子アレイは、例えばＳＰＡＤ、その他のフォトダイオードによって構成される。なお、ＳＰＡＤは、Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅの略である。
Each divided area is associated with one or more light receiving elements. The size of the divided area (i.e., the size of its surface area on the two-dimensional plane described above) changes depending on the number of light receiving elements associated with one divided area. The smaller the number of light receiving elements associated with one divided area, the smaller the size of one divided area and the higher the resolution. To achieve this configuration, the
上述したように、入射光には、反射光と環境光が含まれる。照射部２により照射されたレーザ光が物体で反射した反射光は、レーザ光の照射タイミングを開始時刻とする一定期間の入射光の光量をサンプリングした、時間と入射光の光量との関係を表す受光波形において、環境光と十分に区別可能なピークとして検出される。照射部２によるレーザ光の照射タイミングから反射光の検出タイミングまでの時間から、レーザ光が物体で反射した反射点までの距離が算出される。したがって、分割エリアの水平方向及び鉛直方向の角度、及び、物体検出装置１からの距離から、反射点の３次元位置が特定される。反射点の３次元位置は分割エリアごとに特定されるため、測距エリア全体で検出された反射点の群である点群の３次元位置が特定される。つまり、レーザ光を反射した物体について、その３次元位置と、３次元空間における水平方向及び鉛直方向のサイズと、が特定される。なお、後述するクラスタリング等の処理のため、反射点の３次元位置は、Ｘ，Ｙ，Ｚの座標値に変換される。
As described above, the incident light includes reflected light and ambient light. The reflected light of the laser light irradiated by the
環境光は、反射光が検出されない期間における受光波形として検出される。例えば、レーザ光の反射光を検出するために設定されている期間が経過した後の受光波形が環境光として検出されてもよい。上述のように、受光部３は、各分割エリアからの入射光の光量を検出することから、受光された環境光に基づき、横５００画素、縦１００画素の解像度かつ多階調のグレースケール画像が環境光画像として生成される。つまり、環境光画像は、車両の前方をカメラで撮影した場合と同様の画像となる。加えて、点群における各反射点の角度位置と、環境光画像における各画素の位置とは１対１で対応することから、環境光画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。なお、環境光画像は、後述する画像生成部６１で生成される。
The ambient light is detected as a received light waveform during a period in which reflected light is not detected. For example, the received light waveform after a period set for detecting reflected light of laser light has elapsed may be detected as the ambient light. As described above, the
記憶部４は、種別情報と、距離閾値と、サイズ閾値と、を記憶している。
種別情報とは、検出対象とする物体の種別のことである。検出対象とする物体には、歩行者、先行車両などの、運転者が運転時に注目すべき物体が含まれる。
The
The type information is the type of object to be detected, which includes objects that the driver should pay attention to while driving, such as pedestrians and preceding vehicles.
距離閾値とは、検出対象とする物体を検出し得る距離範囲の目安として物体の種別ごとに設定されている閾値のことである。例えば、物体検出装置１の性能、走行環境等の要因により、所定距離以上離れた位置に歩行者を検出できる可能性が極めて低い場合、当該所定距離が歩行者についての距離閾値として設定される。なお、使用される距離閾値が走行環境等に応じて変更されてもよい。
The distance threshold is a threshold set for each type of object as a guideline for the distance range in which the object to be detected can be detected. For example, if the performance of the
サイズ閾値とは、検出対象とする物体の適正なサイズの目安として物体の種別ごとに設定されている閾値のことである。例えば、歩行者の可能性がある高さ及び幅の範囲であって、当該範囲を超える場合は歩行者である可能性が極めて低い高さ及び幅の範囲それぞれの上限値が、歩行者についてのサイズ閾値として設定される。下限値を設定しないことにより、例えば、歩行者の上半身のみしか撮像されていない場合などであっても、歩行者であるとの判定が可能となる。 The size threshold is a threshold set for each type of object as a guideline for the appropriate size of the object to be detected. For example, the upper limit of the height and width ranges beyond which a pedestrian is likely to be present is set as the size threshold for pedestrians. By not setting a lower limit, it is possible to determine that a pedestrian is present even if, for example, only the upper half of the pedestrian's body is captured in the image.
処理部５は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等を有する周知のマイクロコンピュータを中心に構成される。ＣＰＵは、非遷移的実体的記録媒体であるＲＯＭに格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、処理部５は当該プログラムに従い、後述する図６及び図７に示す物体検出処理を実行する。なお、処理部５は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
The
処理部５は、ＣＰＵがプログラムを実行することで実現される機能ブロック、すなわち、仮想的な構成要素として、点群生成部５１と、クラスタ生成部５２と、識別部５３と、物体検出部５４と、切替部５５と、画像生成部６１と、を備える。処理部５に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
The
点群生成部５１は、受光波形に基づき点群を生成する。点群とは、測距エリア全体で検出された反射点の群である。反射点とは、照射部２によるレーザ光が反射した点を表すものであって、上述した分割エリアごとに取得される。１つの分割エリアに対応づけられる受光素子の数を変更することで、当該点群において、点群解像度を切り替えることが可能である。点群解像度とは、点群を構成する複数の反射点を検出する単位（すなわち分割エリア）の数である。
The point
クラスタ生成部５２は、点群生成部５１により生成された点群をクラスタリングすることにより、複数のクラスタを生成する。
画像生成部６１は、環境光画像と、距離画像と、反射強度画像と、を生成する。距離画像とは、照射部２により照射されたレーザ光が物体で反射した反射点までの距離を画素ごとに表した画像である。反射強度画像とは、照射部２により照射されたレーザ光が物体で反射した反射光を受光部３が受光する強度を画素ごとに表した画像である。各画像は、解像度を切り替え可能である。
The
The
識別部５３は、環境光画像を解析し、検出対象とする物体であると識別された部分である画像物標を環境光画像において検出する。つまり、識別部５３は、記憶部４に記憶されている種別情報と合致する物体を環境光画像から検出する。画像物標を検出する方法としては、例えば、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、機械学習などが用いられる。
The
物体検出部５４は、点群において、識別部５３により検出された画像物標に対応するクラスタを検出する。画像物標に対応するクラスタの検出については、後に詳述する。
切替部５５は、切替処理として解像度を切り替える。鉛直方向における解像度については、受光部３において、１画素に使用する受光素子の数を減らし、鉛直方向における画素数を増やすことで、解像度は高くなる。物体検出装置１は、複数の受光素子のうち第１の個数の受光素子を１画素とする第１の解像度と、複数の受光素子のうち第１の個数よりも数が少ない第２の個数の受光素子を１画素とする第２の解像度と、に切り替え可能に構成されている。本実施形態では、物体検出装置１は、横６個×縦４個の計２４個の受光素子を１画素とするデフォルトの解像度と、横６個×縦２個の計１２個の受光素子を１画素とする高水準の解像度と、に切り替え可能に構成されている。一方、水平方向における解像度については、照射部２において、レーザ光を走査する間隔を狭くし、水平方向における画素数を増やすことで、解像度は高くなる。本実施形態では、高水準の解像度の場合、横１０００画素、縦２００画素の解像度の画像が環境光画像として生成される。また、本実施形態では、点群解像度は上述した画像の解像度と一致するように設定される。具体的には、高水準の場合は、水平方向に１０００個、鉛直方向に２００個の分割エリアにおいて検出された反射点の群として点群が生成される。
The
The switching
ここで、図２及び図３を用いて、壁と歩行者とが近接している場面を例にとって説明する。図２の環境光画像において、壁２１と分離して歩行者２２が画像物標として検出された場合でも、図３の点群においては、壁２３と歩行者２４とが区別されず１つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき複数のクラスタが１つのクラスタに結合している状態を、クラスタが過結合しているという。
Here, using Figures 2 and 3, we will explain an example of a scene where a wall and a pedestrian are close to each other. Even if a
また、図４及び図５を用いて、ミキサー車を例にとって説明する。図４に示すように、環境光画像においてミキサー車２５が画像物標として検出された場合でも、図５の点群においては、ミキサー車が車体における前方の部分２６とタンクの部分２７とで２つのクラスタとして検出されてしまうことがある。ここで、物体の単位で区別されるべき１つのクラスタが複数のクラスタに分割されている状態を、クラスタが過分割しているという。
Furthermore, a mixer truck will be used as an example to explain the situation using Figures 4 and 5. Even if a
つまり、図２～図５に示す場面では、環境光画像において物体を正しい単位で検出することができたとしても、点群においては物体を正しい単位で検出することが難しい場合がある。 In other words, in the scenes shown in Figures 2 to 5, even if an object can be detected in the correct units in the ambient light image, it may be difficult to detect the object in the correct units in the point cloud.
逆に、点群において物体を正しい単位で検出することができたとしても、環境光画像においては物体を正しい単位で検出することが難しい場合もある。例えば、環境光画像において、まだらな模様を有する壁の一部や、路面にペイントされた矢印などが、歩行者を示す画像物標として検出されることがある。 Conversely, even if an object can be detected in the correct units in a point cloud, it may be difficult to detect the object in the correct units in an ambient light image. For example, in an ambient light image, part of a wall with a mottled pattern or an arrow painted on the road surface may be detected as an image landmark indicating a pedestrian.
そこで、本実施形態の物体検出装置１は、環境光画像と点群との両方を利用することによって物体の検出精度を向上させる物体検出処理を実行する。
［２．処理］
物体検出装置１の処理部５が実行する物体検出処理について、図６及び図７のフローチャートを用いて説明する。物体検出処理は、測距エリア全体の測距が完了する度に実行される。なお、物体検出処理の開始時には、解像度はデフォルトの解像度に設定されている。なお、本処理の説明において、単に解像度というときは、画像の解像度と点群の点群解像度との両方を含む。
Therefore, the
2. Processing
The object detection process executed by the
まず、Ｓ１０１で、処理部５は、点群を生成する。なお、Ｓ１０１が、点群生成部５１としての処理に相当する。
続いて、Ｓ１０２で、処理部５は、点群をクラスタリングすることにより複数のクラスタを生成する。生成された各クラスタは、初期値として種別情報をもたない。なお、Ｓ１０２が、クラスタ生成部５２としての処理に相当する。
First, in S101, the
Next, in S102, the
続いて、Ｓ１０３で、処理部５は、環境光画像から画像物標を検出する。画像物標が検出されることにより、当該画像物標の種別も認識される。環境光画像に検出対象とする物体が複数存在する場合、処理部５は、環境光画像から複数の画像物標を検出する。以降の処理は、画像物標ごとに実行される。なお、Ｓ１０２でクラスタが生成されたにもかかわらず、Ｓ１０３で画像物標が検出されなかった場合、処理部５は、Ｓ１１２へ移行し生成された各クラスタを物体として検出した後、図６の物体検出処理を終了する。このとき、生成された各クラスタは種別情報をもたない物体として検出される。なお、Ｓ１０３が、識別部５３としての処理に相当する。
Next, in S103, the
続いて、Ｓ１０４で、処理部５は、画像物標対応クラスタを検出する。具体的には、まず処理部５は、環境光画像においてＳ１０３で検出された画像物標を矩形で囲む。加えて処理部５は、点群を各反射点の角度位置の情報を有する２次元平面とみなして、点群においてＳ１０２で生成された複数のクラスタをそれぞれ矩形で囲む。次に処理部５は、画像物標の矩形と重複するクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。ここで、画像物標の矩形と重複するクラスタの矩形が複数存在する場合、画像物標の矩形との重複率が最大のクラスタの矩形を検出し、当該クラスタを画像物標対応クラスタとして検出する。つまり、処理部５は、画像物標とクラスタとの対応付けを実施する。なお、画像物標の矩形と重複するクラスタの矩形が存在しない場合、画像物標を無効とし、図６の物体検出処理を終了する。
Next, in S104, the
続いて、Ｓ１０５で、処理部５は、画像物標が示す物体までの距離が適切であるか否かを判定する。具体的には、処理部５は、画像物標が示す物体までの距離が距離閾値以内である場合、当該距離が適切であると判定する。物体までの距離が適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点までの距離の情報をもつ点群を用いることで可能となる。つまり、画像物標とクラスタとが対応付けられているため、例えば画像物標対応クラスタの中心点と物体検出装置１との距離を、画像物標と物体検出装置１との距離として用いることができる。なお以下の説明において、画像物標対応クラスタの画素又は画素数とは、点群を構成する複数の反射点を検出する単位である分割エリア又は分割エリアの数を意味する。
Next, in S105, the
処理部５は、Ｓ１０５で、画像物標が示す物体までの距離が適切であると判定した場合には、Ｓ１０６へ移行し、画像物標が示す物体のサイズが適切であるか否かを判定する。具体的には、処理部５は、画像物標が示す物体のサイズがサイズ閾値に収まる場合、当該サイズが適切であると判定する。物体のサイズが適切であるか否かの判定は、環境光画像のみでは実施できないが、反射点の３次元位置の情報をもつ点群を用いることで可能となる。画像物標が示す物体のサイズは、画像物標に対応する点群における部分に基づいて推定される。画像物標に対応する点群における部分とは、点群における、画像物標の各画素の位置に対応する角度位置の部分である。例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が多い場合、画像物標対応クラスタのうち、画像物標に対応する点群における部分のサイズが、画像物標が示す物体のサイズと推定される。また例えば、画像物標の画素数よりも画像物標対応クラスタの画素数の方が少ない場合、画像物標対応クラスタの画素数に対する画像物標の画素数の比率を画像物標対応クラスタに乗じたクラスタのサイズが、画像物標が示す物体のサイズと推定される。
If the
処理部５は、Ｓ１０６で、画像物標が示す物体のサイズが適切であると判定した場合には、Ｓ１０７へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であるか否かを判定する。具体的には、処理部５は、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、所定の画素数の範囲を示す画素数閾値における上限値以下及び下限値以上に収まる場合、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等であると判定する。例えば画素数閾値が、プラスマイナス１０画素の範囲を示す場合、上限値はプラス１０、下限値はマイナス１０を示す。
If the
処理部５は、Ｓ１０７で、画像物標の画素数と、画像物標対応クラスタの画素数と、が同等でないと判定した場合には、Ｓ１０８へ移行し、クラスタが過結合しているか否かを判定する。クラスタが過結合しているか否かは、画像物標に対応する点群における部分に、画像物標に対応する点群における部分と比較してサイズが大きなクラスタである過結合クラスタが存在するか否かによって判定される。例えば、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における上限値よりも大きい場合、過結合クラスタが存在すると判定する。過結合クラスタが存在する場合、処理部５は、クラスタが過結合していると判定する。
If the
処理部５は、Ｓ１０８でクラスタが過結合していると判定した場合には、Ｓ１０９へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部５は、解像度を切り替え済みであるか否かを判定する。なお、解像度を切り替える処理は、後述するＳ１１０又はＳ１１５において実行される。
If the
処理部５は、Ｓ１０９で解像度を切り替え済みでないと判定した場合には、Ｓ１１０へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、Ｓ１０１に戻る。つまり、処理部５は、画像及び点群の解像度がより高い状態で、再びＳ１０１～Ｓ１０８における処理を実行する。
If the
一方、処理部５は、Ｓ１０９で解像度を切り替え済みであると判定した場合には、Ｓ１１１へ移行する。つまり、処理部５は、画像及び点群の解像度がより高い状態で、再びＳ１０１～Ｓ１０８における処理を実行し、なおもクラスタが過結合していると判定した場合、Ｓ１１１へ移行する。
On the other hand, if the
処理部５は、Ｓ１１１で過結合クラスタを分割する。処理部５は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタにおける隣り合う２点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う２点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。なお、処理部５は、過結合クラスタのうち画像物標に対応する部分をそのまま分割して１つのクラスタとしてもよい。
The
続いて、処理部５は、Ｓ１１２で画像物標に対応する点群における部分のクラスタを物体として検出する。つまり、処理部５は、Ｓ１０８でクラスタが過結合していると判定し、Ｓ１１１で過結合クラスタを分割した場合、過結合クラスタのうち画像物標に対応する部分のクラスタを、種別情報をもつ物体として検出する。加えて、処理部５は、Ｓ１１２で、過結合クラスタから分割した隣接クラスタを、種別情報をもたない物体として検出する。その後、処理部５は、図６の物体検出処理を終了する。
Then, in S112, the
一方、処理部５は、Ｓ１０８で、クラスタが過結合していないと判定した場合には、Ｓ１１３へ移行し、クラスタが過分割しているか否かを判定する。クラスタが過分割しているか否かは、画像物標に対応する点群における部分に２以上のクラスタが存在するか否かによって判定される。具体的には、画像物標対応クラスタにおける画素数から画像物標における画素数を引いた差分が、画素数閾値における下限値よりも小さく、かつ、画像物標に対応する点群における部分に画像物標対応クラスタ以外にも１以上のクラスタが存在する場合、処理部５は、クラスタが過分割していると判定する。
On the other hand, if the
処理部５は、Ｓ１１３でクラスタが過分割していると判定した場合には、Ｓ１１４へ移行し、切替処理を実施済みであるか否かを判定する。本実施形態では、処理部５は、解像度を切り替え済みであるか否かを判定する。
If the
処理部５は、Ｓ１１４で解像度を切り替え済みでないと判定した場合には、Ｓ１１５へ移行し、切替処理を実施、つまり解像度を高水準の解像度に切り替えた後、Ｓ１０１に戻る。つまり、処理部５は、画像及び点群の解像度がより高い状態で、再びＳ１０１～Ｓ１０８，Ｓ１１３における処理を実行する。なお、Ｓ１１０，Ｓ１１５が、切替部５５としての処理に相当する。
If the
一方、処理部５は、Ｓ１１４で解像度を切り替え済みであると判定した場合には、Ｓ１１６へ移行する。つまり、処理部５は、画像及び点群の解像度がより高い状態で、再びＳ１０１～Ｓ１０８，Ｓ１１３における処理を実行し、なおもクラスタが過分割していると判定した場合、Ｓ１１６へ移行する。
On the other hand, if the
処理部５は、Ｓ１１６で画像物標に対応する点群における部分に存在する２以上のクラスタを結合した後、Ｓ１１２へ移行する。つまり、処理部５は、Ｓ１１６で２以上のクラスタを結合した場合、結合後のクラスタを種別情報をもつ物体として検出する。処理部５は、その後、図６の物体検出処理を終了する。
After combining two or more clusters that exist in the portion of the point cloud that corresponds to the image target in S116, the
処理部５は、Ｓ１１３でクラスタが過分割していないと判定した場合には、Ｓ１１２へ移行し、画像物標対応クラスタを物体として検出した後、図６の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、処理部５は、Ｓ１１３でクラスタが過分割していないと判定した場合であっても、Ｓ１０４で、画像物標の矩形と重複するクラスタの矩形が複数存在した場合は、画像物標の矩形との重複率が次に最大のクラスタを画像物標対応クラスタとして、Ｓ１０５以降の処理を繰り返す。
If the
一方、処理部５は、Ｓ１０７で、画像物標対応クラスタのサイズが適切であると判定した場合には、Ｓ１１２へ移行し、画像物標に対応する点群における部分のクラスタとして画像物標対応クラスタを種別情報をもつ物体として検出した後、図６の物体検出処理を終了する。これは、画像物標対応クラスタにおける画素数が、画像物標における画素数とほぼ同等であり、画像物標対応クラスタが過分割も過結合もしていないことを表す。つまり、画像物標が示す物体も、画像物標に対応する点群における部分のクラスタも、正しい単位で検出されていることを表す。
On the other hand, if the
一方、処理部５は、Ｓ１０６で、画像物標が示す物体のサイズが適切でないと判定した場合には、物標画像を無効とする。また処理部５は、Ｓ１１２へ移行し画像物標対応クラスタを物体として検出した後、図６の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。
On the other hand, if the
また、処理部５は、Ｓ１０５で、画像物標が示す物体までの距離が適切でないと判定した場合にも、物標画像を無効とする。また処理部５は、Ｓ１１２へ移行し画像物標対応クラスタを物体として検出した後、図６の物体検出処理を終了する。このとき、画像物標対応クラスタは種別情報をもたない物体として検出される。なお、Ｓ１０４～Ｓ１０８，Ｓ１１１～Ｓ１１３，Ｓ１１６が、物体検出部５４としての処理に相当する。
The
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（３ａ）物体検出装置１は、点群と環境光画像とに基づいて、所定の物体を検出する。このような構成によれば、環境光画像を利用せずに点群において所定の物体を検出する場合と比較して、点群において物体の種別や単位を識別しやすい。また、前回生成されたクラスタと、今回生成されたクラスタと、の一致度を計算し物体を検出する場合と比較して、初回の測距時にも２回目以降の測距時と同等の精度で物体を検出することができる。よって、物体検出装置１によれば、より高精度に物体を正しい単位で検出することができる。
3. Effects
According to the embodiment described above in detail, the following effects can be obtained.
(3a) The
（３ｂ）物体検出装置１は、点群をクラスタリングすることにより生成された複数のクラスタのうち２以上のクラスタが画像物標に対応する点群における部分に存在すると判定した場合、当該２以上のクラスタを１つの物体として検出する。このような構成によれば、点群においてクラスタが過分割している場合でも、物体検出装置１は、物体を正しい単位で検出することができる。
(3b) When the
（３ｃ）物体検出装置１は、点群をクラスタリングすることにより生成された複数のクラスタのうち画像物標に対応する点群における部分と比較してサイズが大きな過結合クラスタが画像物標に対応する点群における部分に存在していると判定した場合、当該過結合クラスタのうち画像物標に対応する部分を物体として検出する。このような構成によれば、点群においてクラスタが過結合している場合でも、物体検出装置１は、物体を正しい単位で検出することができる。
(3c) When the
（３ｄ）物体検出装置１は、過結合クラスタのうち画像物標に対応する部分である対象クラスタと、過結合クラスタのうち画像物標に対応する部分を除いた部分である隣接クラスタと、の最短距離が、対象クラスタおける隣り合う２点間の距離の中で最大となる距離よりも大きくなり、かつ、隣接クラスタにおける隣り合う２点間の距離の中で最大となる距離よりも大きくなる、ように過結合クラスタを分割する。このような構成によれば、過結合クラスタのうち画像物標に対応する部分をそのまま分割して１つのクラスタとする場合と比較して、物体検出装置１は、物体を正しい単位で検出することができる。
(3d) The
（３ｅ）物体検出装置１は、画像物標が示す物体の種別に応じて、物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置１は、物体の種別ごとに想定されるサイズに基づき、物体の確からしさを検証している。このとき、物体検出装置１は、環境光画像を用いて物体の種別を識別し、点群を用いて物体のサイズを算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置１は、物体の種別の誤識別を生じにくくすることができる。
(3e) When the
（３ｆ）物体検出装置１は、画像物標が示す物体の種別に応じて、物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、画像物標に対応する点群における部分を物体として検出する。つまり、物体検出装置１は、物体の種別ごとに想定される存在位置に基づき、物体の確からしさを検証している。このとき、物体検出装置１は、環境光画像を用いて物体の種別を識別し、点群を用いて物体までの距離を算出する。環境光画像のみでなく点群を組み合わせることによって、物体検出装置１は、物体の種別の誤識別を生じにくくすることができる。
(3f) When the
（３ｇ）物体検出装置１では、受光部３が、複数の受光素子を有し、複数の受光素子のうち第１の個数の受光素子を１画素とする第１の解像度と、複数の受光素子のうち第１の個数よりも数が少ない第２の個数の受光素子を１画素とする第２の解像度と、に切り替え可能である。このような構成によれば、解像度を第１の解像度と第２の解像度とに切り替え可能でない場合と比較して、物体検出装置１は、より高精度に物体を検出することができる。
(3g) In the
なお、本実施形態では、点群生成部５１、クラスタ生成部５２、識別部５３及び物体検出部５４が検出部としての処理に相当する。
［４．第２実施形態］
［４－１．第１実施形態との相違点］
第２実施形態は、基本的な構成及び処理は第１実施形態と同様であるため、共通する構成及び処理については説明を省略し、相違点を中心に説明する。
In this embodiment, the point
[4. Second embodiment]
[4-1. Differences from the first embodiment]
Since the second embodiment has the same basic configuration and processing as the first embodiment, a description of the common configuration and processing will be omitted and the description will focus on the differences.
第１実施形態では、物体検出処理のＳ１０３で、環境光画像のみから画像物標を検出した。一方、第２実施形態では、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出する。また、第２実施形態では、外部の明るさに応じて、点群、環境光画像、距離画像及び反射強度画像の解像度を切り替える。 In the first embodiment, in S103 of the object detection process, image targets are detected only from the ambient light image. On the other hand, in the second embodiment, image targets are detected from each of the ambient light image, the distance image, and the reflection intensity image. Also, in the second embodiment, the resolution of the point cloud, ambient light image, distance image, and reflection intensity image is switched depending on the external brightness.
［４－２．処理］
第２実施形態の物体検出装置１の処理部５が実行する物体検出処理について、図８のフローチャートを用いて説明する。
[4-2. Processing]
The object detection process executed by the
Ｓ２０１で、処理部５は、外部の明るさが所定の閾値よりも明るいか否かを判定する。例えば、処理部５は、環境光の強度が、所定の閾値以上であった場合、外部が明るいと判定する。
In S201, the
Ｓ２０２で、処理部５は、外部の明るさに応じた点群解像度の点群を生成する。具体的には、処理部５は、Ｓ２０１で外部の明るさが所定の閾値よりも明るいと判定した場合、Ｓ２０１で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、点群解像度が相対的に低い点群を生成する。一方、処理部５は、Ｓ２０１で外部の明るさが所定の閾値よりも明るくないと判定した場合、点群解像度が相対的に高い点群を生成する。点群解像度は、Ｓ２０３で生成される距離画像及び反射強度画像の解像度と一致する。
In S202, the
続いて、Ｓ１０２で、処理部５は、点群をクラスタリングすることにより複数のクラスタを生成する。
続いて、Ｓ２０３で、処理部５は、外部の明るさに応じた解像度の画像を生成する。具体的には、処理部５は、Ｓ２０１で外部の明るさが所定の閾値よりも明るいと判定した場合、Ｓ２０１で外部の明るさが所定の閾値よりも明るくないと判定された場合よりも、解像度が相対的に高い環境光画像を生成し、解像度が相対的に低い距離画像及び反射強度画像を生成する。一方、処理部５は、Ｓ２０１で外部の明るさが所定の閾値よりも明るくないと判定した場合、解像度が相対的に低い環境光画像を生成し、解像度が相対的に高い距離画像及び反射強度画像を生成する。
Next, in S102, the
Next, in S203, the
また、Ｓ２０３で、処理部５は、環境光画像、距離画像及び反射強度画像のそれぞれから画像物標を検出し、画像物標を統合する。統合とは、３種類の画像を用いて検出された画像物標に基づいて、Ｓ２０３に続いて行われる処理で使用される１つの画像物標を生成することである。例えば、処理部５は、３種類の画像のうち、いずれかの画像から画像物標が検出された場合、画像物標として採用する。なお、画像物標を統合する方法はこれに限定されるものではない。例えば、３種類の画像のうち、いずれか１つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。すなわち、この場合には、画像物標は検出されなかったものとして処理が進む。また、例えば、３種類の画像のうち、いずれか２つの画像のみから検出された画像物標については、画像物標として採用しなくてもよい。また、３種類の画像において異なる画像物標が検出されたときは、予め画像ごとに定められた優先度に基づいて画像物標を決定したり、２つの画像で検出された画像物標を統合された画像物標としてもよい。このＳ２０３の後、処理がＳ１０４に進む。Ｓ１０４～Ｓ１０６の処理は、図６にて示したＳ１０４～Ｓ１０６の処理と同様である。
In addition, in S203, the
処理部５は、Ｓ１０６で、画像物標が示す物体のサイズが適切であると判定した場合には、Ｓ２０４へ移行し、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応しているか否かを判定する。
If the
上述した第１実施形態のＳ１０７では、画像物標と画像物標対応クラスタのサイズを比較するために、画像物標対応クラスタと画像物標との画素数を比較した。しかしながら第２実施形態では、点群解像度と画像の解像度が異なる場合があるため、単純な比較ができない。そこで、Ｓ２０２にて生成した点群の点群解像度と、Ｓ２０３にて生成した画像の解像度と、に基づき、点群解像度と画像の解像度との比率を求める。例えば、もし仮に画像の解像度が横５００画素、縦２００画素であり、点群解像度が横１０００画素、縦２００画素であれば、画像の１画素の面積は、点群の１画素の面積の２倍である。この場合、画像物標の画素数に対して、画像物標対応クラスタの画素数が２倍であれば、測距エリアにおける同一範囲の広さであると言える。このようにして上述した比率を求め、その比率を考慮した上で、画像物標のサイズと、画像物標対応クラスタのサイズと、が同等であるか否かを求める。なお、上記の手法は一例であり、画像物標対応クラスタと画像物標との画素数が異なる場合にそれらのサイズを比較可能な様々な手法をとり得る。 In S107 of the first embodiment described above, in order to compare the sizes of the image target and the image target corresponding cluster, the number of pixels of the image target corresponding cluster and the image target are compared. However, in the second embodiment, the point cloud resolution and the resolution of the image may differ, so a simple comparison cannot be made. Therefore, based on the point cloud resolution of the point cloud generated in S202 and the resolution of the image generated in S203, the ratio of the point cloud resolution to the image resolution is calculated. For example, if the image resolution is 500 pixels wide and 200 pixels long, and the point cloud resolution is 1000 pixels wide and 200 pixels long, the area of one pixel of the image is twice the area of one pixel of the point cloud. In this case, if the number of pixels of the image target corresponding cluster is twice the number of pixels of the image target, it can be said that the size of the same range in the ranging area is the same. In this way, the above-mentioned ratio is calculated, and whether the size of the image target and the size of the image target corresponding cluster are equivalent or not is determined based on the ratio. Note that the above method is just one example, and various methods can be used to compare the sizes of image target corresponding clusters and image targets when their pixel counts are different.
処理部５は、Ｓ２０４で、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していないと判定した場合には、Ｓ１０８へ移行する。一方、画像物標の画素数と、画像物標対応クラスタの画素数と、が対応していると判定した場合には、Ｓ１１２へ移行する。Ｓ１０８以降の処理は、図７にて示したＳ１０８～Ｓ１１６の処理と同様であるため、説明を割愛する。
If the
［４－３．効果］
以上詳述した第２実施形態によれば、以下の効果が得られる。
（４ａ）物体検出装置１は、外部の明るさが明るいと判定した場合、外部の明るさが明るくないと判定した場合と比較して相対的に解像度の高い環境光画像と、相対的に解像度の低い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、環境光画像においては、高解像度の環境光画像から画像物標が検出されるため、画像認識精度が高くなる。また、距離画像及び反射強度画像においては、ＳＮが向上するため、検知距離が延びる傾向にある。よって、より遠方まで物体の検出が可能となる。なお、ＳＮとは、信号とノイズの比のことである。
[4-3. Effects]
According to the second embodiment described above in detail, the following effects can be obtained.
(4a) When the
（４ｂ）物体検出装置１は、外部の明るさが明るくないと判定した場合、外部の明るさが明るいと判定した場合と比較して相対的に解像度の低い環境光画像と、相対的に解像度の高い距離画像及び反射強度画像と、に基づいて物体を検出する。このような構成によれば、そもそも外部が明るくない場合の環境光画像の信頼度は低いため、環境光画像の解像度を低くしても信頼度に影響を与えにくい。よって、処理負荷を抑制しつつ環境光画像を生成することができる。また、距離画像及び反射強度画像においては、環境光の強度が低い場合にはノイズが少なくなるので、検知距離が長くなる傾向にある。よって、解像度を高くしても検知距離が下がるのを抑制できる。
(4b) When the
（４ｃ）物体検出装置１において、点群解像度は、距離画像及び反射強度画像の解像度と一致する。このような構成によれば、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは１対１で対応することから、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応がとりやすくなる。
(4c) In the
（４ｄ）物体検出装置１において、処理部５は、Ｓ２０２で外部の明るさに応じた点群解像度の点群を生成し、Ｓ２０３で外部の明るさに応じた解像度の画像を生成した。加えて、処理部５は、Ｓ１０８でクラスタが過結合していると判定した場合、Ｓ１１０で高水準の点群解像度及び解像度に切り替えた。処理部５は、Ｓ１１３でクラスタが過分割していると判定した場合にも、Ｓ１１５で高水準の点群解像度及び解像度に切り替えた。このような構成によれば、第１実施形態と同様に、より高精度に物体を検出することができる。
(4d) In the
なお、本実施形態では、Ｓ２０１が判定部としての処理に相当する。
［４－４．第２実施形態の変形例］
（ｉ）上記実施形態では、環境光画像、距離画像及び反射強度画像の３種類の画像に基づいて物体が検出された。しかし、用いられる画像の種類の数はこれに限定されるものではない。例えば、環境光画像、距離画像及び反射強度画像のうち少なくとも１種類が用いられてもよい。また、環境光画像と、距離画像及び反射強度画像のうち少なくとも一方と、が用いられてもよい。
In this embodiment, step S201 corresponds to the process performed by the determination unit.
[4-4. Modification of the second embodiment]
(i) In the above embodiment, an object is detected based on three types of images, namely, an ambient light image, a distance image, and a reflection intensity image. However, the number of types of images used is not limited to this. For example, at least one of an ambient light image, a distance image, and a reflection intensity image may be used. Furthermore, an ambient light image and at least one of a distance image and a reflection intensity image may be used.
（ｉｉ）上記実施形態では、外部の明るさが明るいと判定された場合、外部の明るさが明るくないと判定された場合と比較して環境光画像の解像度は相対的に高く、点群の点群解像度は相対的に低かった。また、外部の明るさが明るくないと判定された場合、外部の明るさが明るいと判定された場合と比較して環境光画像の解像度は相対的に低く、点群の点群解像度は相対的に高かった。つまり、点群の点群解像度が相対的に低いときには、環境光画像の解像度は相対的に高く、点群の点群解像度が相対的に高いときには、環境光画像の解像度は相対的に低く設定された。しかし、点群解像度と解像度との設定の方法はこれに限定されるものではない。例えば、点群の点群解像度を一定にしたまま、環境光画像の解像度を高く又は低く切り替えてもよいし、環境光画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、環境光画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、環境光画像の解像度も高くなるように切り替えてもよい。 (ii) In the above embodiment, when the external brightness is determined to be bright, the resolution of the ambient light image is relatively high and the point cloud resolution of the point cloud is relatively low compared to when the external brightness is determined to be not bright. Also, when the external brightness is determined to be not bright, the resolution of the ambient light image is relatively low and the point cloud resolution of the point cloud is relatively high compared to when the external brightness is determined to be bright. In other words, when the point cloud resolution of the point cloud is relatively low, the resolution of the ambient light image is relatively high, and when the point cloud resolution of the point cloud is relatively high, the resolution of the ambient light image is relatively low. However, the method of setting the point cloud resolution and the resolution is not limited to this. For example, the resolution of the ambient light image may be switched to a high or low value while keeping the point cloud resolution of the point cloud constant, or the point cloud resolution of the point cloud may be switched to a high or low value while keeping the resolution of the ambient light image constant. Also, for example, when the point cloud resolution of the point cloud is low, the resolution of the ambient light image may also be switched to a low value, and when the point cloud resolution of the point cloud is high, the resolution of the ambient light image may also be switched to a high value.
また、距離画像及び反射強度画像についても同様に、例えば、点群の点群解像度を一定にしたまま、距離画像及び反射強度画像の解像度を高く又は低く切り替えてもよいし、距離画像及び反射強度画像の解像度を一定にしたまま、点群の点群解像度を高く又は低く切り替えてもよい。また、例えば、点群の点群解像度が低いときに、距離画像及び反射強度画像の解像度も低くなるように切り替えてもよいし、点群の点群解像度が高いときに、距離画像及び反射強度画像の解像度も高くなるように切り替えてもよい。
このような構成によれば、点群の点群解像度と画像の解像度とを、それぞれ独立して適切な値に設定できる。
Similarly, for the distance image and the reflection intensity image, the resolution of the distance image and the reflection intensity image may be switched to a higher or lower value while keeping the point cloud resolution of the point cloud constant, or the point cloud resolution of the point cloud may be switched to a higher or lower value while keeping the resolution of the distance image and the reflection intensity image constant. Also, for example, when the point cloud resolution of the point cloud is low, the resolution of the distance image and the reflection intensity image may be switched to a lower value, and when the point cloud resolution of the point cloud is high, the resolution of the distance image and the reflection intensity image may be switched to a higher value.
According to such a configuration, the point cloud resolution of the point cloud and the resolution of the image can be set to appropriate values independently.
（ｉｉｉ）上記実施形態では、環境光画像と、距離画像及び反射強度画像とは解像度が異なっていた。すなわち、第３の解像度を有する環境光画像と、第３の解像度とは異なる第４の解像度を有する距離画像及び反射強度画像と、に基づいて物体が検出された。しかし、環境光画像と、距離画像及び反射強度画像との解像度は一致していてもよい。このような構成によれば、それぞれの画像から検出された画像物標の対応がとりやすくなる。 (iii) In the above embodiment, the ambient light image, the distance image, and the reflection intensity image had different resolutions. That is, an object was detected based on an ambient light image having a third resolution, and a distance image and a reflection intensity image having a fourth resolution different from the third resolution. However, the resolution of the ambient light image, the distance image, and the reflection intensity image may be the same. With this configuration, it becomes easier to match image targets detected from each image.
（ｉｖ）上記実施形態では、点群解像度は、距離画像及び反射強度画像の解像度と一致していた。しかし、点群の解像度は、距離画像及び反射強度画像の解像度と一致していなくてもよいし、距離画像及び反射強度画像のうちの一方の解像度とのみ一致していてもよい。 (iv) In the above embodiment, the point cloud resolution matched the resolution of the distance image and the reflection intensity image. However, the resolution of the point cloud does not have to match the resolution of the distance image and the reflection intensity image, or may match the resolution of only one of the distance image and the reflection intensity image.
（ｖ）上記実施形態では、外部の明るさに応じた解像度の点群及び画像を生成した。しかし、点群及び画像は、外部の明るさ以外の要件により解像度が設定されてもよい。例えば、時刻、ヘッドライトの点灯の有無、走行する道路の属性などに応じて解像度が設定される構成であってもよい。 (v) In the above embodiment, a point cloud and an image were generated with a resolution according to the external brightness. However, the resolution of the point cloud and the image may be set according to requirements other than the external brightness. For example, the resolution may be set according to the time of day, whether the headlights are on, the attributes of the road on which the vehicle is traveling, etc.
（ｖｉ）上記実施形態では、環境光の強度に基づき、外部の明るさを判定した。しかし、外部の明るさの判定の方法はこれに限定されるものではない。例えば、照度センサが用いられてもよい。 (vi) In the above embodiment, the external brightness is determined based on the intensity of the ambient light. However, the method for determining the external brightness is not limited to this. For example, an illuminance sensor may be used.
（ｖｉｉ）上記実施形態では、処理部５は、Ｓ１０７からＳ１１１、及びＳ１１３～Ｓ１１６の処理によって、クラスタが過結合している場合には分割し、クラスタが過分割している場合には結合した。しかし、処理部５は、上述したクラスタの分割や結合をおこなわなくてもよい。例えば、図９に示すように、処理部５は、Ｓ１０４で画像物標対応クラスタを検出した後、Ｓ２０５で、画像物標が示す物体までの距離が適切かを判定する。具体的には、処理部５は、図６のＳ１０５と同様に判定する。
(vii) In the above embodiment, the
続いて、Ｓ２０６で、処理部５は、画像物標が示す物体のサイズが適切かを判定する。具体的には、処理部５は、図６のＳ１０６と同様に判定する。
続いて、Ｓ２０７で、処理部５は、物体を検出する。このとき、Ｓ２０５で画像物標が示す物体までの距離が適切であると判定され、かつ、Ｓ２０６で画像物標が示す物体のサイズが適切であると判定された場合、画像物標対応クラスタは、種別情報をもつ物体として検出される。その後、処理部５は、図９の物体検出処理を終了する。
Next, in S206, the
Next, in S207, the
一方、Ｓ２０７で、Ｓ２０５で画像物標が示す物体までの距離が適切でないと判定され、又は、Ｓ２０６で画像物標が示す物体のサイズが適切でないと判定された場合、画像物標対応クラスタは、種別情報をもたない物体として検出される。その後、処理部５は、図９の物体検出処理を終了する。
On the other hand, if it is determined in S207 that the distance to the object indicated by the image target is inappropriate in S205, or that the size of the object indicated by the image target is inappropriate in S206, the image target corresponding cluster is detected as an object without type information. After that, the
また、図７に戻り、例えば、処理部５は、Ｓ１０８でクラスタが過結合しているかを判定した後、Ｓ１０９，Ｓ１１０の処理をスキップしてもよい。また、処理部５は、Ｓ１１３でクラスタが過分割しているかを判定した後、Ｓ１１４，Ｓ１１５の処理をスキップしてもよい。つまり、処理部５は、切替処理を実施することなく、クラスタを分割又は結合し、種別情報をもつ物体として検出してもよい。
Returning to FIG. 7, for example, the
［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
5. Other embodiments
Although the embodiments of the present disclosure have been described above, it goes without saying that the present disclosure is not limited to the above-described embodiments and can take various forms.
（５ａ）上記実施形態では、受光素子としてＳＰＡＤを備える構成を例示した。しかし、入射光の光量の時間的変化を検出できれば、どのような受光素子が用いられてもよい。 (5a) In the above embodiment, a configuration including a SPAD as a light receiving element is illustrated. However, any light receiving element may be used as long as it can detect the change over time in the amount of incident light.
（５ｂ）上記実施形態では、環境光画像が用いられる構成を例示した。しかし、用いられる画像の種類はこれに限定されるものではない。例えば、環境光画像に加えて又は代えて、距離画像及び反射強度画像の少なくとも一方が用いられてもよい。なお、距離画像も反射強度画像も、分割エリアの数に応じて生成されることから、点群における各反射点の角度位置と、距離画像及び反射強度画像における各画素の位置とは１対１で対応する。これにより、距離画像及び反射強度画像を画像解析して認識される物体と、点群において認識される物体と、の対応関係が高い精度で特定可能となる。 (5b) In the above embodiment, a configuration in which an ambient light image is used is exemplified. However, the type of image used is not limited to this. For example, at least one of a distance image and a reflection intensity image may be used in addition to or instead of the ambient light image. Note that since both the distance image and the reflection intensity image are generated according to the number of divided areas, there is a one-to-one correspondence between the angular position of each reflection point in the point cloud and the position of each pixel in the distance image and the reflection intensity image. This makes it possible to identify with high accuracy the correspondence between objects recognized by image analysis of the distance image and the reflection intensity image and objects recognized in the point cloud.
ここで、環境光画像を用いた場合、晴れた日中などには検出性能が高いが、夜間やトンネル内などでは検出性能が下がることがある。一方、距離画像及び反射強度画像を用いた場合、これとは逆の特性をもつ。よって、物体検出装置１は、これらの画像を併用することで、より高精度に物体を正しい単位で検出することができる。
When an ambient light image is used, the detection performance is high on a sunny day, but may decrease at night or inside a tunnel. On the other hand, when a distance image and a reflection intensity image are used, the opposite characteristics are observed. Therefore, by using these images in combination, the
（５ｃ）上記実施形態では、過分割又は過結合の疑いがある場合、解像度を切り替えた後、測距エリア全体において再び測距が実行された。しかし、再び測距が実行される範囲はこれに限定されるものではない。物体検出装置１は、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限って再び測距を実行してもよい。これにより、解像度の切り替えが不要な範囲で物体が過剰に検出されることを抑制し、検出タイミングが遅くなるのを防ぎやすくすることができる。
(5c) In the above embodiment, when over-segmentation or over-binding is suspected, after switching the resolution, ranging is performed again in the entire ranging area. However, the range in which ranging is performed again is not limited to this. The
（５ｄ）上記実施形態では、１画素あたりの受光素子の個数を切り替えることによって解像度を第１の解像度と第２の解像度とに切り替える構成を例示した。しかし物体検出装置１は、測距エリアの範囲を切り替えることによって解像度を切り替えてもよい。具体的には、照射部２により照射されるレーザ光の水平方向における角度範囲を切り替える。例えば物体検出装置１は、分割エリアの数は変えずに、角度範囲を－６０°～＋６０°から－２０°～＋２０°に切り替える。分割エリアの数は変えずに角度範囲を狭くすると、当該角度範囲における分割エリアの数が相対的に多くなり、解像度は相対的に高くなる。よって、より詳細な点群を生成することができる。また、環境光画像においても、画素数を変えずに３分の１の範囲を表現するので、解像度は相対的に高くなる。
(5d) In the above embodiment, a configuration in which the resolution is switched between the first resolution and the second resolution by switching the number of light receiving elements per pixel is exemplified. However, the
また、物体検出装置１は、切替処理として、解像度を切り替えることに加えて又は代えて、各分割エリアに対してレーザ光を照射する回数を、第１の照射回数から、第１の照射回数よりも多い第２の照射回数に切り替えることによってＳＮを向上させてもよい。レーザ光を照射する回数とは、測距エリアにおける測距を一巡する間に分割エリアのそれぞれに対して物体検出装置１がレーザ光を照射する各回数のことである。なお、上記実施形態では、第１の照射回数として１回が設定されており、各分割エリアに対してレーザ光が１回ずつ照射されていた。このような構成によれば、例えば図５のように、ミキサー車が車体における前方の部分２６とタンクの部分２７とで２つのクラスタとして検出されてしまうような場合にも、物体検出装置１は、ＳＮを高くすることで前方の部分２６とタンクの部分２７とをつなぐ車体における部分も検出しやすくなる。これにより、物体検出装置１は、ミキサー車を２つのクラスタではなく１つのクラスタとして検出することができるようになる。
In addition, as a switching process, the
なお、上記実施形態では、測距エリア全体がレーザ光を照射する対象の範囲と設定されていたが、各分割エリアに対してレーザ光を照射する回数を増やすと、検出周期が長くなり、物体を検出するタイミングが遅れることが考えられる。そこで、物体検出装置１は、第１の照射回数から第２の照射回数に切り替えるのを、測距エリアにおける一部の範囲、例えば過結合や過分割が疑われる範囲に限ってもよい。これにより、物体検出装置１は、物体を検出するタイミングが遅れるのを抑制しつつ、より高精度に物体を正しい単位で検出することができる。
In the above embodiment, the entire ranging area was set as the range to be irradiated with laser light, but if the number of times that laser light is irradiated to each divided area is increased, the detection period will become longer, and it is conceivable that the timing of detecting an object will be delayed. Therefore, the
（５ｅ）上記実施形態では、サイズ閾値として、上限値のみが設定された構成を例示した。しかし、サイズ閾値として、上限値に加えて又は代えて下限値を設定してもよい。
（５ｆ）上記実施形態では、画像物標対応クラスタの画素数が画像物標の画素数と比較して、所定の画素数以上多い場合、過結合クラスタが存在すると判定した。しかし、例えば、画像物標に対応する点群における部分に存在するクラスタを構成するすべての反射点の点数である全体点数と、画像物標に対応する部分の反射点の点数である部分点数と、を比較することによって、過結合クラスタが存在するか否かを判定してもよい。また例えば、全体点数を部分点数で割った値が、１よりも大きい所定値以上である場合、過結合クラスタが存在すると判定してもよい。
(5e) In the above embodiment, only an upper limit value is set as the size threshold. However, a lower limit value may be set as the size threshold in addition to or instead of the upper limit value.
(5f) In the above embodiment, if the number of pixels of the image target corresponding cluster is greater than the number of pixels of the image target by a predetermined number or more, it is determined that an over-coupled cluster exists. However, for example, it may be determined whether an over-coupled cluster exists by comparing a total score, which is the number of all reflection points constituting a cluster present in a part of the point cloud corresponding to the image target, with a partial score, which is the number of reflection points in the part corresponding to the image target. Also, for example, it may be determined that an over-coupled cluster exists when a value obtained by dividing the total score by the partial score is equal to or greater than a predetermined value greater than 1.
（５ｇ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。 (5g) The functions of one component in the above embodiments may be distributed among multiple components, or the functions of multiple components may be integrated into one component. In addition, part of the configuration of the above embodiments may be omitted. In addition, at least part of the configuration of the above embodiments may be added to or substituted for the configuration of another of the above embodiments.
１…物体検出装置、２…照射部、３…受光部、５１…点群生成部、５２…クラスタ生成部、５３…識別部、５４…物体検出部。 1... object detection device, 2... illumination unit, 3... light receiving unit, 51... point cloud generation unit, 52... cluster generation unit, 53... identification unit, 54... object detection unit.
Claims (11)
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部（３）と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部（５１～５４）と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも１つであり、
前記検出部は、第１の解像度の前記画像と、前記点群を構成する複数の前記反射点を検出する単位の数を示す第１の点群解像度の前記点群と、に基づいて前記物体を検出可能であるとともに、前記第１の解像度よりも高い第２の解像度の前記画像と、前記第１の点群解像度よりも高い第２の点群解像度の前記点群と、に基づいて前記物体を検出可能である、物体検出装置。 An irradiation unit (2) configured to irradiate light onto a predetermined distance measurement area;
A light receiving unit (3) configured to receive reflected light, which is light reflected from the light irradiated by the irradiating unit, and ambient light;
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud, which is information based on the reflected light, and an image;
Equipped with
The point cloud is a group of reflection points detected in an entire distance measurement area,
the image is at least one of an ambient light image that is an image based on the ambient light, a distance image that is an image based on a distance to the object detected based on the reflected light, and a reflection intensity image that is an image based on a reflection intensity of the reflected light,
The detection unit is capable of detecting the object based on the image at a first resolution and the point cloud at a first point cloud resolution indicating the number of units for detecting the multiple reflection points that constitute the point cloud, and is also capable of detecting the object based on the image at a second resolution higher than the first resolution and the point cloud at a second point cloud resolution higher than the first point cloud resolution.
前記受光部は、複数の受光素子を有し、
前記検出部は、前記複数の受光素子のうち第１の個数の受光素子を１画素とする前記第１の解像度と、前記複数の受光素子のうち前記第１の個数よりも数が少ない第２の個数の受光素子を１画素とする前記第２の解像度と、に切り替え可能である、物体検出装置。 The object detection device according to claim 1 ,
The light receiving unit has a plurality of light receiving elements,
An object detection device, wherein the detection unit is switchable between a first resolution in which a first number of light receiving elements among the plurality of light receiving elements constitute one pixel, and a second resolution in which a second number of light receiving elements among the plurality of light receiving elements, the second number being smaller than the first number, constitute one pixel.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記検出部は、前記複数のクラスタのうち２以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記画像の解像度を前記第１の解像度から前記第２の解像度に切り替え、前記画像物標を検出し、前記点群の点群解像度を前記第１の点群解像度から前記第２の点群解像度に切り替え、前記点群をクラスタリングする、物体検出装置。 The object detection device according to claim 1 or 2,
The detection unit detects an image target that is a portion in the image that is identified as the object, and generates a plurality of clusters by clustering the point cloud;
when it is determined that two or more of the plurality of clusters exist in a portion of the point cloud corresponding to the image target, or when it is determined that an over -connected cluster of the plurality of clusters larger in size than the portion of the point cloud corresponding to the image target exists in a portion of the point cloud corresponding to the image target, the detection unit switches a resolution of the image from the first resolution to the second resolution, detects the image target, switches a point cloud resolution of the point cloud from the first point cloud resolution to the second point cloud resolution, and clusters the point cloud.
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部（３）と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部（５１～５４）と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも１つであり、
前記検出部は、前記点群と、前記点群を構成する複数の前記反射点を検出する単位の数を示す点群解像度とは異なる解像度の前記画像と、に基づいて前記物体を検出可能である、物体検出装置。 An irradiation unit (2) configured to irradiate light onto a predetermined distance measurement area;
A light receiving unit (3) configured to receive reflected light, which is light reflected from the light irradiated by the irradiating unit, and ambient light;
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud, which is information based on the reflected light, and an image;
Equipped with
The point cloud is a group of reflection points detected in an entire distance measurement area,
the image is at least one of an ambient light image that is an image based on the ambient light, a distance image that is an image based on a distance to the object detected based on the reflected light, and a reflection intensity image that is an image based on a reflection intensity of the reflected light,
The detection unit is capable of detecting the object based on the point cloud and the image having a resolution different from a point cloud resolution indicating the number of units for detecting the multiple reflection points that constitute the point cloud.
前記検出部は、前記点群と、前記点群の前記点群解像度とは異なる解像度の前記環境光画像と、に基づいて前記物体を検出可能である、物体検出装置。 The object detection device according to claim 4 ,
The detection unit is capable of detecting the object based on the point cloud and the ambient light image having a resolution different from the point cloud resolution of the point cloud.
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部（３）と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部（５１～５４）と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも１つであり、
前記検出部は、第３の解像度を有する前記環境光画像と、前記第３の解像度とは異なる第４の解像度を有する前記距離画像及び前記反射強度画像のうちの少なくとも１つと、に基づいて前記物体を検出可能である、物体検出装置。 An irradiation unit (2) configured to irradiate light onto a predetermined distance measurement area;
A light receiving unit (3) configured to receive reflected light, which is light reflected from the light irradiated by the irradiating unit, and ambient light;
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud, which is information based on the reflected light, and an image;
Equipped with
The point cloud is a group of reflection points detected in an entire distance measurement area,
the image is at least one of an ambient light image that is an image based on the ambient light, a distance image that is an image based on a distance to the object detected based on the reflected light, and a reflection intensity image that is an image based on a reflection intensity of the reflected light,
An object detection device, wherein the detection unit is capable of detecting the object based on the ambient light image having a third resolution and at least one of the distance image and the reflection intensity image having a fourth resolution different from the third resolution.
外部の明るさを判定する明るさ判定部を更に備え、
前記検出部は、前記明るさ判定部により外部の明るさが所定の閾値よりも明るいと判定された場合、外部の明るさが前記所定の閾値よりも明るくないと判定された場合と比較して相対的に解像度の高い前記環境光画像と、相対的に解像度の低い前記距離画像及び前記反射強度画像のうちの少なくとも１つと、に基づいて前記物体を検出する、物体検出装置。 The object detection device according to claim 6 ,
Further comprising a brightness determination unit that determines the brightness of the outside,
An object detection device in which, when the brightness determination unit determines that the external brightness is brighter than a predetermined threshold, the detection unit detects the object based on the ambient light image, which has a relatively high resolution, and at least one of the distance image and the reflection intensity image, which have a relatively low resolution, compared to when the external brightness is determined to be not brighter than the predetermined threshold.
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第１の照射回数と、前記第１の照射回数よりも多い第２の照射回数と、に切り替え可能である、物体検出装置。 The object detection device according to any one of claims 1 to 7 ,
An object detection device, wherein the illumination unit is capable of switching the number of times that light is illuminated onto at least a portion of the ranging area between a first number of illuminations and a second number of illuminations that is greater than the first number of illuminations.
前記照射部により照射された光が反射した光である反射光と、環境光と、を受光するように構成された受光部（３）と、
前記反射光に基づく情報である点群と、画像と、に基づいて所定の物体を検出するように構成された検出部（５１～５４）と、
を備え、
前記点群は、測距エリア全体で検出された反射点の群であり、
前記画像は、前記環境光に基づく画像である環境光画像、前記反射光に基づき検出される前記物体までの距離に基づく画像である距離画像及び前記反射光の反射強度に基づく画像である反射強度画像のうちの少なくとも１つであり、
前記照射部は、前記測距エリアにおける少なくとも一部の範囲に光を照射する回数を、第１の照射回数と、前記第１の照射回数よりも多い第２の照射回数と、に切り替え可能であり、
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記点群をクラスタリングすることにより複数のクラスタを生成し、
前記照射部は、前記複数のクラスタのうち２以上のクラスタが前記画像物標に対応する前記点群における部分に存在すると判定された場合、又は、前記複数のクラスタのうち前記画像物標に対応する前記点群における部分と比較してサイズが大きな過結合クラスタが前記画像物標に対応する前記点群における部分に存在していると判定された場合、前記第１の照射回数から前記第２の照射回数に切り替え、
前記検出部は、光を照射する回数が前記第１の照射回数から前記第２の照射回数に切り替えられた場合、前記第２の照射回数において、前記画像物標を検出し、前記点群をクラスタリングする、物体検出装置。 An irradiation unit (2) configured to irradiate light onto a predetermined distance measurement area;
A light receiving unit (3) configured to receive reflected light, which is light reflected from the light irradiated by the irradiating unit, and ambient light;
A detection unit (51 to 54) configured to detect a predetermined object based on a point cloud, which is information based on the reflected light, and an image;
Equipped with
The point cloud is a group of reflection points detected in an entire distance measurement area,
the image is at least one of an ambient light image that is an image based on the ambient light, a distance image that is an image based on a distance to the object detected based on the reflected light, and a reflection intensity image that is an image based on a reflection intensity of the reflected light,
the irradiating unit is capable of switching a number of times of irradiating at least a part of the range in the distance measurement area with light between a first number of times of irradiation and a second number of times of irradiation that is greater than the first number of times of irradiation,
The detection unit detects an image target that is a portion in the image that is identified as the object, and generates a plurality of clusters by clustering the point cloud;
when it is determined that two or more clusters among the plurality of clusters exist in a portion of the point cloud corresponding to the image target, or when it is determined that an over-connected cluster, which is larger in size than the portion of the point cloud corresponding to the image target, among the plurality of clusters exists in a portion of the point cloud corresponding to the image target, the irradiation unit switches from the first number of irradiations to the second number of irradiations,
When the number of times that light is irradiated is switched from the first number of times of irradiation to the second number of times of irradiation, the detection unit detects the image target during the second number of times of irradiation and clusters the point cloud.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体のサイズが、あらかじめ設定されたサイズの範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 The object detection device according to any one of claims 1 to 9 ,
The detection unit detects an image target, which is a part in the image that is identified as the object, and when it determines that the size of the object is within a predetermined size range depending on the type of the object indicated by the image target, detects a part in the point cloud corresponding to the image target as the object.
前記検出部は、前記画像において前記物体であると識別された部分である画像物標を検出し、前記画像物標が示す前記物体の種別に応じて、前記物体までの距離が、あらかじめ設定された距離の範囲内であると判定した場合、前記画像物標に対応する前記点群における部分を前記物体として検出する、物体検出装置。 The object detection device according to any one of claims 1 to 9 ,
The detection unit detects an image target, which is a part in the image that is identified as the object, and when it determines that the distance to the object is within a predetermined distance range depending on the type of the object indicated by the image target, detects a part in the point cloud that corresponds to the image target as the object.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/005722 WO2021166912A1 (en) | 2020-02-18 | 2021-02-16 | Object detection device |
| CN202180015257.2A CN115176175A (en) | 2020-02-18 | 2021-02-16 | Object detection device |
| US17/820,505 US20220392194A1 (en) | 2020-02-18 | 2022-08-17 | Object detection device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020025300 | 2020-02-18 | ||
| JP2020025300 | 2020-02-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021131385A JP2021131385A (en) | 2021-09-09 |
| JP7501398B2 true JP7501398B2 (en) | 2024-06-18 |
Family
ID=77550869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021018327A Active JP7501398B2 (en) | 2020-02-18 | 2021-02-08 | Object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7501398B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4232167B1 (en) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | Object identification device, object identification method, and object identification program |
| JP2011247872A (en) | 2010-04-27 | 2011-12-08 | Denso Corp | Distance measurement device, distance measurement method, and distance measurement program |
| EP2562688A2 (en) | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
| WO2018170472A1 (en) | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
| CN109100741A (en) | 2018-06-11 | 2018-12-28 | 长安大学 | A kind of object detection method based on 3D laser radar and image data |
| CN109345510A (en) | 2018-09-07 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | Object detecting method, device, equipment, storage medium and vehicle |
| WO2019187216A1 (en) | 2018-03-30 | 2019-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
| WO2019186742A1 (en) | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | Monitoring control device, monitoring system, monitoring control method, and non-temporary computer-readable medium with program stored therein |
| WO2020179065A1 (en) | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | Image processing device, image processing method, and recording medium |
| JP7420038B2 (en) | 2019-10-16 | 2024-01-23 | 株式会社デンソー | In-vehicle abnormality detection device |
-
2021
- 2021-02-08 JP JP2021018327A patent/JP7501398B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4232167B1 (en) | 2007-08-27 | 2009-03-04 | 三菱電機株式会社 | Object identification device, object identification method, and object identification program |
| JP2011247872A (en) | 2010-04-27 | 2011-12-08 | Denso Corp | Distance measurement device, distance measurement method, and distance measurement program |
| EP2562688A2 (en) | 2011-08-22 | 2013-02-27 | Samsung Electronics Co., Ltd. | Method of Separating Object in Three Dimensional Point Cloud |
| WO2018170472A1 (en) | 2017-03-17 | 2018-09-20 | Honda Motor Co., Ltd. | Joint 3d object detection and orientation estimation via multimodal fusion |
| WO2019186742A1 (en) | 2018-03-28 | 2019-10-03 | 日本電気株式会社 | Monitoring control device, monitoring system, monitoring control method, and non-temporary computer-readable medium with program stored therein |
| WO2019187216A1 (en) | 2018-03-30 | 2019-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
| CN109100741A (en) | 2018-06-11 | 2018-12-28 | 长安大学 | A kind of object detection method based on 3D laser radar and image data |
| CN109345510A (en) | 2018-09-07 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | Object detecting method, device, equipment, storage medium and vehicle |
| WO2020179065A1 (en) | 2019-03-07 | 2020-09-10 | 日本電気株式会社 | Image processing device, image processing method, and recording medium |
| JP7420038B2 (en) | 2019-10-16 | 2024-01-23 | 株式会社デンソー | In-vehicle abnormality detection device |
Non-Patent Citations (1)
| Title |
|---|
| 大谷駿介，榎田修一，「ＬＩＤＡＲによる歩行者検出のためのｋ－ｍｅａｎｓ＋＋法を用いた歩行者群分割」，第２５回 画像センシングシンポジウム ＳＳＩＩ２０１９，画像センシング技術研究会，2019年06月12日 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021131385A (en) | 2021-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8908924B2 (en) | Exterior environment recognition device and exterior environment recognition method | |
| JP6471528B2 (en) | Object recognition apparatus and object recognition method | |
| US20130027511A1 (en) | Onboard Environment Recognition System | |
| US10552688B2 (en) | Method and device for detecting objects in the surroundings of a vehicle | |
| US10339405B2 (en) | Image recognition device and image recognition method | |
| US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
| JP7095640B2 (en) | Object detector | |
| JP2013511418A (en) | Control method for headlight device for vehicle and headlight device | |
| CN103987575A (en) | Method and device for identifying a braking situation | |
| JP6236039B2 (en) | Outside environment recognition device | |
| JP6420650B2 (en) | Outside environment recognition device | |
| US20220011440A1 (en) | Ranging device | |
| JP7501398B2 (en) | Object detection device | |
| WO2021166912A1 (en) | Object detection device | |
| US20230336876A1 (en) | Vehicle-mounted sensing system and gated camera | |
| WO2021117608A1 (en) | Object detection device and object detection device control method | |
| JP5170058B2 (en) | Object detection device | |
| JP5310162B2 (en) | Vehicle lighting judgment device | |
| WO2023047886A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
| JP6125975B2 (en) | Pitch angle detection device and pitch angle detection method | |
| JP2003174642A (en) | Smear detecting method and image processor employing the smear detecting method | |
| JP2023128481A (en) | Object recognition method and object recognition device | |
| JP2023143756A (en) | Noise rejection device, object detection device, and noise rejection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7501398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |