JP2017174197A - Three-dimensional object detection method and three-dimensional object detection device - Google Patents
Three-dimensional object detection method and three-dimensional object detection device Download PDFInfo
- Publication number
- JP2017174197A JP2017174197A JP2016060186A JP2016060186A JP2017174197A JP 2017174197 A JP2017174197 A JP 2017174197A JP 2016060186 A JP2016060186 A JP 2016060186A JP 2016060186 A JP2016060186 A JP 2016060186A JP 2017174197 A JP2017174197 A JP 2017174197A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- vehicle
- boundary line
- distance measuring
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、カメラで撮像された画像と測距センサで検出された測距点の距離からカメラの画像上の立体物を検出する立体物検出方法及びその装置に関する。 The present invention relates to a three-dimensional object detection method and apparatus for detecting a three-dimensional object on a camera image from the distance between an image captured by a camera and a distance measuring point detected by a distance measuring sensor.
従来では、路面上に存在する歩行者等の立体物を検出する立体物検出装置として、特許文献１が開示されている。特許文献１に開示された立体物検出装置では、３次元距離情報を２次元グリッドマップに展開して立体物が平面に接する接地点位置を抽出する。そして、抽出された接地点位置と距離情報とに基づいて画像内に立体物の探索範囲を決定し、この立体物の探索範囲から路面上の立体物を検出していた。 Conventionally, Patent Document 1 is disclosed as a three-dimensional object detection device that detects a three-dimensional object such as a pedestrian on a road surface. In the three-dimensional object detection device disclosed in Patent Document 1, three-dimensional distance information is developed into a two-dimensional grid map, and a grounding point position where the three-dimensional object is in contact with a plane is extracted. And the search range of the solid object was determined in the image based on the extracted contact point position and distance information, and the solid object on the road surface was detected from the search range of the solid object.
しかしながら、上述した従来の立体物検出装置では、３次元距離情報を取得するためのレーザレーダを角度スキャンしているため、遠方へ行くほど取得した測距点の間隔が高さ方向及び水平方向で広くなる。すなわち、遠方へ行くほど測距点がまばらに存在することになる。ここで、従来の立体物検出装置では、測距点群を一定の粗さの２次元グリッドマップに投影しているので、測距点の間隔が広くなる遠方へ行くにしたがってグリッドマップの各セルでは測距点の数が減少もしくはセル内の測距点がなくなってしまう。したがって、測距点の間隔が広くなった部分では、実際に立体物が存在していたとしても立体物と路面との間の境界を検出することができず、立体物を精度良く検出することができないという問題点があった。 However, in the above-described conventional three-dimensional object detection apparatus, since the laser radar for acquiring the three-dimensional distance information is angle-scanned, the distance between the distance measurement points acquired in the distance direction is increased in the height direction and the horizontal direction. Become wider. That is, the distance measuring points are sparsely present as the distance is increased. Here, in the conventional three-dimensional object detection device, since the distance measuring point group is projected onto the two-dimensional grid map having a certain roughness, each cell of the grid map increases as the distance between the distance measuring points increases. Then, the number of distance measuring points decreases or the distance measuring points in the cell disappear. Therefore, in the part where the distance between the distance measuring points is wide, even if a solid object actually exists, the boundary between the solid object and the road surface cannot be detected, and the solid object is detected accurately. There was a problem that could not.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することのできる立体物検出方法及びその装置を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and a three-dimensional object detection method capable of accurately detecting a three-dimensional object on an image even if there is a portion with a small number of distance measuring points, and An object is to provide such a device.
上述した課題を解決するために、本発明の一態様に係る立体物検出方法及びその装置は、車両に搭載されて車両周囲の画像を撮像するカメラと、車両に搭載されて車両周囲の測距点の距離を検出する測距センサとを備えた立体物検出装置を用いる。そして、測距センサで検出された測距点の中からカメラの視野範囲にある測距点を抽出し、抽出された測距点から車両周囲の立体物と路面との間の境界線を推定し、推定された境界線に基づいて画像上の立体物を検出する。 In order to solve the above-described problem, a three-dimensional object detection method and apparatus according to an aspect of the present invention include a camera that is mounted on a vehicle and captures an image around the vehicle, and a distance measurement that is mounted on the vehicle and around the vehicle. A three-dimensional object detection device including a distance measuring sensor that detects the distance of a point is used. Then, a distance measuring point within the field of view of the camera is extracted from the distance measuring points detected by the distance measuring sensor, and a boundary line between the three-dimensional object around the vehicle and the road surface is estimated from the extracted distance measuring point. Then, a solid object on the image is detected based on the estimated boundary line.
本発明によれば、測距センサによって検出された測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することができる。 According to the present invention, even if there is a portion where the number of distance measuring points detected by the distance measuring sensor is small, it is possible to accurately detect a three-dimensional object on the image.
［第１実施形態］
以下、本発明を適用した第１実施形態について図面を参照して説明する。
[First Embodiment]
Hereinafter, a first embodiment to which the present invention is applied will be described with reference to the drawings.
［立体物検出装置の構成］
図１は、本実施形態に係る立体物検出装置の構成を示すブロック図である。図１に示すように、本実施形態に係る立体物検出装置１０は、測距データ検出部１２と、画像データ検出部１４と、中央制御部２０と、出力部１６とを備えている。立体物検出装置１０は、測距データ検出部１２で検出された測距データと、画像データ検出部１４で検出された画像データとに基づいて、立体物検出部として機能する中央制御部２０によって立体物を検出する。そして、立体物検出装置１０は、立体物の検出結果として、例えば立体物の位置や大きさ等を出力部１６から出力する。
[Configuration of the three-dimensional object detection device]
FIG. 1 is a block diagram illustrating a configuration of the three-dimensional object detection device according to the present embodiment. As shown in FIG. 1, the three-dimensional object detection device 10 according to the present embodiment includes a distance measurement data detection unit 12, an image data detection unit 14, a central control unit 20, and an output unit 16. The three-dimensional object detection device 10 is based on the distance measurement data detected by the distance measurement data detection unit 12 and the image data detected by the image data detection unit 14 by a central control unit 20 that functions as a three-dimensional object detection unit. A three-dimensional object is detected. Then, the three-dimensional object detection device 10 outputs, for example, the position and size of the three-dimensional object from the output unit 16 as the detection result of the three-dimensional object.
測距データ検出部１２は、車両に搭載されて車両周囲の測距点の距離を検出する測距センサである。測距データ検出部１２は、車両の周辺環境（立体物だけでなく路面も含む）の３次元測距データ（距離データともいう）を検出する。この３次元測距データには、各測距点の３次元の位置や測距点の距離等の情報が含まれている。測距センサとしては、レーザビームの走査ラインを複数備え、高解像度の距離データを検出することのできるレーザレーダを使用する。なお、距離データを検出する方法において、計測手段、計測性能及びデータの出力形式等は特に限定する必要はない。例えば、計測手段としてステレオカメラを用いてもよいし、既知のパターンを対象に投影してステレオ撮影を行うアクティブステレオ法を用いてもよい。また、距離データを測距センサからの距離と方位で表してもよいし、測距センサを中心とした座標系の３次元位置座標のデータとして表現してもよい。 The distance measurement data detection unit 12 is a distance measurement sensor that is mounted on the vehicle and detects the distance between distance measurement points around the vehicle. The ranging data detection unit 12 detects three-dimensional ranging data (also referred to as distance data) of the surrounding environment of the vehicle (including not only a three-dimensional object but also a road surface). This three-dimensional distance measurement data includes information such as the three-dimensional position of each distance measurement point and the distance between distance measurement points. As the distance measuring sensor, a laser radar that includes a plurality of laser beam scanning lines and can detect high-resolution distance data is used. In the method for detecting distance data, the measurement means, measurement performance, data output format, etc. need not be particularly limited. For example, a stereo camera may be used as the measuring means, or an active stereo method in which a known pattern is projected onto the target and stereo shooting is performed may be used. Further, the distance data may be expressed as a distance and direction from the distance measuring sensor, or may be expressed as data of a three-dimensional position coordinate in a coordinate system centered on the distance measuring sensor.
画像データ検出部１４は、車両に搭載されて車両周囲の画像を撮像する車載カメラである。例えば、ＳＸＧＡ解像度のモノクロカメラ等を用いることができる。 The image data detection unit 14 is an in-vehicle camera that is mounted on a vehicle and captures an image around the vehicle. For example, a monochrome camera with SXGA resolution can be used.
出力部１６は、立体物の検出結果を車両の乗員に提示する表示部である。出力部１６は、車両に搭載されたナビゲーション装置の表示画面でもよいし、車載カメラで撮像された画像を表示するためのディスプレイでもよい。また、ヘッドアップディスプレイであってもよい。 The output unit 16 is a display unit that presents the detection result of the three-dimensional object to the vehicle occupant. The output unit 16 may be a display screen of a navigation device mounted on a vehicle, or a display for displaying an image captured by an in-vehicle camera. Further, it may be a head-up display.
中央制御部２０は、画像データ検出部１４で撮像された画像と測距データ検出部１２で検出された測距点の距離から画像上の立体物を検出する立体物検出処理を実行するコントローラである。中央制御部２０は、立体物検出処理を実行するための機能部として、境界線推定部２１と、境界線分割部２２と、測距点抽出部２３と、測距点投影部２４と、立体物領域設定部２５とを備えている。 The central control unit 20 is a controller that executes a three-dimensional object detection process for detecting a three-dimensional object on the image from the distance between the image captured by the image data detection unit 14 and the distance measurement point detected by the distance measurement data detection unit 12. is there. The central control unit 20 includes a boundary line estimation unit 21, a boundary line division unit 22, a distance measurement point extraction unit 23, a distance measurement point projection unit 24, and a three-dimensional object detection unit as functional units for executing the three-dimensional object detection process. And an object area setting unit 25.
次に、中央制御部２０を構成する各部について説明する。まず、境界線推定部２１は、測距センサで検出された測距点の中からカメラの視野範囲にある測距点を抽出し、抽出された測距点の高さ方向の変化に基づいて車両周囲の立体物と路面との間の境界線を推定する。 Next, each part which comprises the central control part 20 is demonstrated. First, the boundary line estimation unit 21 extracts distance measurement points in the visual field range of the camera from the distance measurement points detected by the distance measurement sensor, and based on the change in the height direction of the extracted distance measurement points. The boundary line between the three-dimensional object around the vehicle and the road surface is estimated.
境界線分割部２２は、境界線推定部２１で推定された境界線上で車両からの距離の変化が大きくなる部分で境界線を分割する。境界線を分割することによって求められた複数の境界線分は、路面上に存在する複数の立体物にそれぞれ対応する。 The boundary line dividing unit 22 divides the boundary line at a portion where the change in the distance from the vehicle becomes large on the boundary line estimated by the boundary line estimating unit 21. The plurality of boundary line segments obtained by dividing the boundary line respectively correspond to the plurality of solid objects existing on the road surface.
測距点抽出部２３は、境界線分割部２２で分割された境界線から所定範囲内にある測距点を抽出する。特に、境界線を分割した境界線分に基づいて所定の大きさの立体を設定し、この立体の内部に存在する測距点を抽出する。 The ranging point extracting unit 23 extracts ranging points within a predetermined range from the boundary lines divided by the boundary line dividing unit 22. In particular, a solid having a predetermined size is set based on the boundary line segment obtained by dividing the boundary line, and a distance measuring point existing inside the solid is extracted.
測距点投影部２４は、測距点抽出部２３で抽出された測距点を画像データ検出部１４で撮像された画像上に投影する。 The distance measurement point projection unit 24 projects the distance measurement points extracted by the distance measurement point extraction unit 23 onto the image captured by the image data detection unit 14.
立体物領域設定部２５は、測距点投影部２４によって投影された測距点を包含する画像上の領域を立体物領域として設定する。立体物領域は、画像上において立体物が存在すると推定される領域である。 The three-dimensional object area setting unit 25 sets an area on the image including the distance measuring points projected by the distance measuring point projection unit 24 as a three-dimensional object area. The three-dimensional object area is an area where a three-dimensional object is estimated to exist on the image.
尚、中央制御部２０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路とメモリ等の周辺機器から構成されている。そして、特定のプログラムを実行することにより、上述した境界線推定部２１、境界線分割部２２、測距点抽出部２３、測距点投影部２４及び立体物領域設定部２５として動作する。このような中央制御部２０の各機能は、１または複数の処理回路によって実装することができる。処理回路は、例えば電気回路を含む処理装置等のプログラムされた処理装置を含み、また実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置も含んでいる。 The central control unit 20 includes a general-purpose electronic circuit including a microcomputer, a microprocessor, and a CPU, and peripheral devices such as a memory. Then, by executing a specific program, it operates as the boundary line estimation unit 21, the boundary line division unit 22, the distance measurement point extraction unit 23, the distance measurement point projection unit 24, and the three-dimensional object region setting unit 25 described above. Each function of the central control unit 20 can be implemented by one or a plurality of processing circuits. The processing circuit includes a programmed processing device such as, for example, a processing device including an electrical circuit, and an application specific integrated circuit (ASIC) or conventional circuit arranged to perform the functions described in the embodiments. It also includes devices such as parts.
［立体物検出処理の手順］
次に、本実施形態に係る立体物検出装置１０による立体物検出処理の手順を図２のフローチャートを参照して説明する。
[Three-dimensional object detection processing procedure]
Next, the procedure of the three-dimensional object detection process by the three-dimensional object detection device 10 according to the present embodiment will be described with reference to the flowchart of FIG.
図２に示すように、まずステップＳ１０において、自車両に搭載された測距データ検出部１２は、立体物だけでなく路面も含む車両の周辺環境の３次元測距データ（距離データ）を検出する。また、画像データ検出部１４は、測距データ検出部１２による３次元測距データの検出と同期して、自車両の周辺環境の画像を撮像して画像データとして取り込む。尚、測距データ検出部１２の車両への取り付け位置と画像データ検出部１４の車両への取り付け位置との間の相対的な関係については、所定の座標変換を行って対応づけておけばよい。図３（ａ）は、測距データ検出部１２の高解像度レーザレーダによって取得された３次元測距データの一例であり、図３（ｂ）は、図３（ａ）の３次元測距データの検出と同期して画像データ検出部１４の車載カメラによって撮像された画像の一例を示している。 As shown in FIG. 2, first in step S10, the ranging data detection unit 12 mounted on the host vehicle detects three-dimensional ranging data (distance data) of the surrounding environment of the vehicle including not only a three-dimensional object but also the road surface. To do. In addition, the image data detection unit 14 captures an image of the surrounding environment of the host vehicle and captures it as image data in synchronization with the detection of the three-dimensional distance measurement data by the distance measurement data detection unit 12. The relative relationship between the mounting position of the ranging data detection unit 12 on the vehicle and the mounting position of the image data detection unit 14 on the vehicle may be associated by performing predetermined coordinate conversion. . FIG. 3A is an example of the three-dimensional ranging data acquired by the high-resolution laser radar of the ranging data detecting unit 12, and FIG. 3B is the three-dimensional ranging data of FIG. 4 shows an example of an image captured by the in-vehicle camera of the image data detection unit 14 in synchronization with the detection.
ステップＳ２０において、境界線推定部２１は、ステップＳ１０で検出された３次元測距データの測距点群の中からカメラの視野範囲にある測距点群を抽出し、抽出された測距点群に基づいて車両周囲の立体物と路面との間の境界線を推定する。 In step S20, the boundary line estimation unit 21 extracts a distance measurement point group in the field of view of the camera from the distance measurement point group of the three-dimensional distance measurement data detected in step S10, and the extracted distance measurement point. Based on the group, the boundary line between the three-dimensional object around the vehicle and the road surface is estimated.
まず、境界線推定部２１は、図４（ａ）に示す３次元測距データに含まれる全体の測距点群３０の中から図４（ｂ）に示すようにカメラの視野範囲にある測距点群３１を抽出する。そして、境界線推定部２１は、抽出された測距点群３１の座標系を、測距データ検出部１２を中心とした直交座標系から極座標系に座標変換して、図４（ｃ）に示すような極座標系の測距点群３２を抽出する。ただし、極座標系は、車両からの距離ｒと車両の進行方向に対する方位θとで表される座標系である。この座標変換は、直行座標系の測距点群を極座標系の空間に射影することで実現することができる。 First, the boundary line estimation unit 21 performs measurement within the visual field range of the camera as shown in FIG. 4B from among the entire distance measuring point group 30 included in the three-dimensional distance measurement data shown in FIG. The distance point group 31 is extracted. Then, the boundary line estimation unit 21 converts the coordinate system of the extracted distance measurement point group 31 from an orthogonal coordinate system centered on the distance measurement data detection unit 12 to a polar coordinate system, as shown in FIG. A range-finding point group 32 of the polar coordinate system as shown is extracted. However, the polar coordinate system is a coordinate system represented by a distance r from the vehicle and an azimuth θ with respect to the traveling direction of the vehicle. This coordinate conversion can be realized by projecting the distance measurement point group in the orthogonal coordinate system to the space in the polar coordinate system.
次に、境界線推定部２１は、図５（ａ）に示す極座標系の測距点群３２を、図５（ｂ）に示す２次元グリッドマップ４０上に投影する。２次元グリッドマップ４０は、図５（ｂ）に示すように水平面に平行な極座標系の平面を格子状のセルＣに分割したグリッドマップ（格子状地図）である。図５（ｃ）に示すように、２次元グリッドマップ４０の各セルＣに投影された測距点群４１は、立体物と路面の位置にしたがって高さ方向（グリッドマップ４０に垂直な方向）にばらつく。ここで、境界線推定部２１は、各セルＣに投影された測距点群４１の高さの平均値を計算することにより、各セルＣの高さの代表値とする（標本化）。ただし、高さの代表値は、平均値に限定する必要はなく、例えば最大値や最小値を代表値としてもよい。このように極座標系のグリッドマップにおいて各セルに投影された測距点群を標本化するので、車両から遠方のセルで測距点の数が減少しても各セルの高さ方向の値を求めることができる。したがって、極座標系のグリッドマップ上で、車両からの距離によらずに一定の間隔で各セルの高さ方向の値を求めることができる。 Next, the boundary line estimation unit 21 projects the distance measuring point group 32 of the polar coordinate system shown in FIG. 5A onto the two-dimensional grid map 40 shown in FIG. The two-dimensional grid map 40 is a grid map (lattice map) obtained by dividing a polar coordinate system plane parallel to the horizontal plane into grid cells C as shown in FIG. As shown in FIG. 5C, the distance measuring point group 41 projected on each cell C of the two-dimensional grid map 40 has a height direction (a direction perpendicular to the grid map 40) according to the position of the solid object and the road surface. It varies. Here, the boundary line estimation unit 21 calculates the average value of the heights of the distance measuring point group 41 projected on each cell C to obtain the representative value of the height of each cell C (sampling). However, the representative value of the height need not be limited to the average value, and for example, the maximum value or the minimum value may be used as the representative value. In this way, because the distance measuring point group projected on each cell in the grid map of the polar coordinate system is sampled, even if the number of distance measuring points decreases in the cell far from the vehicle, the value in the height direction of each cell is set. Can be sought. Therefore, on the grid map of the polar coordinate system, the value in the height direction of each cell can be obtained at a constant interval regardless of the distance from the vehicle.
さらに、境界線推定部２１は、図５（ｃ）に示すように、グリッドマップ４０の方位θ毎に距離ｒの近い地点から遠い地点へ向かって高さの代表値を並べて、曲線４２を求める。そして、距離ｒの方向に隣り合うセルの間で高さの代表値の変化率を計算し、図５（ｄ）に示すように代表値の変化率が予め設定された閾値を超えた変化点４３を検出する。ただし、同一の方位θにおいて複数の変化点４３が検出された場合には、距離ｒが最短となる変化点を採用する。 Furthermore, as shown in FIG. 5C, the boundary line estimation unit 21 obtains a curve 42 by arranging representative values of height from a point near the distance r toward a point far from the point θ for each direction θ of the grid map 40. . Then, the change rate of the representative value of the height is calculated between cells adjacent in the direction of the distance r, and the change point at which the change rate of the representative value exceeds a preset threshold as shown in FIG. 43 is detected. However, when a plurality of change points 43 are detected in the same azimuth θ, the change point with the shortest distance r is adopted.
さらに、境界線推定部２１は、変化点４３に隣接するセルのうち距離ｒの遠い側にあるセルを、図５（ｅ）に示すように立体物に属するセル４４と判定する。こうしてグリッドマップ４０の方位θ毎に立体物に属するセル４４が求められると、境界線推定部２１はグリッドマップ４０上で立体物に属するセル４４を曲線で連結することによって、立体物が路面に接地する接地点の位置を示す境界線４５を推定する。尚、グリッドマップを用いて境界線を推定したが、グリッドマップを用いずに、最近傍となる測距点の座標上の距離から連続する測距点群を求めて境界線を推定してもよい。 Further, the boundary line estimation unit 21 determines that the cell on the far side of the distance r among the cells adjacent to the change point 43 is the cell 44 belonging to the three-dimensional object as illustrated in FIG. When the cells 44 belonging to the three-dimensional object are thus obtained for each orientation θ of the grid map 40, the boundary line estimation unit 21 connects the cells 44 belonging to the three-dimensional object on the grid map 40 with a curve, so that the three-dimensional object is placed on the road surface. A boundary line 45 indicating the position of the grounding point to be grounded is estimated. Although the boundary line is estimated using the grid map, the boundary line can be estimated by obtaining a continuous distance measuring point group from the distance on the coordinates of the nearest distance measuring point without using the grid map. Good.
ステップＳ３０において、境界線分割部２２は、ステップＳ２０で推定した立体物と路面との間の境界線４５を分割することにより、路面上にある複数の立体物に対応する複数の境界線分を求める。図６（ａ）に示すように、境界線分割部２２は、境界線４５の距離ｒの方向における変化率を計算し、その変化率が予め設定された閾値を超える点を分節点５０と設定する。そして、図６（ｂ）に示すように、境界線分割部２２は、設定された分節点５０によって、境界線４５を分割（セグメンテーション）することにより、境界線分５１を求める。ここで求められた各境界線分５１は、路面上に存在する複数の立体物にそれぞれ対応して求められたものと推定することができる。 In step S30, the boundary line dividing unit 22 divides the boundary line 45 between the three-dimensional object and the road surface estimated in step S20, thereby obtaining a plurality of boundary line segments corresponding to the plurality of three-dimensional objects on the road surface. Ask. As shown in FIG. 6A, the boundary line dividing unit 22 calculates the rate of change in the direction of the distance r of the boundary line 45, and sets a point where the rate of change exceeds a preset threshold as the node 50. To do. Then, as illustrated in FIG. 6B, the boundary line dividing unit 22 obtains a boundary line segment 51 by dividing (segmenting) the boundary line 45 by the set node 50. Each boundary line segment 51 obtained here can be estimated to be obtained corresponding to each of a plurality of three-dimensional objects existing on the road surface.
ステップＳ４０において、測距点抽出部２３は、ステップＳ３０で求めた境界線分５１を用いて、カメラの視野範囲にある測距点群３１の中から立体物に属する測距点群を抽出する。これにより、測距点抽出部２３は、路面上に存在する複数の立体物に対応した測距点群を抽出することができる。 In step S40, the distance measurement point extraction unit 23 uses the boundary line segment 51 obtained in step S30 to extract a distance measurement point group belonging to a three-dimensional object from the distance measurement point group 31 in the visual field range of the camera. . Thereby, the ranging point extraction unit 23 can extract a ranging point group corresponding to a plurality of three-dimensional objects existing on the road surface.
図７（ａ）に示すように、測距点抽出部２３は、まず測距点群３１と境界線分５１を直交座標系に射影した空間を設定し、境界線分５１を用いて立体物に対応する領域５３を設定する。立体物に対応する領域５３は、例えば境界線分５１の両端を直径５２とする円を設定すればよい。さらに、図７（ｂ）に示すように、測距点抽出部２３は、立体物に対応する領域５３を底面とする立体５４を設定し、この立体５４の内部に存在する測距点を立体物に属する測距点群５５として抽出する。 As shown in FIG. 7A, the ranging point extraction unit 23 first sets a space in which the ranging point group 31 and the boundary line segment 51 are projected onto an orthogonal coordinate system, and uses the boundary line segment 51 to form a three-dimensional object. An area 53 corresponding to is set. For the region 53 corresponding to the three-dimensional object, for example, a circle having a diameter 52 at both ends of the boundary line segment 51 may be set. Further, as shown in FIG. 7B, the ranging point extraction unit 23 sets a solid 54 having a bottom surface of the region 53 corresponding to the solid object, and the ranging points existing inside the solid 54 are three-dimensional. The distance measuring point group 55 belonging to the object is extracted.
このように、立体物に対応すると推定される境界線分５１に基づいて立体５４を設定し、設定された立体５４の内部に存在する測距点群５５を抽出するので、抽出された測距点群５５は路面上に存在する立体物に対応している。そして、立体物の高さは抽出された測距点群５５の存在範囲から推定することができるので、立体物の高さを仮定せずに測距点を抽出することができる。特に、従来では、人や車等の認識したい対象に合わせて立体物の高さを仮定していたので、仮定が合致しない場合には、画像中の立体物を正確に検出できないという問題があったが、本実施形態ではそのような問題は生じない。 In this way, the solid 54 is set based on the boundary line segment 51 estimated to correspond to the solid object, and the distance measuring point group 55 existing inside the set solid 54 is extracted. The point group 55 corresponds to a three-dimensional object existing on the road surface. Since the height of the three-dimensional object can be estimated from the existence range of the extracted distance measuring point group 55, the distance measuring point can be extracted without assuming the height of the three-dimensional object. In particular, conventionally, the height of a three-dimensional object is assumed in accordance with the object to be recognized, such as a person or a car. Therefore, if the assumption does not match, there is a problem that the three-dimensional object in the image cannot be accurately detected. However, such a problem does not occur in this embodiment.
ただし、立体物に対応する領域５３は円に限定されるわけではなく、境界線分５１の両端を対角線とする多角形としてもよく、立体５４は適宜最適な立体を設定すればよい。また、測距センサであるレーザレーダの距離データの誤差や物体による不検出範囲等を考慮して、境界線分５１の両端から外側方向へ拡張した範囲を底面としてもよい。すなわち、立体物に属する測距点群５５を抽出できるように、境界線分５１に基づいて最適な底面を決めて最適な立体５４を設定すればよい。 However, the region 53 corresponding to the three-dimensional object is not limited to a circle, and may be a polygon having diagonal lines at both ends of the boundary line segment 51. The solid 54 may be set to an optimal solid as appropriate. Further, in consideration of an error in distance data of a laser radar that is a distance measuring sensor, a non-detection range due to an object, and the like, a range extended from both ends of the boundary line segment 51 to the outside may be used as the bottom surface. That is, the optimum solid 54 may be determined by determining the optimum bottom surface based on the boundary line segment 51 so that the distance measuring point group 55 belonging to the solid object can be extracted.
さらに、立体５４の高さは、制限を設定せずに無限大の高さを有する領域を設定してもよい。ただし、検出対象となる立体物のカテゴリ（例えば、人や車など）が予め分かっている場合には立体５４の高さを設定してもよい。この場合、境界線分５１の両端の間に存在して一定の高さの範囲内にある測距点群を抽出することになる。これにより、一定の高さ以上の範囲にある測距点群を除外できるので、ガード下やトンネル内のような構造物の下の空間に存在する立体物を検出することができる。 Furthermore, the height of the solid 54 may be set to an area having an infinite height without setting a limit. However, when the category of the three-dimensional object to be detected (for example, a person or a car) is known in advance, the height of the solid 54 may be set. In this case, a range-finding point group existing between both ends of the boundary line segment 51 and within a certain height range is extracted. Thereby, since the distance measuring point group in the range of a certain height or more can be excluded, it is possible to detect a three-dimensional object existing in the space under the structure such as under the guard or in the tunnel.
ステップＳ５０において、測距点投影部２４は、ステップＳ４０で抽出された立体物に属する測距点群５５を、対応する撮像画像上に投影する。図８は、複数の立体物に対応する境界線分５１及び測距点群５５を画像上に投影した場合の一例を示す図である。 In step S50, the distance measuring point projection unit 24 projects the distance measuring point group 55 belonging to the three-dimensional object extracted in step S40 on the corresponding captured image. FIG. 8 is a diagram illustrating an example of a case where boundary line segments 51 and distance measuring point groups 55 corresponding to a plurality of three-dimensional objects are projected on an image.
ステップＳ６０において、立体物領域設定部２５は、ステップＳ５０で撮像画像上に投影された測距点群の存在範囲に基づき、立体物が存在すると推定される立体物領域を画像上に設定する。各測距点群５５は既に立体物毎にセグメンテーションされているので、測距点群５５を包含する矩形の領域を設定することによって、立体物領域の幅と高さを設定することができる。図９は、複数の立体物に対応する境界線分５１を画像上に投影し、立体物領域５７を画像上に表示した場合の一例を示す図である。ただし、測距点群５５を画像上に投影せずに、境界線分５１に対応する測距点群５５の存在範囲から直接に立体物領域５７を設定してもよい。すなわち、境界線分５１の所定範囲内にある測距点を抽出し、抽出された測距点群５５に対応させて立体物領域５７を設定する。こうして立体物領域５７が設定されると、出力部１６から図９に示すような画像が車両の乗員に提示されて、本実施形態に係る立体物検出処理は終了する。 In step S60, the three-dimensional object region setting unit 25 sets, on the image, a three-dimensional object region in which it is estimated that a three-dimensional object exists, based on the existence range of the ranging point group projected on the captured image in step S50. Since each distance measuring point group 55 has already been segmented for each three-dimensional object, the width and height of the three-dimensional object area can be set by setting a rectangular area including the distance measuring point group 55. FIG. 9 is a diagram illustrating an example in which boundary line segments 51 corresponding to a plurality of three-dimensional objects are projected on an image and a three-dimensional object region 57 is displayed on the image. However, the three-dimensional object region 57 may be set directly from the existence range of the distance measuring point group 55 corresponding to the boundary line segment 51 without projecting the distance measuring point group 55 on the image. That is, distance measuring points within a predetermined range of the boundary line segment 51 are extracted, and the three-dimensional object region 57 is set in correspondence with the extracted distance measuring point group 55. When the three-dimensional object region 57 is set in this manner, an image as shown in FIG. 9 is presented from the output unit 16 to the vehicle occupant, and the three-dimensional object detection process according to the present embodiment ends.
［第１実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、立体物と路面との間の境界線を推定し、推定された境界線に基づいて画像上の立体物を検出する。これにより、測距センサによって検出された測距点の数が少ない部分があったとしても画像上の立体物を精度良く検出することができる。例えば、図７（ａ）に示すように測距点３１が存在していた場合に、グリッドマップのセルが測距点３１と同程度の大きさに設定されていると、測距点３１が存在するセル同士の間隔は空いてしまう。したがって、従来の方法で境界線を推定せずに立体物を検出しようとすると、測距点の数が少ない部分では立体物全体を一体の領域として捉えることができない。しかしながら、本実施形態に係る立体物検出方法では、境界線を推定するので、測距点３１の間隔が空いていても境界線によって測距点３１の間を連結し、立体物全体を一体の領域として捉えることができ、推定された境界線に基づいて画像上で立体物を検出することができる。
[Effect of the first embodiment]
As described above in detail, in the three-dimensional object detection method and apparatus according to the present embodiment, the boundary line between the three-dimensional object and the road surface is estimated, and the three-dimensional object on the image is determined based on the estimated boundary line. To detect. Thereby, even if there is a portion where the number of distance measuring points detected by the distance measuring sensor is small, a three-dimensional object on the image can be accurately detected. For example, as shown in FIG. 7A, when the distance measuring point 31 exists, if the grid map cell is set to the same size as the distance measuring point 31, the distance measuring point 31 is The existing cells are spaced apart from each other. Therefore, if an attempt is made to detect a three-dimensional object without estimating a boundary line by a conventional method, the entire three-dimensional object cannot be regarded as an integrated region at a portion where the number of distance measuring points is small. However, in the three-dimensional object detection method according to the present embodiment, since the boundary line is estimated, even if the distance between the distance measuring points 31 is large, the distance measuring points 31 are connected by the boundary line, and the whole three-dimensional object is integrated. It can be regarded as a region, and a three-dimensional object can be detected on the image based on the estimated boundary line.
また、本実施形態に係る立体物検出方法及びその装置では、境界線の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から画像内に立体物領域を設定して画像上の立体物を検出する。これにより、抽出された測距点の存在範囲から、直接、立体物を検出できるので、測距点を画像上に投影する処理を行う必要がなくなり、処理負荷を軽減することができる。 Further, in the three-dimensional object detection method and apparatus according to the present embodiment, a distance measuring point within a predetermined range of the boundary line is extracted, and a three-dimensional object region is set in the image from the existing range of the distance measuring point. To detect a three-dimensional object on the image. As a result, since the three-dimensional object can be directly detected from the extracted range of the distance measuring points, it is not necessary to perform the process of projecting the distance measuring points onto the image, and the processing load can be reduced.
さらに、本実施形態に係る立体物検出方法及びその装置では、境界線から高さ方向の所定範囲内にある測距点を抽出し、抽出された測距点の存在範囲から画像内に立体物領域を設定して画像上の立体物を検出する。これにより、所定の高さ以上の範囲にある測距点を除外できるので、ガード下やトンネル内のような構造物の下の空間に存在する立体物を検出することができる。 Furthermore, in the three-dimensional object detection method and apparatus according to the present embodiment, a distance measuring point that is within a predetermined range in the height direction from the boundary line is extracted, and the three-dimensional object in the image from the extracted range of the distance measuring point. A region is set to detect a three-dimensional object on the image. Thereby, since the ranging point in the range more than the predetermined height can be excluded, it is possible to detect the three-dimensional object existing in the space under the structure such as under the guard or in the tunnel.
また、本実施形態に係る立体物検出方法及びその装置では、カメラの視野範囲にあって抽出された測距点に基づいて、極座標系上で境界線を推定する。これにより、一定の分解能（スキャン角）内に存在する測距点によって、車両からの距離に影響されずに境界線を推定することができる。 Moreover, in the three-dimensional object detection method and apparatus according to the present embodiment, the boundary line is estimated on the polar coordinate system based on the distance measuring points extracted in the visual field range of the camera. As a result, the boundary line can be estimated without being affected by the distance from the vehicle by the distance measuring point existing within a certain resolution (scan angle).
［第２実施形態］
以下、本発明を適用した第２実施形態について図面を参照して説明する。本実施形態の立体物検出処理では、ステップＳ４０の処理が第１実施形態と相違している。第１実施形態では、境界線分５１を含む所定範囲を底面とした立体５４を設定し、立体５４の内部に存在する測距点群５５を抽出して立体物領域５７を設定していた。しかし、本実施形態では、境界線分５１の方位θの方向の両端の間に存在し、一定の高さの範囲内にある測距点群を抽出して立体物領域を設定する。ただし、立体物検出装置１０の構成及びステップＳ４０以外の処理は、第１実施形態と同一であるため、詳細な説明は省略する。
[Second Embodiment]
Hereinafter, a second embodiment to which the present invention is applied will be described with reference to the drawings. In the three-dimensional object detection process of the present embodiment, the process of step S40 is different from that of the first embodiment. In the first embodiment, the solid 54 having the predetermined range including the boundary line segment 51 as the bottom is set, and the ranging point group 55 existing inside the solid 54 is extracted to set the solid object region 57. However, in the present embodiment, a three-dimensional object region is set by extracting a distance measuring point group that exists between both ends of the boundary line 51 in the direction θ and within a certain height range. However, the configuration of the three-dimensional object detection device 10 and processes other than step S40 are the same as those in the first embodiment, and thus detailed description thereof is omitted.
ステップＳ４０において、測距点抽出部２３は、境界線分５１を用いてカメラの視野範囲にある測距点群３１の中から立体物に属する測距点群を抽出する。このとき、図１０（ａ）に示すように、測距点抽出部２３は、抽出した測距点群３１及び境界線分５１を極座標系の空間内に設定し、境界線分５１の方位θの方向の両端の間の領域６０を設定する。この領域６０は、距離ｒの方向に０から無限大までの領域であってもよいし、所定の範囲の領域であってもよい。そして、図１０（ｂ）に示すように、測距点抽出部２３は、領域６０を底面とする立体６１を設定し、この立体６１の内部に存在する測距点を立体物に属する測距点群６２として抽出する。ただし、立体６１の高さについては、検出対象となる立体物のカテゴリ（例えば人や車など）に応じて予め設定された高さから選択する。 In step S <b> 40, the distance measurement point extraction unit 23 uses the boundary line segment 51 to extract a distance measurement point group belonging to the three-dimensional object from the distance measurement point group 31 in the visual field range of the camera. At this time, as shown in FIG. 10A, the ranging point extracting unit 23 sets the extracted ranging point group 31 and the boundary line segment 51 in the space of the polar coordinate system, and the azimuth θ of the boundary line segment 51 A region 60 between both ends in the direction is set. This region 60 may be a region from 0 to infinity in the direction of the distance r, or may be a region in a predetermined range. Then, as shown in FIG. 10B, the ranging point extraction unit 23 sets a solid 61 having the region 60 as a bottom surface, and the ranging points existing inside the solid 61 belong to the solid object. Extracted as a point group 62. However, the height of the three-dimensional object 61 is selected from a preset height according to the category of the three-dimensional object to be detected (for example, a person or a car).
また、領域６０は、測距センサであるレーザレーダの距離データの誤差や物体による不検出範囲等を考慮して、境界線分５１の両端から外側方向へ拡張してもよい。すなわち、立体物に属する測距点群６２を抽出できるように、境界線分５１に基づいて最適な領域を設定できればよい。 The region 60 may be extended outward from both ends of the boundary line segment 51 in consideration of an error in distance data of a laser radar that is a distance measuring sensor, an undetected range due to an object, and the like. That is, it is only necessary to set an optimum region based on the boundary line segment 51 so that the distance measuring point group 62 belonging to the three-dimensional object can be extracted.
［第２実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、境界線分の方位θの方向の両端の間にある測距点群を抽出するので、方位θの方向にある立体物を確実に検出することができる。
[Effects of Second Embodiment]
As described above in detail, in the three-dimensional object detection method and apparatus according to the present embodiment, the range-finding point group between both ends in the direction θ of the boundary line segment is extracted. A certain three-dimensional object can be reliably detected.
［第３実施形態］
以下、本発明を適用した第３実施形態について図面を参照して説明する。本実施形態の立体物検出処理では、ステップＳ２０、３０の処理が第１実施形態と相違している。第１実施形態では、車両からの距離ｒと車両の進行方向に対する方位θとで表される極座標系において、グリッドマップの格子状のセルで測距点を標本化していた。しかし、本実施形態では、車両の進行方向の距離ｘと車幅方向の距離ｙとで表される直交座標系において、車両からの距離ｒに応じてセルの幅が広がっていく同心円状のセルで測距点を標本化する。ただし、立体物検出装置１０の構成及びステップＳ２０、３０以外の処理は、第１実施形態と同一であるため、詳細な説明は省略する。また、本実施形態の立体物検出処理は、第２実施形態に適用することも可能である。
[Third Embodiment]
Hereinafter, a third embodiment to which the present invention is applied will be described with reference to the drawings. In the three-dimensional object detection process of the present embodiment, the processes of steps S20 and S30 are different from those of the first embodiment. In the first embodiment, in the polar coordinate system represented by the distance r from the vehicle and the azimuth θ with respect to the traveling direction of the vehicle, the ranging points are sampled by the grid-like cells of the grid map. However, in the present embodiment, in the orthogonal coordinate system represented by the distance x in the vehicle traveling direction and the distance y in the vehicle width direction, concentric cells whose width increases according to the distance r from the vehicle. Sample the ranging point with. However, since the configuration of the three-dimensional object detection device 10 and the processes other than steps S20 and S30 are the same as those in the first embodiment, detailed description thereof is omitted. Moreover, the three-dimensional object detection process of this embodiment can also be applied to the second embodiment.
ステップＳ２０において、境界線推定部２１は、ステップＳ１０で検出された３次元測距データの測距点群の中から、図１１（ａ）に示すようにカメラの視野範囲にある測距点群３１を抽出する。ここで、第１実施形態では極座標系に座標変換していたが、本実施形態では図１１（ａ）に示す直交座標系の空間で境界線の推定処理を行う。 In step S20, the boundary line estimation unit 21 selects the distance measurement point group in the field of view of the camera as shown in FIG. 11A from the distance measurement point group of the three-dimensional distance measurement data detected in step S10. 31 is extracted. Here, in the first embodiment, the coordinate conversion is performed in the polar coordinate system, but in the present embodiment, the boundary line estimation process is performed in the space of the orthogonal coordinate system illustrated in FIG.
次に、境界線推定部２１は、図１１（ａ）に示す直交座標系の測距点群３１を、図１１（ｂ）に示す２次元グリッドマップ７０上に投影する。２次元グリッドマップ７０は、図１１（ｂ）に示すように水平面に平行な直交座標系の平面を同心円状のセルＣに分割したグリッドマップ（格子状地図）である。図１１（ｃ）に示すように、２次元グリッドマップ７０の各セルＣに投影された測距点群４１は、立体物と路面の位置にしたがって高さ方向（グリッドマップ７０に垂直な方向）にばらつく。ここで、境界線推定部２１は、各セルＣに投影された測距点群４１の高さの平均値を計算することにより、各セルＣの高さの代表値とする（標本化）。 Next, the boundary line estimation unit 21 projects the distance measuring point group 31 of the orthogonal coordinate system shown in FIG. 11A onto the two-dimensional grid map 70 shown in FIG. The two-dimensional grid map 70 is a grid map (lattice map) obtained by dividing a plane of an orthogonal coordinate system parallel to a horizontal plane into concentric cells C as shown in FIG. As shown in FIG. 11C, the distance measuring point group 41 projected on each cell C of the two-dimensional grid map 70 is in the height direction (direction perpendicular to the grid map 70) according to the position of the solid object and the road surface. It varies. Here, the boundary line estimation unit 21 calculates the average value of the heights of the distance measuring point group 41 projected on each cell C to obtain the representative value of the height of each cell C (sampling).
さらに、境界線推定部２１は、図１１（ｃ）に示すように、グリッドマップ７０の同心円の放射方向毎に距離ｒの近い地点から遠い地点へ向かって高さの代表値を並べて、曲線４２を求める。そして、距離ｒの方向に隣り合うセルＣの間で高さの代表値の変化率を計算し、図１１（ｄ）に示すように代表値の変化率が予め設定された閾値を超えた変化点４３を検出する。ただし、同一の放射方向において複数の変化点４３が検出された場合には、距離ｒが最短となる点を採用する。 Further, as shown in FIG. 11C, the boundary line estimation unit 21 arranges representative values of height from a point near the distance r to a point far from the radial direction of the concentric circles of the grid map 70, and curves 42 Ask for. Then, the change rate of the representative value of the height between the cells C adjacent in the direction of the distance r is calculated, and the change rate of the representative value exceeds the preset threshold as shown in FIG. A point 43 is detected. However, when a plurality of change points 43 are detected in the same radiation direction, a point having the shortest distance r is employed.
さらに、境界線推定部２１は、変化点４３に隣接するセルのうち距離ｒの遠い側にあるセルを、図１１（ｅ）に示すように立体物に属するセル７４と判定する。こうしてグリッドマップ７０の放射方向毎に立体物に属するセル７４が求められると、境界線推定部２１はグリッドマップ７０上で立体物に属するセル７４を曲線で連結することによって、立体物が路面に接地する接地点の位置を示す境界線７５を推定する。 Further, the boundary line estimation unit 21 determines that the cell on the far side of the distance r among the cells adjacent to the change point 43 is the cell 74 belonging to the three-dimensional object as illustrated in FIG. Thus, when the cells 74 belonging to the three-dimensional object are obtained for each radial direction of the grid map 70, the boundary line estimation unit 21 connects the cells 74 belonging to the three-dimensional object on the grid map 70 with a curve, so that the three-dimensional object is placed on the road surface. A boundary line 75 indicating the position of the grounding point to be grounded is estimated.
ステップＳ３０において、境界線分割部２２は、ステップＳ２０で推定された立体物と路面との間の境界線７５を分割することにより、路面上にある複数の立体物に対応する複数の境界線分を求める。図１２（ａ）に示すように、境界線分割部２２は、境界線７５上において、座標中心（測距センサの位置）からの距離ｒの変化率を計算し、その変化率が予め設定された閾値を超える点を分節点８０と設定する。そして、図１２（ｂ）に示すように、境界線分割部２２は、設定された分節点８０によって、境界線７５を分割（セグメンテーション）することにより、境界線分８１を求める。ここで求められた各境界線分８１は、路面上に存在する複数の立体物にそれぞれ対応して求められたものと推定することができる。こうして境界線分８１が求められると、この後は第１実施形態と同一の処理を実行して立体物を検出する。 In step S30, the boundary line dividing unit 22 divides the boundary line 75 between the three-dimensional object and the road surface estimated in step S20, thereby a plurality of boundary line segments corresponding to the plurality of three-dimensional objects on the road surface. Ask for. As shown in FIG. 12A, the boundary line dividing unit 22 calculates the rate of change of the distance r from the coordinate center (position of the distance measuring sensor) on the boundary line 75, and the rate of change is preset. A point exceeding the threshold is set as a segment 80. Then, as illustrated in FIG. 12B, the boundary line dividing unit 22 determines a boundary line segment 81 by dividing (segmenting) the boundary line 75 by the set segment 80. Each boundary line segment 81 obtained here can be estimated to have been obtained corresponding to each of a plurality of three-dimensional objects existing on the road surface. When the boundary line segment 81 is thus obtained, thereafter, the same processing as that in the first embodiment is executed to detect a three-dimensional object.
［第３実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、カメラの視野範囲にあって抽出された測距点に基づいて、直交座標系上で境界線を推定する。これにより、実際の距離にしたがって立体物毎に境界線を推定することができる。
[Effect of the third embodiment]
As described above in detail, in the three-dimensional object detection method and apparatus according to the present embodiment, the boundary line is estimated on the orthogonal coordinate system based on the distance measuring points extracted in the field of view of the camera. Thereby, a boundary line can be estimated for every three-dimensional object according to an actual distance.
［第４実施形態］
以下、本発明を適用した第４実施形態について図面を参照して説明する。本実施形態に係る立体物検出方法では、車両の自己位置を推定し、車両の自己位置の地図情報に基づいて境界線分を選択する。尚、本実施形態の立体物検出処理は、第２及び第３実施形態に適用することも可能である。
[Fourth Embodiment]
Hereinafter, a fourth embodiment to which the present invention is applied will be described with reference to the drawings. In the three-dimensional object detection method according to the present embodiment, the self-position of the vehicle is estimated, and the boundary line segment is selected based on the map information of the self-position of the vehicle. Note that the three-dimensional object detection process of the present embodiment can also be applied to the second and third embodiments.
［立体物検出装置の構成］
図１３は、本実施形態に係る立体物検出装置の構成を示すブロック図である。図１３に示すように、本実施形態に係る立体物検出装置１１０は、地図データ記憶部９０と、地図データ取得部９１と、車両情報取得部９２をさらに備えたことが第１実施形態と相違している。また、中央制御部１２０が自己位置推定部９３と、境界線分選択部９４をさらに備えたことが第１実施形態と相違している。尚、第１実施形態と同一の構成要素には同一の符号を付して詳細な説明は省略する。
[Configuration of the three-dimensional object detection device]
FIG. 13 is a block diagram illustrating a configuration of the three-dimensional object detection device according to the present embodiment. As shown in FIG. 13, the three-dimensional object detection device 110 according to the present embodiment is different from the first embodiment in that it further includes a map data storage unit 90, a map data acquisition unit 91, and a vehicle information acquisition unit 92. doing. The central control unit 120 is further different from the first embodiment in that the central control unit 120 further includes a self-position estimation unit 93 and a boundary line segment selection unit 94. In addition, the same code | symbol is attached | subjected to the component same as 1st Embodiment, and detailed description is abbreviate | omitted.
地図データ記憶部９０は、地図データを格納したデータベースであり、車両に搭載してもよいし、データセンター内にあるサーバに設置してもよい。地図データ記憶部９０に格納されている地図データには、少なくとも車道や建物、歩道、信号機等の周辺環境に関する情報が記録されており、特に立体物の位置情報が記録されている。 The map data storage unit 90 is a database storing map data, and may be installed in a vehicle or installed on a server in a data center. The map data stored in the map data storage unit 90 records at least information related to the surrounding environment such as a roadway, a building, a sidewalk, and a traffic light, and in particular, position information of a three-dimensional object.
地図データ取得部９１は、地図データ記憶部９０に格納されている地図データの全体から必要な領域の地図データを抽出して取得する。地図データ取得部９１は、サーバに設置された地図データ記憶部９０から通信網を介して地図データを取得してもよいし、車両に搭載された地図データ記憶部９０にアクセスして地図データを取得してもよい。 The map data acquisition unit 91 extracts and acquires map data of a necessary area from the entire map data stored in the map data storage unit 90. The map data acquisition unit 91 may acquire map data from the map data storage unit 90 installed in the server via a communication network, or access the map data storage unit 90 mounted on the vehicle to obtain the map data. You may get it.
図１５（ａ）は、測距データ検出部１２の高解像度レーザレーダで検出された測距データをＸ−Ｙ平面上で表示した場合の一例である。また、図１５（ｂ）は、自己位置推定部９３によって推定された車両の自己位置に基づき、地図データ取得部９１によって切り出された自車両を中心とした周囲環境の地図データの一例である。図１５（ｃ）は、図１５（ａ）の測距データと同期して画像データ検出部１４（車載カメラ）で撮像された画像の一例を示している。尚、図１５（ａ）の測距点群と図１５（ｂ）の地図データは，座標系が同一であるため、２つのデータを重ね合わせることによって、地図上の各地点でデータを対応付けすることができる。 FIG. 15A is an example of a case where distance measurement data detected by the high-resolution laser radar of the distance measurement data detection unit 12 is displayed on the XY plane. FIG. 15B is an example of map data of the surrounding environment centered on the own vehicle cut out by the map data acquisition unit 91 based on the vehicle's own position estimated by the self-position estimation unit 93. FIG. 15C shows an example of an image captured by the image data detection unit 14 (vehicle camera) in synchronization with the distance measurement data of FIG. Note that the distance measurement point group in FIG. 15A and the map data in FIG. 15B have the same coordinate system, and therefore, by superimposing the two data, the data is associated with each point on the map. can do.
車両情報取得部９２は、自車両に搭載されたセンサ群から車両情報を取得する。例えば、ＧＰＳや速度センサ、ジャイロセンサ、加速度センサ等のセンサ群から自車両の位置、速度、角速度、加速度等の車両情報を取得する。 The vehicle information acquisition unit 92 acquires vehicle information from a sensor group mounted on the host vehicle. For example, vehicle information such as the position, speed, angular velocity, and acceleration of the host vehicle is acquired from a sensor group such as a GPS, a speed sensor, a gyro sensor, and an acceleration sensor.
自己位置推定部９３は、車両情報取得部９２で取得した車両情報と、地図データ取得部９１で取得した地図データ（地図情報）とに基づいて自車両の地図上での現在位置を推定し、自己位置情報として出力する。 The self-position estimation unit 93 estimates the current position on the map of the own vehicle based on the vehicle information acquired by the vehicle information acquisition unit 92 and the map data (map information) acquired by the map data acquisition unit 91, Output as self-location information.
境界線分選択部９４は、自己位置推定部９３で推定された自己位置情報と地図データ取得部９１で取得された地図情報とに基づいて、境界線分割部２２で求められた境界線分の中から立体物の検出に必要となる境界線分を選択する。 The boundary line segment selection unit 94 is based on the self-position information estimated by the self-position estimation unit 93 and the map information acquired by the map data acquisition unit 91, and the boundary line segment obtained by the boundary line segmentation unit 22. A boundary line necessary for detecting a three-dimensional object is selected from the inside.
［立体物検出処理の手順］
次に、本実施形態に係る立体物検出装置１１０による立体物検出処理の手順を図１４のフローチャートを参照して説明する。図１４に示すように、ステップＳ３５を追加したことが第１実施形態と相違している。
[Three-dimensional object detection processing procedure]
Next, the procedure of the three-dimensional object detection process by the three-dimensional object detection device 110 according to this embodiment will be described with reference to the flowchart of FIG. As shown in FIG. 14, the addition of step S35 is different from the first embodiment.
本実施形態に係る立体物検出処理では、ステップＳ１０〜Ｓ３０までの処理が第１実施形態と同様に行われ、境界線が分割されて境界線分が求められる。そして、ステップＳ３５において、境界線分選択部９４は、まず自己位置推定部９３によって推定された自己位置情報を取得し、この自己位置情報に基づいて地図データ取得部９１から自己位置周辺の地図情報を取得する。図１６（ａ）は、ステップＳ３０で求められた境界線分を射影した直交座標系のグリッドマップの一例を示す図である。図１６（ｂ）は、自己位置情報に基づいて地図データ取得部９１から取得した地図情報の一例を示す図であり、車道や建物、歩道、信号機等の属性が領域毎にそれぞれ記録されている。 In the three-dimensional object detection process according to the present embodiment, the processes from step S10 to S30 are performed in the same manner as in the first embodiment, and the boundary line is divided to obtain the boundary line segment. In step S35, the boundary segment selection unit 94 first acquires the self-position information estimated by the self-position estimation unit 93, and the map information around the self-position from the map data acquisition unit 91 based on the self-position information. To get. FIG. 16A is a diagram illustrating an example of a grid map of an orthogonal coordinate system obtained by projecting the boundary line segment obtained in step S30. FIG. 16B is a diagram illustrating an example of map information acquired from the map data acquisition unit 91 based on the self-location information, and attributes such as roadways, buildings, sidewalks, traffic lights, etc. are recorded for each area. .
そして、境界線分選択部９４は、ステップＳ３０で求められた境界線分の中から、地図情報、特に立体物の位置情報に基づいて、立体物の検出に必要となる境界線分を選択する。図１６（ａ）に示す直交座標系のグリッドマップ９５と、図１６（ｂ）に示す車両周辺の地図情報９７とを重ね合わせて、境界線分９６が存在する領域に対応する地図情報９７の領域を検出する。これにより、例えば、図１６（ｃ）に示すように地図情報９７の建物の領域で境界線分９６が存在する領域２０１、２０３は、建物の壁であると推定することができる。したがって、立体物として人や車を検出することが目的である場合には、建物に属する領域２０１、２０３の境界線分９６を選択せずに除外することができる。 And the boundary line segment selection part 94 selects the boundary line segment required for the detection of a solid object from the boundary line segment calculated | required by step S30 based on map information, especially the positional information on a solid object. . The grid information 95 of the orthogonal coordinate system shown in FIG. 16A and the map information 97 around the vehicle shown in FIG. Detect areas. Thereby, for example, as shown in FIG. 16C, it is possible to estimate that the areas 201 and 203 where the boundary line segment 96 exists in the building area of the map information 97 are the walls of the building. Therefore, when the purpose is to detect a person or a vehicle as a three-dimensional object, the boundary line segment 96 of the areas 201 and 203 belonging to the building can be excluded without being selected.
また、占有面積が小さくて地図情報によって位置が高精度に特定できる信号機や電柱、標識のような立体物については、地図情報から直接境界線分９６の属性を検出することができる。例えば、図１６（ｃ）の領域２０５の境界線分は、地図情報９７から信号機であることを検出することができる。 In addition, for a three-dimensional object such as a traffic light, a utility pole, or a sign that has a small occupation area and whose position can be specified with high accuracy by map information, the attribute of the boundary line segment 96 can be directly detected from the map information. For example, it can be detected from the map information 97 that the boundary line segment of the region 205 in FIG.
さらに、車道や歩道等の特定の領域では、車や歩行者、自転車等の特定の立体物しか存在しないと推定できるので、地図情報に記録された各領域の属性により、測距点群を抽出する際の高さの制限値を決定することができる。さらに、トンネル、ガード下等そのままでは２次元グリッドマップが有効に機能しないような場所では、地図情報からトンネル等の領域を特定する。そして、このような領域では、２次元グリッドマップに投影する測距点群に高さ制限を設定すれば、トンネル内やガード下の立体物を検出することが可能になる。 Furthermore, because it can be estimated that only specific solid objects such as cars, pedestrians, and bicycles exist in specific areas such as roadways and sidewalks, a group of ranging points is extracted based on the attributes of each area recorded in the map information. The limit value of the height at the time of doing can be determined. Further, in a place where the two-dimensional grid map does not function effectively if it is under a tunnel or guard, an area such as a tunnel is specified from the map information. In such an area, if a height limit is set for the distance measuring point group projected onto the two-dimensional grid map, it is possible to detect a three-dimensional object in the tunnel or under the guard.
［第４実施形態の効果］
以上詳細に説明したように、本実施形態に係る立体物検出方法及びその装置では、車両の自己位置を推定し、車両の自己位置の地図情報と境界線とに基づいて画像上にある立体物を検出する。これにより、車両の自己位置の地図情報から立体物の属性を推定することができるので、効率良く立体物を検出することができる。また、建物の壁や柵、ガードレール等の検出対象外の立体物に関する測距点を除外できるので、立体物を検出するための演算量を効果的に削減し、誤検出を低減することができる。
[Effect of Fourth Embodiment]
As described above in detail, in the three-dimensional object detection method and apparatus according to the present embodiment, the self-position of the vehicle is estimated, and the three-dimensional object on the image based on the map information and the boundary line of the self-position of the vehicle. Is detected. Thereby, since the attribute of a solid object can be estimated from the map information of the vehicle's own position, the solid object can be detected efficiently. In addition, since it is possible to exclude ranging points related to solid objects that are not detection targets such as building walls, fences, guard rails, etc., it is possible to effectively reduce the amount of calculation for detecting the three-dimensional objects and reduce false detections. .
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea of the present invention, it depends on the design and the like. Of course, various modifications are possible.
１０、１１０ 立体物検出装置
１２ 測距データ検出部
１４ 画像データ検出部
１６ 出力部
２０、１２０ 中央制御部
２１ 境界線推定部
２２ 境界線分割部
２３ 測距点抽出部
２４ 測距点投影部
２５ 立体物領域設定部
９０ 地図データ記憶部
９１ 地図データ取得部
９２ 車両情報取得部
９３ 自己位置推定部
９４ 境界線分選択部
DESCRIPTION OF SYMBOLS 10,110 Three-dimensional object detection apparatus 12 Distance measurement data detection part 14 Image data detection part 16 Output part 20,120 Central control part 21 Boundary line estimation part 22 Boundary line division part 23 Distance measurement point extraction part 24 Distance measurement point projection part 25 Solid object region setting unit 90 Map data storage unit 91 Map data acquisition unit 92 Vehicle information acquisition unit 93 Self-position estimation unit 94 Boundary segment selection unit
Claims (7)
前記測距センサで検出された測距点の中から前記カメラの視野範囲にある測距点を抽出し、
抽出された前記測距点から前記車両周囲の立体物と路面との間の境界線を推定し、
推定された前記境界線に基づいて前記画像上の立体物を検出することを特徴とする立体物検出方法。 A camera mounted on a vehicle for capturing an image around the vehicle; and a distance measuring sensor mounted on the vehicle for detecting a distance between distance measuring points around the vehicle, the image captured by the camera and the distance measuring A three-dimensional object detection method of a three-dimensional object detection device for detecting a three-dimensional object on the image from the distance of a distance measuring point detected by a sensor,
Extracting ranging points in the visual field range of the camera from the ranging points detected by the ranging sensor,
Estimating the boundary line between the three-dimensional object around the vehicle and the road surface from the extracted ranging point,
A solid object detection method, comprising: detecting a solid object on the image based on the estimated boundary line.
前記測距センサで検出された測距点の中から前記カメラの視野範囲にある測距点を抽出し、抽出された前記測距点から前記車両周囲の立体物と路面との間の境界線を推定し、推定された前記境界線に基づいて前記画像上の立体物を検出するコントローラを備えたことを特徴とする立体物検出装置。 A camera mounted on a vehicle for capturing an image around the vehicle; and a distance measuring sensor mounted on the vehicle for detecting a distance between distance measuring points around the vehicle, the image captured by the camera and the distance measuring A three-dimensional object detection device for detecting a three-dimensional object on the image from the distance of a distance measuring point detected by a sensor,
A range-finding point in the field of view of the camera is extracted from the range-finding points detected by the range-finding sensor, and a boundary line between the three-dimensional object around the vehicle and the road surface from the extracted range-finding point And a controller for detecting a three-dimensional object on the image based on the estimated boundary line.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060186A JP6736931B2 (en) | 2016-03-24 | 2016-03-24 | Three-dimensional object detection method and three-dimensional object detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016060186A JP6736931B2 (en) | 2016-03-24 | 2016-03-24 | Three-dimensional object detection method and three-dimensional object detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017174197A true JP2017174197A (en) | 2017-09-28 |
| JP6736931B2 JP6736931B2 (en) | 2020-08-05 |
Family
ID=59973312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016060186A Active JP6736931B2 (en) | 2016-03-24 | 2016-03-24 | Three-dimensional object detection method and three-dimensional object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6736931B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019106034A (en) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | Apparatus, program, and method for identifying object from point group |
| JP2019117432A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Display control device |
| WO2019163378A1 (en) * | 2018-02-23 | 2019-08-29 | コニカミノルタ株式会社 | Forklift image processing device and control program |
| CN111289261A (en) * | 2020-01-20 | 2020-06-16 | 成都主导科技有限责任公司 | Detection method for in-warehouse bottom car part |
| JP6837626B1 (en) * | 2020-08-03 | 2021-03-03 | 株式会社空間技術総合研究所 | Feature data generation system, feature database update system, and feature data generation method |
| CN112595719A (en) * | 2020-12-11 | 2021-04-02 | 江苏科技大学 | Pavement disease fine detection method based on three-dimensional laser scanning technology |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06124340A (en) * | 1992-07-21 | 1994-05-06 | Nissan Motor Co Ltd | Image processor for vehicle |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| JP2009129290A (en) * | 2007-11-27 | 2009-06-11 | Aisin Aw Co Ltd | Traffic signal detection apparatus, traffic signal detection method and program |
-
2016
- 2016-03-24 JP JP2016060186A patent/JP6736931B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06124340A (en) * | 1992-07-21 | 1994-05-06 | Nissan Motor Co Ltd | Image processor for vehicle |
| JP2006151125A (en) * | 2004-11-26 | 2006-06-15 | Omron Corp | On-vehicle image processing device |
| JP2009129290A (en) * | 2007-11-27 | 2009-06-11 | Aisin Aw Co Ltd | Traffic signal detection apparatus, traffic signal detection method and program |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019106034A (en) * | 2017-12-13 | 2019-06-27 | Kddi株式会社 | Apparatus, program, and method for identifying object from point group |
| JP2019117432A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Display control device |
| WO2019163378A1 (en) * | 2018-02-23 | 2019-08-29 | コニカミノルタ株式会社 | Forklift image processing device and control program |
| JPWO2019163378A1 (en) * | 2018-02-23 | 2021-03-04 | コニカミノルタ株式会社 | Image processing equipment for forklifts and control programs |
| JP7259835B2 (en) | 2018-02-23 | 2023-04-18 | コニカミノルタ株式会社 | Image processor and control program for forklift |
| CN111289261A (en) * | 2020-01-20 | 2020-06-16 | 成都主导科技有限责任公司 | Detection method for in-warehouse bottom car part |
| CN111289261B (en) * | 2020-01-20 | 2022-07-12 | 成都主导科技有限责任公司 | Detection method for in-warehouse bottom piece |
| JP6837626B1 (en) * | 2020-08-03 | 2021-03-03 | 株式会社空間技術総合研究所 | Feature data generation system, feature database update system, and feature data generation method |
| WO2022030033A1 (en) * | 2020-08-03 | 2022-02-10 | 株式会社空間技術総合研究所 | Planimetric feature data generation system, planimetric feature database updating system, and planimetric feature data generation method |
| JP2022028428A (en) * | 2020-08-03 | 2022-02-16 | 株式会社空間技術総合研究所 | Feature data generation system, feature database update system, and method for generating feature data |
| CN112595719A (en) * | 2020-12-11 | 2021-04-02 | 江苏科技大学 | Pavement disease fine detection method based on three-dimensional laser scanning technology |
| CN112595719B (en) * | 2020-12-11 | 2023-02-28 | 江苏科技大学 | Pavement disease fine detection method based on three-dimensional laser scanning technology |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6736931B2 (en) | 2020-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6736931B2 (en) | Three-dimensional object detection method and three-dimensional object detection device | |
| CN110174093B (en) | Positioning method, device, equipment and computer readable storage medium | |
| CN110286389B (en) | Grid management method for obstacle identification | |
| WO2015096717A1 (en) | Positioning method and device | |
| JP6560355B2 (en) | Landmark recognition apparatus and recognition method | |
| JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
| JP2011511281A (en) | Map matching method with objects detected by sensors | |
| CN110608746B (en) | Method and device for determining the position of a motor vehicle | |
| EP3324359B1 (en) | Image processing device and image processing method | |
| JP6201148B2 (en) | CALIBRATION APPARATUS, CALIBRATION METHOD, MOBILE BODY CAMERA HAVING CALIBRATION FUNCTION, AND PROGRAM | |
| JP6759175B2 (en) | Information processing equipment and information processing system | |
| US10846546B2 (en) | Traffic signal recognition device | |
| JP7343054B2 (en) | Location estimation method, location estimation device, and location estimation program | |
| JP7471481B2 (en) | Information processing device, information processing method, and program | |
| CN112924955B (en) | Roadside laser radar point cloud coordinate dynamic correction method | |
| CN114639085A (en) | Traffic signal lamp identification method and device, computer equipment and storage medium | |
| KR20190056775A (en) | Apparatus and method for recognizing object of vehicle | |
| JP6477340B2 (en) | Road boundary detection device, self-position estimation device, and road boundary detection method | |
| CN110717007A (en) | Map data positioning system and method applying roadside feature identification | |
| JP5176523B2 (en) | Moving body detection apparatus, moving body detection method, and moving body detection program | |
| KR102568111B1 (en) | Apparatus and method for detecting road edge | |
| KR102049666B1 (en) | Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor | |
| JP2020017198A (en) | Information processing device | |
| JP6451544B2 (en) | Road boundary detection device, self-position estimation device, and road boundary detection method | |
| JP2022149109A (en) | Processing device, processing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200629 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6736931 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |