JP2013054522A - Road appurtenances detecting device, road appurtenances detecting method and program - Google Patents
Road appurtenances detecting device, road appurtenances detecting method and program Download PDFInfo
- Publication number
- JP2013054522A JP2013054522A JP2011191968A JP2011191968A JP2013054522A JP 2013054522 A JP2013054522 A JP 2013054522A JP 2011191968 A JP2011191968 A JP 2011191968A JP 2011191968 A JP2011191968 A JP 2011191968A JP 2013054522 A JP2013054522 A JP 2013054522A
- Authority
- JP
- Japan
- Prior art keywords
- road
- image
- wall surface
- candidate
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 103
- 238000001514 detection method Methods 0.000 claims abstract description 110
- 239000000284 extract Substances 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 83
- 238000000605 extraction Methods 0.000 claims description 29
- 238000010586 diagram Methods 0.000 description 24
- 238000009434 installation Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像及び、地物表面の三次元形状を表す点群データに基づいて、道路付属物を検出する道路付属物検出装置、道路付属物検出方法、及びプログラムに関する。 The present invention relates to a road accessory detection apparatus, a road accessory detection method, and a program for detecting a road accessory based on an image and point cloud data representing a three-dimensional shape of a feature surface.
道路には安全かつ円滑な交通の確保等を目的として様々な付属物が設置される。例えば、道路付属物として、信号機、道路標識、道路標示、ガードレール、交通情報板、横断歩道橋、歩道、分離帯、道路照明灯、道路反射鏡等が挙げられる。また、道路付属物に関して、道路法第2条に細目が規定されている。また道路付属物には交通安全施設と称されるものがある。道路付属物のうち信号機についてはその位置を記載した道路地図が既に存在する。他の道路付属物についても位置を取得すれば、例えば、地図情報として利用することができ、さらに高精度の道路地図を作ることが可能となる。
Various accessories are installed on the road for the purpose of ensuring safe and smooth traffic. Examples of road accessories include traffic lights, road signs, road markings, guardrails, traffic information boards, pedestrian bridges, sidewalks, separation zones, road lights, and road reflectors. In addition, regarding road accessories, details are stipulated in
従来、道路付属物の位置情報を取得する技術として、車載された単眼視カメラにより取得された二次元画像を用い、その輝度情報に基づいて解析を行いガードレールや白線を検出するものが下記特許文献1に開示されている。 Conventionally, as a technique for acquiring position information of road accessories, the following patent document discloses a technique that uses a two-dimensional image acquired by an on-vehicle monocular camera and performs analysis based on the luminance information to detect a guardrail and a white line. 1 is disclosed.
また、下記特許文献2には、ステレオカメラにより取得したステレオ画像から三次元位置データを算出してカードレール等の側壁を検出する技術が開示されている。
単眼視カメラで取得された画像を用いて道路付属物を検出する技術は、画像のスペクトル情報のみに基づいて解析を行うため、複雑な道路周辺環境において道路付属物に関する情報を正確に認識して抽出することは困難であると共に、位置情報の取得もできない。例えば、ガードレールと路面上の白線とを弁別することが困難である。 The technology for detecting road accessories using images acquired with a monocular camera performs analysis based only on the spectral information of the images, so it accurately recognizes information about road accessories in a complex road environment. It is difficult to extract and position information cannot be acquired. For example, it is difficult to discriminate between guardrails and white lines on the road surface.
ステレオカメラを用いる技術では、ステレオ画像から地物の三次元データを求める解析が複雑となり、しかも、ステレオマッチングにより三次元データが求められる点の密度は比較的粗いので高精度の解析は難しい。また、道路の周辺環境は複雑であるため、道路標識及びガ−ドレール等の道路付属物を安定して自動検出することは容易ではない。 In the technique using the stereo camera, the analysis for obtaining the three-dimensional data of the feature from the stereo image is complicated, and the density of the points where the three-dimensional data is obtained by stereo matching is relatively coarse, so that high-precision analysis is difficult. In addition, since the surrounding environment of the road is complicated, it is not easy to stably and automatically detect road accessories such as road signs and guardrails.
ここで、車載レーザを用いて路面や地物等に関する高密度の点群データを取得する技術があるが、当該技術では点群データにより表される形状から地物を推定することになる。そのため、道路付属物のうち、平板上に複数の色を用いて描かれた道路標識等についてはその表示内容の認識は困難である。また、従来、点群データをもとに地物を判読するためには人手を要しており、三次元CADで編集ツール等を利用して手作業で地物の抽出作業が行われていた。 Here, there is a technique for acquiring high-density point cloud data related to a road surface, a feature, or the like using an in-vehicle laser. In this technology, the feature is estimated from a shape represented by the point cloud data. Therefore, it is difficult to recognize the display content of road signs and the like drawn on a flat plate using a plurality of colors among road accessories. Conventionally, it has been necessary to manually read a feature based on point cloud data, and a feature extraction operation has been performed manually using an editing tool or the like in 3D CAD. .
本発明は、上記問題点を解決するためになされたものであり、道路付属物を高精度に自動的に検出することを可能とする道路付属物検出装置、道路付属物検出方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and includes a road accessory detection device, a road accessory detection method, and a program that can automatically detect a road accessory with high accuracy. The purpose is to provide.
本発明に係る道路付属物検出装置は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出するものであって、前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、を有する。 The road accessory detection device according to the present invention detects a road accessory in the target space based on an image of the target space and point cloud data representing the three-dimensional shape of the feature surface in the target space. A storage means for preliminarily storing a form feature of the detection target including information about at least one of an image feature of the road appendage to be detected and a shape, size, and arrangement in the target space. And an image dividing means for dividing the image into a plurality of partial image areas each having a pixel value having a predetermined similarity, and the partial image area based on the image features stored in the storage means. Among them, candidate image region extracting means for extracting a candidate image region corresponding to the detection target, wall surface detecting means for detecting the wall surface of the feature based on the point cloud data, Candidate wall surface extracting means for extracting a candidate wall surface corresponding to the detection target among the detected wall surfaces based on the morphological features stored in the storage means, the candidate image region, and the image shooting position. Collation means for collating the projected image of the candidate wall surface and detecting the detection object based on the collation result.
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出する構成とすることができる。 In the road accessory detection device according to the present invention, the collating means detects the guard rail that is the detection target in a region excluding a portion outside the road and a roadway portion of the road in the target space. Can do.
本発明に係る道路付属物検出装置において、前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出する構成とすることができる。また、本発明に係る当該道路付属物検出装置は、検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有する構成とすることができる。 In the road accessory detection apparatus according to the present invention, the verification means may detect the road sign that is the detection target in a region excluding a portion outside the road in the target space. Further, the road accessory detection device according to the present invention is a road sign identifying means for identifying a type or display content of the road sign by template matching in an image area corresponding to the road sign for the detected road sign. It can be set as the structure which has these.
他の本発明に係る道路付属物検出装置は、さらに、前記検出対象である道路標示を検出する道路標示検出手段と、前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、を有し、前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定する。また、本発明に係る当該道路付属物検出装置において、前記道路標示検出手段が、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別する構成とすることができる。 The road accessory detection device according to another aspect of the present invention further includes road marking detection means for detecting the road marking as the detection target, and a road surface image corresponding to the road surface in the image based on the point cloud data. Road image area extraction means for extracting an area, the candidate image area extraction means extracts a road marking candidate that is the candidate image area for the road marking, and the road marking detection means includes the road surface image The road marking candidate in the area is determined as the road marking. Further, in the road accessory detection device according to the present invention, the road marking detection unit can identify the content of the road marking by template matching for the road marking candidate determined to be the road marking. .
本発明に係る道路付属物検出方法は、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する方法であって、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、を有する。 The road accessory detection method according to the present invention is a method for detecting a road accessory in the target space based on an image of the target space and point cloud data representing a three-dimensional shape of the feature surface in the target space. An image dividing step for dividing the image into a plurality of partial image regions each having a pixel value having a predetermined similarity, and an image feature given in advance of the road accessory to be detected A candidate image region extraction step for extracting a candidate image region corresponding to the detection target from the partial image region, a wall surface detection step for detecting a wall surface of the feature based on the point cloud data, The wall surface detected based on a pre-given form feature including information on at least one of shape, size, and arrangement of the detection target in the target space A candidate wall surface extraction step for extracting a candidate wall surface corresponding to the detection target, the candidate image region, and a projection image of the candidate wall surface viewed from the image capturing position of the image are collated, and the detection is performed based on a collation result. And a collating step for detecting an object.
本発明に係るプログラムは、コンピュータに、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する処理を行わせるためのプログラムであって、当該コンピュータを、それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させる。 The program according to the present invention performs processing for detecting a road accessory in the target space based on an image obtained by photographing the target space and point cloud data representing the three-dimensional shape of the feature surface in the target space. An image dividing means for dividing the image into a plurality of partial image areas each having a pixel value having a predetermined similarity, and a detection target among the road accessories. A candidate image region extracting unit that extracts a candidate image region corresponding to the detection target from the partial image region based on an image feature given in advance, and detecting a wall surface of the feature based on the point cloud data Wall surface detection means, a pre-given shape including information on at least one of shape, size and arrangement of the detection target in the target space Candidate wall surface extraction means for extracting a candidate wall surface corresponding to the detection target among the detected wall surfaces based on characteristics, the candidate image region, and a projected image of the candidate wall surface viewed from the image capturing position And collating means for detecting the detection object based on the collation result.
本発明によれば、道路付属物を高精度に自動的に検出することが可能となる。 According to the present invention, road accessories can be automatically detected with high accuracy.
以下、本発明の実施の形態(以下実施形態という)である道路付属物検出システム2について、図面に基づいて説明する。本システムは、対象空間を撮影した画像及び当該対象空間における地物表面の三次元形状を表す点群データに基づいて、道路付属物を当該対象空間にて検出する道路付属物検出装置である。画像及び点群データは例えば、自動車にカメラ及びレーザスキャナを搭載したモービルマッピングシステムを用いて、道路を走行しながら取得することができる。
Hereinafter, a road
モービルマッピングシステムでは、レーザスキャナは自動車の上部に搭載され、周囲にレーザを照射する。レーザの光軸は仰俯角及び方位角を変えることにより垂直方向及び水平方向に走査され、走査範囲内にて微小角度ごとにレーザパルスが発射される。レーザの発射から反射光の受信までの時間に基づいて距離が計測され、またその際、レーザの発射方向、時刻、及び車体の位置・姿勢などが計測される。それら計測データから、レーザパルスを反射した点の三次元座標を表す点群データが求められる。点群データの取得と同時に、カメラを用いてカラー画像が撮影される。車体の位置・姿勢の計測は例えば、GPS/IMU(Global Positioning System:全地球測位システム、Inertial Measurement Unit:慣性計測装置)を用いて行われる。なお、レーザスキャナやカメラを地上に設置して計測を行っても良い。 In the mobile mapping system, the laser scanner is mounted on the top of the automobile and irradiates the surrounding area with a laser. The optical axis of the laser is scanned in the vertical and horizontal directions by changing the elevation angle and azimuth angle, and laser pulses are emitted every minute angle within the scanning range. The distance is measured based on the time from the laser emission to the reception of the reflected light, and at that time, the laser emission direction, time, and the position / posture of the vehicle body are measured. From these measurement data, point group data representing the three-dimensional coordinates of the point reflecting the laser pulse is obtained. Simultaneously with the acquisition of point cloud data, a color image is taken using a camera. The measurement of the position and orientation of the vehicle body is performed using, for example, a GPS / IMU (Global Positioning System: Inertial Measurement Unit). Measurement may be performed by installing a laser scanner or a camera on the ground.
点群データが地物表面の三次元形状を表すには地物表面の凹凸のスケールに応じた点密度でレーザスキャンが行われる必要があり、また、画像は道路標識の表示内容を判読可能な解像度で撮影される必要がある。この点、車両や三脚を用いて道路等の地上から行うレーザスキャンや画像撮影は、例えば、道路に沿って設置される道路標識、道路標示、ガードレールなどの道路付属物、及び道路近傍に建つ建物、塀及び看板などが有する垂直面(壁面)の形状や当該面の模様を捉えることができる程度の走査密度、画像解像度を実現できる。 In order for the point cloud data to represent the three-dimensional shape of the feature surface, it is necessary to perform laser scanning at a point density corresponding to the scale of unevenness on the feature surface. It needs to be shot at resolution. In this regard, laser scanning and image shooting performed from the ground such as roads using vehicles and tripods are, for example, road signs installed along roads, road markings, road accessories such as guardrails, and buildings built in the vicinity of roads In addition, it is possible to realize a scanning density and image resolution that can capture the shape of the vertical surface (wall surface) of the bag and the signboard and the pattern of the surface.
図1は、道路付属物検出システム2の概略の構成を示すブロック図である。本システムは、演算処理装置4、記憶装置6、入力装置8及び出力装置10を含んで構成される。演算処理装置4として、本システムの各種演算処理を行う専用のハードウェアを作ることも可能であるが、本実施形態では演算処理装置4は、コンピュータ及び、当該コンピュータ上で実行されるプログラムを用いて構築される。
FIG. 1 is a block diagram showing a schematic configuration of a road
当該コンピュータのCPU(Central Processing Unit)が演算処理装置4を構成し、後述する画像分割手段20、候補画像領域抽出手段22、壁面検出手段24、候補壁面抽出手段26、照合手段28、道路標識識別手段30、路面画像領域抽出手段32、及び道路標示検出手段34として機能する。
A CPU (Central Processing Unit) of the computer constitutes an
記憶装置6はコンピュータに内蔵されるハードディスクなどで構成される。記憶装置6は演算処理装置4を画像分割手段20、候補画像領域抽出手段22、壁面検出手段24、候補壁面抽出手段26、照合手段28、道路標識識別手段30、路面画像領域抽出手段32及び道路標示検出手段34として機能させるためのプログラム、及びその他のプログラムや、本システムの処理に必要な各種データを記憶する。例えば、記憶装置6は、処理対象データとして解析の対象空間の点群データ及び対象空間を撮影した画像を格納される。例えば、道路及びその近傍領域が解析の対象空間とされる。また、カメラ、レーザスキャナを搭載した車両の位置・姿勢を計測した車載GPS/IMUの計測データも記憶装置6に格納される。
The
また、記憶装置6は、道路付属物のうち検出対象とするものの画像特徴情報36及び、検出対象のコンフィグレーション(configuration)に関する情報、すなわち対象空間における形状、大きさ及び配置(位置、向き)の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴情報38を予め記憶する。
The
入力装置8は、キーボード、マウスなどであり、ユーザが本システムへの操作を行うために用いる。
The
出力装置10は、ディスプレイ、プリンタなどであり、本システムにより求められた道路付属物の対象空間内での位置を画面表示、印刷等によりユーザに示す等に用いられる。
The
例えば、本システムは、道路標識、道路標示及びガードレールを検出対象とする。道路標識は案内標識、警戒標識、規制標識、指示標識の4種類に大別される本標識と、さらに本標識の意味を補足するための補助標識がある。 For example, the present system uses road signs, road markings, and guardrails as detection targets. The road signs are classified into four types: guide signs, warning signs, regulatory signs, and instruction signs, and auxiliary signs for supplementing the meaning of the signs.
図2は道路標識の例を示す模式図である。案内標識は地名や交差点での行き先などの案内を示す標識である。基本的に、一般道路に関わる案内標識は青地に白で文字等が記され、自動車専用道路に関わる案内標識は緑地に白で文字等が記される。例えば、図2(a)に示す案内標識60は一般道路にて方面、方向及び距離を標示するものであり、青地の矩形平板に文字・記号が白で描かれ、これが画像上の特徴となる。一般道路の案内標識には白地平板に青で枠と表示内容とが描かれるものもある。また、矩形以外の形状の案内標識も存在し、例えば、図2(b)に示す国道番号の案内標識62は丸みを帯びた逆三角形であり、図2(c)に示す都道府県道番号の案内標識64は六角形である。また、一般道路の案内標識には白地青枠の平板に青で文字等を記すものもある。例えば、図2(d)に示す都府県の案内標識66は白地の矩形平板に青で枠66aと都府県の標示66bとが描かれる。
FIG. 2 is a schematic diagram showing an example of a road sign. A guide sign is a sign indicating information such as a place name or a destination at an intersection. Basically, information signs related to general roads are written in white on white, and information signs related to automobile roads are written on white in white. For example, the
警戒標識は警戒すべきことを示す標識である。図2(e)に示す警戒標識70は黄色地で菱形(対角線を鉛直及び水平方向に向けた正方形)の平板に黒枠70a及び基本的に黒色の絵柄70bが描かれる。
The warning sign is a sign indicating what should be warned. A
規制標識は何らかの行動を禁止・規制する標識であり、多くが丸型で、禁止・徹底事項は赤の縁取りで内側に青で文字や絵柄が描かれたり、赤の斜線が描かれたりする。例えば、図2(f)に示す通行止めの規制標識72には赤の縁取り72aの内側に赤の斜線72b及び青文字72cが描かれる。また、丸形や矩形の青地平板に白で絵柄を示す規制標識もある。
Restriction signs are signs that prohibit or restrict any action, and many are round, and prohibition and thorough matters are drawn with red borders and blue letters and pictures inside, or red diagonal lines. For example, a red-slashed
指示標識は何らかの許可や命令、横断歩道など道路上の施設を示す標識であり、多くは図2(g)に示す指示標識74のように正方形で青地74aに白で文字・図形74bが描かれる。
The instruction sign is a sign indicating a facility on the road such as some permission or instruction, a pedestrian crossing, and in many cases, like the
道路標識は道路交通法および道路法に基づいて設置されるものであり、上述のように道路標識の形状、色及び、文字・図形の内容又はその表示方式は予め規定されている。当該規定に基づく特徴が画像特徴情報36として記憶装置6に予め格納される。
The road sign is installed based on the road traffic law and the road law, and as described above, the shape and color of the road sign, the contents of characters / graphics, or the display method thereof are defined in advance. Features based on the rules are stored in advance in the
また、道路標識の大きさ、設置位置(高さ)についても規定が存在する。形態特徴情報38は、道路標識の形状、大きさ、又は配置に関する情報を含んで構成される。形態特徴情報38は、それらについて予め設けられている規定に基づいて抽出され記憶装置6に予め格納される。
There are also regulations regarding the size and installation position (height) of road signs. The
道路標示は道路交通法および道路法に基づき道路の路面に描かれた道路鋲、ペイント、石等による線、記号又は文字であり、例えば、路側帯や車線の境界線を示す白線などである。道路標示の画像特徴情報36として、予め規定された標示パターンや色が記憶装置6に格納される。例えば、色には白、オレンジなどが規定されている。道路標示の形態特徴情報38として、設置位置が路面であることが記憶装置6に予め記憶される。
The road marking is a line, a symbol or a character, which is drawn on the road surface of the road based on the road traffic law and the road law, for example, a white line indicating a roadside belt or a lane boundary line. As the image
ガードレールは、道路の路肩や歩道との境界や中央分離帯などに設けられる防護柵であり、80cm程度の高さに道路に沿って水平方向に鋼板などが延在される。標準的な色は白色であるが、景観に配慮して黄色など白色以外の色も用いられ、また高速道路や国道などでは灰色のものや銀色のものがある。ガードレールの画像特徴情報36として、水平方向に細長い形状や色が記憶装置6に格納される。また、形態特徴情報38として、形状、垂直方向の寸法の範囲、設置高さなどが記憶装置6に予め記憶される。
The guardrail is a protective fence provided at a boundary with a road shoulder or a sidewalk or a median strip, and a steel plate or the like extends horizontally along the road to a height of about 80 cm. The standard color is white, but colors other than white, such as yellow, are also used in consideration of the landscape, and there are gray and silver colors on expressways and national roads. As the
図3は、道路付属物検出システム2による道路標識及びガードレールを検出対象とした道路付属物検出処理の概略のフロー図である。この図3を参照しながら、演算処理装置4の当該処理に関係する各手段を説明する。
FIG. 3 is a schematic flowchart of the road appendage detection process for detecting road signs and guardrails by the road
画像分割手段20は、車載カメラにより撮影されたカラー画像において画素値が互いに類似する隣接画素をまとめることで当該画像から複数の断片を抽出する(S1)。これにより、画像は、画素値が所定の類似性を有する画素からなる複数の画像断片(セグメント)に分割される。ここでは当該各画像断片を部分画像領域と称する。部分画像領域に分割する処理は一般にセグメンテーションと称される手法により実現される。例えば、代表的なセグメンテーションの方式としてk平均法や平均シフト法が知られている。 The image dividing means 20 extracts a plurality of fragments from the image by grouping adjacent pixels having pixel values similar to each other in the color image taken by the in-vehicle camera (S1). As a result, the image is divided into a plurality of image fragments (segments) including pixels having pixel values having a predetermined similarity. Here, each image fragment is referred to as a partial image region. The process of dividing into partial image areas is generally realized by a technique called segmentation. For example, k-average method and average shift method are known as typical segmentation methods.
候補画像領域抽出手段22は画像特徴情報36を参照し、部分画像領域のうち検出対象の画像特徴(色彩、形状)を具備するものを候補画像領域として抽出する(S2)。
The candidate image
壁面検出手段24は車載レーザスキャナにより取得された点群データに基づいて地物の壁面を検出する(S3)。この壁面検出処理S3についてはさらに後述する。
The wall
候補壁面抽出手段26は形態特徴情報38を参照し、検出された壁面のうち検出対象の形態特徴(形状、大きさ、配置)を具備するものを候補壁面として抽出する(S4)。
The candidate wall surface extraction means 26 refers to the
照合手段28は候補画像領域と、画像の撮影位置から見た候補壁面の投影像とを照合し、照合結果に基づいて検出対象を検出する(S5)。具体的には、照合手段28は車載カメラの視点・視線方向に基づいて投影面を設定して、当該投影面への候補壁面の投影像を求める。そして、候補画像領域の画像内での位置・形状・大きさと、投影画像内での候補壁面の投影像の位置・形状・大きさとを比較して、互いの位置・形状・大きさが同じと見なせる所定の範囲内にあることにより対応関係にあると判断される候補画像領域と候補壁面との組を求める。
The collating
図4は検出対象が道路標識である場合の照合処理S5を説明するフロー図である。道路標識の水平面内の位置は道路(車道部分、歩道部分及び路肩)であり、当該道路より外側部分には道路標識は配置されない。そこで、照合手段28は、対象空間のうち道路より外側部分を除く領域で道路標識を検出する。つまり、道路標識の候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側であれば道路標識として検出しない(S10)。ここで水平面内での道路領域は予め得られている道路データを用いて判断することができる。また、車載レーザスキャナで取得した点群データを解析して、路面、道路沿いの建物の壁面位置、路肩や歩道の境界の段差位置を抽出することができ、当該解析結果を用いて道路標識が設置され得る道路領域を判断することもできる。 FIG. 4 is a flowchart for explaining the collation processing S5 when the detection target is a road sign. The position of the road sign in the horizontal plane is a road (a roadway part, a sidewalk part, and a shoulder), and no road sign is arranged outside the road. Therefore, the collation means 28 detects a road sign in an area excluding a portion outside the road in the target space. That is, when there is a candidate wall surface corresponding to the candidate image area of the road sign, the position in the horizontal plane is checked, and if it is outside the road, it is not detected as a road sign (S10). Here, the road area in the horizontal plane can be determined using road data obtained in advance. In addition, by analyzing the point cloud data acquired by the in-vehicle laser scanner, the road surface, the wall surface position of the building along the road, the step position of the road shoulder and the boundary of the sidewalk can be extracted. It is also possible to determine road areas that can be installed.
なお、上述の水平面内の位置に基づく道路標識の候補の絞り込みを照合手段28で行う代わりに、候補壁面抽出手段26が道路より外側部分を除く領域で道路標識の候補壁面を抽出するように構成してもよい。
The candidate wall
照合手段28は、道路標識について上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う(S11)。道路標識の設置高さについては路側式、片持式、門型式及び添架式といった設置方法ごとに設置基準が設けられている。照合手段28はレーザ点群データに基づく候補壁面の高さを用い、当該高さが道路標識の設置基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない。ここで、路側式の高さは比較的低い範囲に定められており、一方、標識の下を車両が通過する片持式、門型式及び添架式では比較的高い範囲が規定されている。そこで、水平面内の候補壁面の位置が路肩や歩道の縁である場合には路側式の設置基準に応じた高さ範囲の候補に絞り込み、一方、水平面内の候補壁面の位置が車道内である場合には片持式、門型式及び添架式の設置基準に応じた高さ範囲の候補に絞り込む構成とすることができる。 In addition to narrowing down candidates based on the above-described position in the horizontal plane for the road sign, the matching means 28 further narrows down candidates based on height (S11). Regarding the installation height of road signs, there is an installation standard for each installation method such as roadside, cantilever, gate-type, and attachment-type. The matching means 28 uses the height of the candidate wall surface based on the laser point cloud data. If the height does not conform to the road sign setting standard, the road sign is present even if a candidate image region corresponding to the candidate wall surface exists. Does not detect as. Here, the height of the roadside type is set to a relatively low range, while the cantilever type, the gate type, and the attachment type in which the vehicle passes under the sign defines a relatively high range. Therefore, if the position of the candidate wall surface in the horizontal plane is the edge of the shoulder or sidewalk, the candidate is narrowed down to the height range according to the roadside installation standards, while the position of the candidate wall surface in the horizontal plane is within the roadway In this case, it is possible to adopt a configuration that narrows down to height range candidates according to cantilever type, gate type, and attachment type installation standards.
また、道路標識の大きさについても基準が定められており、照合手段28はレーザ点群データに基づく候補壁面の大きさを用い、当該大きさが道路標識の基準に適合していない場合、当該候補壁面に対応する候補画像領域が存在しても道路標識として検出しない(S12)。 Also, a standard is set for the size of the road sign, and the matching means 28 uses the size of the candidate wall surface based on the laser point cloud data, and if the size does not conform to the standard of the road sign, Even if a candidate image region corresponding to the candidate wall surface exists, it is not detected as a road sign (S12).
互いに対応する候補画像領域と候補壁面との組のうち、上記処理S10〜S12による絞り込みで残ったものは道路標識であると確定される。 Of the set of candidate image areas and candidate wall surfaces corresponding to each other, the remaining one after the narrowing down by the above-described processing S10 to S12 is determined to be a road sign.
ここで、ステップS2において、光線の加減で画像上での色彩が不鮮明になったり、道路標識の一部が樹木などで隠されるなどして、道路標識に応じた形状に候補画像領域が抽出されないといった影響により、照合が成立せず抽出漏れが生じる可能性がある。照合手段28は当該抽出漏れを補正する構成とすることができる(S13)。例えば、道路標識の設置基準を満たす位置・大きさの候補壁面のうち、道路標識の候補画像領域に対応するものが見つからなかったものについて、当該候補壁面の上記投影像に対応する領域の画像情報に基づき道路標識であるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、道路標識に用いられる各色(青、緑、赤、黄、白、黒)の強度や色の強度のバランスから道路標識であるか否か、またどの種類の標識である可能性が高いかを判定することができる。また、当該判定に際しては、候補壁面の位置・形状・大きさを考慮してもよい。例えば、黄色と黒が多く存在する場合に、形状が菱形であれば道路標識である、または警戒標識であると判定するが、丸形のように他の形状であれば道路標識ではないと判定することができる。 Here, in step S2, the candidate image region is not extracted in a shape corresponding to the road sign because the color on the image becomes unclear due to the adjustment of light rays, or a part of the road sign is hidden by a tree or the like. As a result, collation may not be established and extraction may occur. The verification means 28 can be configured to correct the extraction omission (S13). For example, image information of an area corresponding to the projected image of the candidate wall surface of a candidate wall surface of a position and size that satisfies a road sign installation standard that does not correspond to the candidate image area of the road sign is found. It is determined whether it is a road sign based on. For example, a color histogram of pixel values in a region corresponding to the projection image is obtained, and the road sign is obtained from the intensity of each color (blue, green, red, yellow, white, black) used for the road sign and the balance of the color intensity. It is possible to determine whether or not, and what kind of sign is likely to be. In the determination, the position / shape / size of the candidate wall surface may be taken into consideration. For example, when there are a lot of yellow and black, if the shape is a diamond, it is determined to be a road sign or a warning sign, but if it is another shape such as a round shape, it is determined not to be a road sign can do.
照合手段28はガードレールについても上述の道路標識についてと似た処理を行う。 図5は検出対象がガードレールである場合の照合処理S5を説明するフロー図である。ガードレールの水平面内の位置は基本的に路肩部分又は車道と歩道との境界部分や、中央分離帯の部分であり、当該道路(路肩)より外側部分、及び車道内(車両が走行する領域であり中央分離帯部分は除かれる)にはガードレールは配置されない。そこで、照合手段28は、対象空間のうち道路より外側部分及び車道部分を除く領域でガードレールを検出する。つまり、ガードレールの候補画像領域に対応する候補壁面が存在した場合、その水平面内の位置を調べ、道路より外側又は車道内であればガードレールとして検出しない(S15)。 The collating means 28 performs a process similar to that for the road sign described above for the guardrail. FIG. 5 is a flowchart for explaining the collation processing S5 when the detection target is a guardrail. The position of the guardrail in the horizontal plane is basically the road shoulder, the boundary between the roadway and the sidewalk, and the median strip, the outer part of the road (shoulder), and the roadway (the area where the vehicle travels) No guardrails are placed on the median strip). Therefore, the collating means 28 detects the guardrail in an area excluding the outer portion and the roadway portion from the road in the target space. That is, when there is a candidate wall surface corresponding to the candidate image area of the guardrail, the position in the horizontal plane is checked, and if it is outside the road or inside the roadway, it is not detected as a guardrail (S15).
なお、上述の水平面内の位置に基づくガードレールの候補の絞り込みを照合手段28で行う代わりに、候補壁面抽出手段26が道路より外側部分と車道部分とを除く領域でガードレールの候補壁面を抽出するように構成してもよい。
The candidate wall
照合手段28は、ガードレールについて上述の水平面内の位置に基づく候補の絞り込みに加えてさらに、高さに基づく候補の絞り込みを行う(S16)。また、照合手段28はレーザ点群データに基づいて候補壁面の大きさ、向きを計算し、それらがガードレールに適合していない場合、当該候補壁面に対応する候補画像領域が存在してもガードレールとして検出しない(S17)。 The collating means 28 further narrows down the candidates based on the height in addition to the narrowing down of candidates based on the above-described position in the horizontal plane for the guardrail (S16). Further, the collating means 28 calculates the size and direction of the candidate wall surface based on the laser point cloud data, and if they do not match the guard rail, it is used as a guard rail even if a candidate image region corresponding to the candidate wall surface exists. It is not detected (S17).
互いに対応する候補画像領域と候補壁面との組のうち、上記処理S15〜S17による絞り込みで残ったものはガードレールであると確定される。 Of the set of candidate image regions and candidate wall surfaces corresponding to each other, the remaining one after the narrowing down by the above-described processing S15 to S17 is determined to be a guardrail.
ここで、照合手段28はガードレールについても抽出漏れを補正する構成とすることができる(S18)。例えば、ガードレールの候補壁面に対応する候補画像領域が見つからなかった場合、当該候補壁面の投影像に対応する領域の画像情報に基づきガードレールであるか否かを判定する。例えば、当該投影像に対応する領域の画素値の色ヒストグラムを求め、白色が多ければガードレールと判定することができる。 Here, the collating means 28 can be configured to correct the extraction omission also for the guardrail (S18). For example, when a candidate image area corresponding to a candidate wall surface of the guard rail is not found, it is determined whether or not it is a guard rail based on image information of an area corresponding to the projected image of the candidate wall surface. For example, a color histogram of pixel values in a region corresponding to the projected image is obtained, and if there is much white, it can be determined as a guardrail.
以上、図3の照合処理S5について図4、図5を用いて説明した。演算処理装置4は照合処理S5に続いて図3に示すように道路標識の識別処理S6、及び検出された道路標識及びガードレールの位置決定処理S7を行う。
The collation process S5 in FIG. 3 has been described with reference to FIGS. Subsequent to the collating process S5, the
道路標識識別手段30は道路標識の識別処理を行い、標識の種類(案内標識、警戒標識、規制標識、指示標識、補助標識のいずれであるか)、又は表示内容を識別する(S6)。道路標識識別手段30は道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する。道路標識の種類や表示内容のテンプレートは予め記憶装置6に、例えば画像特徴情報36として格納される。あるいは、予め道路標識データベースが得られている場合にはこれを記憶装置6に格納し、画像特徴情報36の代わりに用いてもよい。道路標識には表示内容が予め定まっているものと、地名や距離などに応じて表示内容が変更されるものとがある。これらのうち表示内容が予め固定されているものについては、その内容をテンプレートとして記憶装置6に格納し、これを道路標識と確定された候補画像領域とマッチング処理して、標識種類や表示内容が識別される。表示内容に地名や距離など変更される部分を含むものについては、当該変更される部分を除いたテンプレートが予め記憶装置6に格納されマッチング処理に用いられ、標識種類を識別することができる。この場合、地名や距離などの画像部分を別途、文字認識して表示内容まで特定することも可能である。なお、テンプレートマッチングは、候補壁面から所定距離離れた正面位置から見た画像としてテンプレートを記憶しておき、候補壁面の位置情報を用いて、例えば、候補画像領域の画像を候補壁面の正面から見た画像に変換するか、逆にテンプレートを候補画像領域に合わせて三次元空間内で座標変換した上で行うことが好適である。
The road
演算処理装置4は、上述のようにして確定された道路標識及びガードレールについて、車載GPS/IMUの計測データを用いて位置を求める(S7)。例えば、確定された道路標識及びガードレールについて、演算処理装置4は、候補壁面、候補画像領域(又は候補壁面の投影像に対応する領域の画像)、道路標識の種類・表示内容、及び位置を検出結果として記憶装置6に記憶したり出力装置10に出力したりする。
The
図6は、道路付属物検出システム2による道路標示を検出対象とした道路付属物検出処理の概略のフロー図である。候補画像領域抽出手段22は画像分割手段20により得られた部分画像領域の中から、道路標示についての候補画像領域(道路標示候補)を抽出する(S20)。記憶装置6には予め道路標示の画像特徴情報36が格納される。あるいは、予め道路標示データベースが得られている場合にはこれを記憶装置6に格納し、画像特徴情報36の代わりに用いてもよい。候補画像領域抽出手段22はこれらを用いて、特徴情報や画像の対比により道路標示候補を抽出する。
FIG. 6 is a schematic flowchart of a road accessory detection process for detecting road markings by the road
道路標示の位置は道路面である。そこで、路面画像領域抽出手段32は、レーザ点群データに基づいて、画像にて道路面に対応する路面画像領域を抽出する。そして、道路標示検出手段34は道路標示候補の画像における位置が路面画像領域内であるか否かを調べ、路面画像領域内であれば当該道路標示候補を道路標示と判定する(S21)。さらに、道路標示検出手段34は、道路標示の表示内容(標示パターンや色)を識別してもよい。この場合、道路標示の表示内容を画像特徴情報36や道路標示データベースとして記憶装置6に格納し、道路標示検出手段34はこれを道路標示と判定した道路標示候補とマッチング処理して、表示内容を識別する。なお、テンプレートマッチングは、道路標示候補から道路面法線方向に所定距離離れた位置から見た画像としてテンプレートを記憶しておき、レーザ点群データが表す位置情報を用いて、例えば、道路標示候補の画像を道路面法線方向から見た画像に変換するか、逆にテンプレートを道路標示候補に合わせて三次元空間内で座標変換した上で行うことが好適である。
The position of the road marking is the road surface. Therefore, the road surface image
図7は車載カメラで撮影した画像の模式図であり、路側式の道路標識80、片持式の道路標識82、ガードレール84、道路標示86が撮影されている。図8は図7の画像を画像分割手段20により処理した結果を示す模式図であり、複数の部分画像領域90に分割される。
FIG. 7 is a schematic diagram of an image photographed by an in-vehicle camera. A
次に、壁面検出処理S3について説明する。図9は壁面検出手段24の概略の構成を示すブロック図である。壁面検出手段24は、部分空間設定手段40、部分空間選択手段42、ブロック空間設定手段44、水平面内探索手段46、垂直位置決定手段48、壁面形状決定手段50、追跡手段52、及び壁面要素登録手段54を有する。
Next, the wall surface detection process S3 will be described. FIG. 9 is a block diagram showing a schematic configuration of the wall
図10は、壁面検出手段24による壁面抽出処理の概略のフロー図である。この図10を参照しながら、壁面検出手段24を構成する各手段を説明する。 FIG. 10 is a schematic flowchart of wall surface extraction processing by the wall surface detection means 24. Each means which comprises the wall surface detection means 24 is demonstrated referring this FIG.
部分空間設定手段40は、対象空間を垂直面によって分割して得られる柱状の複数の部分空間を壁面抽出の処理の初期の単位空間として設定する(S40)。本実施形態では、部分空間設定手段40は、対象空間を水平面(XYZ直交座標系でX−Y平面とする)内にて二次元直交格子(メッシュ)状に分割して四角柱形状の部分空間を生成する。例えば、部分空間の水平断面は幅W及び奥行きDが50cmの正方形とすることができる。部分空間の高さHは対象空間の高さ(Z軸方向の寸法)と一致させることができ、その高さは検出目的とする壁面の高さ、具体的には道路標識やガードレールが配置された高さより大きく設定される。なお、部分空間設定手段40を構成するプログラムでは、幅W、奥行きD及び高さHはパラメータ化されており、例えば、ユーザが入力装置8を用いて変更することができる。
The partial space setting means 40 sets a plurality of columnar partial spaces obtained by dividing the target space by vertical planes as initial unit spaces for wall surface extraction processing (S40). In this embodiment, the partial space setting means 40 divides the target space into a two-dimensional orthogonal lattice (mesh) in a horizontal plane (XY plane in the XYZ orthogonal coordinate system) and forms a quadrangular prism-shaped partial space. Is generated. For example, the horizontal cross section of the partial space can be a square having a width W and a depth D of 50 cm. The height H of the partial space can coincide with the height of the target space (dimension in the Z-axis direction), and the height is the height of the wall surface to be detected, specifically, road signs and guardrails are arranged. It is set larger than the height. In the program constituting the partial
部分空間選択手段42は部分空間のうち予め設定した閾値以上の高低差を有する点群を含むものを注目部分空間として選択する。具体的には、部分空間選択手段42は、複数設定された部分空間を所定の順序で選択し、当該部分空間内の点群に閾値以上の高低差が存在する場合に、当該部分空間を注目部分空間とする。上述したように点群データは道路上の車両に搭載されたレーザスキャナからのレーザ照射によって取得され、当該レーザスキャナから見える壁面が点群データによる三次元形状上に捉えられる。そこで、部分空間選択手段42は例えば、当該三次元形状にて道路等に対応する平面の部分に基づいて基準平面を決定し、また、道路に沿って道幅内に水平に当該三次元形状の中心線を設定する(S42)。そして、当該中心線に沿って順番に部分空間の選択の起点を設定し、中心線に直交する線に沿って両側方向に当該起点から近い順に部分空間を選択して(S44)、選択した部分空間内の点群の高低差が閾値以上であれば当該部分空間を注目部分空間と判定する(S46)。
The partial space selection means 42 selects a partial space including a point group having a height difference equal to or higher than a preset threshold value as a target partial space. Specifically, the
ブロック空間設定手段44は、注目部分空間を水平面によって分割して、縦に積み重なる複数のブロック空間を設定する(S48)。例えば、ブロック空間の高さHBは部分空間の幅W、奥行きDと同程度に設定することができる。
The block
水平面内探索手段46は、ブロック空間ごとに、水平面内にて当該水平面に射影された点群が予め設定した基準以上に近傍に集まる線分を探索して、当該線分を水平面内における壁面の位置(水平面内壁面位置)と定める(S50)。ブロック空間ごとに水平面内壁面位置を探索することで、垂直方向に細長い注目部分空間にて異なる高さに存在し得る、位置・向きが相違した複数の壁面を弁別できる。 For each block space, the horizontal plane search means 46 searches for a line segment where the point group projected onto the horizontal plane in the horizontal plane gathers in the vicinity of a predetermined reference or more, and finds the line segment on the wall surface in the horizontal plane. It is determined as a position (horizontal wall surface position) (S50). By searching for the position of the wall surface in the horizontal plane for each block space, it is possible to discriminate between a plurality of wall surfaces with different positions and orientations that may exist at different heights in the subspace that is elongated in the vertical direction.
垂直位置決定手段48は、対象空間にて水平面内壁面位置に存在する壁面の垂直方向の位置を求める(S52)。具体的には、垂直位置決定手段48は、注目部分空間にて検出される水平面内壁面位置ごとに、当該注目部分空間の点群のうち水平面への射影位置が当該水平面内壁面位置から予め設定した距離内にあるものを注目点群として抽出する。そして、水平面内壁面位置ごとに抽出された注目点群について、垂直方向の位置に関して当該注目点群が予め設定した閾値以上存在する各範囲を当該水平面内壁面位置での垂直方向壁面位置と定める。これにより、或るブロック空間で検出された水平面内壁面位置に基づいて、当該ブロック空間以外の高さ範囲にて当該水平面内壁面位置に存在する壁面も検出される。例えば、連続する複数のブロック空間に跨がる壁面について一つの垂直方向壁面位置が定められる。また、高さ方向に分離した複数の壁面が同じ水平面内壁面位置に存在する、つまり壁面が垂直方向に階層をなす場合には、それら階層をなす壁面それぞれについて垂直方向壁面位置が求められる。 The vertical position determining means 48 obtains the vertical position of the wall surface existing at the horizontal wall surface position in the target space (S52). Specifically, the vertical position determining means 48 presets, for each horizontal inner wall surface position detected in the target partial space, a projection position on the horizontal surface among the point group of the target partial space from the horizontal inner wall surface position. What is within the distance is extracted as a point of interest group. Then, for the attention point group extracted for each horizontal plane inner wall surface position, each range in which the attention point group is equal to or greater than a preset threshold with respect to the vertical position is defined as the vertical wall surface position at the horizontal plane inner wall position. Thereby, based on the horizontal plane inner wall surface position detected in a certain block space, the wall surface which exists in the said horizontal plane inner wall surface position in the height range other than the said block space is also detected. For example, one vertical wall surface position is determined for a wall surface extending over a plurality of continuous block spaces. In addition, when a plurality of wall surfaces separated in the height direction exist at the same horizontal plane wall surface position, that is, when the wall surfaces form a hierarchy in the vertical direction, the vertical wall surface position is obtained for each of the wall surfaces forming the hierarchy.
水平面内壁面位置と当該水平面内壁面位置に対する垂直方向壁面位置との組は、注目部分空間内の一枚の壁面の配置を表す。当該壁面は当該注目部分空間の外側、つまり横方向に広がるより大きな壁面の一部であり得ることから、ここでは壁面要素と称する。 A set of a horizontal plane inner wall surface position and a vertical wall surface position with respect to the horizontal plane inner wall surface position represents an arrangement of one wall surface in the target partial space. Since the wall surface may be a part of a larger wall surface that extends outside the target partial space, that is, in the lateral direction, it is referred to as a wall surface element here.
壁面形状決定手段50は、水平面内壁面位置において各垂直方向壁面位置に存在する壁面要素の形状を、当該垂直方向壁面位置での注目点群の分布範囲に基づいて求める(S54)。具体的には、壁面形状決定手段50は、水平面内壁面位置を通る鉛直面にて注目点群を射影し、射影された点群の分布範囲に基づいて壁面要素の形状を求める。当該形状は、平行な2辺である上底及び下底を鉛直方向に設定され、かつ鉛直面に射影された点群の分布範囲を近似する台形とされる。
The wall surface
追跡手段52は、既に検出されている水平面内壁面位置における垂直方向壁面位置ごとに、当該水平面内壁面位置の端部に連なる新たな水平面内壁面位置を求める(S56)。追跡手段52は壁面要素の横方向に隣接する直方体の空間を設定し、当該隣接空間内の点群を水平面に射影し、射影された点群が予め設定した基準以上に近傍に集まる線分を探索して新たな水平面内壁面位置と定める。当該処理を順次繰り返すことで、注目部分空間にて特定された壁面要素から横方向に連続する壁面の水平面内壁面位置がトレースされる。 The tracking means 52 obtains a new horizontal plane inner wall surface position connected to the end of the horizontal plane inner wall surface position for each vertical wall surface position in the horizontal plane inner wall surface position that has already been detected (S56). The tracking means 52 sets a rectangular parallelepiped space in the lateral direction of the wall surface element, projects a point cloud in the adjacent space onto a horizontal plane, and creates a line segment where the projected point group gathers in the vicinity of a preset reference or more. A new horizontal plane inner wall surface position is determined by searching. By sequentially repeating the process, the horizontal wall surface position of the wall surface that continues in the horizontal direction from the wall surface element specified in the target partial space is traced.
具体的には、隣接空間は、平面形状が既検出の水平面内壁面位置の端部に短辺の中点を接続された長方形である直方体に設定される。ここでは、当該長方形の長辺に沿った中心線を水平面内での隣接空間の向きとする。また、当該隣接空間の高さ、つまり直方体の上面と底面とで定義される垂直方向の範囲は、垂直方向壁面位置に対応した位置に配置される。 Specifically, the adjacent space is set to a rectangular parallelepiped whose planar shape is a rectangle in which the midpoint of the short side is connected to the end of the detected horizontal plane inner wall surface position. Here, the center line along the long side of the rectangle is the direction of the adjacent space in the horizontal plane. Further, the vertical range defined by the height of the adjacent space, that is, the upper surface and the bottom surface of the rectangular parallelepiped is arranged at a position corresponding to the vertical wall surface position.
追跡手段52はまず、既検出の水平面内壁面位置を真っ直ぐに延長した向きに隣接空間を設定する。つまり、隣接空間はその平面形状の長方形の上記中心線が既検出の水平面内壁面位置の延長線に一致するように配置される。そして、当該隣接空間内に点群が予め設定した基準以上に集まる場合には当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。一方、既検出の水平面内壁面位置の延長線に向きを一致させて設定した隣接空間にて新たな水平面内壁面位置が検出されなかった場合は、追跡手段52は隣接空間の向きを変化させて水平面内壁面位置を探す。つまり、向きを変化させた隣接空間のうち内部に最も点群が集まるものを探索し、得られた当該隣接空間内の点群の水平面内での分布に沿った線分を新たな水平面内壁面位置とする。
First, the
上述のようにして対象空間にて検出された壁面要素に関する情報は壁面要素登録手段54により記憶装置6に登録される。登録された壁面要素の形状の情報や接続関係の情報は道路標識やガードレールの壁面形状の認識に用いられる他、道路端の段差や沿道の建物の形状把握に用いることができる。
Information regarding the wall surface element detected in the target space as described above is registered in the
以下、壁面検出手段24の処理例をより詳しく説明する。図11、図12、図14、図17〜図24は、演算処理装置4が実行する一連の処理の流れを分割して示す処理フロー図である。図11に示す処理は上述した部分空間設定手段40及び部分空間選択手段42による処理に当たる。壁面検出手段24が壁面抽出処理を開始すると(S60)、部分空間設定手段40は、対象空間内に部分空間を順次作成する。例えば、対象空間をX軸方向及びY軸方向に沿ってメッシュ状に分割する場合、部分空間の幅W及び奥行きDがパラメータとして設定されると、それらが当該メッシュの間隔(部分空間のサイズ)となり、対象空間のサイズに応じてX,Y各方向の部分空間の配列個数が定まる。当該配列個数により、X,Y各方向の部分空間の位置を示すインデックスの範囲が決定される。部分空間設定手段40は、部分空間の二次元メッシュ状の配置を表すインデックスを所定の順番で変更し、設定されたインデックスに応じた位置(X,Y各方向の座標範囲)で定義される部分空間を設定する(S62)。
Hereinafter, a processing example of the wall
ここで、道路を走行する車両上からレーザ照射を行い点群データを取得した場合、上述したように、点群データが表す三次元形状にて道路等に対応する平面の部分に基づいて基準平面が設定され、道路に沿って当該三次元形状の中心線が設定される。説明を簡単にするために、当該中心線をX軸(つまりY=0)とし、車両が走行する方向にX方向のインデックスが増加し、道幅方向に対応するY方向に関しては、中心線から離れるに従ってインデックスの絶対値が増加するものとする。例えば、Y方向のインデックスは中心線の位置では0とし、走行方向に対して左向きに、1,2,3,…と設定し、右向きには−1,−2,−3,…と設定することができる。この場合、部分空間設定手段40は例えば、X方向のインデックスを順番にインクリメントし、X方向のインデックスの各値にて、Y軸の正方向と負方向との両方向にY方向のインデックスを変化させる。すなわち、部分空間設定手段40はX方向の或るインデックスの値にて、Y方向のインデックスを0から順番に増加させて部分空間を設定し、また−1から順番に減少させて部分空間を設定する。 Here, when the point cloud data is acquired by performing laser irradiation from the vehicle traveling on the road, as described above, the reference plane is based on the portion of the plane corresponding to the road or the like in the three-dimensional shape represented by the point cloud data. Is set, and the center line of the three-dimensional shape is set along the road. In order to simplify the explanation, the center line is assumed to be the X axis (ie, Y = 0), the index in the X direction increases in the direction in which the vehicle travels, and the Y direction corresponding to the road width direction leaves the center line. It is assumed that the absolute value of the index increases according to For example, the index in the Y direction is set to 0 at the position of the center line, set to 1, 2, 3,... To the left with respect to the traveling direction, and set to -1, -2, -3,. be able to. In this case, for example, the subspace setting means 40 sequentially increments the index in the X direction, and changes the index in the Y direction in both the positive and negative directions of the Y axis at each value of the X direction index. . That is, the subspace setting means 40 sets the subspace by increasing the index in the Y direction sequentially from 0 at a certain index value in the X direction, and sets the subspace by decreasing in order from -1. To do.
インデックス指定されたメッシュの部分空間が未処理のものであれば(S64にて「No」の場合)、部分空間選択手段42は当該部分空間内の点群を例えば、ハードディスク等の記憶装置6からRAM(Random Access Memory)等の作業領域に取り込む(S66)。部分空間に取り込んだ点群内に所定閾値Th1以上の高低差がある場合(S68にて「Yes」の場合)には、部分空間選択手段42は当該部分空間を注目部分空間と判断して、当該注目部分空間での水平面内壁面位置や垂直方向壁面位置の探索等の処理が開始される(図12のノードBへ処理が進む)。例えば、閾値Th1は道路等の地表の略平坦な部分のみを含む部分空間を排除できる程度に小さく設定することができる。また、閾値Th1を、壁面を検出しようとする地物の高さに応じて設定して、関心のない低い地物の壁面は検出しないようにすることもできる。例えば、道路標識を検出対象としてガードレールは検出対象としない場合には閾値Th1を1m程度に設定することができる。
If the index-designated mesh subspace is unprocessed (in the case of “No” in S64), the
設定した部分空間から取り込んだ点群の高低差が閾値Th1未満である場合(S68にて「No」の場合)には、当該部分空間における壁面抽出処理は行わない。この場合は、部分空間設定手段40が次の部分空間を設定する(ノードAへ処理が戻る)。 When the difference in level of the point cloud captured from the set partial space is less than the threshold Th1 (in the case of “No” in S68), the wall surface extraction process in the partial space is not performed. In this case, the partial space setting means 40 sets the next partial space (the process returns to node A).
全てのメッシュについて処理が終わっている場合は(S64にて「Yes」の場合)、演算処理装置4は壁面抽出の処理を終える(S70)。
When the processing has been completed for all the meshes (in the case of “Yes” in S64), the
図12は演算処理装置4が実行する一連の処理のうち上述したブロック空間設定手段44及び水平面内探索手段46が行う部分の概略の処理フロー図である。
FIG. 12 is a schematic process flow diagram of a part performed by the block
ブロック空間設定手段44は、注目部分空間を一定の高さHBごとに水平面により分割して、縦に積み重なる複数のブロック空間を設定し、各ブロック空間内に位置する点群のデータを記憶装置6からRAM等の作業領域に取り込む(S80)。例えば、部分空間の幅W、奥行きDを50cmとする場合にはブロック空間の高さHBは20〜50cmとすることができる。当該分割により設定されるブロック空間の段数をn段とし、インデックスIを用いて下から順に第I階(I=1,2,…,n)と表す。
Block
水平面内探索手段46はn段のブロック空間を順番に選択して、当該ブロック空間にエッジ(水平面内壁面位置)が存在するかを調べる。例えば、水平面内探索手段46はインデックスIを1ずつ増加させて、エッジの存在を調べるブロック空間を選択する(S82,S84)。水平面内探索手段46は、選択した第I階のブロック空間にエッジが存在するかを調べ(S86)、存在しない場合には(S88にて「No」の場合)次のブロック空間を選択する(S84)。なお、Iがnを越えた場合には、図11のノードAに戻り、次の注目部分空間を探す(S90)。 The horizontal plane search means 46 sequentially selects the n-stage block space and checks whether an edge (horizontal wall surface position) exists in the block space. For example, the horizontal plane search means 46 increases the index I by 1 and selects a block space for examining the presence of an edge (S82, S84). The horizontal plane search means 46 checks whether an edge exists in the selected block space on the first floor (S86), and if it does not exist (if “No” in S88), selects the next block space ( S84). If I exceeds n, the process returns to node A in FIG. 11 to search for the next target subspace (S90).
図13はブロック空間でのエッジの探索処理S86を説明する模式図である。図13は、ブロック空間を上面から見た図であり、ブロック空間の幅W及び奥行きDで定義される矩形100と、ブロック空間内の点群のX−Y面内での配置の一例が示されている。水平面内探索手段46は、ブロック空間内の点群から任意の2つのデータ点PA,PBを選択し、それら2点を両端とするX−Y面内での線分L0をエッジの候補線として設定すると共に、線分L0を中心としてその両側にそれぞれ幅w(合計幅2w)の帯状領域EAを設定する。水平面内探索手段46は点群のうちX−Y平面での座標が当該領域EA内に位置するデータ点の個数をカウントする。データ点が領域EA内であるか否かは例えば、X−Y平面上での当該データ点から線分L0への垂線の長さがw以下であるか否かによって判定可能である。また、エッジの条件として、領域EA内の点群が表す三次元形状が平坦でないことを課す。具体的には、水平面内探索手段46は、領域EA内に包含されるデータ点の高低差(最大標高と最小標高との差)ΔZが予め設定した段差閾値γ以上であれば平坦ではないと判定する。
FIG. 13 is a schematic diagram for explaining the edge search processing S86 in the block space. FIG. 13 is a top view of the block space, showing an example of the arrangement of the
ここで、幅wはパラメータであり、壁面に対応するデータ点のエッジに直交する方向の位置のばらつきを吸収する。例えば、wは3cm程度とすることができる。また、高低差の閾値γは例えば2cm程度に設定できる。 Here, the width w is a parameter and absorbs the variation in the position in the direction orthogonal to the edge of the data point corresponding to the wall surface. For example, w can be about 3 cm. The height difference threshold γ can be set to about 2 cm, for example.
水平面内探索手段46は、ブロック空間内の2つのデータ点の全ての組み合わせについて候補線を設定して上述の判定を行い、領域EA内に最もデータ点が多く集まり、かつΔZが閾値γ以上である線分L0をブロック空間にて見つけられたエッジとする。エッジが存在した場合には(S88にて「Yes」の場合)、当該エッジが壁面要素を決定するための処理を行われていない新規なものであるか判定される(S92)。当該判定は、壁面要素を決定するための処理の対象とされたエッジを登録したリストを検索して、処理S86で見つけられたエッジと同一のものが存在するか否かに基づいて行われる。リストに同一のものが存在しなければ新規なエッジと判定し(S92にて「No」の場合)、リストにエッジの両端PA,PBの座標(ax,ay),(bx,by)を登録する(S94)。このように或るブロック空間にて新たなエッジが検出されると、当該エッジについて当該注目部分空間での垂直方向壁面位置の探索、及び壁面要素の形状の決定が行われる(図14のノードDへ処理が進む)。一方、処理S86にて見つけられたエッジと同一のエッジが他のブロック空間についての処理で既にリストに登録されると共に、垂直方向壁面位置の探索等の処理が行われている場合もあり、その場合は(S92にて「Yes」の場合)、当該エッジについてのリストへの登録や垂直方向壁面位置の探索等の処理は省略され、水平面内探索手段46は次のブロック空間について処理を行う(ノードCへ処理が戻る)。 The horizontal plane search means 46 sets the candidate lines for all combinations of two data points in the block space and performs the above-described determination, and the most data points gather in the area EA, and ΔZ is greater than or equal to the threshold value γ. A line segment L0 is an edge found in the block space. If an edge exists (“Yes” in S88), it is determined whether the edge is a new one that has not been subjected to processing for determining a wall surface element (S92). The determination is performed based on whether or not the same edge as the edge found in the process S86 exists by searching a list in which the edges to be processed for determining the wall surface element are registered. If the same thing does not exist in the list, it is determined as a new edge (in the case of “No” in S92), and the coordinates (ax, ay) and (bx, by) of both ends PA and PB of the edge are registered in the list. (S94). Thus, when a new edge is detected in a certain block space, the vertical wall surface position search in the target partial space and the shape of the wall surface element are determined for the edge (node D in FIG. 14). To proceed). On the other hand, the same edge as the edge found in the process S86 is already registered in the list in the process for the other block space, and the process such as the search for the vertical wall surface position may be performed. In this case (“Yes” in S92), processing such as registration of the edge in the list and search for the vertical wall surface position is omitted, and the horizontal plane search means 46 performs processing for the next block space ( Processing returns to node C).
図14は垂直位置決定手段48及び壁面形状決定手段50の概略の処理フロー図である。垂直位置決定手段48は、処理S86にて抽出されたエッジL0での垂直方向における壁面の位置を探索するための空間として垂直探索空間を設定し、当該垂直探索空間内に位置する点群のデータを記憶装置6からRAM等の作業領域に取り込む(S110)。垂直探索空間は、平面形状がエッジL0を長手方向の中心軸とする矩形である直方体形状の空間であり、その底面及び上面は部分空間の底面及び上面と同じ高さに位置する。平面形状の矩形の短辺の寸法ξは例えば、エッジを抽出した帯状領域EAの幅2wと同じ、またはやや大きめに設定することができる。例えば、ξは10cmに設定することができる。
FIG. 14 is a schematic process flow diagram of the vertical position determining means 48 and the wall surface
垂直位置決定手段48は垂直探索空間内の点群をZ方向の分布に基づいてグループ化する(S112)。これにより或る水平面内壁面位置における垂直方向の壁面の階層構造が捉えられる。 The vertical position determination means 48 groups the point group in the vertical search space based on the distribution in the Z direction (S112). Thereby, the hierarchical structure of the wall surface of the vertical direction in the wall surface position in a certain horizontal surface is caught.
グループ化において垂直位置決定手段48は例えば、垂直探索空間に取り込んだ点群の最小標高から上へ、又は最大標高から下へ向けて一定の刻み幅hでZ方向に複数の区間を設定する。そして、当該区間に基づいて垂直探索空間内の点群を複数の階層(ランク)に区分し、ランクごとに点群の数(点数)を集計する。ここで刻み幅hに応じて、垂直方向に隣接した2つの壁面を分離して検出できる分解能が定まり、基本的にはhはHB以下に設定される。ここでhが小さいほど分解能が高くなるが、hが小さすぎると、壁面が存在する高さ範囲の区間での点数が小さくなり、壁面が存在しない高さ範囲での点数(基本的には0であることが期待される)との弁別が難しくなる。hはこれらを勘案して設定される。垂直位置決定手段48はランクごとに点群の数を集計した点群分布に基づいて、垂直探索空間における点群をグループ化する。具体的には、点群が集まっているランク範囲をそれぞれ点群の1つのグループとし、当該ランク範囲を1つの垂直方向壁面位置とする。 In the grouping, the vertical position determining means 48 sets, for example, a plurality of sections in the Z direction with a constant step size h from the minimum elevation of the point group taken into the vertical search space or upward from the maximum elevation. Then, the point cloud in the vertical search space is divided into a plurality of hierarchies (ranks) based on the section, and the number of point clouds (score) is totaled for each rank. Here, in accordance with the step size h, the resolution at which two wall surfaces adjacent in the vertical direction can be detected separately is determined, and basically h is set to H B or less. Here, as h becomes smaller, the resolution becomes higher. However, if h is too small, the score in the section of the height range where the wall surface exists becomes small, and the score in the height range where the wall surface does not exist (basically 0). Is expected to be difficult). h is set in consideration of these factors. The vertical position determining means 48 groups the point clouds in the vertical search space based on the point cloud distribution obtained by counting the number of point clouds for each rank. Specifically, each rank range in which the point cloud is gathered is defined as one group of point clouds, and the rank range is defined as one vertical wall surface position.
図15はグループ化を説明するための説明図であり、hを0.2mとしてランクごとに点群の数を集計した結果である点群分布表の一例を示している。垂直位置決定手段48は例えば、ランクを下(最小標高)から上へ順番に調べて、0より大きい点数を有するランクが連続する範囲ごとに順番にグループ番号を付与する。図15に示す例では点数が0より大きいランク範囲は、ランク1〜4、ランク9〜12、ランク18〜22、及びランク25〜26の4つであり、これらランク範囲に順番にグループ番号1〜4が付与される。なお、点数が0より大きいランクが単独で現れる場合、つまり当該ランクの前後では点数が0である場合には、垂直位置決定手段48は当該1つのランクを1つのランク範囲としてグループ番号を付与する。 FIG. 15 is an explanatory diagram for explaining grouping, and shows an example of a point cloud distribution table as a result of totaling the number of point clouds for each rank with h being 0.2 m. For example, the vertical position determining means 48 checks the rank in order from the bottom (minimum elevation) to the top, and assigns a group number in order to each range where ranks having scores greater than 0 are consecutive. In the example shown in FIG. 15, there are four rank ranges with a score greater than 0: ranks 1 to 4, ranks 9 to 12, ranks 18 to 22, and ranks 25 to 26. ~ 4 is given. If a rank with a score greater than 0 appears alone, that is, if the score is 0 before and after the rank, the vertical position determination means 48 assigns a group number with the one rank as one rank range. .
グループ化により定まる階層数をmと表す。図15に示す例ではmは4である。壁面形状決定手段50はm階層に設定されたランク範囲(垂直方向壁面位置)を順番に選択する。例えば、壁面形状決定手段50はグループ番号Jを1ずつ増加させて、壁面要素の形状を決定するランク範囲を選択する(S114,S116)。そして、垂直探索空間に存在する点群のうち選択したランク範囲に存在するもののデータを記憶装置6からRAM等の作業領域に取り込み(S120)、当該点群データから壁面要素となる台形を決定する処理を行う(S122)。壁面要素の形状を決定できた場合には(S124にて「Yes」の場合)、当該壁面要素の横方向につながる壁面要素の水平面内壁面位置を順次求める追跡処理が開始される(図17のノードFへ処理が進む)。 The number of hierarchies determined by grouping is represented as m. In the example shown in FIG. The wall surface shape determining means 50 sequentially selects rank ranges (vertical wall surface positions) set in the m level. For example, the wall surface shape determining means 50 increases the group number J by 1 and selects the rank range for determining the shape of the wall surface element (S114, S116). Then, the data of the point group existing in the selected rank range among the point groups existing in the vertical search space is taken into the work area such as the RAM from the storage device 6 (S120), and the trapezoid as the wall surface element is determined from the point group data. Processing is performed (S122). When the shape of the wall surface element can be determined (in the case of “Yes” in S124), the tracking process for sequentially obtaining the horizontal wall surface position of the wall surface element connected in the lateral direction of the wall surface element is started (FIG. 17). Processing proceeds to node F).
なお、m階層全てについて壁面要素の決定処理が終わると(S118にて「Yes」の場合)、図12のノードCへ戻り、次のエッジが探索され当該エッジについて同様の処理が繰り返される。また、或る階層にて壁面要素の形状を決定できなかった場合は(S124にて「No」の場合)、処理S116に戻り、次の階層についての処理が行われる。 When wall surface element determination processing is completed for all m layers (in the case of “Yes” in S118), the process returns to node C in FIG. 12, the next edge is searched, and the same processing is repeated for the edge. Further, when the shape of the wall surface element cannot be determined in a certain hierarchy (“No” in S124), the process returns to the process S116, and the process for the next hierarchy is performed.
図16は壁面要素の形状を求める処理S122を説明する模式図であり、垂直探索空間に存在する点群のうち1つの階層に対応するものをエッジを通る鉛直面に射影した様子の一例を示している。図16において矩形で示す鉛直面130に分布する黒点132が点群を射影した点である。矩形の鉛直面130は横方向がエッジに沿っており、左側がエッジの一方端PAの側、右側が他方端PBの側に対応している。また、鉛直面130の縦方向が鉛直方向であり、上端、下端はそれぞれランク範囲の上端、下端に対応している。壁面形状決定手段50は鉛直面130を格子状に区切り、縦横に行列配置された複数の小矩形134を定義する。例えば、小矩形134の幅は10cm程度、高さは5cm程度とすることができる。
FIG. 16 is a schematic diagram for explaining the processing S122 for obtaining the shape of the wall surface element, and shows an example of a state in which a point group existing in the vertical search space is projected onto a vertical plane passing through an edge. ing. In FIG. 16,
壁面形状決定手段50は、縦に並ぶ小矩形134の列を例えば左側から順に選択し、点群が射影される小矩形134が2つ以上存在する列を探す。そのような列が現れる範囲、つまり最初の位置(第ηS列)から最後の位置(第ηE列)までの列範囲が得られた場合には、さらに壁面要素の形状を特定する処理が行われる。一方、そのような列範囲が存在しない場合には当該階層には壁面要素は存在しないと判断される。
The wall surface
壁面形状決定手段50は鉛直面130に射影された点群(黒点132)のうち左端部分に位置するものに基づいて台形の平行な2辺のうちの一方(ここではこれを台形の上底とする)とする鉛直線のX,Y座標を定め、左端部分に分布する点群の標高に基づいて当該辺(上底)の両端のZ座標を定める。また、右端部分に位置するものに基づいて台形の平行な2辺のうちの他方(ここではこれを台形の下底とする)とする鉛直線のX,Y座標を定め、右端部分に分布する点群の標高に基づいて当該辺(下底)の両端のZ座標を定める。例えば、壁面形状決定手段50は、第ηS列と第(ηS+1)列との2列における点群の分布に基づいて台形の上底のX,Y座標及びその両端のZ座標を定め、第ηE列と第(ηE−1)列との2列における点群の分布に基づいて台形の下底のX,Y座標及びその両端のZ座標を定める。この場合、具体的には、第ηS列と第(ηS+1)列との2列における点群のZ座標のうち最大値(点136に対応)及び最小値(点138に対応)を上底の両端のZ座標とすることができ、第ηE列と第(ηE−1)列との2列における点群のZ座標のうち最大値(点140に対応)及び最小値(点142に対応)を下底の両端のZ座標とすることができる。上底のX,Y座標は、点群のうち最も左側の点144や、第ηS列と第(ηS+1)列との境界線146でのX,Y座標で、また、下底のX,Y座標は、点群のうち最も右側の点148や、第ηE列と第(ηE−1)列との境界線150でのX,Y座標で定義することができる。
The wall surface
図17は追跡手段52の概略の処理フロー図である。追跡手段52は注目部分空間にて検出されたエッジを連続追跡処理の基点として設定し(S160)、エッジリストA,Bを空にする初期化処理を行う(S162)。基点エッジについて取得された壁面要素が既に図形データベースに図形登録されているか調べ(S166)、登録されていない、つまり新規である場合には(S166にて「No」の場合)、当該壁面要素をエッジリストAに追加する(S168)。 FIG. 17 is a schematic process flow diagram of the tracking means 52. The tracking means 52 sets the edge detected in the target subspace as the base point of the continuous tracking process (S160), and performs an initialization process for emptying the edge lists A and B (S162). It is checked whether the wall surface element acquired for the base edge has already been registered in the graphic database (S166). If not registered, that is, if it is new (in the case of “No” in S166), the wall surface element is selected. Add to the edge list A (S168).
さらに追跡手段52は、基点エッジの両端それぞれに連なるエッジを追跡する。具体的には、垂直方向壁面位置ごとに基点エッジの一方端PAから伸びる向きに連なるエッジを順次検出し、検出したエッジに対応する壁面要素を求める連続壁面追跡処理が行われ、取得した壁面要素はエッジリストAに追加登録される(S170)。同様に、基点エッジの他方端PBから伸びる向きにも連続壁面追跡処理が行われ、取得された壁面要素はエッジリストBに追加登録される(S172)。或る基点エッジについて追跡手段52による処理が終わると、壁面要素登録手段54による処理が行われる(図22のノードGへ処理が進む)。
Further, the
一方、処理S166において、基点エッジでの壁面要素が既に図形データベースに図形登録されている場合には(S166にて「Yes」の場合)、演算処理装置4は、当該壁面要素についての追跡処理や登録処理は行わずに、処理を図23に示すノードHに進める。この場合の処理については後述する。
On the other hand, when the wall surface element at the base edge is already registered in the graphic database in the process S166 (in the case of “Yes” in S166), the
図18、図19は処理S170,S172にて行われる連続壁面追跡処理の概略のフロー図である。追跡手段52は既に検出されているエッジに連続するエッジを探索する空間として直方体の探索空間を設定する。探索空間は既検出エッジの探索空間に隣接する空間であり、探索空間の平面形状である長方形の短辺の中点は既検出エッジの端部に配置される。また、探索空間のZ値の範囲(上面及び底面の高さ)は、既検出エッジにおける壁面要素の垂直方向の位置に応じて設定される。例えば、既検出の壁面要素の形状である台形の上側の辺と下側の辺が勾配を有し得ることを考慮して、探索空間の上面の高さを既検出の壁面要素の鉛直な2辺のうち当該探索空間が接続される側の辺の上端より高く設定し、一方、探索空間の底面の高さを当該辺の下端より低く設定することができる。探索空間の平面形状の長辺の長さは部分空間の幅Wや奥行きDと同程度に設定することができ、例えば50cmとすることができる。 18 and 19 are schematic flowcharts of the continuous wall surface tracking process performed in processes S170 and S172. The tracking means 52 sets a rectangular parallelepiped search space as a space for searching for an edge that is continuous with an already detected edge. The search space is a space adjacent to the search space of the detected edge, and the midpoint of the short side of the rectangle that is the planar shape of the search space is arranged at the end of the detected edge. Further, the range of the Z value (height of the top surface and the bottom surface) of the search space is set according to the vertical position of the wall surface element at the detected edge. For example, considering that the upper side and the lower side of the trapezoid, which is the shape of the detected wall surface element, may have a gradient, the height of the upper surface of the search space is set to the vertical 2 of the detected wall surface element. It is possible to set the height of the side higher than the upper end of the side to which the search space is connected, while setting the height of the bottom surface of the search space lower than the lower end of the side. The length of the long side of the planar shape of the search space can be set to be approximately the same as the width W and the depth D of the partial space, and can be set to 50 cm, for example.
まず、追跡手段52は既険出のエッジである線分を追跡しようとする側に延長し、当該延長線の向きに探索空間を配置する(S180)。すなわち、探索空間はその平面形状である長方形の長辺に沿った中心線を当該延長線に一致させるように配置される。そして、当該探索空間内に位置する点群のデータを記憶装置6からRAM等の作業領域に取り込み(S180)、処理S86と同様の手法により当該探索空間にてエッジを探す(S182)。当該探索空間にてエッジが存在した場合(S184にて「Yes」の場合)、追跡手段52はさらに、処理S122と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う(S186)。壁面要素の形状を取得できた場合には(S188にて「Yes」の場合)、エッジの微調整処理が行われる(S190)。そして処理は処理S180に戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
First, the tracking means 52 extends to the side where the line segment that is a sharpened edge is to be tracked, and arranges a search space in the direction of the extended line (S180). That is, the search space is arranged so that the center line along the long side of the rectangle which is the planar shape coincides with the extension line. Then, the data of the point group located in the search space is fetched from the
既検出エッジの延長線上の探索空間にてエッジ又は壁面要素を検出できない場合(処理S184にて「No」の場合、及びS188にて「No」の場合)は、図19のノードCBに進み、既検出エッジの延長線からずれた方向における探索処理が行われる。当該探索処理では、探索空間をその中心軸を水平面内にて当該延長線の位置から時計回り方向と反時計回り方向とに変化させて設定する。例えば、延長線の向きからの中心軸の向きの変化範囲(±θ)とその分割数kを設定し、θ/kずつ水平面内での角度が異なる複数の探索空間を設定し、各探索空間にてエッジを探し、そして角度を変えて設定した複数の探索空間にて得られたエッジのうち最も点群が集まるものを選択する(S200)。 When the edge or wall surface element cannot be detected in the search space on the extension line of the detected edge (in the case of “No” in the processing S184 and “No” in the S188), the process proceeds to the node CB in FIG. Search processing in a direction deviated from the extension line of the detected edge is performed. In the search process, the search space is set by changing the central axis in the horizontal plane from the position of the extension line to the clockwise direction and the counterclockwise direction. For example, a change range (± θ) of the direction of the central axis from the direction of the extension line and its division number k are set, and a plurality of search spaces having different angles in the horizontal plane by θ / k are set. The edge is searched for, and the edge having the most point cloud is selected from the edges obtained in the plurality of search spaces set by changing the angle (S200).
一番点群が集まるエッジを特定できた場合(S202にて「Yes」の場合)、追跡手段52はさらに、処理S122と同様にして探索空間の点群データから壁面要素となる台形を決定する処理を行う(S204)。壁面要素の形状を取得できた場合には(S206にて「Yes」の場合)、後述する微調整処理が行われる(S208)。そして処理は図18のノードCAに戻り、今得られたエッジを既検出エッジとして、連続壁面の追跡処理が継続される。
When the edge where the first point cloud gathers can be identified (in the case of “Yes” in S202), the
角度を変えた探索空間にてエッジ又は壁面要素を検出できない場合(処理S202にて「No」の場合、及びS206にて「No」の場合)は、連続壁面追跡処理は終了し、当該処理をサブルーチンとして呼び出した処理S170又はS172に戻る。 When the edge or wall surface element cannot be detected in the search space with the angle changed (“No” in the process S202 and “No” in the S206), the continuous wall surface tracking process ends, and the process is performed. The process returns to the process S170 or S172 called as a subroutine.
図20及び図21はエッジの微調整処理S190,S208の概略のフロー図である。演算処理装置4はエッジを示す線分が得られると、当該線分を一定の長さの区間に区切り(S220)、各区間にてエッジが通る点(代表点)を探索し、エッジをX−Y面内にてPA,PBを結ぶ線分に代えて、各区間にて求めた代表点をつなぐ折れ線とする。ここでは区間数をNとする。演算処理装置4は、選択した区間Kから代表点PKが得られると、当該代表点PKの水平面内の座標(XK,YK)と、当該区間での壁面要素の標高値の最小値ZLK及び最大値ZHKとを、代表点情報として求める。例えば、ZLK,ZHKはエッジの両端PA,PBでの値を補間して求めることができる。
20 and 21 are schematic flowcharts of the edge fine adjustment processing S190 and S208. When a line segment indicating an edge is obtained, the
演算処理装置4はまず、エッジの一方端PAを代表点とし、PAについての代表点情報をエッジ代表点リストに格納する(S222)。続いて、区間番号Kを1ずつ増加させて、区間を選択し(S224,S226)、各区間にて代表点を探索する(S230)。当該処理S230では、水平断面が選択した区間の近傍領域であり、垂直方向に壁面要素に応じた高さを有する空間を設定し、当該区間内の点群データを取り込んで、当該空間の水平断面内にて最も点群が密集する位置を求める。そして当該位置に密集する点の数が予め定めた個数以上であれば(S232にて「Yes」の場合)、当該位置を代表点としてエッジ代表点リストに追加する(S234)。一方、当該位置に密集する点の数が予め定めた個数未満であれば(S232にて「No」の場合)、当該区間からはエッジの代表点をエッジ代表点リストに追加せずに次の区間の処理に進む。全ての区間について処理が終わると(S228にて「Yes」の場合)、エッジの他方端PBをエッジ代表点リストに追加し(S236)、図21のノードCV−Rに進む。
First, the
演算処理装置4はエッジ代表点リストに格納されている代表点の数mをカウントする(S240)。そして、隣接する代表点PJとPJ+1の対をJを1から(m−1)まで1ずつ増加させて選択し(S242〜S246)、PJの代表点情報とPJ+1の代表点情報とで表される壁面要素が既に図形データベースに図形登録されているか調べる(S248)。登録されていない場合には(S250にて「No」の場合)、当該壁面要素をエッジリストA又はBに追加し(S252)、処理S244に戻る。一方、既に図形データベースに図形登録されていた場合(S250にて「Yes」の場合)、エッジの微調整処理S190,S208を終了する。
The
さて、図17の説明で述べたように、或る基点エッジについて追跡手段52による処理が終わると、壁面要素登録手段54による処理が行われる。図22は壁面要素登録手段54の概略の処理フロー図である。壁面要素登録手段54は、追跡手段52により生成されたエッジリストA,Bが空でなければ(S260,S264にて「No」の場合)、それらエッジリストに格納されている壁面要素を図形データベースに登録し(S262,S266)、図23のノードHへ処理を進める。
Now, as described in the explanation of FIG. 17, when the processing by the
ここまで処理を行ってきた基点エッジは、処理S84で指定される第I階のブロック空間から処理S88で検出されたエッジである。演算処理装置4は当該基点エッジについて処理S116で指定された第J階層での処理を終えると、注目部分空間のうち当該階層に対応する高さ範囲にて、他のエッジを探索して壁面要素を決定する処理を行う。これにより例えば、同じ高さ範囲における多重エッジを検出して、それぞれに対応する壁面要素を決定することができる。図23は第J階層にて最初のエッジ(主エッジと称する)についての処理を終えた後の処理フロー図である。演算処理装置4は第J階層にて主エッジの処理を終えると、当該階層に存在する他のエッジ(多重エッジと称する)を探索して壁面要素を決定する処理(多重エッジ処理)S270を行う。多重エッジ処理S270が終了すると、処理は図14のノードEに戻り、次の階層における主エッジの処理が開始される。
The base edge that has been processed so far is the edge detected in step S88 from the block space on the I-th floor specified in step S84. When the
図24は多重エッジ処理の概略の処理フロー図である。多重エッジ処理では、主エッジの両側に別のエッジがないか探索する。図25は多重エッジ処理を説明する模式図であり、部分空間の平面配置を示している。図25(a)に示す例では、注目部分空間280には最も点群が集まるエッジ282と、エッジ282より点群の集まり度合いが低いエッジ284とが存在している。既に説明した水平面内探索手段46、垂直位置決定手段48、壁面形状決定手段50、追跡手段52及び壁面要素登録手段54による処理で、主エッジとなるエッジ282が検出され、当該エッジ282について追跡や図形登録の処理が行われる。多重エッジ処理では、当該エッジ282を含まないようにその両側に多重エッジ探索空間286,288を設定する(図25(b))。多重エッジ探索空間は例えば、平面形状が部分空間と同程度の大きさ・形状の矩形であり、Z値の範囲が第J階層と同程度である直方体の空間に設定される。例えば、主エッジ(図25のエッジ282)が延びるいずれかの方向に向かって、当該エッジより左側の領域に多重エッジ探索空間を作成して当該空間内の点群を取り込み(S300)、処理S86と同様に当該多重エッジ探索空間でエッジの探索を行い、エッジが存在するかを判定する(S302)。エッジが存在する場合(S302で「Yes」の場合)は、多重エッジ探索空間内にて当該エッジを中心として図14の処理S110における垂直探索空間と同様の平面形状の空間を設定し、当該空間内の点群から処理S122と同様にして壁面要素の形状を決定する処理を行う(S304)。壁面要素の形状を取得できた場合には(S306にて「Yes」の場合)、図17で説明した追跡手段52による連続壁面追跡処理S160〜S172、及び図22で説明した壁面要素登録手段54による登録処理S260〜S266と同様の処理S308が行われる。同様に主エッジより右側の領域に多重エッジ探索空間を作成して、上述した左側の場合の処理S300〜S308と同様の処理S310〜S318が行われる。
FIG. 24 is a schematic process flow diagram of multiple edge processing. In the multiple edge processing, a search is made for other edges on both sides of the main edge. FIG. 25 is a schematic diagram for explaining multiple edge processing, and shows a planar arrangement of a partial space. In the example shown in FIG. 25A, the target
上記実施形態では、コンピュータを道路付属物検出システム2の各手段として動作させるプログラムは記憶装置6に格納され、コンピュータはこれを読み出して実行する構成としたが、他の構成では、当該プログラムはネットワーク等の通信媒体を介してコンピュータに提供することができ、この場合、道路付属物検出システム2は通信装置を備え当該通信装置がネットワーク等からプログラムを取得し、演算処理装置4に提供したり、記憶装置6に記憶させる。また、当該プログラムはCD−ROM(Compact Disc Read Only Memory)等の記録媒体に格納して提供することも可能である。
In the above embodiment, a program that causes a computer to operate as each means of the road
上記実施形態では、道路付属物のうち道路標識、ガードレール、及び道路標示を検出対象としているが、これは一例であり、他の道路付属物についても記憶装置6に画像特徴情報36、形態特徴情報38を格納して、それらの検出を行うことができる。
In the above-described embodiment, road signs, guardrails, and road markings among the road accessories are detection targets. However, this is an example, and the
2 道路付属物検出システム、4 演算処理装置、6 記憶装置、8 入力装置、10 出力装置、20 画像分割手段、22 候補画像領域抽出手段、24 壁面検出手段、26 候補壁面抽出手段、28 照合手段、30 道路標識識別手段、32 路面画像領域抽出手段、34 道路標示検出手段、36 画像特徴情報、38 形態特徴情報、40 部分空間設定手段、42 部分空間選択手段、44 ブロック空間設定手段、46 水平面内探索手段、48 垂直位置決定手段、50 壁面形状決定手段、52 追跡手段、54 壁面要素登録手段、80,82 道路標識、84 ガードレール、86 道路標示。 2 Road appendage detection system, 4 arithmetic processing unit, 6 storage device, 8 input device, 10 output device, 20 image segmentation means, 22 candidate image region extraction means, 24 wall surface detection means, 26 candidate wall surface extraction means, 28 collation means , 30 road sign identifying means, 32 road surface image area extracting means, 34 road marking detecting means, 36 image feature information, 38 form feature information, 40 partial space setting means, 42 partial space selecting means, 44 block space setting means, 46 horizontal plane Internal search means, 48 vertical position determination means, 50 wall surface shape determination means, 52 tracking means, 54 wall surface element registration means, 80, 82 road sign, 84 guardrail, 86 road marking.
Claims (8)
前記道路付属物のうち検出対象とするものの画像特徴及び、前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ当該検出対象の形態特徴を予め記憶する記憶手段と、
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段と、
前記記憶手段に記憶された前記画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段と、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段と、
前記記憶手段に記憶された前記形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段と、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段と、
を有することを特徴とする道路付属物検出装置。 A road appendage detection device that detects a road appendage in the target space based on an image of the target space and point cloud data representing a three-dimensional shape of a feature surface in the target space,
Storage means for preliminarily storing a form feature of the detection target including information on at least one of an image feature of the road appendage to be detected and a shape, size, and arrangement in the target space;
Image dividing means for dividing the image into a plurality of partial image areas each having a pixel value having a predetermined similarity;
Candidate image area extraction means for extracting a candidate image area corresponding to the detection target from the partial image area based on the image feature stored in the storage means;
Wall surface detecting means for detecting the wall surface of the feature based on the point cloud data;
Candidate wall surface extracting means for extracting a candidate wall surface corresponding to the detection target among the detected wall surfaces based on the form feature stored in the storage means;
Collating means for collating the candidate image area and the projected image of the candidate wall surface viewed from the image capturing position, and detecting the detection target based on a collation result;
A road appendage detection device characterized by comprising:
前記照合手段は、前記検出対象であるガードレールについて、前記対象空間のうち道路より外側部分と当該道路の車道部分とを除く領域で検出すること、を特徴とする道路付属物検出装置。 In the road accessory detection device according to claim 1,
The said matching means detects the guardrail which is the said detection object in the area | region except the part outside a road and the roadway part of the said road among the said object spaces, The road accessory detection apparatus characterized by the above-mentioned.
前記照合手段は、前記検出対象である道路標識について、前記対象空間のうち道路より外側部分を除く領域で検出すること、を特徴とする道路付属物検出装置。 In the road appendage detecting device according to claim 1 or 2,
The said matching means detects the road sign which is the said detection object in the area | region except the outside part from the road among the said object space, The road accessory detection apparatus characterized by the above-mentioned.
検出された前記道路標識について、当該道路標識に対応する画像領域でのテンプレートマッチングにより当該道路標識の種類又は表示内容を識別する道路標識識別手段を有すること、を特徴とする道路付属物検出装置。 In the road accessory detection apparatus according to claim 3,
A road accessory detection apparatus comprising: road sign identifying means for identifying the type or display content of the road sign by template matching in an image area corresponding to the road sign for the detected road sign.
前記検出対象である道路標示を検出する道路標示検出手段と、
前記点群データに基づいて、前記画像にて道路面に対応する路面画像領域を抽出する路面画像領域抽出手段と、
を有し、
前記候補画像領域抽出手段は、前記道路標示について前記候補画像領域である道路標示候補を抽出し、
前記道路標示検出手段は、前記路面画像領域内の前記道路標示候補を前記道路標示と判定すること、
を特徴とする道路付属物検出装置。 In the road accessory detection apparatus according to any one of claims 1 to 4,
Road marking detection means for detecting the road marking as the detection target;
Road surface image area extracting means for extracting a road surface image area corresponding to a road surface in the image based on the point cloud data;
Have
The candidate image area extracting means extracts a road marking candidate that is the candidate image area for the road marking,
The road marking detection means determines the road marking candidate in the road surface image area as the road marking;
Road appendage detection device characterized by.
前記道路標示検出手段は、前記道路標示と判定した前記道路標示候補について、テンプレートマッチングにより当該道路標示の内容を識別すること、を特徴とする道路付属物検出装置。 In the road accessory detection device according to claim 5,
The road marking detection device is characterized in that, for the road marking candidate determined to be the road marking, the content of the road marking is identified by template matching.
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割ステップと、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出ステップと、
前記点群データに基づいて前記地物の壁面を検出する壁面検出ステップと、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出ステップと、
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合ステップと、
を有することを特徴とする道路付属物検出方法。 A road appendage detection method for detecting a road appendage in the target space based on an image of the target space and point cloud data representing a three-dimensional shape of a feature surface in the target space,
An image dividing step of dividing the image into a plurality of partial image regions each having a pixel value having a predetermined similarity;
A candidate image region extracting step of extracting a candidate image region corresponding to the detection target from the partial image region based on an image feature given in advance of the road appendage as a detection target;
A wall surface detecting step for detecting a wall surface of the feature based on the point cloud data;
A candidate wall surface corresponding to the detection target is extracted from the detected wall surfaces based on a pre-given form feature including information on at least one of shape, size, and arrangement of the detection target in the target space. A candidate wall surface extraction step,
Collating the candidate image region with a projected image of the candidate wall surface viewed from the shooting position of the image, and detecting the detection target based on a matching result;
A road appendage detection method characterized by comprising:
それぞれ画素値が所定の類似性を有する画素からなる複数の部分画像領域に前記画像を分割する画像分割手段、
前記道路付属物のうち検出対象とするものの予め与えられた画像特徴に基づいて、前記部分画像領域のうち前記検出対象に対応した候補画像領域を抽出する候補画像領域抽出手段、
前記点群データに基づいて前記地物の壁面を検出する壁面検出手段、
前記検出対象の前記対象空間における形状、大きさ及び配置の少なくともいずれかに関する情報を含んだ予め与えられた形態特徴に基づいて、検出された前記壁面のうち前記検出対象に対応した候補壁面を抽出する候補壁面抽出手段、及び
前記候補画像領域と、前記画像の撮影位置から見た前記候補壁面の投影像とを照合し、照合結果に基づいて前記検出対象を検出する照合手段、として機能させることを特徴とするプログラム。 A program for causing a computer to perform processing for detecting a road accessory in the target space based on an image of the target space and point cloud data representing the three-dimensional shape of the feature surface in the target space. The computer
Image dividing means for dividing the image into a plurality of partial image areas each having a pixel value having a predetermined similarity;
Candidate image region extraction means for extracting a candidate image region corresponding to the detection target from the partial image region based on an image feature given in advance of the road accessory to be detected;
Wall surface detecting means for detecting the wall surface of the feature based on the point cloud data;
A candidate wall surface corresponding to the detection target is extracted from the detected wall surfaces based on a pre-given form feature including information on at least one of shape, size, and arrangement of the detection target in the target space. A candidate wall surface extracting unit that performs the matching, and the candidate image region and the projected image of the candidate wall surface viewed from the photographing position of the image are collated, and the collating unit detects the detection target based on the collation result. A program characterized by
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191968A JP5430627B2 (en) | 2011-09-02 | 2011-09-02 | Road accessory detection device, road accessory detection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191968A JP5430627B2 (en) | 2011-09-02 | 2011-09-02 | Road accessory detection device, road accessory detection method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013054522A true JP2013054522A (en) | 2013-03-21 |
JP5430627B2 JP5430627B2 (en) | 2014-03-05 |
Family
ID=48131453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011191968A Active JP5430627B2 (en) | 2011-09-02 | 2011-09-02 | Road accessory detection device, road accessory detection method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5430627B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017167092A (en) * | 2016-03-18 | 2017-09-21 | 株式会社パスコ | Feature detection device, feature detection method and program |
JP2018116452A (en) * | 2017-01-18 | 2018-07-26 | パイオニア株式会社 | Data compression apparatus, data decompressor, control method, program and storage medium |
CN108986450A (en) * | 2018-07-25 | 2018-12-11 | 北京万集科技股份有限公司 | Vehicle environmental cognitive method, terminal and system |
JP2019027973A (en) * | 2017-08-01 | 2019-02-21 | 株式会社デンソー | Target determination device |
CN109509236A (en) * | 2017-09-15 | 2019-03-22 | 百度在线网络技术(北京)有限公司 | Vehicle bounding box generation method, device and storage medium in unmanned scene |
JP2019117432A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Display control device |
WO2019193762A1 (en) * | 2018-04-06 | 2019-10-10 | 三菱電機株式会社 | Guide sign identification device and guide sign identification method |
CN111444839A (en) * | 2020-03-26 | 2020-07-24 | 北京经纬恒润科技有限公司 | Target detection method and system based on laser radar |
WO2021166912A1 (en) * | 2020-02-18 | 2021-08-26 | 株式会社デンソー | Object detection device |
JP2021177136A (en) * | 2020-05-07 | 2021-11-11 | 株式会社トヨタマップマスター | Information processing device, information processing method and information processing program |
JP2022549757A (en) * | 2019-07-31 | 2022-11-29 | ボルボトラックコーポレーション | Method for forming a vehicle travel path |
JP7374432B2 (en) | 2019-08-30 | 2023-11-07 | 株式会社日野 | Road condition measuring device, method and program |
JP7417465B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
-
2011
- 2011-09-02 JP JP2011191968A patent/JP5430627B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199284A (en) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | Road object recognition method |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017167092A (en) * | 2016-03-18 | 2017-09-21 | 株式会社パスコ | Feature detection device, feature detection method and program |
JP2018116452A (en) * | 2017-01-18 | 2018-07-26 | パイオニア株式会社 | Data compression apparatus, data decompressor, control method, program and storage medium |
JP2019027973A (en) * | 2017-08-01 | 2019-02-21 | 株式会社デンソー | Target determination device |
CN109509236A (en) * | 2017-09-15 | 2019-03-22 | 百度在线网络技术(北京)有限公司 | Vehicle bounding box generation method, device and storage medium in unmanned scene |
JP2019117432A (en) * | 2017-12-26 | 2019-07-18 | パイオニア株式会社 | Display control device |
JPWO2019193762A1 (en) * | 2018-04-06 | 2020-09-17 | 三菱電機株式会社 | Guide sign recognition device and guide sign recognition method |
WO2019193762A1 (en) * | 2018-04-06 | 2019-10-10 | 三菱電機株式会社 | Guide sign identification device and guide sign identification method |
CN108986450A (en) * | 2018-07-25 | 2018-12-11 | 北京万集科技股份有限公司 | Vehicle environmental cognitive method, terminal and system |
CN108986450B (en) * | 2018-07-25 | 2024-01-16 | 北京万集科技股份有限公司 | Vehicle environment sensing method, terminal and system |
JP2022549757A (en) * | 2019-07-31 | 2022-11-29 | ボルボトラックコーポレーション | Method for forming a vehicle travel path |
JP7316442B2 (en) | 2019-07-31 | 2023-07-27 | ボルボトラックコーポレーション | Method, control system, vehicle, and computer program product for forming a vehicle travel path |
JP7374432B2 (en) | 2019-08-30 | 2023-11-07 | 株式会社日野 | Road condition measuring device, method and program |
WO2021166912A1 (en) * | 2020-02-18 | 2021-08-26 | 株式会社デンソー | Object detection device |
CN115176175A (en) * | 2020-02-18 | 2022-10-11 | 株式会社电装 | Object detection device |
CN111444839A (en) * | 2020-03-26 | 2020-07-24 | 北京经纬恒润科技有限公司 | Target detection method and system based on laser radar |
CN111444839B (en) * | 2020-03-26 | 2023-09-08 | 北京经纬恒润科技股份有限公司 | Target detection method and system based on laser radar |
JP2021177136A (en) * | 2020-05-07 | 2021-11-11 | 株式会社トヨタマップマスター | Information processing device, information processing method and information processing program |
JP7417465B2 (en) | 2020-05-07 | 2024-01-18 | 株式会社トヨタマップマスター | Information processing device, information processing method, and information processing program |
Also Published As
Publication number | Publication date |
---|---|
JP5430627B2 (en) | 2014-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5430627B2 (en) | Road accessory detection device, road accessory detection method, and program | |
WO2018068653A1 (en) | Point cloud data processing method and apparatus, and storage medium | |
El-Halawany et al. | Detection of road poles from mobile terrestrial laser scanner point cloud | |
Wu et al. | Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach | |
US8625851B2 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
Yan et al. | Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment | |
CN105512646B (en) | A kind of data processing method, device and terminal | |
Gargoum et al. | Automated highway sign extraction using lidar data | |
JP5566353B2 (en) | Data analysis apparatus, data analysis method, and program | |
JP6871782B2 (en) | Road marking detector, road marking detection method, program, and road surface detector | |
CN105160309A (en) | Three-lane detection method based on image morphological segmentation and region growing | |
El-Halawany et al. | Detecting road poles from mobile terrestrial laser scanning data | |
EP2743861B1 (en) | Method and device for detecting continuous object in disparity direction based on disparity map | |
Soheilian et al. | 3D road marking reconstruction from street-level calibrated stereo pairs | |
JP2017167092A (en) | Feature detection device, feature detection method and program | |
Fan et al. | Identifying man-made objects along urban road corridors from mobile LiDAR data | |
JP2015191572A (en) | Manhole detection device, manhole detection method and program | |
Schlichting et al. | Vehicle localization by lidar point correlation improved by change detection | |
CN116452852A (en) | Automatic generation method of high-precision vector map | |
Husain et al. | Road surface and its center line and boundary lines detection using terrestrial Lidar data | |
Hu | Intelligent road sign inventory (IRSI) with image recognition and attribute computation from video log | |
RU2638638C1 (en) | Method and system of automatic constructing three-dimensional models of cities | |
RU2612571C1 (en) | Method and system for recognizing urban facilities | |
JP5577312B2 (en) | Data analysis apparatus, data analysis method, and program | |
JP6223256B2 (en) | Manhole cover management device, manhole cover management method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131203 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5430627 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |