JP2017026430A - Marker detection device, method, and program - Google Patents
Marker detection device, method, and program Download PDFInfo
- Publication number
- JP2017026430A JP2017026430A JP2015144415A JP2015144415A JP2017026430A JP 2017026430 A JP2017026430 A JP 2017026430A JP 2015144415 A JP2015144415 A JP 2015144415A JP 2015144415 A JP2015144415 A JP 2015144415A JP 2017026430 A JP2017026430 A JP 2017026430A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- region
- sign
- point group
- dimensional point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
Description
本発明は、標識検出装置、方法、及びプログラムに係り、特に、物体の表面の位置を計測した点群から標識を検出するための標識検出装置、方法、及びプログラムに関する。 The present invention relates to a sign detection apparatus, method, and program, and more particularly, to a sign detection apparatus, method, and program for detecting a sign from a point cloud that measures the position of the surface of an object.
近年、モバイルマッピングシステム（ＭＭＳ）と呼ばれるカメラやレーザースキャナを搭載した車が、街中を走行することで道路周辺の構造物である建造物や道路などの物体の表面の形状を計測できるシステムが利用されつつある。このシステムは、ＧＰＳ（全地球測位システム）やＩＭＳ(慣性計測装置)を用いて物体の表面を３次元の座標情報（３次元点群）として記録できる。この技術を利用して、道路周辺の地物（信号機や電柱、標識、ガードレール等）の検出による３次元の地図作成保守・保全業務への活用が期待されている。 In recent years, a vehicle called a mobile mapping system (MMS) equipped with a camera or laser scanner that can be used to measure the surface shape of objects such as buildings and roads that are structures around roads by traveling around the city. It is being done. This system can record the surface of an object as three-dimensional coordinate information (three-dimensional point group) using GPS (Global Positioning System) or IMS (Inertial Measurement Device). Utilizing this technology, it is expected to be utilized for 3D map creation maintenance and maintenance work by detecting features around roads (signals, utility poles, signs, guardrails, etc.).
非特許文献１では、ＭＭＳで計測した道路および周辺の構造物の点群およびカメラ画像を用いて、道路の白線や横断歩道、また標識を登録するシステムを開発している。このシステムでは、白線や標識については、画像認識ソフトにより自動的に検出を行い、誤検出や検出漏れが生じた道路および周辺の構造物については、後から手動で修正を行い、高精度な道路地物位置計測を作成している。 Non-Patent Document 1 has developed a system for registering white lines, pedestrian crossings, and signs on roads using point images and camera images of roads and surrounding structures measured by MMS. In this system, white lines and signs are automatically detected by image recognition software, and roads and surrounding structures that have been erroneously detected or missed are manually corrected later to provide high-precision roads. Creating feature position measurements.
非特許文献２では、ＭＭＳで計測した点群のみを入力とし、標識および柱状構造物などの地物の自動で検出が行われている。標識については、柱状構造物の近傍に存在する平面であると見なして検出を行っている。具体的には、柱状構造物周辺の点群について、主成分分析したときの固有値を特徴として、平面（標識）が存在するか判定している。 In Non-Patent Document 2, only point clouds measured by MMS are used as input, and features such as signs and columnar structures are automatically detected. The sign is detected by regarding it as a plane existing in the vicinity of the columnar structure. Specifically, with respect to the point group around the columnar structure, it is determined whether or not a plane (marker) exists by using the eigenvalue when the principal component analysis is performed as a feature.
非特許文献３では、ＭＭＳで計測した点群およびカメラ画像を用いることで、道路標識を自動で検出が行われている。標識のレーザーの反射強度が強いこと、更に３次元の点群の平面形状であることを手掛かりとして標識の３次元空間での位置をまず検出している。次に、その３次元位置からカメラ画像上での標識位置を算出し、その位置に対して画像認識処理を行うことで、標識認識を行っている。 In Non-Patent Document 3, road signs are automatically detected by using point clouds and camera images measured by MMS. First of all, the position of the sign in the three-dimensional space is detected with the clue that the reflection intensity of the laser of the sign is strong and the plane shape of the three-dimensional point group. Next, the sign recognition is performed by calculating the sign position on the camera image from the three-dimensional position and performing image recognition processing on the position.
しかし、非特許文献１においては、自動検出においては画像情報のみを基にして標識を検出しているため、オクルージョンの影響や天候状況などの撮影環境の影響により検出精度が低下しやすいという課題がある。また、人手による操作が必要なため、大規模な地域での運用には人的リソースのコストが大きくなるという課題もある。 However, in Non-Patent Document 1, since the label is detected based only on the image information in the automatic detection, there is a problem that the detection accuracy is likely to be lowered due to the influence of the shooting environment such as the influence of occlusion and the weather condition. is there. In addition, since manual operation is required, there is a problem that the cost of human resources increases in operation in a large area.
また、非特許文献２では、検出した柱状構造物周辺の点群について、平面領域を検出することで標識を検出している。しかしながら、この技術では標識を平面として認識しているために、隣接した標識を同一の標識と誤って判定してしまうという、つまり、検出漏れが生じる課題がある。また、標識の形状の分類もわからない。例えば、図１（Ａ）や図１（Ｂ）に示すような、隣接した標識について検出精度が低いという課題がある。 Further, in Non-Patent Document 2, a marker is detected by detecting a planar area for a point group around a detected columnar structure. However, since this technique recognizes a sign as a flat surface, there is a problem that an adjacent sign is erroneously determined as the same sign, that is, detection omission occurs. Also, the classification of the shape of the sign is unknown. For example, there is a problem that detection accuracy is low for adjacent signs as shown in FIG. 1 (A) and FIG. 1 (B).
また、非特許文献３において、ＭＭＳで計測した点群から反射強度が高いことを仮定しているが、反射強度が高くない標識、例えば高速道路の案内標識が検出漏れを生じるという課題がある。また、カメラ画像を用いて画像上での正確な位置および種類を認識しているが、上述したように標識の位置の検出精度は撮影状態により、標識の形状やテクスチャの推定精度は低下するという課題は残っている。交差点付近での曲がり角での撮影時の画像のブレやトンネル内外への切り替わりでの露光条件の差によるホワイトアウト等の問題が存在する。 Further, in Non-Patent Document 3, it is assumed that the reflection intensity is high from the point group measured by MMS, but there is a problem that a sign that does not have high reflection intensity, for example, a highway guide sign, causes detection omission. In addition, although the exact position and type on the image are recognized using the camera image, the detection accuracy of the marker position and the estimation accuracy of the marker shape and texture are reduced depending on the shooting state as described above. The challenge remains. There are problems such as image blurring at the time of shooting at a corner near an intersection and whiteout due to a difference in exposure conditions when switching between inside and outside the tunnel.
本発明は、上記問題点を解決するために成されたものであり、精度よく標識を検出することができる標識検出装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a label detection apparatus, method, and program capable of detecting a label with high accuracy.
上記目的を達成するために、第１の発明に係る標識検出装置は、物体の表面上の位置を計測した計測結果である複数の位置を表す３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出する平面領域検出部と、前記平面領域検出部によって検出された前記平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定する標識候補領域判定部と、前記標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割する標識領域分割処理部と、を含んで構成されている。 In order to achieve the above object, the sign detection device according to the first invention uses local shape information based on a three-dimensional point group representing a plurality of positions, which are measurement results obtained by measuring positions on the surface of an object. Each of the plane area detected by the plane area detecting unit and the plane area detecting unit for detecting the plane area including the three-dimensional point group and the road running surface including the three-dimensional point group. In consideration of the relative position with the surrounding features, a marker candidate region determination unit that determines whether or not the marker candidate region is a marker candidate region, and whether each marker candidate region can be divided by a boundary plane And a sign area division processing unit that divides the candidate mark area determined to be divisible by the boundary plane.
また、第１の発明に係る標識検出装置において、前記標識領域分割処理部は、前記標識候補領域の各々について、前記標識候補領域に含まれる３次元点群の注目点と前記注目点の周辺点群の各周辺点との相対ベクトルの各々が成す角度から、複数のエッジ候補点を検出し、前記検出された前記複数のエッジ候補点から、サンプリング処理により２点以上選択して前記境界平面を生成し、前記標識候補領域に含まれる３次元点群で生成されるグラフを前記生成した前記境界平面で分割するコストを評価して、前記境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割することを繰り返し行うようにしてもよい。 Further, in the sign detection device according to the first aspect, the sign region dividing processing unit, for each of the sign candidate regions, the attention point of the three-dimensional point group included in the candidate label region and the peripheral points of the attention point A plurality of edge candidate points are detected from an angle formed by each of relative vectors with each peripheral point of the group, and two or more points are selected from the detected plurality of edge candidate points by sampling processing, and the boundary plane is selected. Generating and evaluating the cost of dividing the graph generated by the three-dimensional point group included in the marker candidate region by the generated boundary plane, and determining whether or not the boundary plane can be divided; You may make it repeatedly perform dividing | segmenting the said label | marker candidate area | region determined to be able to be divided | segmented by the said boundary plane.
また、第１の発明に係る標識検出装置において、前記標識領域分割処理部は、前記検出された前記複数のエッジ候補点から、サンプリング処理により２点以上選択して前記境界平面を生成し、標識の配置関係の事前知識を基に前記生成した前記境界平面の法線方向を補正し、前記コストを評価する評価関数として、ＮｏｒｍａｌｉｚｅｄＣｕｔの評価基準を用いて、前記コストを評価するようにしてもよい。 Further, in the sign detection device according to the first aspect, the sign region division processing unit selects two or more points from the detected edge candidate points by sampling processing to generate the boundary plane, The normal direction of the generated boundary plane may be corrected based on prior knowledge of the arrangement relationship of and the cost may be evaluated using a NormalizedCut evaluation criterion as an evaluation function for evaluating the cost. .
また、第１の発明に係る標識検出装置において、前記標識領域分割処理部によって分割された前記標識候補領域の各々について、前記標識候補領域のスケールに応じて作成された、複数の幾何形状テンプレートとのマッチングにより、前記標識候補領域の標識形状の種類を識別する標識形状識別部を更に含むようにしてもよい。 Further, in the sign detection device according to the first invention, for each of the sign candidate areas divided by the sign area dividing unit, a plurality of geometric shape templates created according to the scale of the sign candidate area, and By the above matching, a sign shape identifying unit for identifying the kind of sign shape of the sign candidate region may be further included.
また、第１の発明に係る標識検出装置において、前記３次元点群の各３次元点は、物体の表面上の位置及び反射強度を計測した計測結果を表し、前記標識候補領域判定部は、前記平面領域検出部によって検出された前記平面領域の各々について、前記平面領域に含まれる３次元点群の反射強度を更に考慮して、標識候補領域であるか否かを判定するようにしてもよい。 Further, in the sign detection device according to the first invention, each three-dimensional point of the three-dimensional point group represents a measurement result obtained by measuring a position and reflection intensity on the surface of the object, and the sign candidate region determination unit includes: For each of the planar regions detected by the planar region detection unit, it is further determined whether or not it is a marker candidate region by further considering the reflection intensity of the three-dimensional point group included in the planar region. Good.
第２の発明に係る標識検出方法は、平面領域検出部が、物体の表面上の位置を計測した計測結果である複数の位置を表す３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出するステップと、標識候補領域判定部が、前記平面領域検出部によって検出された前記平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定するステップと、標識領域分割処理部が、前記標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割するステップと、を含んで実行することを特徴とする。 The marker detection method according to the second invention is a clustering method using local shape information based on a three-dimensional point group representing a plurality of positions, which are measurement results obtained by measuring a position on the surface of an object by a planar region detection unit. Performing a process to detect a plane area including a three-dimensional point group and a road running surface including the three-dimensional point group; and a sign candidate area determination unit configured to detect the plane area detected by the plane area detection unit. In consideration of the relative position with respect to the surrounding features for each, the step of determining whether or not it is a sign candidate area, and the sign area division processing unit can divide each of the sign candidate areas by a boundary plane. And determining whether or not the marker candidate region is determined to be divisible by the boundary plane.
第３の発明に係るプログラムは、コンピュータを、第１の発明に係る標識検出装置を構成する各部として機能させるためのプログラムである。 A program according to a third invention is a program for causing a computer to function as each part constituting the label detection apparatus according to the first invention.
本発明の標識検出装置、方法、及びプログラムによれば、３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出し、検出された平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定し、標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された標識候補領域を境界平面により分割することにより、精度よく標識を検出することができる、という効果が得られる。 According to the marker detection apparatus, method, and program of the present invention, a clustering process using local shape information is performed based on a three-dimensional point group, and a plane region including the three-dimensional point group and a three-dimensional point group are included. A road running surface is detected, and each detected plane area is determined in consideration of a relative position with respect to surrounding features to determine whether it is a sign candidate area, and for each sign candidate area, a boundary plane It is possible to obtain an effect that a sign can be detected with high accuracy by determining whether or not it is possible to divide and dividing a candidate marker area determined to be divisible by a boundary plane.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［発明の概要］
（第１の概要）
[Summary of Invention]
(First overview)
本発明の実施の形態では、具体的には、標識候補領域として検出された点群について、エッジ上に存在する点をまず検出し、 次に、その検出したエッジ点をサンプリングして境界平面候補を多数生成する。これらの境界平面候補の中で、グラフ分割のコストの累積値を最小にするものを境界平面として決定する。 In the embodiment of the present invention, specifically, a point existing on an edge is first detected for a point group detected as a marker candidate region, and then the detected edge point is sampled to obtain a boundary plane candidate. A large number of Among these boundary plane candidates, the one that minimizes the cumulative value of the graph division cost is determined as the boundary plane.
また、案内標識のように反射強度が小さい場合でも検出が可能なように、平面と周辺地物との相対関係を考慮することで平面の検出精度も向上させる。道路上の標識は、門型柱状構造物に設置されることや、トンネル内の天井に設置されるなど、走行道路の真上に位置していることが多い。そこで、本発明では、道路走行面との相対位置関係を考慮した標識候補領域の判定処理を行う。 In addition, the detection accuracy of the plane is improved by considering the relative relationship between the plane and the surrounding features so that the detection can be performed even when the reflection intensity is low as in the case of a guide sign. In many cases, a sign on a road is located directly above a traveling road, such as being installed on a gate-type columnar structure or installed on a ceiling in a tunnel. Therefore, in the present invention, a marker candidate region determination process is performed in consideration of the relative positional relationship with the road running surface.
（第２の概要） (Second overview)
更に本発明の実施の形態では、切り出された点群から標識形状の識別を行う。個々に検出された標識については、その中心位置および縦横の大きさ（スケール）を推定することは容易である。そこで、推定したスケールに合わせ、かつ、検出対象となる形状に合わせた幾何テンプレートとして、具体的には、丸や三角、長方形等の図形とのマッチングにより形状識別を行う。 Furthermore, in the embodiment of the present invention, the marker shape is identified from the cut point group. About the label | marker detected separately, it is easy to estimate the center position and the height (horizontal) size (scale). Therefore, as a geometric template that matches the estimated scale and the shape to be detected, specifically, shape identification is performed by matching with a figure such as a circle, triangle, or rectangle.
（第３の概要） (Third outline)
また、柱状構造物の位置を考慮することで更に判定条件を厳しくし、誤検出を抑制する。 Further, the determination conditions are further tightened by considering the position of the columnar structure, and erroneous detection is suppressed.
［実施形態の概説］ [Outline of Embodiment]
本実施の形態に係る点群解析による標識検出装置は、レーザースキャナ等で計測された３次元点群を入力として標識の位置検出と標識の種類を認識するシステムである。本実施の形態においては、３次元情報（位置情報）とは、緯度、経度、海抜（高さ）情報でもよいし、ユーザーが設定した特定の位置を原点とした３次元ユークリッド座標系でも極座標系でもよい。本実施の形態においては、ユーザーが設定した原点における３次元ユークリッド座標系（各方向をＸ，Ｙ，Ｚ座標とする）を想定する。 The sign detection apparatus based on point cloud analysis according to the present embodiment is a system for detecting the position of a sign and recognizing the kind of the sign using a three-dimensional point cloud measured by a laser scanner or the like as an input. In the present embodiment, the three-dimensional information (position information) may be latitude, longitude, sea level (height) information, or a three-dimensional Euclidean coordinate system with a specific position set by the user as an origin, or a polar coordinate system. But you can. In the present embodiment, a three-dimensional Euclidean coordinate system at the origin set by the user (each direction is assumed to be an X, Y, Z coordinate) is assumed.
各座標の単位はメートル(m)やセンチメートル(cm)、ミリメートル(mm)で表現するが、他の単位でもよい。３次元点とは、上記の３次元座標に、その点が撮影された時刻、レーザーの反射強度、赤・青・緑などの色情報等が付与された点でもよい。３次元点に付与される情報に制限はないが、少なくとも位置情報（Ｘ，Ｙ，Ｚ座標）は付与されたものであり、３次元点群とは、これらの情報を含む点の集合である。 The unit of each coordinate is expressed in meters (m), centimeters (cm), and millimeters (mm), but other units may be used. The three-dimensional point may be a point where the time when the point is photographed, the reflection intensity of the laser, color information such as red / blue / green, and the like are given to the three-dimensional coordinates. There is no restriction on the information given to the three-dimensional point, but at least position information (X, Y, Z coordinates) is given, and the three-dimensional point group is a set of points including such information. .
また、本実施の形態においては、ユークリッド座標系のＺ軸の方向は鉛直（高さ）方向を意味し、Ｘ軸とＹ軸の張る二次元平面は水平面を意味するものとする。また、３次元点群はレーザースキャナ以外にも、距離情報を取得できるセンサであればよく、例えば超音波センサやステレオカメラにより取得した奥行き情報から求めた３次元点群でもよい。 In the present embodiment, the Z-axis direction of the Euclidean coordinate system means the vertical (height) direction, and the two-dimensional plane formed by the X-axis and Y-axis means the horizontal plane. In addition to the laser scanner, the three-dimensional point group may be any sensor that can acquire distance information. For example, the three-dimensional point group may be a three-dimensional point group obtained from depth information acquired by an ultrasonic sensor or a stereo camera.
[第１の実施の形態]
（標識検出装置全体の説明）
[First embodiment]
(Explanation of the whole label detection device)
次に、本発明の第１の実施の形態に係る点群解析による標識検出装置の構成について説明する。図２に示すように、第１の実施の形態に係る点群解析による標識検出装置１００は、ＣＰＵと、ＲＡＭと、後述する点群解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この点群解析による標識検出装置１００は、機能的には、記憶部１０３と、標識検出部１０４とを含んで構成されている。また、標識検出装置１００には、被写体計測部１０１と、入力部１０２とが接続されている。 Next, the configuration of the sign detection apparatus based on point cloud analysis according to the first embodiment of the present invention will be described. As shown in FIG. 2, the marker detection apparatus 100 by point cloud analysis according to the first embodiment stores a CPU, a RAM, a program for executing a later-described point cloud analysis processing routine, and various data. It can be composed of a computer including a ROM. The sign detection apparatus 100 based on this point group analysis is functionally configured to include a storage unit 103 and a sign detection unit 104. In addition, a subject measuring unit 101 and an input unit 102 are connected to the sign detection device 100.
被写体計測部１０１は、物体の表面上の位置を計測した計測結果である複数の位置を表す３次元点群を計測するものであり、３次元点群を計測する装置は、レーザーレンジファインダや、赤外線センサ、または超音波センサなど、被写体とセンサとの距離を測定可能な装置である。例えば、レーザーレンジファインダをＧＰＳ（Global Positioning System）を搭載された車の上にこれら被写体表面の３次元位置を計測するシステムであるＭＭＳ（Mobile Mapping System）を用いればよい。またステレオカメラのように複数のカメラ画像を用いて、三角測量の原理から奥行きを推定する計測機器でもよい。 The subject measurement unit 101 measures a three-dimensional point group representing a plurality of positions, which are measurement results obtained by measuring positions on the surface of an object, and an apparatus for measuring the three-dimensional point group includes a laser range finder, An apparatus that can measure the distance between a subject and a sensor, such as an infrared sensor or an ultrasonic sensor. For example, a mobile mapping system (MMS), which is a system for measuring the three-dimensional position of the surface of a subject on a vehicle equipped with a GPS (Global Positioning System) as a laser range finder, may be used. Alternatively, a measuring device that estimates the depth from the principle of triangulation using a plurality of camera images, such as a stereo camera, may be used.
入力部１０２は、マウスやキーボードなどのユーザーインターフェースであり、点群解析による標識検出装置１００で使用するパラメータを入力するものである。また、パラメータを記憶したＵＳＢメモリなどの外部記憶媒体でもよく、記憶部１０３の演算処理用パラメータ記憶部１１１にパラメータを供給する。 The input unit 102 is a user interface such as a mouse or a keyboard, and inputs parameters used in the marker detection apparatus 100 based on point cloud analysis. Alternatively, an external storage medium such as a USB memory storing parameters may be used, and the parameters are supplied to the arithmetic processing parameter storage unit 111 of the storage unit 103.
記憶部１０３は、３次元点群記憶部１１０と、演算処理用パラメータ記憶部１１１と、標識情報記憶部１１２と、を含んで構成されている。また、記憶部１０３は、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）等のハードウェアによる記憶装置である。 The storage unit 103 includes a three-dimensional point cloud storage unit 110, a calculation processing parameter storage unit 111, and a marker information storage unit 112. The storage unit 103 is a storage device using hardware such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
標識情報記憶部１１２には、標識検出部１０４で検出された標識の３次元座標位置と標識の平面の法線方向が記憶される。 The sign information storage unit 112 stores the three-dimensional coordinate position of the sign detected by the sign detection unit 104 and the normal direction of the sign plane.
標識検出部１０４は、平面領域検出部１２０と標識候補領域判定部１２１と標識領域分割処理部１２２とを含んで構成されている。 The sign detection unit 104 includes a flat area detection unit 120, a sign candidate region determination unit 121, and a sign region division processing unit 122.
平面領域検出部１２０において、入力された３次元点群に対して局所形状に基づきクラスタリングを行い、３次元点群からなる領域を平面領域に分割する。領域分割された３次元点群は標識候補領域判定部１２１に供給され、各平面領域について標識候補領域であるか判定処理が行われる。次に、標識領域分割処理部１２２は、隣接する標識があれば切り分け処理を行い、記憶部１０３に検出した標識の情報を出力する。 The planar area detection unit 120 performs clustering on the input 3D point group based on the local shape, and divides the area composed of the 3D point group into planar areas. The divided three-dimensional point group is supplied to the marker candidate region determination unit 121, and a determination process is performed on each planar region as to whether it is a marker candidate region. Next, if there is an adjacent sign, the sign area division processing unit 122 performs a segmentation process and outputs the detected sign information to the storage unit 103.
（標識検出部１０４の動作説明） (Description of operation of the sign detection unit 104)
まず、本実施の形態の標識検出装置１００による標識検出部１０４の処理全体の流れについて図３を参照して説明する。 First, the flow of the entire process of the sign detection unit 104 by the sign detection apparatus 100 of the present embodiment will be described with reference to FIG.
（ステップＳ１：平面領域検出部）
ステップＳ１において、記憶部１０３から供給される３次元点群および地物情報に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と、３次元点群を含む道路走行面とを検出する。ここで、地物情報とは３次元点群の計測位置や柱状構造物の位置を意味するが、それ以外の建造物の情報を含んでいてもよい。なお、地物情報が無くても標識検出部１０４の動作は可能である。
(Step S1: Plane area detection unit)
In step S1, based on the three-dimensional point group and feature information supplied from the storage unit 103, clustering processing using local shape information is performed, and a plane region including the three-dimensional point group and the three-dimensional point group are obtained. The road running surface is detected. Here, the feature information means the measurement position of the three-dimensional point group and the position of the columnar structure, but may include information of other buildings. Even if there is no feature information, the sign detection unit 104 can operate.
（ステップＳ２：標識候補領域判定部）
ステップＳ２において、平面領域検出部１２０から入力された平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定する。このとき、第１の実施の形態では、地物情報にＭＭＳの走行軌跡もしくは地図の道路位置情報が含まれている場合には、この道路走行面と標識候補領域の相対位置を考慮して判定が行われる。
(Step S2: marker candidate region determination unit)
In step S <b> 2, it is determined whether each of the planar areas input from the planar area detection unit 120 is a sign candidate area in consideration of the relative position with respect to the surrounding features. At this time, in the first embodiment, when the feature information includes the MMS travel locus or the road position information of the map, the determination is made in consideration of the relative position of the road travel surface and the sign candidate region. Is done.
（ステップＳ３：標識領域分割処理部）
ステップＳ３において、標識候補領域判定部１２１から入力された標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された標識候補領域を境界平面により分割する処理を行い、記憶部１０３に標識情報を出力する。標識情報とは、標識領域に属する点群番号や標識の中心位置、大きさや形状の種類等を意味する。
(Step S3: Sign area division processing unit)
In step S3, it is determined whether or not each of the candidate marker regions input from the candidate marker region determination unit 121 can be divided by the boundary plane, and the candidate marker region determined to be divisible is determined by the boundary plane. The dividing process is performed, and the marker information is output to the storage unit 103. The sign information means the point group number belonging to the sign area, the center position of the sign, the size, the shape type, and the like.
以下、点群の位置の単位は[m]（メートル）とし、レーザーの反射強度は計測機器により値が異なるため、事前処理として値が０から２５５になるように正規化処理しておくものとする。 Hereinafter, the unit of the position of the point cloud is [m] (meter), and the value of the reflection intensity of the laser differs depending on the measuring device. Therefore, as a pre-processing, normalization processing is performed so that the value becomes 0 to 255. To do.
以下にステップＳ１〜Ｓ３における処理の詳細について説明する。 Details of the processes in steps S1 to S3 will be described below.
本実施の形態では、３次元点群の反射強度および法線方向、距離を特徴として、３次元点群をクラスタリング（統合処理）していく。クラスタリング（以下、統合と呼ぶ）された３次元点群のことを以降では領域とよび、各領域を区別する番号をｃ(∈{１,２,３,..,Ｃ})、点群を区別する番号をｉ、統合された各領域に含まれる点の総数をＮｐｏｉｎｔｓ Ｃとする。 In the present embodiment, the three-dimensional point group is clustered (integrated processing) with the feature of the reflection intensity, normal direction, and distance of the three-dimensional point group. The clustered (hereinafter referred to as “integrated”) three-dimensional point group is hereinafter referred to as a region, the number for distinguishing each region is c (∈ {1,2,3, .., C}), and the point group is The number to be distinguished is i, and the total number of points included in each integrated region is N points C.
ここで、入力された３次元点群位置を Here, the input 3D point cloud position
で表現する。ただし、[ｘｉ，ｙｉ，ｚｉ]は、Ｘ，Ｙ，及びＺ軸の座標成分を意味し、右上の添え字の記号「Ｔ」は転置を意味とする。以降では、領域の番号を用いて、処理の流れを説明する。統合された領域ｃに属する点は、以下（２）式のように右上の添え字にクラスタの番号を示すことで表記することとする。 It expresses with. However, [x i , y i , z i ] means the coordinate components of the X, Y, and Z axes, and the subscript “T” in the upper right means transpose. Hereinafter, the flow of processing will be described using region numbers. Points belonging to the integrated region c are expressed by indicating the cluster number in the upper right subscript as shown in the following equation (2).
（ステップＳ１：平面領域検出部）
図４にステップＳ１の詳細なフローを示す。
(Step S1: Plane area detection unit)
FIG. 4 shows a detailed flow of step S1.
（ステップＳ１−１：Ｋ近傍点検出、法線方向の算出）
ステップＳ１−１において、３次元点群における注目点ｐｉについて、半径ｒ内に含まれる３次元点を周辺点ｐｊとし、ｊを周辺点群の点を区別する記号ｊ(∈{１,２,３,..,Ｎｕｍｊ})とする。ｎｉとｎｊとをそれぞれの点の法線方向とし、各３次元点のレーザーの反射強度をｒｅｆ(ｉ)、ｒｅｆ(ｊ)で表現すると以下の（３）〜（５）式を満たす３次元点をクラスタリングしていく。ただし、本実施の形態では法線の検出方法には非特許文献５に記載の方法を用いるが、法線の検出方法は特に限定されるものではない。
(Step S1-1: Detection of K neighboring point, calculation of normal direction)
In step S1-1, for the point of interest p i in the three-dimensional point group, the three-dimensional point included in the radius r is the peripheral point p j, and j is a symbol j (∈ {1, 2, 3, .., Num j }). When n i and n j are normal directions of the respective points and the reflection intensity of the laser at each three-dimensional point is expressed by ref (i) and ref (j), the following expressions (3) to (5) are satisfied. Cluster 3D points. However, in this embodiment, the method described in Non-Patent Document 5 is used as the normal detection method, but the normal detection method is not particularly limited.
（ステップＳ１−２：クラスタリング処理）
ステップＳ１−２において、以下の（３）〜（５）式を全て満たすとき、注目点ｐｉ及び周辺点ｐｊは同じ領域にクラスタリングされる。
(Step S1-2: Clustering process)
In step S1-2, when all of the following expressions (3) to (5) are satisfied, the attention point p i and the peripheral point p j are clustered in the same region.
ここで、記号「|| ||」はベクトルの２ノルムを意味し、記号「・」はスカラー値の場合には掛け算を、ベクトルの場合には内積を意味し、記号「｜｜」は絶対値を意味する。半径ｒや閾値Ｔｈ＿ａｎｇｌｅ，Ｔｈ＿ｒｅｆｌｅｃｔｉｏｎは演算処理用パラメータ記憶部１１１に登録されているパラメータである。以降では、このようなパラメータを「実験的に決めるパラメータである」と記載する。本実施の形態において、ｒ＝０．３（ｍ）とした。閾値Ｔｈ＿ａｎｇｌｅ，Ｔｈ＿ｒｅｆｌｅｃｔｉｏｎも実験的に決めるパラメータであり、本実施の形態ではＴｈ＿ａｎｇｌｅ＝５、Ｔｈ＿ｒｅｆｌｅｃｔｉｏｎ＝３０とした。反射強度を考慮することは精度を向上させる観点で望ましいが、しかし、入力された点群の反射強度が無い場合には、（５）式を用いないこととする。 Here, the symbol “||||” means the 2-norm of the vector, the symbol “·” means multiplication in the case of a scalar value, the inner product in the case of a vector, and the symbol “||” is absolute Mean value. The radius r and the threshold values Th_angle and Th_reflection are parameters registered in the calculation processing parameter storage unit 111. Hereinafter, such parameters are described as “experimentally determined parameters”. In this embodiment, r = 0.3 (m). The thresholds Th_angle and Th_reflection are also experimentally determined parameters, and in this embodiment, Th_angle = 5 and Th_reflection = 30. Considering the reflection intensity is desirable from the viewpoint of improving accuracy. However, when there is no reflection intensity of the input point group, the expression (5) is not used.
（４）式は物理的には、法線方向の成す角度を意味する。本実施の形態では、平面領域を検出する必要があるため、このパラメータＴｈ＿ａｎｇｌｅは３度〜１０度と小さい値が望ましい。計測ノイズの大きい場合には、この閾値を大きくし、計測ノイズが小さい場合には閾値も小さく設定すればよい。 Equation (4) physically means the angle formed by the normal direction. In the present embodiment, since it is necessary to detect a planar area, this parameter Th_angle is preferably a small value of 3 degrees to 10 degrees. When the measurement noise is large, this threshold value is increased, and when the measurement noise is small, the threshold value may be set small.
入力した３次元点群全てについて、上記のクラスタリング処理を終わったあとに生成されたクラスタｃについて、当該クラスタｃの３次元点群の総数が閾値Ｔｈ＿ｐｏｉｔｎｓより小さいときにはノイズと判定して除去する。本実施の形態では、Ｔｈ＿ｐｏｉｔｎｓ＝２０［点］とした。 With respect to all the input three-dimensional point groups, regarding the cluster c generated after the above-described clustering processing is completed, if the total number of three-dimensional point groups in the cluster c is smaller than the threshold Th_potns, it is determined as noise and removed. In the present embodiment, Th_points = 20 [points].
（ステップＳ１−３：平面判定処理）
次に、ステップＳ１−３において、ステップＳ１−２で生成された各クラスタｃについて平面領域であるか否かの判定処理を行う。具体的には、クラスタｃの領域について平面近似を行ったときの近似精度に基づいて判定される。近似する平面は、各クラスタに属する３次元点群の座標から共分散行列を作成し、その共分散行列を固有値分解することで求める。
(Step S1-3: Plane determination processing)
Next, in step S1-3, it is determined whether each cluster c generated in step S1-2 is a planar region. Specifically, the determination is made based on the approximation accuracy when the plane approximation is performed for the area of cluster c. The plane to be approximated is obtained by creating a covariance matrix from the coordinates of the three-dimensional point group belonging to each cluster and performing eigenvalue decomposition on the covariance matrix.
まず、クラスタｃの重心位置ｐｇ ｃを以下の（６）式で求める。 First, the center-of-gravity position p g c of the cluster c by the following equation (6).
次に、クラスタｃの共分散行列Ｑは以下の（７）式で求める。 Next, the covariance matrix Q of the cluster c is obtained by the following equation (7).
ただし、添え字記号「Ｔ」は転置することを意味する。 However, the subscript symbol “T” means transposition.
次に、共分散行列Ｑを固有値分解したときの固有値ベクトルについて、固有値が一番大きいものに対応する第一固有値ベクトルをｕｃ、固有値が２番目に大きいベクトルをｖｃ、一番小さい固有値に対応するベクトルをｎｃとして求める。また、ｎｃは物理的には平面近似した際の法線方向を意味し、ｕｃは平面近似した際の“長軸”方向、ｖｃは“短軸”方向を意味する。ただし、長軸と短軸の意味は、点群の分布が広い方向と、分布が狭い方向に対応する。以降、このｎｃをクラスタｃの代表法線方向とする。 Next, with respect to the eigenvalue vector obtained by eigenvalue decomposition of the covariance matrix Q, the first eigenvalue vector corresponding to the largest eigenvalue is u c , the second largest eigenvalue vector is v c , and the smallest eigenvalue is obtained. obtaining the corresponding vector as n c. Further, the n c means normal direction when physically in plan approximation, u c is "long axis" direction in plan approximation, v c means "minor axis" direction. However, the meanings of the major axis and the minor axis correspond to the direction in which the distribution of the point group is wide and the direction in which the distribution is narrow. And later, to the n c a representative normal direction of the cluster c.
次に、代表法線方向ｎｃを用いて、以下の（８）式により、クラスタｃの領域についての近似誤差Ｅｒｒｏｒ＿ｐｌａｎｅが求められる。 Next, using a representative normal direction n c, the following equation (8), the approximation error Error_plane about an area of the cluster c is determined.
そしてステップＳ１−３では、（８）式により求めた近似誤差Ｅｒｒｏｒ＿ｐｌａｎｅが閾値Ｔｈ＿ｐｌａｎｅ＿ｅｒｒｏｒよりも小さいときに、クラスタｃについて、平面領域であると判定する。閾値Ｔｈ＿ｐｌａｎｅ＿ｅｒｒｏｒは実験的に決めるパラメータであり、本実施の形態では閾値Ｔｈ＿ｐｌａｎｅ＿ｅｒｒｏｒ＝０．０１［ｍ］とした。 In step S1-3, when the approximate error Error_plane obtained by the equation (8) is smaller than the threshold Th_plane_error, it is determined that the cluster c is a planar region. The threshold value Th_plane_error is an experimentally determined parameter, and in this embodiment, the threshold value Th_plane_error = 0.01 [m].
（ステップＳ１−４：道路走行面検出）
ステップＳ１−４において、ステップＳ１−３により平面領域と判定されたクラスタの中から、道路走行面を検出する。ステップＳ１−４では、平面領域と判定された各クラスタの法線方向ｎｃと、ＭＭＳの走行軌跡との相対位置と、クラスタに属する点群の大きさとにより判定処理を行う。
(Step S1-4: Road running surface detection)
In step S1-4, a road running surface is detected from the cluster determined to be a planar region in step S1-3. In step S1-4, the normal direction n c of each is determined that the plane area cluster, the relative positions of the travel locus of the MMS, the determination process by the size of the point belonging to the cluster perform.
平面領域の大きさは、以下（９）式及び（１０）式に示す、クラスタｃに属する点群ｐｉ ｃの長軸方向の最大値Ｈｅｉｇｈｔと短軸方向の最大値Ｗｉｄｔｈとにより求まる。 The size of the planar region is less (9) shown in the expression and (10), determined by the maximum value Width of the maximum value Height and short axis direction of the long axis direction of the points p i c belonging to the cluster c.
注目クラスタｃについて、道路走行軌跡をＰＲｏａｄ、走行軌跡の計測位置の総数をＮｒｏａｄ、各点をｐｊ ｒｏａｄ(ｊ∈１,２,…,Ｎｒｏａｄ)で表すと、以下の（１１）〜（１４）式を全て満たすときに道路走行面と判定する。 For the target cluster c, and road running locus P Road, the total number of measurement positions of the travel track N road, the points p j road (j∈1,2, ..., N road) is represented by the following (11) The road traveling surface is determined when all of the formulas (14) are satisfied.
（１１）式及び（１２）式では、クラスタｃの重心と走行軌跡ＰＲｏａｄとの最小距離、すなわち、クラスタｃを平面と仮定したときの平面上での距離を基準として、道路走行面判定をしている。ただし、関数ａｂｓ（）は、絶対値を出力する関数とする。 In the expressions (11) and (12), the road traveling surface determination is performed with reference to the minimum distance between the center of gravity of the cluster c and the traveling locus P Load , that is, the distance on the plane when the cluster c is assumed to be a plane. doing. Note that the function abs () is a function that outputs an absolute value.
（１１）式は、道路走行軌跡をクラスタｃの法線方向に対して正射影したときの重心位置に対する長軸方向の最小距離を意味し、（１２）式は、短軸方向の最小距離を意味している。（１３）式は、クラスタcの法線方向とＺ軸方向 Equation (11) means the minimum distance in the major axis direction relative to the center of gravity when the road trajectory is orthogonally projected with respect to the normal direction of the cluster c, and Equation (12) expresses the minimum distance in the minor axis direction. I mean. (13) is the normal direction of cluster c and the Z-axis direction.
との相対角度を意味している。ここではＺ軸方向に近いほど、道路走行面と判定されやすい。（１４）式は、平面近似したクラスタｃの大きさを意味している。ここでは平面の大きさが大きいほど、道路走行面と判定されやすい。 It means the relative angle. Here, the closer to the Z-axis direction, the easier it is to determine the road running surface. Equation (14) means the size of the cluster c approximated in a plane. Here, the larger the plane size, the easier it is to determine the road running surface.
本実施の形態においては、 In this embodiment,
とした。また、以降のステップにおいては、道路走行面と判定されたクラスタについて、道路走行面クラスタＲｏａｄという１つのクラスタであると見なす。 It was. Further, in the subsequent steps, a cluster determined as a road traveling surface is regarded as one cluster called a road traveling surface cluster Load.
以上、ステップＳ１−４において道路走行面クラスタの検出方法について説明したが、入力される３次元点群のデータによっては、事前に手動で道路走行面の点群を除いている場合がある。つまり、ステップＳ１−４で道路走行面クラスタが検出されなかった場合は、道路走行面クラスタはＮｕｌｌ（不明）として道路走行面クラスタの情報を登録する。 As described above, the road travel surface cluster detection method has been described in step S1-4. However, depending on the input three-dimensional point cloud data, the road travel surface point cloud may be manually excluded in advance. That is, if no road travel surface cluster is detected in step S1-4, the road travel surface cluster is registered as null (unknown) and the road travel surface cluster information is registered.
（ステップＳ２：標識候補領域判定部）
ステップＳ２では、平面領域と判定されたクラスタについて、周辺地物との相対位置を考慮して、標識候補領域であるか判定を行う。本実施の形態においては、平面領域と判定されたクラスタについて、道路走行面クラスタＲｏａｄとの位置関係を考慮して標識候補領域かどうか判定する。
(Step S2: marker candidate region determination unit)
In step S2, it is determined whether or not the cluster determined to be a planar region is a marker candidate region in consideration of the relative position with respect to surrounding features. In the present embodiment, a cluster determined to be a planar area is determined as a sign candidate area in consideration of the positional relationship with the road travel surface cluster Load.
ただし、反射強度が低い平面の中には、仮に道路走行面上に存在したとしても陸橋の側面部や、トンネルの入り口部分などの、建造物の一部分である可能性がある。そこで、本実施の形態では、検出した平面が他の建造物の一部であるか、他の３次元点群から独立した３次元点群かどうか評価を行い、その評価値も考慮して標識候補領域であるか判定する。 However, a plane with low reflection intensity may be a part of a building such as a side surface of an overpass or a tunnel entrance even if it exists on the road running surface. Therefore, in the present embodiment, it is evaluated whether the detected plane is a part of another building or a three-dimensional point group independent of the other three-dimensional point group, and the sign is also considered in consideration of the evaluation value. It is determined whether it is a candidate area.
図５にステップＳ２の詳細なフローを示す。 FIG. 5 shows a detailed flow of step S2.
（ステップＳ２−１：クラスタ情報抽出）
ステップＳ２−１では、注目クラスタｃについて、建造物表面に存在している３次元点と接している注目点ｐｉ ｃの割合に基づいて、独立度合いＥｉｓｏｌａｔｅを算出する。ここで、建造物表面に存在している３次元点とは、注目クラスタｃ以外の３次元点群全てと見なす。ただし、その３次元点が属するクラスタの大きさが閾値以上の大きさの場合とする。
(Step S2-1: Cluster information extraction)
In step S2-1, the target cluster c, based on the percentage of the target point p i c in contact with the three-dimensional point being present on the building surface, it calculates the independent degree E an isolate. Here, the three-dimensional points existing on the building surface are regarded as all three-dimensional point groups other than the cluster of interest c. However, it is assumed that the size of the cluster to which the three-dimensional point belongs is greater than or equal to a threshold value.
クラスタｃの注目点ｐｉ ｃについて、ｋｐ個の近傍点ｐｊ (ｊ∈１,２,..,ｋｐ)について、その近傍点が所属するクラスタをＣｌｕｓｔｅｒ(ｐｊ)と表現すると、注目クラスタｃ以外のクラスタについて、長軸および短軸方向の長さをＨｅｉｇｈｔ（Ｃｌｕｓｔｅｒ（ｐｊ））、Ｗｉｄｔｈ（Ｃｌｕｓｔｅｒ（ｐｊ））で表現すると、以下の（１５）式及び（１６）式を満たす時に、注目点ｐｉ ｃは建造物と接していると判定する。 For the target point p i c of the cluster c, k p number of neighboring points p j (j∈1,2, .., k p) for, and to represent the cluster in which the vicinity of the point belongs to the Cluster (p j), When the lengths in the major axis and minor axis directions are expressed as Height (Cluster (p j )) and Width (Cluster (p j )) for clusters other than the cluster of interest c, the following formulas (15) and (16) when satisfying, attention point p i c is determined that the contact with the building.
ここで、閾値Ｔｈ＿ｂｕｉｌｄｉｎｇは実験的に決めるパラメータであり、本実施の形態ではＴｈ＿ｂｕｉｌｄｉｎｇ＝０．５［ｍ］とした。また、近傍点とは注目点ｐｉ ｃから距離が近い順にｋｐ点選んだ点を意味している。繰り返しになるが、上記Ｃｌｕｓｔｅｒ（ｐｊ）がクラスタｃとなる近傍点であるかは考慮しない。 Here, the threshold value Th_building is an experimentally determined parameter, and in this embodiment, Th_building = 0.5 [m]. In addition, the neighboring point means the point at which chose k p points to order a short distance from the target point p i c. Again, it is not considered whether the Cluster (p j ) is a neighboring point that becomes cluster c.
クラスタｃについて、独立度合いＥｉｓｏｌａｔｅ(c)は以下の（１７）式により求まる。 For the cluster c, the degree of independence E isolate (c) is obtained by the following equation (17).
代表反射強度ｒｅｆ（ｃ）については、本実施の形態においてクラスタｃに属する３次元点群の反射強度の平均値もしくは中央値を用いることとする。平均値を用いた算出例を以下に示す。 As the representative reflection intensity ref (c), the average value or median value of the reflection intensity of the three-dimensional point group belonging to the cluster c is used in the present embodiment. A calculation example using the average value is shown below.
ただし、入力点群に反射強度が含まれていないときは、代表反射強度ｒｅｆ（ｃ）は０とする。０とする理由は、下記で判定する標識候補クラスタの判定条件を厳しくするという意味である。つまり、反射強度を有しない点群は、より厳しい条件での判定を行う。 However, when the reflection intensity is not included in the input point group, the representative reflection intensity ref (c) is set to zero. The reason for setting it to 0 means that the judgment condition of the marker candidate cluster to be judged below is tightened. That is, the point group having no reflection intensity is determined under more severe conditions.
ステップ２−１について以下に説明する処理は、登録されている道路走行面クラスタの情報がＮｕｌｌ(不明)ではないときのみ行われる。 The process described below for step 2-1 is performed only when the registered road travel surface cluster information is not Null (unknown).
道路走行面と各クラスタの相対位置は、ＸＹ平面に射影したときの道路走行面上の点と注目クラスタの重心位置の水平面上での最短距離、クラスタ代表法線方向と道路走行面における点の法線の成す角度の最小値、注目クラスタの重心位置の道路からの高さ、以上の組み合わせにより表す。 The relative positions of the road running surface and each cluster are the points on the road running surface when projected onto the XY plane, the shortest distance on the horizontal plane of the center of gravity of the cluster of interest, the cluster normal direction and the points on the road running surface. The minimum value of the angle formed by the normal line, the height of the center of gravity of the cluster of interest from the road, and a combination of the above.
道路走行面クラスタＲｏａｄに属している点をｐｈ Ｒｏａｄ、その法線方向ｎｈ Ｒｏａｄと表現すると、クラスタｃの重心位置ｐｇ ｃに対する、Ｒｏａｄに属している点群ｋｒ個の近傍点ｐｈ Ｒｏａｄ(ｈ∈１,２,３,..,ｋｒ)を用いて、以下（１８）〜（２０）式により、上記の最短距離Ｄｉｓｔａｎｃｅ＿ｍｉｎ、最小の成す角度Ａｎｇｌｅ＿ｍｉｎ、及び最小地上高Ｈｅｉｇｈｔ＿ｍｉｎを求める。 When a point belonging to the road running surface cluster Road is expressed as p h Load and its normal direction n h Road , the point group k r neighboring points p belonging to the load with respect to the center of gravity position p g c of the cluster c. h Road (h∈1,2,3, .., kr ) with the following (18) to (20), determining said shortest distance Distance_min, minimum of the angle Angle_min, and the minimum ground clearance Height_min .
ただし、記号「×」はベクトルの外積を意味する。 However, the symbol “x” means a vector outer product.
クラスタ情報とは、上記で求めた各クラスタの独立度合いＥｉｓｏｌａｔｅ(c)、長軸と短軸方向の長さＨｅｉｇｈｔ（ｃ），Ｗｉｄｔｈ（ｃ）、各クラスタの代表位置と道路軌跡との最短距離Ｄｉｓｔａｎｃｅ＿ｍｉｎ（ｃ）、各クラスタの代表法線方向と道路走行面の法線との成す最小角度Ａｎｇｌｅ＿ｍｉｎ（ｃ）、道路走行面からの最低地上高Ｈｅｉｇｈｔ＿ｍｉｎ（ｃ）、及び代表反射強度ｒｅｆ（ｃ）のことである。ただし、ステップＳ１−４において、道路走行面クラスタが検出されていないときは、道路走行面クラスタ情報がＮｕｌｌ(不明)となっている。 The cluster information refers to the degree of independence E isolate (c) of each cluster obtained above, the lengths of the major and minor axes in height (c) and Width (c), and the shortest of the representative position of each cluster and the road trajectory. Distance Distance_min (c), minimum angle Angle_min (c) formed between the representative normal direction of each cluster and the normal line of the road running surface, the minimum ground height from the road running surface Height_min (c), and the representative reflection intensity ref (c ). However, when the road travel surface cluster is not detected in step S1-4, the road travel surface cluster information is Null (unknown).
（ステップＳ２−２：標識候補判定処理）
ステップＳ２−２において、ステップＳ２−１で求めたクラスタ情報に基づいて、クラスタｃの平面領域が標識候補領域であるか否かの判定を行う。本実施の形態において、標識であるかの判定基準は大きく分けて２つあり、高い反射強度を有する平面を対象とした判定条件が比較的緩いもの、もう一つは高い反射強度を有さない平面を対象としたより判定基準を厳しくしたものである。
(Step S2-2: Label candidate determination process)
In step S2-2, based on the cluster information obtained in step S2-1, it is determined whether or not the planar area of the cluster c is a marker candidate area. In the present embodiment, there are roughly two criteria for determining whether or not a sign is used. The criteria for determining a plane having a high reflection intensity are relatively loose. The other is not having a high reflection intensity. The judgment criteria are stricter than those for flat surfaces.
クラスタｃの代表反射強度が高いかどうかは、閾値Ｔｈ＿Ｓｉｇｎ＿ｒｅｆｌｒｅｃｔｉｏｎに対する大小関係により決定する。以下の（２１）式を満たす時、反射強度は高いと判定する。 Whether or not the representative reflection intensity of the cluster c is high is determined by the magnitude relationship with respect to the threshold Th_Sign_reflection. When the following expression (21) is satisfied, it is determined that the reflection intensity is high.
本実施の形態では、Ｔｈ＿Ｓｉｇｎ＿ｒｅｆｌｒｅｃｔｉｏｎ＝２２０とした。 In the present embodiment, Th_Sign_reflection = 220.
高い反射強度のとき、以下の（２２）式に示す全ての判定条件を満たせば、標識候補クラスタであると判定する。 When the reflection intensity is high, if all the determination conditions shown in the following equation (22) are satisfied, it is determined as a label candidate cluster.
ただし、閾値Ｔｈ１＿Ｓｉｇｎ＿Ｄｉｓｔａｎｃｅ＝４．０［ｍ］、Ｔｈ１＿Ｓｉｇｎ＿Ｈｅｉｇｈｔ＝１．０［ｍ］、Ｔｈ１＿Ｓｉｇｎ＿Ａｎｇｌｅ＝６０［度］、Ｔｈ＿ｉｓｏｌａｔｅ＝０．２とした。物理的には、Ｄｉｓｔａｎｃｅ＿ｍｉｎは重心と道路走行面との水平面での距離を表し、閾値Ｔｈ１＿Ｓｉｇｎ＿Ｄｉｓｔａｎｃｅ＝４．０は、道路からある程度離れても標識であると判定することを意味している。Ａｎｇｌｅ＿ｍｉｎは、クラスタｃと道路走行面との法線の成す角度を意味し、これが大きい値であるほど２つの平面の関係は垂直であることを意味する。 However, threshold values Th1_Sign_Distance = 4.0 [m], Th1_Sign_Height = 1.0 [m], Th1_Sign_Angle = 60 [degrees], and Th_isolate = 0.2. Physically, Distance_min represents the distance in the horizontal plane between the center of gravity and the road running surface, and the threshold value Th1_Sign_Distance = 4.0 means that it is determined to be a sign even if some distance from the road. Angle_min means the angle formed by the normal line between the cluster c and the road running surface. The larger the value, the more the relationship between the two planes is vertical.
また、道路走行面クラスタの情報がＮｕｌｌ（不明）のときは、Ｄｉｓｔａｎｃｅ＿ｍｉｎ（ｃ）、Ｈｅｉｇｈｔ＿ｍｉｎ（ｃ）、Ａｎｇｌｅ＿ｍｉｎ（ｃ）の判定式は使用しない。 Also, when the road travel surface cluster information is Null (unknown), the judgment formulas for Distance_min (c), Height_min (c), and Angle_min (c) are not used.
低い反射強度のとき、以下の（２３）式に示す全ての判定条件を満たせば、標識候補クラスタであると判定する。 When the reflection intensity is low, if all the determination conditions shown in the following equation (23) are satisfied, it is determined as a label candidate cluster.
ただし、閾値については、Ｔｈ＿Ｓｉｇｎ＿ａｒｅａｓｑｕａｒｅ＝０．２５［ｍ２］ 、Ｔｈ＿Ｓｉｇｎ＿Ｈ＝０．５［ｍ］、Ｔｈ２＿Ｓｉｇｎ＿Ｄｉｓｔａｎｃｅ＝０．２［ｍ］、Ｔｈ２＿Ｓｉｇｎ＿Ｈｅｉｇｈｔ＝２．５［ｍ］、Ｔｈ２＿Ｓｉｇｎ＿Ａｎｇｌｅ＝６０［度］、Ｔｈ＿ｉｓｏｌａｔｅ＝０．２とした。また、道路走行面クラスタの情報がＮｕｌｌ（不明）のときは、Ｄｉｓｔａｎｃｅ＿ｍｉｎ（ｃ）、Ｈｅｉｇｈｔ＿ｍｉｎ（ｃ）、Ａｎｇｌｅ＿ｍｉｎ（ｃ）の判定式は使用しない。 However, the threshold values are Th_Sign_areasquare = 0.25 [m 2 ], Th_Sign_H = 0.5 [m], Th2_Sign_Distance = 0.2 [m], Th2_Sign_Height = 2.5 [m], Th2_Sign_Angle = 60 degrees. Th_isolate = 0.2. Also, when the road travel surface cluster information is Null (unknown), the judgment formulas for Distance_min (c), Height_min (c), and Angle_min (c) are not used.
（ステップＳ３：標識候補分割処理）
ステップＳ３において、ステップＳ２−２で標識候補領域であると判定されたクラスタについて、標識候補分割処理を行う。境界平面の数及び位置は不明なため、本ステップではＲＡＮＳＡＣ処理により決定を行う（ステップＳ３−３）。まず、各クラスタについてエッジ候補となる点からサンプリングした点を用いて、多数の境界平面候補を生成する。次に、分割コストを最小化する境界平面を決定し、グラフを分割する。分割したグラフについて、再度サンプリングおよび境界平面の決定を繰り返し行い、評価関数の分割コストが閾値以上になったときに終了する。
(Step S3: Label candidate division processing)
In step S3, label candidate division processing is performed for the cluster determined to be a label candidate region in step S2-2. Since the number and position of the boundary planes are unknown, in this step, determination is performed by RANSAC processing (step S3-3). First, a large number of boundary plane candidates are generated using points sampled from points that are edge candidates for each cluster. Next, the boundary plane that minimizes the division cost is determined, and the graph is divided. Sampling and determination of the boundary plane are repeated for the divided graph, and the process ends when the cost of dividing the evaluation function is equal to or greater than the threshold value.
また、本ステップについては、標識候補領域であると判定された各クラスタについて独立して処理を行えばよく、並列処理を行うことでも、クラスタの番号の降順、昇順で逐次的に処理を行ってもよい。本実施の形態においては、昇順での処理をする例を示す。ステップＳ３−１からステップＳ３−４の処理を、すべてのクラスタについて処理が終了するまで繰り返す。 In addition, this step may be performed independently for each cluster determined to be a marker candidate area, and by performing parallel processing, the cluster numbers are processed in descending order and ascending order. Also good. In the present embodiment, an example of processing in ascending order is shown. The processing from step S3-1 to step S3-4 is repeated until the processing is completed for all clusters.
図６にステップＳ３の詳細なフローを示す。 FIG. 6 shows a detailed flow of step S3.
（ステップＳ３−１：注目クラスタ番号ｃの選択）
ステップＳ３−１において、注目クラスタの番号を選択する。初めてステップＳ３−１処理を行う場合のみ、変数Ｌｏｏｐ←１（記号「←」は代入を意味する。）と設定し、標識候補領域と判定されたクラスタの番号の中で最も小さい番号を選択する。２回目以降にステップＳ３−１を実行する場合には、Ｌｏｏｐ←Ｌｏｏｐ＋１とし、標識候補領域と判定されたクラスタの中で、Ｌｏｏｐ番目に小さい番号を選択する。
(Step S3-1: Selection of attention cluster number c)
In step S3-1, the number of the cluster of interest is selected. Only when the process of step S3-1 is performed for the first time, the variable Loop ← 1 (the symbol “←” means substitution) is set, and the smallest number among the numbers of the clusters determined as the marker candidate regions is selected. . When step S3-1 is executed after the second time, Loop <-Loop + 1 is set, and the Loop-th smallest number is selected from the clusters determined as the label candidate regions.
（ステップＳ３−２：エッジ候補点の検出）
ステップＳ３−２において、注目クラスタについて、標識候補領域に含まれる３次元点群の注目点と、注目点の周辺点群の各周辺点との相対ベクトルの各々が成す角度に基づいて、エッジ候補点を検出する。ここで、エッジとは、平面のコーナー（端）を意味し、エッジ候補点とは本ステップにより検出したエッジ上に存在すると推定された点群と定義する。図７に示すように、注目点とその周辺点群の位置関係を、周辺点群との相対ベクトルの成す角度により判定する。
(Step S3-2: Detection of edge candidate points)
In step S3-2, for the target cluster, based on the angle formed by each of the relative vectors of the target point of the three-dimensional point group included in the marker candidate region and each peripheral point of the peripheral point group of the target point, the edge candidate Detect points. Here, an edge means a corner (end) of a plane, and an edge candidate point is defined as a point group estimated to exist on the edge detected by this step. As shown in FIG. 7, the positional relationship between the point of interest and its peripheral point group is determined by the angle formed by the relative vector with the peripheral point group.
クラスタｃにおける注目点をｐｉ ｃ、近傍点をｐｊ ｃ(ｊ∈１,２,..,ｋｉ)、近傍点の数をｋｉとすると、以下の（２４）式を満たす場合に注目点ｐｉ ｃはエッジ候補点であると判定する。 If the point of interest in cluster c is p i c , the neighboring point is p j c (j∈1,2,., Ki), and the number of neighboring points is ki, the point of interest is satisfied when the following expression (24) is satisfied. p i c is determined to be an edge candidate point.
ただし、添え字記号「→」は、ノルムが１のベクトルであることを意味し、添え字ｔとｊは近傍点を区別する番号（j≠t）とし、右下の添え字「ｔ_ｉ」のついたベクトルは、注目点ｐｉ ｃを基準とした相対ベクトルとする。 However, the subscript symbol “→” means that the norm is a vector of 1, the subscripts t and j are numbers (j ≠ t) for distinguishing neighboring points, and the lower right subscript “t_i” for vectors, the relative vector relative to the target point p i c.
具体的な例を示すと、 For example,
は以下の（２５）式で表現できる。 Can be expressed by the following equation (25).
閾値Ｔｈ＿Ａｎｇｌｅ＿Ａｒｒｏｕｎｄは、本実施の形態ではＴｈ＿Ａｎｇｌｅ＿Ａｒｒｏｕｎｄ＝１２０［度］とした。 The threshold value Th_Angle_Around is set to Th_Angle_Around = 120 [degrees] in the present embodiment.
（ステップＳ３−３：領域分割処理）
ステップＳ３−３において、ステップＳ３−２で検出された複数のエッジ候補点から、サンプリング処理により２点以上選択して境界平面を生成し、標識候補領域に含まれる３次元点群で生成されるグラフを生成した境界平面で分割するコストを評価して、境界平面により分割可能であるか否かを判定する。そして、分割可能であると判定された標識候補領域を境界平面に分割する。上記の判定処理及び分割処理を繰り返し行うことにより、領域分割処理を行う。コストを評価する際には、点群をノードの集合と考え、個々のノード間の張るリンクとリンクの強さを設定する。設定したリンクを分割する際に生じるコストの総和を最小化するような境界平面を検出する。
(Step S3-3: Area division processing)
In step S3-3, two or more points are selected from the plurality of edge candidate points detected in step S3-2 by sampling processing to generate a boundary plane, which is generated by a three-dimensional point group included in the marker candidate region. The cost of dividing the graph by the boundary plane generated is evaluated to determine whether or not the graph can be divided by the boundary plane. Then, the marker candidate area determined to be divisible is divided into boundary planes. By repeatedly performing the above determination process and division process, the area division process is performed. When evaluating the cost, the point cloud is considered as a set of nodes, and the link between each node and the strength of the link are set. A boundary plane that minimizes the total cost that occurs when the set link is divided is detected.
従来、領域分割を行うときにグラフ分割の問題として解く技術は、例えば非特許文献４に記載のように、２次元画像の領域分割について、Ｎｏｒｍａｌｉｚｅｄ Ｃｕｔという評価基準（評価関数）を用いる技術がある。グラフ分割を固有値問題に帰着させて解析的に解くことが可能である。 Conventionally, as a technique for solving a graph division problem when performing region division, for example, as described in Non-Patent Document 4, there is a technology that uses an evaluation criterion (evaluation function) called Normalized Cut for region division of a two-dimensional image. . It is possible to solve graph analysis analytically by reducing graph partitioning to an eigenvalue problem.
しかし、非特許文献４のような固有値分解により解くグラフ分割技術では、ノイズやオクルージョン（計測時の障害物の影響による部分的な点群の欠損）の影響により、同一の物体内であっても境界平面が生じることがある。ノイズや欠損は不規則な位置にランダムな形状で発生しやすく、境界平面も標識内部に生じやすい。結果として、過分割されやすい。 However, in the graph division technique solved by eigenvalue decomposition as in Non-Patent Document 4, even within the same object due to the effects of noise and occlusion (partial point cloud loss due to the influence of obstacles during measurement). A boundary plane may occur. Noise and defects are likely to occur at irregular locations in a random shape, and boundary planes are also likely to occur inside the sign. As a result, it is easy to be overdivided.
そこで本実施の形態においては、境界平面も平面のような単純な形状で区切れるという制約を加える。図８に全体の流れを示す。ステップＳ３−２において検出したエッジ候補点をサンプリングし、サンプリングにより生成した境界平面を多数作成し、この境界平面の中から分割コストを最小化し、かつ閾値より小さい分割コストであるものを真の境界平面と決定する。 Therefore, in the present embodiment, there is a restriction that the boundary plane is also divided by a simple shape such as a plane. FIG. 8 shows the overall flow. The edge candidate points detected in step S3-2 are sampled, a large number of boundary planes generated by sampling are created, the division cost is minimized among the boundary planes, and the one with a division cost smaller than the threshold is the true boundary Determined as a plane.
以下、図９を用いて、ステップＳ３−３の詳細なフローを説明する。 Hereinafter, the detailed flow of step S3-3 will be described with reference to FIG.
（ステップＳ３−３：ＲＡＮＳＡＣによる境界平面の算出フロー）
（ステップＳ３−３−１：境界平面生成処理）
ステップＳ３−３−１において、エッジ候補点をサンプリングして境界平面をＴ[個]生成する。一般的に平面を規定するには、最低３点以上の点が必要であるが、本ステップにおいては、分割対象は平面領域を対象としているため、この平面に垂直な境界平面であると仮定すれば２点あればよい。つまり、クラスタＣのエッジ候補点から任意の点をランダムに選択した２点により規定される直線と、クラスタＣの代表法線方向により張る面を境界平面とする。つまり、以下で求めるｎ（ｔ） ｃとｇ（ｔ） ｃとの組で境界平面が表現される。
(Step S3-3: RANSAC boundary plane calculation flow)
(Step S3-3-1: Boundary plane generation process)
In step S3-3-1, edge candidate points are sampled to generate T [number] boundary planes. In general, a minimum of three or more points are required to define a plane. However, in this step, since the division target is a plane area, it is assumed that it is a boundary plane perpendicular to this plane. 2 points are enough. That is, a straight line defined by two points randomly selected from the edge candidate points of the cluster C and a plane extending in the representative normal direction of the cluster C are defined as a boundary plane. That is, the boundary plane is expressed by a set of n (t) c and g (t) c obtained below.
ｔ(∈{１,２,３,..,Ｔ})個目の境界平面について、クラスタＣのエッジ候補点から任意の点をランダムに２点選択した点をｐ１（ｔ） Ｃ, ｐ２（ｔ） Ｃ、クラスタＣの代表法線方向をｎｃとすると、t個目の境界平面の法線方向ｎ（ｔ） ｃは以下の（２６）式により求まる。 For the t (∈ {1, 2, 3,..., T})-th boundary plane, p 1 (t) C , p is a point obtained by randomly selecting two arbitrary points from the edge candidate points of the cluster C. If the representative normal direction of 2 (t) C and cluster C is n c , the normal direction n (t) c of the t- th boundary plane can be obtained by the following equation (26).
ただし、境界平面はサンプリングした点の重心位置ｇ（ｔ） ｃを含む（距離が０である）とする。 However, the boundary plane includes the centroid position g (t) c of the sampled point (distance is 0).
ここで、境界平面の数Ｔは実験的に決めるパラメータであり、Ｔの数が多い方が精度は向上する。本実施の形態ではＴ＝１０００とした。 Here, the number T of boundary planes is an experimentally determined parameter, and the accuracy increases as the number T increases. In this embodiment, T = 1000.
また、本実施の形態においては隣接する標識の配置は上下、左右、もしくは斜め４５度（右上、左下もしくは右下、左上）に配置してある確率が高いという事前知識を用いて、境界平面の法線方向を量子化補正する。 Further, in the present embodiment, using the prior knowledge that the placement of adjacent signs is highly probable to be placed up and down, left and right, or diagonally 45 degrees (upper right, lower left or lower right, upper left), the boundary plane Quantize the normal direction.
図１０に示すように、サンプリングして生成した境界平面の法線ｎ（ｔ） ｃとＺ軸との成す角度が、４５度刻みの整数に対して±Δθ度以内のとき、成す角度が４５度の整数になるように補正処理を行う。 As shown in FIG. 10, when the angle between the normal n (t) c of the boundary plane generated by sampling and the Z axis is within ± Δθ degrees with respect to an integer in increments of 45 degrees, the angle formed is 45. Correction processing is performed so as to be an integer of degrees.
以下の（２８）式により、上記で求めた境界平面の法線について、Ｚ軸を４５度刻みで量子化した角度からの偏差ｄｉｆｆ（θ）を求める。 The deviation diff (θ) from the angle obtained by quantizing the Z-axis in 45 degree increments is obtained from the following equation (28).
ここで、関数ｍｏｄ（ｘ，ｙ）は、実数ｘを実数ｙで割り算したときの整数値を出力する関数である。 Here, the function mod (x, y) is a function that outputs an integer value when the real number x is divided by the real number y.
偏差ｄｉｆｆ（θ）の大きさが、閾値Δθ以内の時に、補正処理を行う。Δθは実験的に決めるパラメータであり、本実施の形態ではΔθ＝３度とした。 Correction processing is performed when the magnitude of the deviation diff (θ) is within the threshold value Δθ. Δθ is a parameter determined experimentally. In this embodiment, Δθ = 3 degrees.
補正後の法線方向 Normal direction after correction
は、サンプリングに決定した境界平面の法線方向ｎ（ｔ） ｃとＺ軸の外積により生成したベクトルｍ（ｔ） ｃに対して、右ねじの回転方向（反時計まわり）にＺ軸を回転した方向として求まる。 Rotates the Z-axis in the direction of right-handed screw rotation (counterclockwise) with respect to the vector m (t) c generated by the outer product of the normal direction n (t) c of the boundary plane determined for sampling and the Z-axis It is obtained as the direction.
ただし、関数Ｒｏｔ（ｍ，θ）は、ベクトルｍに対してθ度回転する回転行列（３行３列）を算出する関数であり、本実施の形態においてはロドリゲスの公式を用いる。 However, the function Rot (m, θ) is a function for calculating a rotation matrix (3 rows × 3 columns) that rotates by θ degrees with respect to the vector m, and in the present embodiment, the Rodriguez formula is used.
最後に Finally
とし、以降のステップＳ３−３−２〜Ｓ３−３−５の処理では、補正後の法線ベクトルを用いる。上記の補正処理は必須ではないが、境界平面の数Ｔが少ない場合などには、サンプリングによる誤差を抑制する効果として有効である。 In the subsequent steps S3-3-2 to S3-3-5, the corrected normal vector is used. The above correction processing is not essential, but is effective as an effect of suppressing errors due to sampling when the number T of boundary planes is small.
（ステップＳ３−３−２：最小コスト分割面決定）
ステップＳ３−３−２において、Ｔ[個]の境界平面のグラフ分割コストを算出し、最小コストの境界平面を決定する。クラスタｃに属する点群の各点をノードとし、ノード間のリンクを近傍の点との間について作成する。コストを評価する評価関数としては、非特許文献４に記載のＮｏｒｍａｌｉｚｅｄＣｕｔの評価基準を用いる。
(Step S3-3-2: Minimum cost division plane determination)
In step S3-3-2, the graph division cost of the T [number] boundary planes is calculated, and the boundary plane having the minimum cost is determined. Each point of the point group belonging to the cluster c is set as a node, and a link between nodes is created between neighboring points. As an evaluation function for evaluating the cost, the normalized cut evaluation criteria described in Non-Patent Document 4 are used.
クラスタｃの注目点ｐｉ Ｃと、そのｋ近傍点ｐｊ （ｉ）(ｊ∈{１,２,３,..,ｋ})について、リンクｌｉｎｋ(ｉ,ｊ)の強さは２点間距離に応じて小さくなるように以下（３０）式のように算出される。 The link link (i, j) has two points of strength for the attention point p i C of the cluster c and its k neighbor point p j (i) (j∈ {1, 2, 3,..., K}). It is calculated as in the following equation (30) so as to become smaller according to the distance between the two.
リンクｌｉｎｋ(ｉ,ｊ)の強さは、２点の反射強度も考慮して、以下の（３１）式のように求めてもよい。 The strength of the link link (i, j) may be obtained as in the following equation (31) in consideration of the reflection intensity at two points.
ただし、σｄｉｓｔ, σｒｅｆ、ｋは実験的に決めるパラメータであり、本実施の形態ではσｄｉｓｔ＝０．５, σｒｅｆ＝２０,ｋ＝１０とした。関数ｒｅｆ(ｉＣ)は、クラスタｃに属する注目点ｉの反射強度を意味するとする。 However, σ dist , σ ref , and k are parameters determined experimentally, and in this embodiment, σ dist = 0.5, σ ref = 20, and k = 10. The function ref (i C ) means the reflection intensity of the attention point i belonging to the cluster c.
次に、クラスタｃに所属する注目点ｐｉ Ｃについて、その近傍点ｐｊ （ｉ）(ｊ∈{１,２,..,ｋ})との間が、境界平面を横切るかどうかを以下の（３２）式の評価関数Ｆｌａｇにより判定する。 Next, whether or not the point of interest p i C belonging to the cluster c crosses the boundary plane with its neighboring points p j (i) (j∈ {1, 2,..., K}) is described below. The evaluation function Flag of the expression (32) is determined.
ここで、関数ｓｉｇｎ(ｘ)は実数ｘの値が正のときは１を、それ以外は０（零）を出力する関数、関数ξ［数式］は、入力された数式の等号が成り立たない時に１を、成り立つときは０を出力する関数とする。このため、評価関数Ｆｌａｇ(ｐｉ Ｃ, ｐｊ Ｃ)は、境界平面の重心位置を基準として、法線ベクトルｎ（ｔ） ｃにおいて同一の方向（正側か負側）に注目点とその近傍点が存在するときに０を、異なる方向のときに１を出力する。近傍点の数ｋは実験的に決めるパラメータであり、本実施の形態ではｋ＝１０とした。 Here, the function sign (x) is a function that outputs 1 when the value of the real number x is positive, and 0 (zero) otherwise, and the function ξ [formula] does not hold the equal sign of the inputted formula. A function that outputs 1 at times and 0 when it holds. Therefore, the evaluation function Flag (p i C, p j C) , based on the gravity center position of the boundary plane, the point of interest in the normal vector n (t) c in the same direction (positive or negative side) thereof When a neighboring point exists, 0 is output, and 1 is output in a different direction. The number k of neighboring points is a parameter determined experimentally, and in this embodiment, k = 10.
ステップ３−３−２においては、推定した境界平面を用いて２つの領域を設定し、その２つの領域間の点群を用いてグラフの分割コストを計算する。図１１のように、２つの領域を領域Ａと領域Ｂとすると、各領域に所属する点群は境界平面からの距離ｄｉｓｔと法線との成す角度により決定される。境界平面からの距離が閾値ｄ以下で、かつ法線との成す角度が９０度未満のときは領域Ａと判定し、境界平面からの距離ｄｉｓｔがｄ以下で、かつ法線との成す角度が９０度以上のときは領域Ｂとする。法線との成す角度が９０度未満かの判定および距離ｄｉｓｔは以下の（３３）式で求まる。 In step 3-3-2, two regions are set using the estimated boundary plane, and a graph division cost is calculated using a point cloud between the two regions. As shown in FIG. 11, when two regions are a region A and a region B, a point group belonging to each region is determined by an angle formed by a distance dist from the boundary plane and a normal line. When the distance from the boundary plane is less than or equal to the threshold value d and the angle formed with the normal line is less than 90 degrees, the region A is determined, and the distance dist from the boundary plane is equal to or less than d and the angle formed with the normal line is When the angle is 90 degrees or more, the region B is set. The determination of whether the angle formed with the normal is less than 90 degrees and the distance dist are obtained by the following equation (33).
ここで、関数ｓｉｇｎの値が正のときに０と判定し、値が負のときに１と判定する。 Here, 0 is determined when the value of the function sign is positive, and 1 is determined when the value is negative.
境界平面の法線ベクトル方向を用いて、領域Ａと領域Ｂを設定する。クラスタｃにおいて、領域Ａの注目点をｐａｉ （Ｃ_Ａ）、その点の近傍点群をｐａｊ （Ｃ_Ａ）(ｊ∈１,２,..,ｋａ)、領域Ｂの点群をｐｂｉ （Ｃ_Ｂ）、その近傍点群をｐｂｊ （Ｃ_Ｂ）(ｊｂ∈１,２,..,ｋｂ)で表し、注目点と近傍点との間が境界平面を横切るかどうか判定する式を、以下の（３４）式によりグラフ分割コストＥ（ｔ）（Ａ,Ｂ）は求まる。 Region A and region B are set using the normal vector direction of the boundary plane. In the cluster c, the point of interest in the region A is p ai (C_A) , the neighboring point group of the point is p aj (C_A) (j∈1, 2,..., Ka), and the point group of the region B is p bi ( C_B) , and its neighboring point group is represented by p bj (C_B) (jbε1,2, .., kb), and an expression for determining whether the point of interest and the neighboring point cross the boundary plane is as follows: The graph division cost E (t) (A, B) is obtained from the equation (34).
ただし、ＮＡおよびＮＢは、領域Ａと領域Ｂとの点群の総数を表し、変数εは零割を防ぐ微小値である。領域Ａと領域Ｂを規定する変数である距離ｄは実験的に決めるパラメータである。本実施の形態では、ε＝０．０１、距離ｄ＝０．２［ｍ］とした。 However, NA and NB represent the total number of point groups of the region A and the region B, and the variable ε is a minute value that prevents zero division. The distance d, which is a variable defining the region A and the region B, is a parameter determined experimentally. In this embodiment, ε = 0.01 and distance d = 0.2 [m].
Ｔ個の境界平面のうち、分割コストＥ（ｔ）を最小にする境界平面を出力する。 Among the T boundary planes, the boundary plane that minimizes the division cost E (t) is output.
の組で定まる境界平面が、ステップＳ３−３−２において求められる境界平面となる。 The boundary plane determined by the set is the boundary plane obtained in step S3-3-2.
（ステップＳ３−３−３：境界平面存在判定処理） (Step S3-3-3: Boundary plane existence determination process)
ステップＳ３−３−３において、境界平面が存在するか判定する。最小の分割コストＥ（ｔ）が境界平面判定閾値Ｔｈ＿Ｓｕｒｆ未満のときに境界平面が存在すると判定する。 In step S3-3-3, it is determined whether a boundary plane exists. When the minimum division cost E (t) is less than the boundary plane determination threshold Th_Surf, it is determined that a boundary plane exists.
閾値Ｔｈ＿Ｓｕｒｆは、本実施の形態においてＴｈ＿Ｓｕｒｆ＝０．１と設定した。境界平面が有ると判定された場合、ステップＳ３−３−４のクラスタ分割処理を行い、境界平面が有ると判定されない場合は、分割処理をおこなわずにクラスタｃの点群を処理する。つまり、ステップＳ３−３の入力と出力の注目クラスタに属する点群に変更は無い。 The threshold Th_Surf is set to Th_Surf = 0.1 in the present embodiment. If it is determined that there is a boundary plane, the cluster division processing in step S3-3-4 is performed. If it is not determined that there is a boundary plane, the point cloud of cluster c is processed without performing the division processing. That is, there is no change in the point cloud belonging to the input and output target clusters in step S3-3.
境界平面が存在しないと判定されたクラスタは、標識クラスタとして出力される。 A cluster determined to have no boundary plane is output as a marker cluster.
（ステップＳ３−３−４：クラスタ分割処理）
ステップＳ３−３−４において、検出した境界平面に基づき領域を分割する。ステップＳ３−３−３で求めた重心位置からの相対ベクトルについて法線方向の正もしくは負の領域にあるかで判定する。クラスタｃの注目点ｐｉ Ｃについて、以下の（３７）式の値が１のときに領域１と判定し、値が０のときに領域２と判定する。
(Step S3-3-4: Cluster division processing)
In step S3-3-4, the region is divided based on the detected boundary plane. It is determined whether the relative vector from the center of gravity obtained in step S3-3-3 is in the normal or positive region. The attention point p i C of the cluster c is determined as the region 1 when the value of the following expression (37) is 1, and is determined as the region 2 when the value is 0.
（ステップＳ３−３−５：境界平面についてクラスタ分割処理）
分割後のクラスタＣ−１とクラスタＣ−２について、再度ステップＳ３−３の入力とする。それぞれのクラスタは独立して処理をすればよいが、番号の小さい順番にＣ−１→Ｃ−２と逐次的に処理を行ってもよい。
(Step S3-3-5: Cluster division processing for boundary plane)
The divided cluster C-1 and cluster C-2 are input again in step S3-3. Each cluster may be processed independently, but may be processed sequentially from C-1 to C-2 in ascending order of numbers.
もし、分割後の注目クラスタＣ−１について、境界平面が存在しない場合には、注目クラスタＣ−１については処理を終了する。境界平面が存在するときには、注目クラスタＣ−１を更に分割処理し、再度ステップＳ３−３の入力とする。図９に示すように、ステップＳ３−３−５で、分割後の全てのクラスタの各々について、再度、ステップＳ３−３を実行して、領域分割処理を行う。 If there is no boundary plane for the divided attention cluster C-1, the processing is finished for the attention cluster C-1. When a boundary plane exists, the cluster C-1 of interest is further divided and used as the input of step S3-3 again. As shown in FIG. 9, in step S3-3-5, for each of all the clusters after the division, step S3-3 is executed again to perform region division processing.
（ステップＳ３−４：位置・大きさ推定処理）
ステップＳ３−４において、ステップＳ３−３で分割された領域分割後のクラスタについて、当該領域分割後のクラスタの３次元点群に基づいて、それぞれの中心位置および縦（上下）と左右（水平）方向の大きさを推定する。注目クラスタｃの分割後のクラスタ数をＦ、各クラスタを区別する番号をｆと表現すると、クラスタｆの点群を用いて、（６）式、及び（７）式から重心位置ｇｆと代表法線ベクトルｎｆと長軸方向ｕｆ、短軸方向ｖｆを求める。
(Step S3-4: Position / Size Estimation Process)
In step S3-4, for the cluster after the area division divided in step S3-3, the center position and the vertical (up and down) and left and right (horizontal) of each cluster based on the three-dimensional point group of the cluster after the area division. Estimate the size of the direction. Representing the number of clusters after division of the cluster of interest c F, when the number to distinguish each cluster representing is f, using the point cloud of the cluster f, and (6), and (7) the center of gravity position from the equation g f A normal vector n f , a major axis direction u f , and a minor axis direction v f are obtained.
次に、代表法線ベクトルｎｆに垂直な平面上における、縦軸方向および横軸方向を決定する。縦軸方向とは、Ｚ軸方向を代表法線ベクトルｎｆに垂直な平面（ｕｆ，ｖｆ）に射影した方向 Next, a vertical axis direction and a horizontal axis direction on a plane perpendicular to the representative normal vector n f are determined. The vertical axis direction is a direction in which the Z-axis direction is projected onto a plane (u f , v f ) perpendicular to the representative normal vector n f
として求まり、横軸方向 As horizontal axis direction
はベクトルｎｆと方向 Is vector n f and direction
の外積として求まる。 Is obtained as the outer product of
注目クラスタｆの注目点をｐｉ ｆと表記すると、以下の（３９）式により長軸方向の長さＬｅｎｇＺ’および短軸方向の長さＬｅｎｇＹ’、中心位置の座標Ｃｏｒｒｄｉ（ｈａｌｆ＿Ｚ’ｆ）と短軸方向の中心位置座標Ｃｏｒｒｄｉ（ｈａｌｆ＿Ｙ’ｆ）が求まる。なお、長軸方向の長さ、及び短軸方向の長さは、クラスタの各軸方向の半分の長さである。 When the attention point of the attention cluster f is expressed as p i f , the length LzZ ′ in the major axis direction, the length LengY ′ in the minor axis direction, the coordinate Corrdi (half_Z ′ f ) of the center position and the following equation (39) A center position coordinate Corrdi (half_Y ′ f ) in the minor axis direction is obtained. Note that the length in the major axis direction and the length in the minor axis direction are half the length of each cluster in the axis direction.
標識クラスタｆの３次座標ベクトルＣｌｕｓｔｅｒｆ ＸＹＺは、以下の（４０）式により求まる。 The tertiary coordinate vector Cluster f XYZ of the marker cluster f is obtained by the following equation (40).
（ステップＳ３−５：終了判定処理）
ステップＳ３−５において、標識候補領域と判定された全てのクラスタについて領域分割処理をしたかを判定する。標識候補領域と判定された全てのクラスタについて処理を行っていない場合にはステップＳ３−１に戻る。全てのクラスタについて処理を終了した場合、ステップＳ３を終了して、分割後のクラスタを標識クラスタとして出力する。
(Step S3-5: End determination process)
In step S3-5, it is determined whether or not the region division processing has been performed for all clusters determined to be marker candidate regions. If processing has not been performed for all clusters determined to be candidate marker regions, the process returns to step S3-1. When the processing is completed for all the clusters, step S3 is ended, and the divided cluster is output as a marker cluster.
以上説明したように、第１の実施の形態に係る標識検出装置によれば、３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出し、検出された平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定し、標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された標識候補領域を境界平面により分割することにより、精度よく標識を検出することができる。 As described above, according to the sign detection device according to the first embodiment, based on the three-dimensional point group, the clustering process using the local shape information is performed, and the planar region including the three-dimensional point group is obtained. A road running surface including a three-dimensional point group is detected, and each detected plane area is determined as a sign candidate area in consideration of a relative position with respect to surrounding features. For each of the above, it is determined whether or not it is possible to divide by the boundary plane, and the marker candidate area determined to be divide is divided by the boundary plane, whereby the marker can be detected with high accuracy.
[第２の実施の形態]
次に、第２の実施の形態に係る点群解析による標識検出装置の構成について説明する。なお、第１の実施の形態と同様の構成となる箇所については、同一符号を付して説明を省略する。
[Second Embodiment]
Next, the configuration of the sign detection apparatus based on point cloud analysis according to the second embodiment will be described. In addition, about the location which becomes the same structure as 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
図１２に示すように、第２の実施の形態においては、標識検出部１０４において平面領域検出部１２０と、標識候補領域判定部１２１と、標識領域分割処理部１２２と、標識形状識別部１２３と含んで構成されている。 As shown in FIG. 12, in the second embodiment, in the sign detection unit 104, the flat area detection unit 120, the sign candidate region determination unit 121, the sign region division processing unit 122, the sign shape identification unit 123, It is configured to include.
標識形状識別部１２３は、標識領域分割処理部１２２から供給される分割された３次元点群からなる標識候補領域の各々について、標識候補領域のスケールに応じて作成された、複数の幾何形状テンプレート（例えば、丸、三角、四角等）とのマッチングにより、標識候補領域の標識形状の種類を識別し、記憶部１０３に形状の識別結果として出力する。 The sign shape identification unit 123 generates a plurality of geometric shape templates created according to the scale of the sign candidate region for each of the sign candidate regions including the divided three-dimensional point group supplied from the sign region division processing unit 122. The type of the marker shape of the marker candidate region is identified by matching with (for example, circle, triangle, square, etc.), and is output to the storage unit 103 as a shape identification result.
図１３に本実施の形態における標識検出装置の処理フローを示す。第１の実施の形態における標識検出装置の処理フローとの違いはステップＳ４が追加されている点である。 FIG. 13 shows a processing flow of the label detection apparatus in the present embodiment. The difference from the processing flow of the label detection apparatus in the first embodiment is that step S4 is added.
以下、図１３及び図１４に示すステップＳ４について詳細に説明する。 Hereinafter, step S4 shown in FIGS. 13 and 14 will be described in detail.
（ステップＳ４：形状識別処理）
ステップ４において、ステップ３で標識であると判定されたクラスタについて、複数の幾何形状テンプレートに基づいて、標識形状の識別を行う。本実施の形態において、標識形状は大きく分けて２種類と考える。一つは図１５に示すように中心位置を基準とした点対象な図形、もう一つは中心に位置を通る縦軸と横軸に線対象な図形である。
(Step S4: Shape identification process)
In step 4, for the cluster determined to be a sign in step 3, the sign shape is identified based on a plurality of geometric shape templates. In this embodiment, the sign shape is roughly classified into two types. One is a point-targeted figure based on the center position as shown in FIG. 15, and the other is a figure that is a line-targeted figure on the vertical and horizontal axes passing through the position at the center.
（ステップＳ４−１：テンプレート形状当てはめ評価スコアの算出）
点対称な図形としては、円１種類、正三角形（上下）２種類の幾何形状テンプレートを用意し、線対象な図形として長方形１種類とひし形１種類の計５個を用いる。ただし、三角形の２種類は、三角形の１辺を横軸と平行とした三角形とし、この１辺に接していない頂点が縦軸方向の正と負の側に配置される正三角形２種類とした。
(Step S4-1: Calculation of Template Shape Fitting Evaluation Score)
As point-symmetric figures, two types of geometric templates are prepared, one type of circle and two types of equilateral triangles (upper and lower), and a total of five types, one type of rectangle and one type of rhombus, are used. However, two types of triangles are triangles in which one side of the triangle is parallel to the horizontal axis, and two types of regular triangles whose vertices not in contact with the one side are arranged on the positive and negative sides in the vertical axis direction. .
このとき、点対象の図形では、標識クラスタの中心位置から距離Ｒ＿ｐｌａｔｅ＝ＬｅｎｇＺ’の位置に検出図形の輪郭が存在するようなテンプレートを生成する。線対称の図形においては、標識クラスタの中心位置から、縦軸方向にＲＺｐｌａｔｅ＝ＬｅｎｇＺ’の距離と横軸方向にＲＹ＿ｐｌａｔｅ＝ＬｅｎｇＹ’の距離に検出対象となる図形の輪郭線が存在するようなテンプレートを生成する。 At this time, for the point target graphic, a template is generated so that the contour of the detected graphic exists at a position of distance R_plate = LengthZ ′ from the center position of the marker cluster. In figure axisymmetric, the center position of the marker cluster, so that the longitudinal axis direction to the contour of a figure to be detected at a distance of RZ plate = LengZ 'RY_ plate = LengY the distance and the horizontal axis direction' is present A simple template.
図１５に示すように検出対象の輪郭線から距離ΔＲについて、内側領域（Ｒｅｇｉｏｎ１）と外側領域（Ｒｅｇｉｏｎ２）とを設定し、これらの領域において点群の有無を用いて、３次元点群のテンプレートマッチング評価を行う。評価関数をＥｍａｔｃｈは、図１５の輪郭線（破線）より内側の領域に点群が存在するときに評価値は大きくなり、外側の領域に点群が存在すると評価値が下がる。 As shown in FIG. 15, the inner region (Region 1) and the outer region (Region 2) are set for the distance ΔR from the contour to be detected, and a template of a three-dimensional point group is used by using the presence or absence of a point group in these regions. Perform matching evaluation. In the evaluation function Ematch, the evaluation value increases when a point group exists in the region inside the contour line (broken line) in FIG. 15, and the evaluation value decreases when the point group exists in the outer region.
標識クラスタと判定されたクラスタの番号をｆ、クラスタｆに含まれる点において、代表法線方向に射影したときに、Ｒｅｇｉｏｎ１に含まれる点群をｐｉ ｆ１、Ｒｅｇｉｏｎ１に含まれる点群をｐｊ ｆ２、Ｒｅｇｉｏｎ１とＲｅｇｉｏｎ２の領域に含まれる点群数をそれぞれＮｕｍ１，Ｎｕｍ２とすると、テンプレート番号Ｇの評価関数Ｅｍａｔｃｈは以下の（４１）式により求まる。 When the number of the cluster determined to be a marker cluster is f and the points included in the cluster f are projected in the representative normal direction, the point group included in Region 1 is p i f1 , and the point group included in Region 1 is p j Assuming that the number of point groups included in the regions of f2 , Region 1 and Region 2 is Num1 and Num2, respectively, the evaluation function Ematch of the template number G is obtained by the following equation (41).
（ステップＳ４−２：形状判定処理）
標識形状は以下（４２）式に従って評価関数の値を最大にする幾何形状テンプレートを標識候補領域の標識形状であると判定する。
(Step S4-2: Shape determination process)
As for the marker shape, the geometric shape template that maximizes the value of the evaluation function is determined as the marker shape of the marker candidate region according to the following equation (42).
なお、第２の実施の形態に係る標識検出装置１００の他の構成及び作用は第１の実施の形態と同様であるため説明を省略する。 In addition, since the other structure and effect | action of the label | marker detection apparatus 100 which concern on 2nd Embodiment are the same as that of 1st Embodiment, description is abbreviate | omitted.
以上説明したように、第２の実施の形態に係る標識検出装置によれば、３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出し、検出された平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定し、標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された標識候補領域を境界平面により分割し、分割した標識候補領域の形状を識別することにより、精度よく標識を検出することができる。 As described above, according to the sign detection device according to the second embodiment, a clustering process using local shape information is performed based on a three-dimensional point group, and a plane region including the three-dimensional point group is obtained. A road running surface including a three-dimensional point group is detected, and each detected plane area is determined as a sign candidate area in consideration of a relative position with respect to surrounding features. For each of the above, it is determined whether or not it is possible to divide by the boundary plane, the marker candidate regions that are determined to be segmentable are divided by the boundary plane, and the shapes of the divided marker candidate regions are identified. The label can be detected well.
[第３の実施の形態]
次に、第３の実施の形態に係る点群解析による標識検出装置の構成について説明する。なお、第１及び第２の実施の形態と同様の構成となる箇所については、同一符号を付して説明を省略する。
[Third embodiment]
Next, the configuration of the sign detection apparatus based on point cloud analysis according to the third embodiment will be described. In addition, about the location which becomes the same structure as 1st and 2nd embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
図１６に示すように、第３の実施の形態においては、標識検出装置１００は、機能的には、記憶部１０３と、標識検出部１０４と、柱状構造物検出部１０５を含んで構成されている。 As shown in FIG. 16, in the third embodiment, the sign detection device 100 is functionally configured to include a storage unit 103, a sign detection unit 104, and a columnar structure detection unit 105. Yes.
第３の実施の形態においては、標識候補領域判定部１２１は、記憶部１０３から３次元点群、及び柱状構造物の位置（ＸＹＺ座標）が供給される。供給された柱状構造物の位置を用いて、標識候補領域判定部１２１は判定処理を行う点が第１及び第２の実施の形態と異なる。 In the third embodiment, the marker candidate region determination unit 121 is supplied with the three-dimensional point group and the position (XYZ coordinates) of the columnar structure from the storage unit 103. The marker candidate region determination unit 121 is different from the first and second embodiments in that the marker candidate region determination unit 121 performs a determination process using the supplied position of the columnar structure.
柱状構造物検出部１０５は、標識の種類、位置、及び３次元点群の計測環境情報を検出する。計測環境情報とは、計測位置情報や走行軌跡であり、走行軌跡とはＭＭＳを搭載した車の軌跡を意味し、ＧＰＳ情報から取得される。ＧＰＳ情報が無い場合は、地図を代用して手動により走行車線位置を記録しても問題ない。なお、柱状構造物検出部１０５の検出方法には限定はなく、例えば非特許文献５を用いることで実現可能である。 The columnar structure detection unit 105 detects the type, position, and measurement environment information of the three-dimensional point group. The measurement environment information is measurement position information and a traveling locus, and the traveling locus means a locus of a vehicle equipped with an MMS, and is acquired from GPS information. When there is no GPS information, there is no problem even if the travel lane position is recorded manually instead of the map. The detection method of the columnar structure detection unit 105 is not limited, and can be realized by using Non-Patent Document 5, for example.
[非特許文献５]：新垣、島村、新井、谷口、「３次元点群からの局所形状と大域的な形状モデルを用いた柱状物体検出」、信学技報, vol. 112, no. 441, PRMU2012-131, pp. 7-12, 2013年2月. [Non-Patent Document 5]: Aragaki, Shimamura, Arai, Taniguchi, “Columnar object detection using local shape and global shape model from 3D point cloud”, IEICE Technical Report, vol. 112, no. 441 , PRMU2012-131, pp. 7-12, February 2013.
標識情報記憶部１１２には、標識検出部１０４で検出された標識の３次元座標位置と標識の平面の法線方向、並びに柱状構造物検出部１０５で検出された標識の種類、位置、及び３次元点群の計測環境情報が記憶される。 In the sign information storage unit 112, the three-dimensional coordinate position of the sign detected by the sign detection unit 104 and the normal direction of the sign plane, and the type and position of the sign detected by the columnar structure detection unit 105, and 3 Measurement environment information of the dimension point group is stored.
上記第１及び第２の実施の形態においては、標識候補領域判定部１２１において、誤検出を抑制するために、低反射強度のクラスタについて、高反射強度のクラスタよりも閾値条件を厳しくしていた。 In the first and second embodiments described above, in the candidate marker region determination unit 121, in order to suppress false detection, the threshold condition is made stricter for the low reflection intensity cluster than for the high reflection intensity cluster. .
第３の実施の形態における標識候補領域判定部１２１では、柱状構造物の位置を考慮することで更に判定条件を厳しくし、誤検出を抑制する。つまり、標識候補領域が柱状構造物に取り付けられたものであるか否かを判定する。 In the marker candidate region determination unit 121 according to the third embodiment, the determination condition is further tightened by considering the position of the columnar structure, and erroneous detection is suppressed. That is, it is determined whether or not the marker candidate region is attached to the columnar structure.
標識候補領域判定部１２１は、柱状構造物検出部１０５から供給された柱状構造物について、柱状構造物を区別する番号をｑ、その柱状構造物の下端の位置座標をＰｏｌｅｑ、その柱状構造物の傾き方向をＶｑと表記すると、低反射強度のクラスタについての判定において、以下（４３）式の判定条件を追加する。 For the columnar structure supplied from the columnar structure detection unit 105, the marker candidate region determination unit 121 sets q as the number for distinguishing the columnar structure, Pole q as the position coordinate of the lower end of the columnar structure, and the columnar structure. Is expressed as V q , the determination condition of the following equation (43) is added in the determination for the low reflection intensity cluster.
閾値Ｔｈ＿ｄｉｓｔａｎｃｅｐｏｌｅより短い距離のとき、標識と判定する。本実施の形態においてＴｈ＿ｄｉｓｔａｎｃｅｐｏｌｅ＝１．０とした。ただし、非特許文献５においては、傾き方向を検出しているが、地図情報を用いて電柱や街灯等の柱状構造物の位置を取得した場合には、傾き方向およびＺ座標の値が不明である。その場合には、 When the distance is shorter than the threshold Th_distance pole , it is determined as a sign. In this embodiment, Th_distance pole = 1.0. However, in Non-Patent Document 5, the tilt direction is detected. However, when the position of a columnar structure such as a power pole or a streetlight is acquired using map information, the values of the tilt direction and the Z coordinate are unknown. is there. In that case,
とし、Ｚ座標の値を０として代用する。 And substitute the value of Z coordinate as 0.
（ステップＳ２：標識候補領域判定部）
上記図３に示す第３の実施の形態のステップＳ２では、入力された平面領域の各々について、周辺地物との相対位置及び柱状構造物との相対位置を考慮して、標識候補領域であるか否かを判定する。このとき、地物情報にＭＭＳの走行軌跡もしくは地図の道路位置情報が含まれている場合には、この道路走行面と標識候補領域の相対位置を考慮して判定が行われる。また、地物情報に柱状構造物の位置情報が含まれているため、柱状構造物との相対位置も考慮して標識領域であるか否かの判定を行う。
(Step S2: marker candidate region determination unit)
In step S2 of the third embodiment shown in FIG. 3 described above, each of the input planar regions is a marker candidate region in consideration of the relative position to the surrounding features and the relative position to the columnar structure. It is determined whether or not. At this time, when the feature information includes MMS travel locus or map road position information, the determination is performed in consideration of the relative position of the road travel surface and the sign candidate region. In addition, since the position information of the columnar structure is included in the feature information, it is determined whether or not it is a sign area in consideration of the relative position with respect to the columnar structure.
なお、第３の実施の形態に係る標識検出装置１００の他の構成及び作用は第１及び第２の実施の形態と同様であるため説明を省略する。 In addition, since the other structure and effect | action of the label | marker detection apparatus 100 which concern on 3rd Embodiment are the same as that of 1st and 2nd Embodiment, description is abbreviate | omitted.
以上説明したように、第３の実施の形態に係る標識検出装置によれば、３次元点群に基づいて、局所形状情報を用いたクラスタリング処理を行って、３次元点群を含む平面領域と３次元点群を含む道路走行面とを検出し、検出された平面領域の各々について、周辺地物との相対位置及び柱状構造物との相対位置を考慮して、標識候補領域であるか否かを判定し、標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された標識候補領域を境界平面により分割し、分割した標識候補領域の形状を識別することにより、精度よく標識を検出することができる。 As described above, according to the sign detection device according to the third embodiment, a clustering process using local shape information is performed based on a three-dimensional point group, and a plane region including the three-dimensional point group is Whether or not the road running surface including the three-dimensional point cloud is a sign candidate region in consideration of the relative position with respect to the surrounding features and the columnar structure for each of the detected planar regions For each of the candidate marker regions, it is determined whether or not each of the candidate marker regions can be divided by the boundary plane, and the candidate marker region determined to be divisible is divided by the boundary plane, By identifying the shape, the marker can be detected with high accuracy.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
１００ 標識検出装置
１０１ 被写体計測部
１０２ 入力部
１０３ 記憶部
１０４ 標識検出部
１０５ 柱状構造物検出部
１１０ ３次元点群記憶部
１１１ 演算処理用パラメータ記憶部
１１２ 標識情報記憶部
１２０ 平面領域検出部
１２１ 標識候補領域判定部
１２２ 標識領域分割処理部
１２３ 標識形状識別部
DESCRIPTION OF SYMBOLS 100 Sign detection apparatus 101 Subject measurement part 102 Input part 103 Storage part 104 Label detection part 105 Columnar structure detection part 110 Three-dimensional point cloud storage part 111 Arithmetic processing parameter storage part 112 Sign information storage part 120 Planar area detection part 121 Sign Candidate area determination unit 122 Sign area division processing section 123 Sign shape identification section
Claims (7)
前記平面領域検出部によって検出された前記平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定する標識候補領域判定部と、
前記標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割する標識領域分割処理部と、
を含む標識検出装置。 Based on the three-dimensional point group representing a plurality of positions, which are measurement results of the position on the surface of the object, clustering processing using local shape information is performed, and a plane region including the three-dimensional point group and a three-dimensional point A plane area detection unit for detecting a road running surface including a group;
For each of the planar regions detected by the planar region detection unit, a label candidate region determination unit that determines whether or not each of the planar regions is a marker candidate region in consideration of a relative position with a surrounding feature;
For each of the marker candidate regions, it is determined whether or not the marker candidate region can be divided by a boundary plane, and a marker region division processing unit that divides the marker candidate region determined to be segmentable by the boundary plane;
A label detection apparatus comprising:
前記標識候補領域の各々について、前記標識候補領域に含まれる３次元点群の注目点と前記注目点の周辺点群の各周辺点との相対ベクトルの各々が成す角度から、複数のエッジ候補点を検出し、前記検出された前記複数のエッジ候補点から、サンプリング処理により２点以上選択して前記境界平面を生成し、前記標識候補領域に含まれる３次元点群で生成されるグラフを前記生成した前記境界平面で分割するコストを評価して、前記境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割することを繰り返し行う請求項１記載の標識検出装置。 The sign area division processing unit
For each of the marker candidate regions, a plurality of edge candidate points are calculated from the angles formed by the relative vectors of the target point of the three-dimensional point group included in the marker candidate region and the peripheral points of the peripheral point group of the target point. And detecting two or more points from the detected plurality of edge candidate points by sampling processing to generate the boundary plane, and generating a graph generated by a three-dimensional point group included in the marker candidate region Evaluating the cost of dividing by the generated boundary plane, determining whether or not the boundary plane can be divided, and dividing the candidate marker region determined to be divided by the boundary plane; The label detection apparatus according to claim 1, which is repeatedly performed.
前記検出された前記複数のエッジ候補点から、サンプリング処理により２点以上選択して前記境界平面を生成し、標識の配置関係の事前知識を基に前記生成した前記境界平面の法線方向を補正し、前記コストを評価する評価関数として、ＮｏｒｍａｌｉｚｅｄＣｕｔの評価基準を用いて、前記コストを評価する請求項２記載の標識検出装置。 The sign area division processing unit
From the detected plurality of edge candidate points, two or more points are selected by sampling processing to generate the boundary plane, and the normal direction of the generated boundary plane is corrected based on prior knowledge of the marker arrangement relationship The label detection apparatus according to claim 2, wherein the cost is evaluated by using a normalized cut evaluation criterion as an evaluation function for evaluating the cost.
前記標識候補領域判定部は、前記平面領域検出部によって検出された前記平面領域の各々について、前記平面領域に含まれる３次元点群の反射強度を更に考慮して、標識候補領域であるか否かを判定する請求項１〜請求項４の何れか１項記載の標識検出装置。 Each three-dimensional point of the three-dimensional point group represents a measurement result obtained by measuring the position on the surface of the object and the reflection intensity,
The marker candidate region determination unit determines whether each of the planar regions detected by the planar region detection unit is a marker candidate region by further considering the reflection intensity of the three-dimensional point group included in the planar region. The label | marker detection apparatus of any one of Claims 1-4 which determines these.
標識候補領域判定部が、前記平面領域検出部によって検出された前記平面領域の各々について、周辺地物との相対位置を考慮して、標識候補領域であるか否かを判定するステップと、
標識領域分割処理部が、前記標識候補領域の各々について、境界平面により分割可能であるか否かを判定し、分割可能であると判定された前記標識候補領域を前記境界平面により分割するステップと、
を含む標識検出方法。 A planar area detection unit performs clustering processing using local shape information based on a three-dimensional point group representing a plurality of positions, which are measurement results obtained by measuring positions on the surface of an object, and includes a three-dimensional point group Detecting a plane area and a road running surface including a three-dimensional point group;
A marker candidate region determining unit, for each of the planar regions detected by the planar region detecting unit, determining whether the marker candidate region is a marker candidate region in consideration of a relative position with a surrounding feature;
A sign area division processing unit that determines whether or not each of the sign candidate areas can be divided by a boundary plane, and divides the sign candidate area determined to be divisible by the boundary plane; ,
A label detection method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015144415A JP6381137B2 (en) | 2015-07-21 | 2015-07-21 | Label detection apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015144415A JP6381137B2 (en) | 2015-07-21 | 2015-07-21 | Label detection apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017026430A true JP2017026430A (en) | 2017-02-02 |
| JP6381137B2 JP6381137B2 (en) | 2018-08-29 |
Family
ID=57950468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015144415A Active JP6381137B2 (en) | 2015-07-21 | 2015-07-21 | Label detection apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6381137B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378917A (en) * | 2019-07-16 | 2019-10-25 | 青岛达芬奇科技有限公司 | Tooth dividing method based on peak value cluster |
| JP2019196961A (en) * | 2018-05-09 | 2019-11-14 | 国際航業株式会社 | Mark extraction program and mark extraction device |
| WO2020090428A1 (en) | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Geographic object detection device, geographic object detection method, and geographic object detection program |
| WO2020225889A1 (en) * | 2019-05-08 | 2020-11-12 | 日本電信電話株式会社 | Point cloud annotation device, method and program |
| CN112840349A (en) * | 2018-10-04 | 2021-05-25 | 日立安斯泰莫株式会社 | Mark recognition device |
| JP2021169947A (en) * | 2020-04-15 | 2021-10-28 | 株式会社日立製作所 | Object recognition device and object recognition method |
| KR20220123734A (en) * | 2020-02-27 | 2022-09-08 | 애플 인크. | Spatial Relations of Point Cloud Clusters |
| WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08304042A (en) * | 1995-05-09 | 1996-11-22 | Toyota Motor Corp | Recognition apparatus for shape of object |
| JP2000194831A (en) * | 1998-12-25 | 2000-07-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting identification area image |
| JP2006259885A (en) * | 2005-03-15 | 2006-09-28 | Akita Univ | Method of recognizing signboard and sign using color image |
| JP2009053059A (en) * | 2007-08-27 | 2009-03-12 | Mitsubishi Electric Corp | Object specifying device, object specifying method, and object specifying program |
| US20150161441A1 (en) * | 2013-12-10 | 2015-06-11 | Google Inc. | Image location through large object detection |
-
2015
- 2015-07-21 JP JP2015144415A patent/JP6381137B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08304042A (en) * | 1995-05-09 | 1996-11-22 | Toyota Motor Corp | Recognition apparatus for shape of object |
| JP2000194831A (en) * | 1998-12-25 | 2000-07-14 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting identification area image |
| JP2006259885A (en) * | 2005-03-15 | 2006-09-28 | Akita Univ | Method of recognizing signboard and sign using color image |
| JP2009053059A (en) * | 2007-08-27 | 2009-03-12 | Mitsubishi Electric Corp | Object specifying device, object specifying method, and object specifying program |
| US20150161441A1 (en) * | 2013-12-10 | 2015-06-11 | Google Inc. | Image location through large object detection |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019196961A (en) * | 2018-05-09 | 2019-11-14 | 国際航業株式会社 | Mark extraction program and mark extraction device |
| CN112840349A (en) * | 2018-10-04 | 2021-05-25 | 日立安斯泰莫株式会社 | Mark recognition device |
| WO2020090428A1 (en) | 2018-10-30 | 2020-05-07 | 三菱電機株式会社 | Geographic object detection device, geographic object detection method, and geographic object detection program |
| US11625851B2 (en) | 2018-10-30 | 2023-04-11 | Mitsubishi Electric Corporation | Geographic object detection apparatus and geographic object detection method |
| WO2020225889A1 (en) * | 2019-05-08 | 2020-11-12 | 日本電信電話株式会社 | Point cloud annotation device, method and program |
| JPWO2020225889A1 (en) * | 2019-05-08 | 2020-11-12 | ||
| CN110378917A (en) * | 2019-07-16 | 2019-10-25 | 青岛达芬奇科技有限公司 | Tooth dividing method based on peak value cluster |
| CN110378917B (en) * | 2019-07-16 | 2023-04-07 | 青岛达芬奇科技有限公司 | Tooth segmentation method based on peak value clustering |
| KR20220123734A (en) * | 2020-02-27 | 2022-09-08 | 애플 인크. | Spatial Relations of Point Cloud Clusters |
| KR102551149B1 (en) | 2020-02-27 | 2023-07-03 | 애플 인크. | Spatial relationships of point cloud clusters |
| JP2021169947A (en) * | 2020-04-15 | 2021-10-28 | 株式会社日立製作所 | Object recognition device and object recognition method |
| WO2023286217A1 (en) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | Position detection device, position detection method, and position detection program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6381137B2 (en) | 2018-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6381137B2 (en) | Label detection apparatus, method, and program | |
| JP6529463B2 (en) | Road structuring device, road structuring method, and road structuring program | |
| CN106997049B (en) | Method and device for detecting barrier based on laser point cloud data | |
| CN109949326B (en) | Building contour line extraction method based on knapsack type three-dimensional laser point cloud data | |
| Zhou et al. | T-LOAM: Truncated least squares LiDAR-only odometry and mapping in real time | |
| WO2017124901A1 (en) | Information processing method, device, and terminal | |
| KR20190082062A (en) | Method and apparatus for determining a matching relationship between point cloud data | |
| US8340400B2 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
| Wang et al. | Modeling indoor spaces using decomposition and reconstruction of structural elements | |
| Zhou et al. | A fast and accurate segmentation method for ordered LiDAR point cloud of large-scale scenes | |
| Cheng et al. | Building boundary extraction from high resolution imagery and lidar data | |
| Bremer et al. | Eigenvalue and graph-based object extraction from mobile laser scanning point clouds | |
| CN103617328A (en) | Airplane three-dimensional attitude computation method | |
| CN111279154A (en) | Navigation area identification and topology matching and associated systems and methods | |
| JP6119225B2 (en) | Intersection road boundary detection device and program | |
| JP5870011B2 (en) | Point cloud analysis device, point cloud analysis method, and point cloud analysis program | |
| Takai et al. | Accurate registration of MMS point clouds of urban areas using trajectory | |
| Schlichting et al. | Vehicle localization by lidar point correlation improved by change detection | |
| JP6322564B2 (en) | Point cloud analysis processing apparatus, method, and program | |
| JP6397386B2 (en) | Region division processing apparatus, method, and program | |
| JP6673504B2 (en) | Information processing device, database generation device, method, program, and storage medium | |
| JP6600615B2 (en) | Clustering device, artifact identification device, trunk detection device, method, and program | |
| Gehrung et al. | A fast voxel-based indicator for change detection using low resolution octrees | |
| Liu et al. | A localizability estimation method for mobile robots based on 3d point cloud feature | |
| KR101392222B1 (en) | Laser radar for calculating the outline of the target, method for calculating the outline of the target |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180730 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6381137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |