JP6600610B2 - Road surface unevenness estimation apparatus, method, and program - Google Patents
Road surface unevenness estimation apparatus, method, and program Download PDFInfo
- Publication number
- JP6600610B2 JP6600610B2 JP2016207605A JP2016207605A JP6600610B2 JP 6600610 B2 JP6600610 B2 JP 6600610B2 JP 2016207605 A JP2016207605 A JP 2016207605A JP 2016207605 A JP2016207605 A JP 2016207605A JP 6600610 B2 JP6600610 B2 JP 6600610B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- point
- plane
- dimensional
- point group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
本発明は、路面凹凸量推定装置、方法、及びプログラムに係り、特に、入力された３次元点群から道路面の凹凸量を推定する路面凹凸量推定装置、方法、及びプログラムに関する。 The present invention relates to a road surface unevenness amount estimation apparatus, method, and program, and more particularly, to a road surface unevenness amount estimation device, method, and program for estimating a road surface unevenness amount from an input three-dimensional point group.
近年、トンネルや橋などのインフラ構造物の劣化・老朽化が問題となり、自治体において維持管理やリスク評価が課題となっている。それと同時に、インフラ設備の数の多さが問題となり、構造物の安全性の評価の効率化やコスト削減を目的とした技術開発が求められている。道路管理の分野においては、GPSおよびIMUなどの位置姿勢標定装置、レーザスキャナやカメラ等の多数のセンサを搭載した路面性状測定車と呼ばれる専用車を用いることで、数年単位で定期的に幹線道路の検査（路面性状調査）が実施されている（非特許文献１）。 In recent years, deterioration and aging of infrastructure structures such as tunnels and bridges have become a problem, and maintenance management and risk assessment have become issues in local governments. At the same time, the large number of infrastructure facilities has become a problem, and there is a need for technological development aimed at improving the safety evaluation of structures and reducing costs. In the field of road management, the use of a dedicated vehicle called a road surface property measurement vehicle equipped with a position and orientation locator such as GPS and IMU, and a number of sensors such as laser scanners and cameras, etc. Road inspection (road surface property investigation) has been carried out (Non-Patent Document 1).
路面性状測定車では、レーザを路面の横断方向に走査して反射量の変化を光センサによって計測する「レーザスキャニング方式」によりひび割れを検知し、また同様にレーザを路面の横断方向に走査して、レーザの軌跡をデジタルカメラ等によって撮影する「レーザ光切断方式」により轍掘れ量を精密に測定している。 The road surface property measurement vehicle detects cracks by the “laser scanning method” in which the laser is scanned in the transverse direction of the road surface and the change in the reflection amount is measured by an optical sensor. Similarly, the laser is scanned in the transverse direction of the road surface. The amount of digging is precisely measured by a “laser beam cutting method” in which the laser trajectory is photographed by a digital camera or the like.
しかしながら、上記路面性状測定車は非常に高価な車両であり、また各種センサを道路面の計測に特化して搭載したものであるため、取得したデータを他の分野に活用することが難しいという問題がある。そのため安全性の観点からは、路面状態を把握するために日常的にデータを計測したいニーズはあるが、運用コストが高くなり実現が難しい。現状では数年単位で、主要な幹線道路を計測するにとどまる。 However, the road surface property measuring vehicle is a very expensive vehicle and has various sensors specially mounted for road surface measurement, so that it is difficult to utilize the acquired data in other fields. There is. Therefore, from the viewpoint of safety, there is a need to measure data on a daily basis in order to grasp the road surface condition, but the operation cost is high and difficult to realize. Currently, it only measures the major arterial roads in units of several years.
一方、カーナビゲーションや高度安全運転支援などITSの分野を含め、商圏分析やインフラ管理、防災用の地図の作製・更新のために、広範囲な屋外環境を計測可能なMMS(mobile mapping system)という車載システムが注目されている。このMMSは、道路も含めた屋外環境すべての構造物を３次元的に計測するシステムであり、特定の分野に限られない共通基盤DBとして利用されることが期待されている。MMSで計測したデータを解析することにより路面性状調査も行うことが可能であれば、運用コストの削減をしつつも計測頻度の向上が見込まれる。自動認識には至っていないが、専用ソフトを用いることで「総点検実施要領（案）舗装編２０１３年 国土交通省道路局（要領（案））」に基づいた点検作業も試みられている（非特許文献２）。 On the other hand, the vehicle mapping system (MMS), which can measure a wide range of outdoor environments, for commercial area analysis, infrastructure management, and disaster prevention map creation and updating, including ITS fields such as car navigation and advanced safe driving support The system is drawing attention. This MMS is a system that three-dimensionally measures all structures in the outdoor environment, including roads, and is expected to be used as a common platform database that is not limited to a specific field. If it is possible to conduct road surface property surveys by analyzing the data measured by MMS, it is possible to improve the measurement frequency while reducing operating costs. Although automatic recognition has not been achieved, inspection work based on the “General Inspection Implementation Guidelines (draft) Pavement 2013 Ministry of Land, Infrastructure, Transport and Tourism Road Bureau (draft (draft))” has also been attempted by using dedicated software (non- Patent Document 2).
非特許文献３では、路面（横断方向の断面）について、任意の隣り合う２つの領域について回帰分析を行い、この２つの領域について構造的な変化の有無を検証している。比較する領域について回帰分析（最小二乗近似）をしたときの残差平方和を算出し、F検定の値が大きさにより窪みやパッチ補修後の局所的な凹凸がある部分を「不陸」として検出していた。しかし、この技術においては、隣り合う領域の範囲をどのように設定すればよいのかという課題が残っている。領域を狭く設定してしまうと、ひび割れや剥離などの微小な路面損傷個所にも過剰に反応した結果となりやすく、また領域を広く設定しまうと、ポットホールなど局所的な窪みを検出できない。 In Non-Patent Document 3, regression analysis is performed on any two adjacent areas on the road surface (cross section in the transverse direction), and the presence or absence of a structural change is verified for these two areas. Calculate the residual sum of squares when the regression analysis (least square approximation) is performed for the areas to be compared, and determine that the area of the unevenness after the patch or patch repair is uneven due to the size of the F test. It was detected. However, this technique still has a problem of how to set the range of adjacent regions. If the area is set narrow, it is likely to result in excessive reaction to minute road surface damage portions such as cracks and separation, and if the area is set wide, local depressions such as potholes cannot be detected.
非特許文献４では、路面（横断方向の断面）を最小二乗法により直線近似し、轍掘れ部分の点群をクラスタリングし、轍掘れ部分と直線近似部分の高低差から算出している。路面部分を１車線ごとに分割してから最小二乗法を適用することで路面の直線近似精度を向上させている。しかし、最小二乗法では、路面の局所的に生じたパッチ補修やポットホール、さらにひび割れや部分的な路面の剥離の浮き砂利などによる路面の凹凸変化が外乱となり、直線近似精度が低下するという課題は解決していない。直線近似をする面積を広げることで外乱に対して頑健に推定することも可能であるが、そもそも道路は緩やかに変形していることが多く、路面を広域で平面と仮定すると路面形状の推定精度が低くなる、つまり窪み量の小さなポットホールなどは検出漏れを起こしやすいという課題がある。 In Non-Patent Document 4, the road surface (cross section in the transverse direction) is linearly approximated by the least square method, the point cloud of the digging portion is clustered, and calculation is performed from the height difference between the digging portion and the linear approximation portion. By dividing the road surface portion into lanes and applying the least square method, the straight line approximation accuracy of the road surface is improved. However, with the least squares method, it is a problem that the unevenness of the road surface due to locally repaired patch repairs and potholes on the road surface, as well as crack gravel and floating gravel from partial road surface separation becomes disturbances and the linear approximation accuracy decreases. Is not solved. Although it is possible to estimate robustly against disturbances by expanding the area to be approximated by a straight line, roads are often deformed in the first place, and assuming that the road surface is flat in a wide area, the estimation accuracy of the road surface shape Is low, that is, a pothole with a small dent amount has a problem that it is likely to cause detection omission.
従来技術３、４ともに、直線（平面）近似を行う上で、ひび割れや道路の剥離などの直線近似の外乱となる点群領域の位置を考慮していないこと、かつ横断面ごとに独立した処理であるために外乱要因に影響を受けやすいため路面推定精度が低下しやすいという課題がある。特に、平面（直線）近似を行う際のスケールの決め方に精度が影響を受けやすいという課題がある。 In both prior arts 3 and 4, straight line (planar) approximation is not performed, the position of the point cloud region that causes disturbance of straight line approximation such as cracks and road separation is not considered, and independent processing for each cross section Therefore, there is a problem that the road surface estimation accuracy is likely to be lowered because it is easily affected by disturbance factors. In particular, there is a problem that accuracy is easily affected by how to determine a scale when performing plane (straight line) approximation.
３次元点群から轍掘れ量や陥没箇所の深さを推定する際に、従来技術においては道路横断方向に分割した点群を独立に処理して直線（回帰モデル）を当てはめることで道路面を推定していたが、道路面を求める際のスケール（領域の大きさ）の設定によって外乱に影響を受けやすいという課題があった。 In estimating the amount of digging and the depth of the depression from the 3D point cloud, the conventional technology can process the road surface by applying a straight line (regression model) by independently processing the point cloud divided in the road crossing direction. Although it was estimated, there was a problem that it was easily affected by disturbance by setting the scale (area size) when obtaining the road surface.
本発明は、このような事情を考慮してなされたものであり、その目的は、路面推定精度を低下させる外乱要因に頑健に路面を推定し、轍掘れ量やポットホールなどのような局所的な窪み量（凹み量）を精度よく推定する路面凹凸量推定装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made in consideration of such circumstances, and its purpose is to robustly estimate the road surface against disturbance factors that reduce the road surface estimation accuracy, and to locally detect the amount of digging, potholes, etc. An object of the present invention is to provide a road surface unevenness estimation apparatus, method, and program for accurately estimating the amount of depressions (dents).
上記目的を達成するために、本発明の路面凹凸量推定装置は、物体の表面上の位置を表す３次元点の集合である３次元点群に含まれる３次元点の各々について、平面近似誤差及び法線方向を算出し、前記３次元点群のうちの前記平面近似誤差が小さい３次元点からなる点群に対して、前記３次元点の法線方向の類似度を用いたクラスタリングを行い、３次元点群クラスタを、路面領域点群として検出する路面領域点群検出部と、前記路面領域点群のうちの３次元点について局所的に求めた平面候補と、前記３次元点の近傍の３次元点について局所的に求めた平面候補とを連結する滑らかさと、前記平面候補の尤度とを評価する評価関数を最適化するように、前記３次元点の各々における平面を推定し、前記路面領域点群のうち、前記推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、前記クラスタに属する３次元点における、前記推定された平面との法線方向の距離の最大値を、窪み量として推定する窪み量推定部と、を含んで構成されている。 In order to achieve the above object, the road surface unevenness estimation apparatus of the present invention provides a plane approximation error for each of three-dimensional points included in a three-dimensional point group that is a set of three-dimensional points representing a position on the surface of an object. Then, the normal direction is calculated, and clustering is performed using the normal direction similarity of the three-dimensional point with respect to the point group including the three-dimensional points having the small plane approximation error in the three-dimensional point group. A road surface area point cloud detection unit for detecting a 3D point cloud cluster as a road surface area point cloud, a plane candidate locally obtained for a 3D point in the road surface area point cloud, and the vicinity of the 3D point Estimating the plane at each of the three-dimensional points so as to optimize the evaluation function for evaluating the smoothness of connecting the plane candidates locally obtained for the three-dimensional points and the likelihood of the plane candidates; Of the road surface area point cloud, the estimated Clustering a group of 3D points vertically below the plane, and for each cluster, the maximum distance in the normal direction from the estimated plane at the 3D points belonging to the cluster And a dent amount estimation unit that estimates as follows.
また、本発明の路面凹凸量推定装置の窪み量推定部は、前記３次元点について局所的に平面候補を求める際に、前記３次元点の各々について前記平面近似誤差又は路面微小凹凸振動度合いが小さいほど重みを重く設定し、重み付きの点群を用いた平面当てはめにより、前記平面候補の尤度を算出し、前記滑らかさを評価する際に、連結する一方の前記平面候補の重心位置と、連結する他方の前記平面候補との距離が近いことを評価する関数、又は連結する一方の前記平面候補の法線方向と、連結する他方の前記平面候補の法線方向とが類似していることを評価する関数を用いることができる。 In addition, when the depression amount estimation unit of the road surface unevenness estimation apparatus of the present invention obtains a planar candidate locally for the three-dimensional point, the plane approximation error or the road surface minute uneven vibration degree is determined for each of the three-dimensional points. The smaller the weight, the heavier the weight is set, the likelihood of the plane candidate is calculated by plane fitting using a weighted point group, and when evaluating the smoothness, , A function that evaluates that the distance between the other plane candidate to be connected is short, or the normal direction of one of the plane candidates to be connected is similar to the normal direction of the other plane candidate to be connected A function that evaluates this can be used.
また、本発明の路面凹凸量推定装置における３次元点は、レーザをスキャンする計測器により計測され、路面凹凸量推定装置は、前記３次元点の各々について、前記３次元点と同一スキャンライン内の３次元点からなる点群のうちの隣り合う３次元点の相対ベクトルを各々算出して隣り合う相対ベクトル間のなす偏角を各々算出し、前記なす偏角が大きいものが多いほど、又は前記なす偏角のばらつきが大きいほど、前記路面微小凹凸振動度合いが大きくなるように前記路面微小凹凸振動度合いを算出する微小凹凸振動抽出部を更に含むことができる。 Further, the three-dimensional point in the road surface unevenness estimation apparatus of the present invention is measured by a measuring instrument that scans a laser, and the road surface unevenness estimation apparatus is configured so that each of the 3D points is within the same scan line as the 3D point. The relative vectors of adjacent three-dimensional points in the group of three-dimensional points are calculated to calculate the declination between the adjacent relative vectors, and the larger the declination formed, the more The apparatus may further include a minute unevenness vibration extraction unit that calculates the degree of road surface minute unevenness vibration so that the degree of variation in the declination angle increases.
また、本発明の路面凹凸量推定装置は、前記窪み量推定部によって推定された窪み量が、閾値以上の３次元点について舗装状態が悪い点と判定し、舗装状態が悪い３次元点からなる点群をクラスタリングしたときに生成される点群の大きさに基づいて、路面舗装状態が悪いか否かを判定する路面異常判定部を更に含むことができる。 Further, the road surface unevenness estimation device of the present invention determines that the depression amount estimated by the depression amount estimation unit is a poor pavement state for a three-dimensional point that is equal to or greater than a threshold value, and includes a three-dimensional point with a poor pavement state. A road surface abnormality determining unit that determines whether or not the road surface pavement state is bad based on the size of the point cloud generated when the point cloud is clustered can be further included.
また、上記目的を達成するために、本発明の路面凹凸量推定方法は、路面領域点群検出部が、物体の表面上の位置を表す３次元点の集合である３次元点群に含まれる３次元点の各々について、平面近似誤差及び法線方向を算出し、前記３次元点群のうちの前記平面近似誤差が小さい３次元点からなる点群に対して、前記３次元点の法線方向の類似度を用いたクラスタリングを行い、３次元点群クラスタを、路面領域点群として検出し、窪み量推定部が、前記路面領域点群のうちの３次元点について局所的に求めた平面候補と、前記３次元点の近傍の３次元点について局所的に求めた平面候補とを連結する滑らかさと、前記平面候補の尤度とを評価する評価関数を最適化するように、前記３次元点の各々における平面を推定し、前記路面領域点群のうち、前記推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、前記クラスタに属する３次元点における、前記推定された平面との法線方向の距離の最大値を、窪み量として推定する。 In order to achieve the above object, in the road surface unevenness estimation method of the present invention, the road surface area point cloud detection unit is included in a 3D point cloud that is a set of 3D points representing positions on the surface of the object. A plane approximation error and a normal direction are calculated for each of the three-dimensional points, and a normal of the three-dimensional point is obtained with respect to a point group including three-dimensional points having a small plane approximation error in the three-dimensional point group. A plane obtained by performing clustering using direction similarity and detecting a three-dimensional point cloud cluster as a road surface area point cloud, and the depression amount estimation unit locally obtaining a three-dimensional point in the road surface area point cloud The three-dimensional so as to optimize the evaluation function for evaluating the smoothness of connecting the candidate and the plane candidate locally obtained for the three-dimensional point in the vicinity of the three-dimensional point and the likelihood of the plane candidate Estimate the plane at each of the points, and the road surface area points Clustering a group of three-dimensional points vertically below the estimated plane, and for each cluster, the distance in the normal direction from the estimated plane at the three-dimensional point belonging to the cluster Is estimated as the amount of depression.
また、上記目的を達成するために、本発明のプログラムは、コンピュータを、本発明の路面凹凸量推定装置の各部として機能させるためのものである。 In order to achieve the above object, the program of the present invention is for causing a computer to function as each part of the road surface unevenness estimation device of the present invention.
本発明によれば、３次元点について局所的に求めた平面候補と、近傍の３次元点について局所的に求めた平面候補とを連結する滑らかさと、平面候補の尤度とを評価する評価関数を最適化するように、３次元点の各々における平面を推定し、推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、推定された平面との法線方向の距離の最大値を、窪み量として推定することにより、ひび割れや路面の部分的な剥離等の路面損傷がある場合においても、頑健に路面形状を推定し、局所的に生じたポットホールのような陥没深さや車の走行による窪み量を精度よく推定することができる、という効果が得られる。 According to the present invention, the evaluation function that evaluates the smoothness of connecting the plane candidate locally obtained for the three-dimensional point and the plane candidate locally obtained for the neighboring three-dimensional point and the likelihood of the plane candidate. To estimate the plane in each of the three-dimensional points, cluster a point group consisting of the three-dimensional points vertically below the estimated plane, and calculate the method of the estimated plane for each cluster. By estimating the maximum value of the distance in the line direction as the amount of depression, even if there is road surface damage such as cracks or partial separation of the road surface, the road surface shape is estimated robustly and locally generated potholes As a result, it is possible to accurately estimate the depression depth as described above and the amount of depression due to traveling of the car.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Note that this embodiment does not limit the present invention.
［発明の概要］
まず、本発明の実施の形態における概要を説明する。
[Summary of Invention]
First, an outline of the embodiment of the present invention will be described.
本発明では、局所的に平面モデルを独立して推定するのではなくて、周辺領域と滑らかに連結するかどうか評価する基準を導入することで、局所的に正確な平面モデルを求めつつ、外乱要因への頑健性を保持する。具体的には、離散的に区切った領域ごとにＲＡＮＳＡＣにより平面候補とその候補の尤度を推定し、その後それらの平面を滑らかに連結する平滑化項を更に考慮した評価関数を最適にするような組み合わせを探索する。これにより、局所領域ごとの平面近似精度を向上させる。その際、外乱原因となる損傷した点群領域を、微小凹凸振動がある領域として抽出し、抽出した領域の点群の重みづけを低くすることで、局所領域ごとの平面近似精度をより向上させる。 In the present invention, instead of estimating the planar model locally, a criterion for evaluating whether to smoothly connect with the surrounding area is introduced, thereby obtaining a locally accurate planar model, and disturbance. Maintain robustness to the factors. Specifically, for each region divided discretely, a plane candidate and the likelihood of the candidate are estimated by RANSAC, and then an evaluation function that further considers a smoothing term that smoothly connects the planes is optimized. Search for the right combination. This improves the plane approximation accuracy for each local region. At that time, the damaged point cloud region that causes disturbance is extracted as a region with minute uneven vibration, and the weight of the point cloud of the extracted region is reduced, thereby improving the plane approximation accuracy for each local region. .
［実施形態の概説］
本発明の実施形態の路面凹凸量推定装置は、物体の表面上の位置を表す３次元点の集合である３次元点群から路面の損傷領域の抽出、局所的な領域における路面推定、各々推定した路面からの窪み量推定処理から構成される。本発明の実施形態は、轍掘れ量やホットスポットのような窪みの深さを推定することを主な目的としている。また、ひび割れや浮き砂利など損傷した路面点群を抽出可能な技術である。ここで、本発明の実施形態における損傷した路面とは、微小凹凸（高周波成分）を多く含む路面領域を意味する。
[Outline of Embodiment]
The road surface unevenness estimation apparatus according to the embodiment of the present invention extracts a road surface damaged area from a 3D point group that is a set of 3D points representing a position on the surface of an object, estimates a road surface in a local area, and estimates each of them. It is comprised from the amount estimation process of the hollow from the road surface. The main object of the embodiment of the present invention is to estimate the depth of depressions such as the amount of digging and hot spots. It is also a technology that can extract damaged road surface points such as cracks and floating gravel. Here, the damaged road surface in the embodiment of the present invention means a road surface region containing a lot of minute irregularities (high frequency components).
以下の実施形態では、具体的な例としてレーザレンジファインダにより取得した位置情報（３次元座標）を持つ点群を用いた轍掘れ量の推定方法について説明する。 In the following embodiments, a method for estimating the amount of digging using a point group having position information (three-dimensional coordinates) acquired by a laser range finder will be described as a specific example.
３次元とは、緯度、経度、海抜（高さ）情報でもよいし、ユーザーが設定した特定の位置を原点とした３次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における３次元ユークリッド座標系（各方向をＸ，Ｙ，Ｚ座標とする）を想定し、各座標の単位はメートルとする。３次元点とは、各点に上記の３次元座標に、その点群が撮影された時刻や、レーザの反射強度などの計測情報、その点の属性情報が付与されている点である。３次元点に付与される情報に制限はないが、少なくとも位置情報（Ｘ，Ｙ，Ｚ座標）は付与されたものであり、３次元点群とはその３次元点が複数集まったものである。 The three-dimensional information may be latitude, longitude, sea level (height) information, or a three-dimensional Euclidean coordinate system or a polar coordinate system with a specific position set by the user as the origin. In the following example, a three-dimensional Euclidean coordinate system at the origin set by the user (each direction is assumed to be an X, Y, Z coordinate) is assumed, and the unit of each coordinate is meter. A three-dimensional point is a point where each point is given the above three-dimensional coordinates with the time when the point group was photographed, measurement information such as laser reflection intensity, and attribute information of the point. There is no restriction on the information given to the three-dimensional point, but at least position information (X, Y, Z coordinates) is given, and the three-dimensional point group is a collection of a plurality of three-dimensional points. .
［実施形態］
次に、本実施形態の路面凹凸量推定装置の構成について説明する。
[Embodiment]
Next, the configuration of the road surface unevenness estimation device of the present embodiment will be described.
図１は、本発明の実施形態による路面凹凸量推定装置１００の構成を示すブロック図である。図１において、被写体計測部１０１は、レーザレンジファインダや、赤外線センサ、または超音波センサなど、被写体とセンサとの距離を測定可能な装置である。例えば、レーザレンジファインダをＧＰＳ（Global Positioning System）が搭載された車の上、もしくはＧＰＳの搭載された飛行機に搭載し、移動しながら計測することで、道路を含めた屋外環境の構造物の表面形状を３次元点群として計測するシステムである。 FIG. 1 is a block diagram showing a configuration of a road surface unevenness estimation device 100 according to an embodiment of the present invention. In FIG. 1, a subject measurement unit 101 is a device that can measure the distance between a subject and a sensor, such as a laser range finder, an infrared sensor, or an ultrasonic sensor. For example, by mounting a laser range finder on a vehicle equipped with GPS (Global Positioning System) or on an airplane equipped with GPS and measuring while moving, the surface of structures in outdoor environments including roads This is a system for measuring a shape as a three-dimensional point group.
また被写体計測部１０１は、ある特定の位置（交差点など）１箇所からの計測手段でもよいため、必ずしも車や飛行機に搭載される制限はない。本実施形態では、被写体計測部１０１として、車上にＧＰＳとレーザレンジファインダとが搭載されているＭＭＳ（Mobile Mapping System）を想定している。 The subject measuring unit 101 may be a measuring unit from one specific position (such as an intersection), and is not necessarily limited to being mounted on a car or an airplane. In the present embodiment, the subject measurement unit 101 is assumed to be an MMS (Mobile Mapping System) in which a GPS and a laser range finder are mounted on the vehicle.
３次元点群記憶部１０２は、被写体計測部１０１から３次元点群情報を取得し、路面窪み量推定部１０３に供給する。３次元点群記憶部１０２および路面凹凸量記憶部１０５は、例えば、HDD（Hard Disk Drive）や、SSD（Solid State Drive）等のハードウェアによる記憶装置である。 The three-dimensional point group storage unit 102 acquires three-dimensional point group information from the subject measurement unit 101 and supplies it to the road surface depression amount estimation unit 103. The three-dimensional point cloud storage unit 102 and the road surface unevenness storage unit 105 are storage devices using hardware such as an HDD (Hard Disk Drive) and an SSD (Solid State Drive).
路面窪み量推定部１０３は、３次元点群記憶部１０２から３次元点群情報を取得し、各３次元点群について路面凹凸量を推定し、推定結果を路面凹凸量記憶部１０５と異常警告表示部１０４に供給する。 The road surface depression amount estimation unit 103 acquires the 3D point cloud information from the 3D point cloud storage unit 102, estimates the road surface unevenness amount for each 3D point group, and outputs the estimation result to the road surface unevenness amount storage unit 105 and the abnormality warning. This is supplied to the display unit 104.
異常警告表示部１０４は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）等のディスプレイやプリンタなどであり、路面凹凸量推定装置１００により求めた路面凹凸量および警告内容を画面表示もしくは印刷等により保守管理担当者へ示すことに用いる。具体的には、轍掘れ量が大きい箇所もしくは微小凹凸量の大きい箇所のＸ，Ｙ座標位置と轍掘れ量の推定値のリストでもよい。 The abnormality warning display unit 104 is a display or printer such as a CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), or PDP (Plasma Display Panel). Used to display the contents to the maintenance manager by screen display or printing. Specifically, it may be a list of X, Y coordinate positions and estimated values of the amount of digging in a portion where the amount of digging is large or a portion where the amount of minute unevenness is large.
路面窪み量推定部１０３は、法線・平面近似誤差算出部１１１と、路面領域点群検出部１１２と、微小凹凸振動抽出部１１３と、窪み量推定部１１４と、路面異常判定部１１５とを備えている。 The road surface depression amount estimation unit 103 includes a normal / plane approximation error calculation unit 111, a road surface area point cloud detection unit 112, a minute uneven vibration extraction unit 113, a depression amount estimation unit 114, and a road surface abnormality determination unit 115. I have.
法線・平面近似誤差算出部１１１は、物体の表面上の位置を表す３次元点の集合である３次元点群に含まれる３次元点の各々について、平面近似誤差及び法線方向を算出する。 The normal / plane approximation error calculation unit 111 calculates the plane approximation error and the normal direction for each of the three-dimensional points included in the three-dimensional point group that is a set of three-dimensional points representing the position on the surface of the object. .
路面領域点群検出部１１２は、３次元点群のうちの平面近似誤差が小さい３次元点群に対して、３次元点の法線方向の類似度を用いたクラスタリングを行い、３次元点群クラスタを、路面領域点群として検出する。 The road surface area point group detection unit 112 performs clustering using the similarity in the normal direction of the three-dimensional point on the three-dimensional point group with a small plane approximation error in the three-dimensional point group. A cluster is detected as a road surface area point cloud.
微小凹凸振動抽出部１１３は、３次元点の各々について、当該３次元点と同一スキャンライン内の点群のうちの隣り合う３次元点の相対ベクトルを各々算出して隣り合う相対ベクトル間のなす偏角を各々算出し、なす偏角が大きいものが多いほど、又はなす偏角のばらつきが大きいほど、路面微小凹凸振動度合いが大きくなるように、当該３次元点の路面微小凹凸振動度合いを算出する。 For each three-dimensional point, the minute uneven vibration extracting unit 113 calculates a relative vector of adjacent three-dimensional points in a group of points within the same scan line as the three-dimensional point, and forms between the adjacent relative vectors. Calculate the declination angle for each three-dimensional point so that the greater the declination made, or the greater the variation in declination, the greater the degree of micro uneven vibration of the road surface. To do.
窪み量推定部１１４は、路面領域点群のうちの代表点について局所的に求めた平面候補と、当該代表点の近傍の代表点について局所的に求めた平面候補とを連結する滑らかさと、平面候補の尤度とを評価する評価関数を最適化するように、代表点の各々における平面を推定し、路面領域点群のうち、推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、クラスタに属する３次元点における、推定された平面との法線方向の距離の最大値を、窪み量として推定する。 The depression amount estimation unit 114 is configured to connect a plane candidate obtained locally with respect to a representative point in the road surface region point group and a plane candidate obtained locally with respect to a representative point in the vicinity of the representative point, Estimate the plane at each representative point so as to optimize the evaluation function that evaluates the likelihood of the candidate, and among the road surface area point group, a point consisting of a three-dimensional point vertically below the estimated plane The groups are clustered, and for each cluster, the maximum value in the normal direction to the estimated plane at the three-dimensional point belonging to the cluster is estimated as the amount of depression.
具体的には、窪み量推定部１１４は、代表点について局所的に平面候補を求める際に、３次元点の各々について平面近似誤差又は路面微小凹凸振動度合いが小さいほど重みを重く設定し、重み付きの点群を用いた平面当てはめにより、平面候補の尤度を算出する。また、窪み量推定部１１４は、滑らかさを評価する際に、連結する一方の平面候補の重心位置と、連結する他方の平面候補との距離が近いことを評価する関数、又は連結する一方の平面候補の法線方向と、連結する他方の前記平面候補の法線方向とが類似していることを評価する関数を用いる。 Specifically, when the depression amount estimation unit 114 obtains a plane candidate locally for a representative point, the weight is set to be heavier as the plane approximation error or the road surface minute unevenness degree is smaller for each of the three-dimensional points. The likelihood of the plane candidate is calculated by plane fitting using the attached point group. In addition, when evaluating the smoothness, the depression amount estimation unit 114 evaluates that the distance between the center of gravity of one plane candidate to be connected and the other plane candidate to be connected is short, or one of the connected plane candidates. A function that evaluates that the normal direction of the plane candidate is similar to the normal direction of the other plane candidate to be connected is used.
路面異常判定部１１５は、窪み量推定部１１４によって推定された窪み量が、閾値以上の３次元点について舗装状態が悪い点と判定し、舗装状態が悪い３次元点からなる点群をクラスタリングしたときに生成される点群の大きさに基づいて、路面舗装状態が悪いか否かを判定する。 The road surface abnormality determination unit 115 determines that the depression amount estimated by the depression amount estimation unit 114 is a poor pavement state for a three-dimensional point that is equal to or greater than a threshold value, and clustered a point cloud composed of three-dimensional points with a poor pavement state. Based on the size of the point cloud that is sometimes generated, it is determined whether or not the road pavement state is bad.
なお、本実施形態の路面凹凸量推定装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する路面凹凸量推定処理を実行するための路面凹凸量推定プログラムや各種データを記憶したＲＯＭ（Read Only Memory）と、を含むコンピュータで構成することが出来る。本実施形態のＣＰＵが路面凹凸量推定プログラムを実行することにより、路面窪み量推定部１０３が有する各部として機能する。 The road surface unevenness estimation device 100 of this embodiment includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a road surface unevenness estimation program and various data for executing a road surface unevenness estimation process described later. And a computer including a ROM (Read Only Memory) in which is stored. When the CPU of this embodiment executes the road surface unevenness estimation program, it functions as each part of the road surface recess amount estimation unit 103.
（路面凹凸量推定の流れ）
本実施形態の路面凹凸量推定装置１００の路面窪み量推定部１０３の処理の概要について説明する（図２）。
(Flow of road surface unevenness estimation)
An overview of the processing of the road surface depression amount estimation unit 103 of the road surface unevenness estimation device 100 of the present embodiment will be described (FIG. 2).
ステップＳ１で、入力された３次元点群の３次元点の各々について法線および平面近似誤差を計算する。 In step S1, normal and plane approximation errors are calculated for each of the 3D points of the input 3D point group.
ステップＳ２で、入力された３次元点群、法線、平面近似誤差を用いて路面領域点群を検出する。 In step S2, a road surface area point group is detected using the input three-dimensional point group, normal line, and plane approximation error.
ステップＳ３で、入力された路面領域点群から路面微小凹凸振動度合いを抽出する。 In step S3, the road surface minute uneven vibration degree is extracted from the input road surface area point cloud.
ステップＳ４で、路面微小凹凸振動度合いを用いて、入力された路面領域点群から道路面を検出して、轍掘れなどの窪んだ箇所を検出し、窪み量を推定する。 In step S4, the road surface is detected from the input road surface area point group using the degree of road surface minute unevenness vibration, and a recessed portion such as digging is detected to estimate the amount of depression.
ステップＳ５で、窪んだ箇所についてその面積に応じて異常（道路舗装状態が悪い箇所）かどうか判定を行い異常警告表示部１０４に警告信号を出力すると共に、推定した窪み量と、路面微小凹凸振動度合いを出力する。 In step S5, it is determined whether or not the recessed portion is abnormal (location where the road pavement is bad) according to the area, and a warning signal is output to the abnormality warning display unit 104. Output the degree.
以下、上述した図２に示すフローチャートで説明した各ステップのアルゴリズムの動作について説明する。以下、「注目点」とは、任意の一つの点であることを意味する。つまり、全ての点を独立して処理することを意味し、その中の一つを処理の説明のために注目することを意味するだけである。そのため、注目点自体を検出する処理があるわけではない。 Hereinafter, the operation of the algorithm of each step described in the flowchart shown in FIG. 2 will be described. Hereinafter, “attention point” means an arbitrary point. In other words, it means that all points are processed independently, and only one of them is meant to be noted for explaining the processing. Therefore, there is no processing for detecting the attention point itself.
（ステップＳ１：法線・平面近似誤差算出）
本ステップＳ１では、全ての点群について法線および平面近似誤差を算出し、求めた法線および平面近似誤差は、ステップＳ２における路面領域推定処理の入力として出力される。入力点群を区別する番号をi、点群の総数をNallとすると、各点の3次元位置は次式で表現される。
(Step S1: Normal / plane approximation error calculation)
In step S1, normals and plane approximation errors are calculated for all point groups, and the obtained normals and plane approximation errors are output as input for the road surface area estimation process in step S2. Assuming that the number for distinguishing the input point group is i and the total number of point groups is Nall, the three-dimensional position of each point is expressed by the following equation.
ただし、[xi,yi,zi]は、Ｘ，Ｙ，Ｚ軸の座標成分を意味し、右上の添え字の記号「T」は転置を意味とする。また、数式の記号の説明をすると記号「・」は、数値の掛け算もしくはベクトル間の内積を意味し、記号「×」はベクトルの外積、記号「←」は変数に値を代入することを意味する。 Here, [x i , y i , z i ] means the coordinate components of the X, Y, and Z axes, and the symbol “T” in the upper right subscript means transposition. In addition, when explaining the symbols of mathematical formulas, the symbol “·” means multiplication of numbers or inner product between vectors, the symbol “×” means outer product of vectors, and the symbol “←” means assigning a value to a variable. To do.
注目点ｐiについて、半径ｒ以内の距離を局所領域と定義し、この局所領域内部の点をｐj（ｊ∈１，２，３，・・・，Ｎj）、局所領域内の点群の総数をＮjと表記する。半径ｒ以内の距離に含まれる点は、次式を満たす点として求められる。 For the point of interest p i , the distance within the radius r is defined as a local region, the points inside this local region are defined as p j (j∈1, 2, 3,..., N j ), and the points in the local region Is expressed as N j . Points included in the distance within the radius r are obtained as points that satisfy the following expression.
ただし、記号「|| ||」は、ベクトルの２ノルム、記号「| |」は絶対値を意味する。このとき、法線ベクトルｎiは、局所領域内部の点群の共分散行列Pを固有値展開したときの第三固有値ベクトル（最も小さい固有値に対応するベクトル）として求まる。 However, the symbol “||||” means the 2-norm of the vector, and the symbol “||” means the absolute value. At this time, the normal vector n i is obtained as a third eigenvalue vector (a vector corresponding to the smallest eigenvalue) when the covariance matrix P of the point group inside the local region is eigenvalue expanded.
は注目点ｐiの局所領域の点群の重心位置であり、ｎiは局所領域の点群を平面近似したときの法線方向である。法線方向ｎiは、共分散行列Pを固有値分解したときの第３固有値（一番小さい固有値）に対応する固有ベクトルが法線ベクトルである。共分散行列Pは次式で求まる。 Is the barycentric position of the point group of the local region of the point of interest p i , and n i is the normal direction when the point group of the local region is approximated by plane. In the normal direction n i , the eigenvector corresponding to the third eigenvalue (smallest eigenvalue) obtained by eigenvalue decomposition of the covariance matrix P is a normal vector. The covariance matrix P is obtained by the following equation.
求めた法線および重心位置を用いて、局所領域内の点群の平面近似誤差の算出は次式により求まる。 Using the obtained normal and centroid position, the calculation of the plane approximation error of the point group in the local region is obtained by the following equation.
（ステップＳ２：路面領域点群検出）
ステップＳ２において、入力された3次元点群から路面領域を推定する。路面領域推定については、既存の技術を利用可能である。ただし、ＭＭＳの走行軌跡情報を必ずしも必要としないという観点から、以下では法線情報と平面近似誤差を用いた実施例を示す。
(Step S2: Road surface area point cloud detection)
In step S2, a road surface area is estimated from the input three-dimensional point group. Existing technology can be used for road surface area estimation. However, from the viewpoint that the travel locus information of MMS is not necessarily required, an example using normal line information and a plane approximation error will be described below.
本発明の実施形態において、道路面とは局所的には平面で十分近似できと考え、法線方向が鉛直上向き方向かつ平面近似誤差が小さい点群をクラスタリングした領域と考える。ＭＭＳで計測した点群に関して言及すると、建造物の２階以上の床部分（平面）の点群についても、クラスタリングされた結果（クラスタ）として検出されてしまうが、一般的にはＭＭＳによる計測距離は数キロメートルもしくは数十キロメートルと長いため、道路面に存在する点群が最も大きなクラスタになる。よって、点群の数が最大のクラスタを道路面と判定ればよい。並走する車などオクルージョンの影響により分断された路面領域点群（クラスタ）については、後処理で統合する。 In the embodiment of the present invention, it is considered that a road surface can be sufficiently approximated by a plane locally, and a point group having a normal direction vertically upward and a small plane approximation error is clustered. When referring to the point cloud measured by MMS, the point cloud of the floor part (plane) of the second floor or higher of the building is also detected as a clustered result (cluster), but generally the measurement distance by MMS Is a long cluster of several kilometers or tens of kilometers, so the point cloud on the road surface is the largest cluster. Therefore, the cluster having the largest number of point clouds may be determined as the road surface. Road surface area point clusters (clusters) that are separated by the influence of occlusion such as cars running in parallel will be integrated in post-processing.
また、ひび割れや剥離などで浮き砂利が生じた路面損傷個所については、3次元的な凹凸量としては数ミリの振幅幅であるため、道路面と歩道との段差位置の点群に比べては平面近似誤差が小さいので道路面のクラスタに含まれる。しかし、数センチほどの段差が生じるようなポットホールなどは、平面近似誤差が大きくなり道路面クラスタに含まれない可能性がある。 In addition, for road damage areas where floating gravel has occurred due to cracking or peeling, the three-dimensional unevenness has an amplitude width of several millimeters, so compared to the point cloud at the step position between the road surface and the sidewalk. Since the plane approximation error is small, it is included in the road surface cluster. However, a pothole or the like having a step of about several centimeters may not be included in the road surface cluster due to a large plane approximation error.
そこで、本発明の実施形態では、路面に生じた「陥没箇所」については、後処理として路面領域点群に統合（吸収）する処理を行う。ただし、地面の側溝などの窪み部分については路面上の窪み量（轍や陥没）とは判定しないために統合はしない。図４に示すように、側溝による窪みの位置は道路面の点群に対して特定の方向にのみ存在していることが多い。そこで、本発明の実施形態においては、路面上の陥没（窪み）がある場所の点群について、注目点が道路点群（最大点群クラスタ）に囲われているかどうかにより判定を行う。 Therefore, in the embodiment of the present invention, the “recessed portion” generated on the road surface is integrated (absorbed) into the road surface area point group as post-processing. However, the depressions such as the side grooves on the ground are not integrated because they are not determined as depressions on the road surface (such as wrinkles or depressions). As shown in FIG. 4, the position of the depression by the side groove often exists only in a specific direction with respect to the point cloud on the road surface. Therefore, in the embodiment of the present invention, the determination is performed for the point cloud where the depression (dent) on the road surface is present, depending on whether the point of interest is surrounded by the road point cloud (maximum point cloud cluster).
図３に示すように、ステップＳ２−１において、法線が鉛直上向きで平面近似誤差の小さい点群について地面候補点と判定し、これらの地面候補点についてクラスタリング処理を行う。注目点ｐiについて法線方向ｎiと平面近似誤差ErrPlane(ｐi)が次式を満たすとき、地面候補点と判定する。 As shown in FIG. 3, in step S <b> 2-1, a point group whose normal is vertically upward and has a small plane approximation error is determined as a ground candidate point, and clustering processing is performed on these ground candidate points. When the normal direction n i and the plane approximation error Err Plane (p i ) satisfy the following expression for the attention point p i , it is determined as a ground candidate point.
次に、注目地面候補点ｐiから半径ｒ以内に含まれる３次元候補点群ｐj（ｊ∈１，２，３，・・・，Ｎj）について、法線の方向が類似しているときに同一クラスタであると判定する。次式を満たすとき法線方向は類似しているため、同一クラスタであると判定する。 Next, the direction of the normal line is similar for the three-dimensional candidate point group p j (j∈1, 2, 3,..., N j ) included within the radius r from the target ground candidate point p i . Sometimes it is determined that they are the same cluster. When the following equation is satisfied, the normal directions are similar, so that it is determined that they are the same cluster.
ただし、関数arccos()は、法線ベクトルの内積の値から法線の成す角度を出力する関数であり、例えば三角関数cosの逆関数を用いればよい。閾値処理の定数ＴＨz、ＴＨerr、ＴＨnは実験的に決めるパラメータであり、本実施例においてはＴＨz＞０．８、ＴＨerr＝０．０２［ｍ］、ＴＨn＜１０［度］とした。 However, the function arccos () is a function that outputs the angle formed by the normal from the value of the inner product of the normal vectors, and for example, an inverse function of the trigonometric function cos may be used. The threshold processing constants TH z , TH err , TH n are parameters determined experimentally. In this embodiment, TH z > 0.8, TH err = 0.02 [m], TH n <10 [degrees]. It was.
ステップＳ２−２において、最大クラスタの点群を判定する。ステップＳ２−１で行われた各クラスタについて、最も点数が多いものを最大クラスタと判定し、これを路面領域点群とする。 In step S2-2, the point cluster of the maximum cluster is determined. For each cluster performed in step S2-1, the cluster with the highest score is determined as the maximum cluster, and this is set as a road surface area point group.
ステップＳ２−３において、路面領域点群とその周辺にあるクラスタを統合処理する。並走する車や対向車の影響により分割された道路領域、すなわち別のクラスタになった点群については、その高さ情報を用いて統合を行う。道路面の高さは局所的にはほぼ一定であることから、前ステップＳ２−２で推定した路面領域点群から半径Ｒgr以内になるクラスタについて、高さ（Z軸方向の値）の差分が小さければ統合処理を行う。本発明の実施形態においては、半径Ｒgr＝０．５［ｍ］とし、許容する高さ方向の差分値は0.02[cm]とした。統合後の最大クラスタを路面領域点群とする。 In step S2-3, the road surface area point group and its surrounding clusters are integrated. For road areas divided under the influence of parallel cars and oncoming cars, that is, point clouds that have become different clusters, integration is performed using the height information. Since the height of the road surface is almost constant locally, the difference in height (value in the Z-axis direction) for the cluster within the radius Rgr from the road surface area point group estimated in the previous step S2-2 is If it is smaller, integration processing is performed. In the embodiment of the present invention, the radius R gr = 0.5 [m], and the allowable difference in the height direction is 0.02 [cm]. The maximum cluster after integration is defined as a road surface area point cloud.
ステップＳ２−４において、路面領域点群の周辺に存在する陥没点群を統合処理する。前処理ステップＳ２−３の統合後の路面領域点群について、半径Ｒgr以内に存在し、かつ点群を陥没箇所候補点と判定する。各陥没箇所候補点について、注目する候補点から半径Ｒgr以内に存在する道路領域点群の点群（周辺点群）の分布を調べて、特定の方向のみに存在していないかどうか判定を行う。 In step S2-4, the depression points existing around the road surface area point group are integrated. The road surface area point group after the integration in the preprocessing step S2-3 exists within the radius Rgr , and the point group is determined to be a depressed portion candidate point. For each depression location candidate point, examine the distribution of the point group (peripheral point group) of the road area point group existing within the radius R gr from the candidate point of interest, and determine whether it exists only in a specific direction Do.
まず陥没候補点群(pg∈KG)は、路面点群から半径Rgr以内に存在し、かつ路面高さより下側（Z軸方向負側）に存在する点群とする。路面点群をpiで表現すると、陥没候補点群は次式で求まる。 First, the depression candidate point group (p g ∈KG) is a point group that exists within a radius R gr from the road surface point group and that is present below the road surface height (negative side in the Z-axis direction). When the road surface point group is expressed by p i , the depression candidate point group is obtained by the following equation.
図４に示すように、陥没箇所については周辺点（路面点群）と注目点を結んだベクトル方向について真逆の方向にも周辺点が存在する、つまり成す角度が１８０度に近くなるような周辺点が存在する。本発明の実施形態においては、全ての周辺点ｐj(k)について、注目点ｐiを基準とした相対ベクトルを
と計算し、それら相対ベクトルの２つのペアについて逆向き相対ベクトルが存在する場合に陥没点と判定する。２つの相対ベクトルの成す角度が小さいときは、図４に示すような側溝の溝などを意味し、本発明における路面の轍掘れの深さではないため、以降の処理に使用しないこととする。
As shown in FIG. 4, there is a peripheral point in the direction opposite to the vector direction connecting the peripheral point (road surface point group) and the point of interest with respect to the depression, that is, the formed angle is close to 180 degrees. There are peripheral points. In the embodiment of the present invention, for all the peripheral points p j (k), relative vectors based on the point of interest p i are used.
And when there is a reverse relative vector for the two pairs of the relative vectors, it is determined as a depression point. When the angle formed by the two relative vectors is small, it means a groove of a side groove as shown in FIG. 4 and it is not the depth of digging of the road surface in the present invention, so it is not used for the subsequent processing.
周辺点は、注目点pgからRgr以内の点群、ペアとなる相対ベクトルを区別する記号をj,kで表現すると、次式の閾値処理を満たすときに陥没点と判定する。 Peripheral points determines the target point p g point group within R gr, distinguishing the relative vector in the pair symbol j, it is expressed in k, and depressed point when meeting the threshold processing of the following equation.
ただし、上記式の左辺の値の最小値は-1であり、一様な方向に路面点群が存在する場合には-1に近い値を出力する。本実施例においては、THpg=0.5とした。 However, the minimum value of the value on the left side of the above expression is -1, and when a road surface point group exists in a uniform direction, a value close to -1 is output. In this example, TH pg = 0.5.
最後に、陥没点と判定された点群を路面領域点群に統合して、路面領域点群としてステップＳ３に出力する。 Finally, the point group determined as the depression point is integrated into the road surface area point group, and is output to step S3 as the road surface area point group.
ステップＳ３では、路面領域点群から路面表面の損傷箇所を検出するために、道路面の細かな凹凸量の多い点群を検出する。本発明の実施形態においては、路面の損傷とは道路表面の細かな傷を意味し、例えばひび割れ箇所や細かな剥離やその結果の浮き砂利が生じた箇所であり、これらが生じた路面表面には細かな凹凸振動（高周波成分）が生じている箇所と定義する。本発明の実施形態においては、細かな凹凸の振動の度合いを解析するために、同一スキャンライン上の点群の形状について解析処理を実行する。 In step S3, in order to detect a damaged part of the road surface from the road surface area point cloud, a point cloud with a large amount of fine unevenness on the road surface is detected. In the embodiment of the present invention, the road surface damage means a fine scratch on the road surface, for example, a cracked place, a fine peeling or a resulting floating gravel, on the road surface where these occurred. Is defined as a place where fine uneven vibration (high-frequency component) occurs. In the embodiment of the present invention, in order to analyze the degree of vibration of fine unevenness, an analysis process is executed for the shape of the point group on the same scan line.
一般に、レーザ計測した場合には、レーザ進行方向に対して平行で、かつ面積が小さいほど計測誤差が大きくなりやすいという傾向がある。例えば図５（Ａ）の断面例のように滑らかに変化する円形のような曲面を計測した場合には、レーザが照射される範囲（被計測範囲）の境界付近において計測ノイズが生じやすくなる。一方、細かな凹凸が存在する物体表面を計測した場合には、被計測範囲の境界に関わらず、凹凸部分のエッジ（角）部分で計測誤差が生じやすい。 In general, when laser measurement is performed, the measurement error tends to increase as the area is smaller and parallel to the laser traveling direction. For example, when a smoothly curved surface such as the cross section shown in FIG. 5A is measured, measurement noise is likely to occur near the boundary of the laser irradiation range (measurement range). On the other hand, when an object surface with fine irregularities is measured, measurement errors tend to occur at the edges (corners) of the irregularities regardless of the boundaries of the measurement range.
図６に示すように、段差を含む路面（図６（Ａ）参照）と損傷箇所の路面（図６（Ｂ）参照）においては、大きな段差を含む路面の方が直線近似誤差は悪くなるが、損傷箇所の路面では、同一スキャンラインの点群の軌跡を見ると、（スキャンライン面内における）ランダムな方向に計測誤差が生じるために、高周波成分が含まれやすい。そこで、本発明の実施形態では、点群の軌跡の局所的な変動量を調べることで、路面の損傷した箇所を判定する。 As shown in FIG. 6, on the road surface including the step (see FIG. 6A) and the road surface of the damaged part (see FIG. 6B), the linear approximation error is worse on the road surface including the large step. When the trajectory of the point group of the same scan line is seen on the road surface of the damaged part, a measurement error occurs in a random direction (within the scan line surface), and thus a high frequency component is likely to be included. Therefore, in the embodiment of the present invention, the damaged portion of the road surface is determined by examining the amount of local variation in the locus of the point cloud.
図１０に示すように、ステップＳ３−１において、注目点と同一スキャンライン上の点群を検出する。注目点から半径r以内を局所領域と設定し、この局所領域内の点群について、計測時刻がレーザのスキャンレートの時間以内であるものを同一スキャンラインの点群とみなす。ここで、スキャンレートの時間とは、センサ固有に決まっている値であり、例えば100Hz(0.01秒)、50Hz(0.02秒)と固定値であり、半径r=0.2[m]とした。 As shown in FIG. 10, in step S3-1, a point group on the same scan line as the point of interest is detected. Within the radius r from the point of interest is set as a local region, and a point group within this local region whose measurement time is within the laser scan rate time is regarded as a point group of the same scan line. Here, the scan rate time is a value determined uniquely for each sensor, for example, 100 Hz (0.01 seconds), 50 Hz (0.02 seconds), and a fixed value, and a radius r = 0.2 [m].
ステップＳ３−２において、同一スキャンライン上の点群について微小変動成分を調べるため、スキャンライン上の隣り合う点の相対ベクトルを算出する。計測時刻が古いものから新しい順に点群番号を並び替え、隣り合う点について時刻の古い方の点を原点とした相対ベクトルを算出する。このとき、ＭＭＳ搭載レーザセンサの取り付け角度に依存しないように、レーザスキャナで1回転スキャニングしたときの平面と水平面との成す交線（直線）をＴ軸、鉛直上向きをZ軸と設定すると、ステップS3においては、全てこの２次元平面上での座標を用いるとする。図７の相対ベクトルは次式で示す。 In step S3-2, a relative vector of adjacent points on the scan line is calculated in order to examine minute fluctuation components for the point group on the same scan line. The point cloud numbers are rearranged in order from the oldest measurement time, and a relative vector with the oldest point as the origin is calculated for adjacent points. At this time, in order not to depend on the mounting angle of the MMS-mounted laser sensor, if the intersection line (straight line) between the plane and the horizontal plane when scanned by one rotation with the laser scanner is set as the T axis, and the vertical upward direction is set as the Z axis, In S3, all the coordinates on the two-dimensional plane are used. The relative vector in FIG.
ただし、jは注目点iを含む番号を意味する記号であり、同一スキャンラインの局所領域内の点数
をjの最大数とし、図7のT軸方向は、注目点ｐiの時刻におけるスキャンライン平面と水平面（ＸＹ平面）との成す直線である。
However, j is a symbol that means a number including the point of interest i, and the number of points in the local area of the same scan line
Is the maximum number of j, and the T-axis direction in FIG. 7 is a straight line formed by the scan line plane and the horizontal plane (XY plane) at the time of the point of interest p i .
ステップＳ３−３において、同一スキャンライン上の相対ベクトルを用いて微小変動成分を算出する。本実施例においては、開曲線の形状解析で広く用いられている「p型フーリエ記述子」を利用した実施例Ａと、３次元相対ベクトルの方向の変化量を用いた実施例Ｂを記載する。 In step S3-3, a minute fluctuation component is calculated using a relative vector on the same scan line. In this embodiment, an embodiment A using a “p-type Fourier descriptor” widely used in open curve shape analysis and an embodiment B using a change in the direction of a three-dimensional relative vector are described. .
（実施例Ａ：p型フーリエ記述子を利用した実施例）
実施例ＡのステップＳ３−３においては、ステップＳ３−２で求めた局所領域内の同一スキャンラインの点群の相対ベクトル間の成す角度をフーリエ変換した値により、高周波成分を抽出する。図７に示すように
の偏角θjの指数関数と複素平面における座標ｐjとの関係式は、複素数
を用いると次式で表される。
(Example A: Example using p-type Fourier descriptor)
In Step S3-3 of Example A, a high frequency component is extracted by a value obtained by Fourier transforming an angle formed between relative vectors of point groups of the same scan line in the local region obtained in Step S3-2. As shown in FIG.
The relation between the exponential function of the argument θ j and the coordinate p j in the complex plane is a complex number
Is used, it is represented by the following formula.
μjを周期関数として、離散フーリエ変換を求めたものがＰ型フーリエ記述子Ｃkである。ｋを高次成分の次数、Ｎθを偏角θjの数とすると次式で表される。 A P-type Fourier descriptor C k is obtained by obtaining a discrete Fourier transform using μ j as a periodic function. If k is the order of the higher-order component and N θ is the number of declination θ j , the following equation is obtained.
ただし、フーリエ変換を行う前提として、相対ベクトルの間隔が等間隔になっている必要があるが、実際に計測したデータは、計測したセンサと被写体（地面）との相対位置関係（位置および角度）により点の密度が変化し、たとえ同一の形状（地面の凹凸）であっても計測点群の計測間隔が大きく変化するため、計測点群は等距離になっていない。 However, as a precondition for performing the Fourier transform, the relative vectors must be equally spaced, but the actually measured data is the relative positional relationship (position and angle) between the measured sensor and the subject (ground). The density of the points changes, and even if the shape is the same (unevenness on the ground), the measurement interval of the measurement point group changes greatly, so the measurement point group is not equidistant.
そこで、本発明の実施形態では、計測された点群の間隔が一定になるように、事前にスキャンライン上の点群に沿って一定間隔でサンプリング点（補完点）を生成する。点群に沿ってとは、特定の点ｐ’sを基準として相対ベクトルの累積距離が、一定距離Δｄごとに補完点を生成することとする。図８の例では基準点に隣のリサンプリング補完点ｐ’s-1,ｐ’s+1 は次式で求まる。 Therefore, in the embodiment of the present invention, sampling points (complementary points) are generated at predetermined intervals along the point group on the scan line in advance so that the interval between the measured point groups is constant. The term “along the point group” means that a complementary point is generated for each predetermined distance Δd with a cumulative distance of relative vectors with a specific point p ′ s as a reference. In the example of FIG. 8, the resampling complementary points p ′ s−1 and p ′ s + 1 adjacent to the reference point are obtained by the following equations.
同様にして、点ｐ’s-1とｐ’s+1からΔdの位置にリサンプリング補完点を生成すると、図９に示すように、スキャンラインの点群の相対ベクトル上にリサンプリング補完点群が生成される。リサンプリング基準点の位置は任意に選ぶことができるが、リサンプリング補完点の相対ベクトル同士の成す角度（偏角）の値が、元の点群（計測点群）の相対ベクトルの成す角度（偏角）の値と類似していることがよい。そのため、基準点の位置を変えたときに生成された補完点群による偏角の合計値と元の計測点群の偏角の合計値の差分が最も小さくなる点を基準点として採用してもよい。また、Δdの値を十分小さくすれば、計算量は増加するが、基準点の位置を変えても偏角の値の誤差（計測点群の偏角との差分）は小さくなるため、本発明の実施形態ではΔdの値を小さく設定することとした。 Similarly, when a resampling complement point is generated at the position of Δd from the points p ′ s−1 and p ′ s + 1, the resampling complement point is placed on the relative vector of the point group of the scan line as shown in FIG. A group is generated. The position of the resampling reference point can be selected arbitrarily, but the angle (declination) between the relative vectors of the resampling complementary points is the angle (relative vector) of the original point cloud (measurement point cloud) ( It should be similar to the value of (deviation angle). Therefore, even if the point where the difference between the total value of the declination by the complementary point group generated when the position of the reference point is changed and the total value of the declination of the original measurement point group is the smallest is adopted as the reference point Good. Further, if the value of Δd is made sufficiently small, the amount of calculation increases. However, even if the position of the reference point is changed, the error of the deviation value (difference from the deviation angle of the measurement point group) becomes small. In this embodiment, the value of Δd is set small.
本発明の実施形態では、求めたリサンプリング補完点群を上記のＣkの式に用いて、フーリエ変換を行う。高周波成分の次数を高々Ｋhigh=10, Ｋlow=5の範囲とすると、注目点ｐiにおける微小凹凸振動度合いは次式Ｂｕｍｐｙ（ｐi）で求まる。 In the embodiment of the present invention, Fourier transform is performed by using the obtained resampling complementary point group in the above formula of C k . When most of the order of the high-frequency component and K high = 10, K low = 5 ranges, fine irregularities vibration degree at the target point p i is determined by the following formula Bumpy (p i).
ただし、関数η｛ ｝は｛｝の中が真のときは１を偽のときは０を出力する関数とし、ＴＨCk=0.2、Ｂｕｍｐｙ（ｐi）は0から1の値を出力する関数である。 However, the function eta {} is a function among the When true a function that outputs 0 when one false, TH Ck = 0.2, Bumpy ( p i) is the output value from 0 to 1 in {} is there.
上記の式により、隣り合う相対ベクトルのなす偏角のばらつきが大きいほど、路面微小凹凸振動度合いが大きくなるように算出される。 According to the above formula, the degree of road surface minute unevenness vibration is calculated so as to be larger as the variation in the declination between adjacent relative vectors is larger.
（実施例Ｂ：相対ベクトル方向の変化量を用いた実施例）
実施例ＢのステップＳ３−３においては、路面凹凸量の振幅の大きさを簡易的に調べるために、同一スキャンライン上の点群について、隣り合う相対ベクトル同士の成す角度の変化をもとに微小凹凸量特徴を計算する。図６に示すように、計測誤差が生じた点群には、ランダムな方向への計測ノイズ成分が生じている。そこで、本発明の実施形態においてはスキャンラインの点群について、急激に方向が変化した点群の割合が多い箇所が、損傷した路面箇所であると考え、相対ベクトルの路面の法線方向に対する大きさをもとに、微小凹凸振動度合いを算出する。注目点ｐiにおける微小凹凸量度合いは次式Ｂｕｍｐｙ（ｐi）により求まる。
(Example B: Example using the amount of change in the relative vector direction)
In Step S3-3 of Example B, in order to easily examine the magnitude of the amplitude of the road surface unevenness, the change in the angle formed by the adjacent relative vectors for the point group on the same scan line is used. Calculate the feature of minute unevenness. As shown in FIG. 6, a measurement noise component in a random direction is generated in the point group where the measurement error has occurred. Therefore, in the embodiment of the present invention, regarding the point group of the scan line, the point where the ratio of the point group whose direction has suddenly changed is large is considered to be a damaged road surface portion, and the magnitude of the relative vector relative to the normal direction of the road surface is considered. Based on this, the degree of minute uneven vibration is calculated. Fine irregularities amount degree of attention point p i is determined by the following equation Bumpy (p i).
ここで、
は注目点ｐiにおける局所領域内の同一スキャンラインの点数であり、σは相対ベクトル同士の成す角度が閾値よりも小さいときは0を、それ以外は注目点の法線方向（路面の法線方向）に対する相対変化量を出力する関数である。本実施例において、閾値ＴＨpn＝９０度とした。
here,
Is the number of the same scan line in the local area at the point of interest p i , and σ is 0 when the angle formed by the relative vectors is smaller than the threshold value, otherwise the normal direction of the point of interest (the normal of the road surface) (Direction) is a function that outputs a relative change amount. In this embodiment, the threshold value TH pn = 90 degrees.
上記の式により、隣り合う相対ベクトルのなす偏角が大きいものが多いほど、路面微小凹凸振動度合いが大きくなるように算出される。 From the above formula, the degree of road surface minute unevenness vibration is calculated such that the greater the deviation angle between adjacent relative vectors is, the greater the degree of vibration is.
上述したように、Ｂｕｍｐｙ（ｐi）は、値が0〜1になるように正規化されている。 As described above, Bumpy (p i) is normalized so that the value becomes 0-1.
ステップＳ４では、路面上の窪み量を推定する。処理の大まかな流れとしては、リサンプリングした代表点を決定し、その代表点群の位置ごとに路面平面候補を抽出し、抽出した路面平面を近傍代表点位置の路面候補平面と滑らかに連結することで路面を推定する。MMSで計測した点群は道路面との距離が近いために、相当な量（例えば、1kmあたり数千万から数億点）になりやすい。そのため本発明の実施形態においては計算量削減のため事前処理として路面領域点群をリサンプリングして代表点群を決定しているが、発明の効果を得るための処理としては代表点を求めなくても動作可能である。 In step S4, the amount of depression on the road surface is estimated. As a rough flow of processing, a representative point that has been resampled is determined, a road surface candidate is extracted for each position of the representative point group, and the extracted road surface plane is smoothly connected to a road surface candidate plane at a nearby representative point position. Thus, the road surface is estimated. Since the point cloud measured by MMS is close to the road surface, it tends to be a considerable amount (for example, tens of millions to hundreds of millions per km). Therefore, in the embodiment of the present invention, the representative point group is determined by resampling the road surface area point group as a pre-process for reducing the amount of calculation, but the representative point is not obtained as a process for obtaining the effect of the invention. Can still operate.
図１１に示すように、ステップＳ４−１において代表点群を求めるためにリサンプリング処理を行う。求める代表点群のリサンプリング距離ｄresampとすると、密度が高い点群から優先して、リサンプリング距離ｄresampごとに点群を間引き、間引かれずに残った点群を代表点群として番号を付け直す。本発明の実施形態ではｄresamp＝０．１［ｍ］とした。 As shown in FIG. 11, a resampling process is performed in order to obtain a representative point group in step S4-1. Assuming that the re-sampling distance d resamp of the representative point group to be obtained is given priority over the point group having a high density, the point group is thinned out for each resampling distance d resamp , and the number of points remaining without being thinned is designated as the representative point group. Reapply. In the embodiment of the present invention, d resamp = 0.1 [m].
ステップＳ４−２において、平面近似誤差および路面凹凸振動度合いを入力として、入力された３次元点群に重みを設定する。ここで重みとは、注目代表点位置での道路路面（平面）を推定する際に、どの点群を信頼して平面を推定するかを表した値である。 In step S4-2, a plane approximation error and a road surface uneven vibration degree are input, and a weight is set for the input three-dimensional point group. Here, the weight is a value representing which point group is reliable to estimate the plane when estimating the road road surface (plane) at the position of the representative point of interest.
平面近似誤差が小さく、かつ路面凹凸振動度合いが小さい点群については大きな値をとるように、重みを設定する。なお、平面近似誤差を考慮せずに、路面凹凸振動度合いが小さい点群については大きな値をとるように重みを設定してもよいし、また、路面凹凸振動度合いを考慮せずに、平面近似誤差が小さい点群については大きな値をとるように重みを設定してもよい。 A weight is set so that a point group having a small planar approximation error and a small degree of road surface unevenness vibration takes a large value. Note that a weight may be set so as to take a large value for a point group with a small degree of road surface unevenness vibration without considering the plane approximation error, and plane approximation without considering the road surface unevenness vibration degree. For point groups with small errors, weights may be set so as to take large values.
注目点ｐi位置での平面近似誤差ErrPlane(ｐi)、微小凹凸振動度合いBumpy(ｐi)を用いると、次式により重みｗiを求める。 Planar approximation error Err Plane at the attention point p i position (p i), the use of fine irregularities vibration degree Bumpy (p i), obtaining the weights w i by the following equation.
ステップＳ４−３において、各代表点の位置ごとに平面候補を検出する。平面候補とはRANSACにより求めた平面パラメータとし、前ステップＳ４−２で設定した重み付きの平面近似誤差が少なくなるほど尤度が高くなるように候補を決定する。 In step S4-3, a plane candidate is detected for each representative point position. The plane candidate is a plane parameter obtained by RANSAC, and the candidate is determined such that the likelihood increases as the weighted plane approximation error set in the previous step S4-2 decreases.
具体的には、まずランダムに周辺点群から３点サンプリングし、この３点を通る仮平面パラメータを決定する。次に、求めた仮平面パラメータについて、周辺点群の近似誤差を求める。注目代表点ｑiとし、代表注目点から半径Ｒｐにある点群を周辺点群ｑj、その重みをｗj、注目代表点の周辺点群の数を
とし、求めた仮平面パラメータ（サンプリング３点の重心位置
、３点を通る平面の法線ｎi）を用いて次式により平面近似誤差を求める。
Specifically, first, three points are sampled randomly from the peripheral point group, and provisional plane parameters passing through these three points are determined. Next, an approximation error of the peripheral point group is obtained for the obtained temporary plane parameter. The point of interest representative point q i , the point group at the radius Rp from the representative point of interest, the peripheral point group q j , its weight w j , and the number of peripheral point groups of the target representative point
And the calculated temporary plane parameter (the center of gravity of the three sampling points)
A plane approximation error is obtained by the following equation using a plane normal n i ) passing through three points.
尤度Ｄ（ｑi）は平面近似誤差が小さいほど大きな値となるような関数として求まる。 The likelihood D (q i ) is obtained as a function that increases as the planar approximation error decreases.
上記のサンプリング、平面近似誤差、尤度を求める処理を繰り返し行い、その後に仮平面候補の中から、類似した仮平面パラメータをもつ候補を削除し、上位N個について平面候補として出力する。ここで、類似しているかどうかの判定基準は、仮平面パラメータにおける重心位置がお互いの平面近くに存在するとき、又は法線方向が類似した方向（成す角度が小さい）ときとする。 The above sampling, plane approximation error, and processing for obtaining likelihood are repeated, and then candidates having similar temporary plane parameters are deleted from the temporary plane candidates, and the top N candidates are output as plane candidates. Here, the criterion for determining whether or not they are similar is when the centroid positions in the provisional plane parameters are close to each other, or when the normal directions are similar (the angle formed is small).
２つの平面パラメータの類似度Ｈ(qi,qj)は次式により求める。 The similarity H (q i , q j ) between two plane parameters is obtained by the following equation.
類似したと判定された仮平面候補は、尤度が低い方を削除する。 The provisional plane candidates determined to be similar are deleted with a lower likelihood.
本発明の実施形態において繰り返し処理は１０００回とし、半径Rp=0.2[m]とした。また、類似したパラメータとは、法線角度の成す角度が1度以内で、かつ２つの平面の段差距離が近いときに削除する。ここで、段差距離とは重心の相対ベクトルにおける法線に沿った距離とし、次式距離Deが0.01[m]以下のときに類似したものとして削除する。 In the embodiment of the present invention, the repetition process is 1000 times, and the radius R p = 0.2 [m]. Further, similar parameters are deleted when the angle formed by the normal angle is within 1 degree and the step distance between the two planes is short. Here, the step distance is a distance along the normal line in the relative vector of the center of gravity, and is deleted as being similar when the following equation distance De is 0.01 [m] or less.
ステップＳ４−４において、平面候補の組み合わせの最適化処理により道路面を検出する。平面近似尤度Ｄ(qi)および近傍平面との類似度Ｈ（ｑi，ｑj）がともに大きくなるような平面候補の組み合わせを出力する評価関数Jを定義する。 In step S4-4, a road surface is detected by an optimization process of a combination of plane candidates. An evaluation function J is defined that outputs a combination of plane candidates such that both the plane approximate likelihood D (q i ) and the similarity H (q i , q j ) with the neighboring plane are large.
ここで、αは平面近似尤度Ｄと近傍平面との類似度Ｈについて、どちらを優先させるかを調整するためのパラメータである。αが大きいほど道路面は、段差の無い一つの平面として近似されやすく外乱要因に頑健になりやすい。一方、αを小さく設定すれば、局所的な路面の歪みに合わせて平面が推定されるため、路面全体として滑らかな曲面に近い形状になりやすい。 Here, α is a parameter for adjusting which is given priority over the similarity H between the plane approximate likelihood D and the neighboring plane. As α is larger, the road surface is more likely to be approximated as a single flat surface, and is more robust to disturbance factors. On the other hand, if α is set to a small value, the plane is estimated according to local road surface distortion, so that the entire road surface tends to have a shape close to a smooth curved surface.
評価式Jを解くことはNP困難なため、効率的な近似最適解を求めるアルゴリズムである確率伝搬法のビリーフプロパゲーションや反復条件付き最大化(Iterated Conditional Modes; ICM)アルゴリズムなどを用いればよい。 Since it is difficult to solve the evaluation formula J, it is sufficient to use belief propagation of the probability propagation method, an iterated conditional mode (ICM) algorithm, or the like, which is an algorithm for obtaining an efficient approximate optimal solution.
図１２に評価関数Ｊにおける代表点群の概念図を示す。図１２（Ａ）は入力された路面点群を意味し、図１２（Ｂ）は路面点群からリサンプリングをして代表点群を決定した概念図である。図１２（Ｃ）は、各代表点と４近傍の近傍の代表点群を直線で結んだ例であり、評価式Ｊのqiとqjに対応する。
図１３では、図１２の注目点qiとその近傍点の一部を切り出した場合における、評価式Ｊを最適化する平面候補の組み合わせについて示す。概念図を示す。注目代表点位置qiにおいて、まず半径Rpの点群により求めた平面候補N個について、近傍代表点を全く考慮しない場合（α=0）のときは、最も尤度の高い平面候補１として決定される。一方、αが大きな値であるほど、段差距離が少なくなるように、つまり代表点周辺で推定した平面が、より滑らかになるような平面候補が選択される。図１３の例では、注目代表点qiの位置においては、最も尤度Ｄが高い平面候補１ではなくて、尤度Ｄは候補１よりも低いが類似度Ｈが非常に高い平面候補２が選ばれている。
FIG. 12 is a conceptual diagram of a representative point group in the evaluation function J. FIG. 12A means the input road surface point group, and FIG. 12B is a conceptual diagram in which representative point groups are determined by resampling from the road surface point group. FIG. 12C is an example in which each representative point is connected to a representative point group in the vicinity of 4 by a straight line, and corresponds to q i and q j of the evaluation formula J.
FIG. 13 shows combinations of plane candidates for optimizing the evaluation formula J when the attention point q i of FIG. 12 and a part of its neighboring points are cut out. A conceptual diagram is shown. At the target representative point position q i , for the N candidate planes obtained from the point group having the radius Rp, if the neighboring representative point is not considered at all (α = 0), it is determined as the highest likelihood plane candidate 1 Is done. On the other hand, plane candidates are selected such that the greater the value of α, the smaller the step distance, that is, the smoother the plane estimated around the representative point. In the example of FIG. 13, at the position of the target representative point q i , not the plane candidate 1 with the highest likelihood D, but the plane candidate 2 with the likelihood D lower than the candidate 1 but with a very high similarity H. Has been chosen.
最後に、求めた平面パラメータの法線方向について、Ｚ軸方向の成分がプラスとなるように法線の向きを調整する。Ｚ軸成分が負のときは、法線ｎi←ｎi・（−１）とすればよい。 Finally, the direction of the normal is adjusted so that the component in the Z-axis direction becomes positive with respect to the normal direction of the obtained plane parameter. When the Z-axis component is negative, the normal line n i ← n i · (−1) may be set.
ステップＳ４−５おいて、窪み領域点群を検出する。全ての路面領域点群について、最も近い代表点位置で推定した平面との距離を計算する。このとき、平面からの距離が法線のプラス方向（すなわち鉛直下側）に5mm以上である点群について、窪み領域点群（ｇは窪み領域点群を区別する番号）と推定する。平面からの深さdgは次式で求まる。 In step S4-5, a depression area point group is detected. For all road surface area point groups, the distance from the plane estimated at the closest representative point position is calculated. At this time, a point group whose distance from the plane is 5 mm or more in the plus direction of the normal line (that is, vertically below) is estimated as a depression area point group (g is a number for distinguishing the depression area point group). The depth d g from the plane is obtained by the following equation.
ただし、ｕiは注目した窪み領域点、
は注目窪み領域点から最も近い代表点における平面パラメータ（重心位置）、ｎiは注目した窪み領域点の法線方向とする。
Where u i is the noted depression area point,
The plane parameter in the closest representative point from the target recessed area point (center of gravity position), n i is the normal direction of the target the recessed area point.
ステップＳ４−６おいて、計測ノイズにより生じた孤立点を除去する。 In step S4-6, isolated points caused by measurement noise are removed.
孤立点が存在すると、本来存在しない箇所に大きな凹みが存在していると、誤判定することになる。それを抑制するため、窪み領域点群をクラスタリングし、孤立点を除去する。本実施例において、クラスタリング距離は10mmとし、法線の成す角度が10度以内の窪み領域点群についてクラスタリングを行う。クラスタリング後のクラスタについて、各クラスタcについてそのクラスタに含まれる点数Ｎｕｍ（ｃｌｕｓｔｅｒ(c)）が３点以下のものは孤立点として除去する。 If an isolated point exists, it is erroneously determined that a large dent exists in a place that does not exist originally. In order to suppress this, clustering of the depression area point group is performed and isolated points are removed. In this embodiment, the clustering distance is set to 10 mm, and the clustering is performed for the depression area point group whose angle formed by the normal is within 10 degrees. With respect to the cluster after clustering, for each cluster c, the number of points Num (cluster (c)) included in the cluster is 3 or less is removed as an isolated point.
ステップＳ４−６おいて、凹みの深さを推定する。 In step S4-6, the depth of the dent is estimated.
前ステップで求めたクラスタについて、そのクラスタに含まれる点の中で最も深さdが深いものを窪み量として窪み位置と共に出力する。 For the cluster obtained in the previous step, the point having the deepest depth d among the points included in the cluster is output as the dent amount together with the dent position.
ステップ５において、路面における窪みが生じている箇所の総面積の大きさにより異常箇所、すなわち路面舗装状態が悪い箇所であるか判定処理を行う。具体的には、ステップS4までに求めた窪み量が閾値ＴＨsdeep以上の点について舗装状態が悪い点と判定し、これらの舗装状態が悪い点群をクラスタリングしたときに生成される点群の大きさ（面積）により判定を行う。 In step 5, it is determined whether or not an abnormal location, that is, a location where the road surface pavement is poor, depending on the size of the total area of the location where the depression on the road surface is generated. Specifically, the size of the point cloud generated when it is determined that the pavement state is poor at points where the amount of depression obtained up to step S4 is equal to or greater than the threshold TH sdeep, and the point cloud with poor pavement state is clustered. The determination is made based on the size (area).
クラスタリングの距離は代表点群のリサンプリング距離とする。面積Sの計算は、リサンプリングされた点群の間隔と各クラスタc に含まれる点群の数Ｎｕｍ（ｃｌｕｓｔｅｒ(c)）を用いて簡易的に近似値が求まる。 The clustering distance is the resampling distance of the representative point group. For the calculation of the area S, an approximate value can be easily obtained by using the interval between the resampled point groups and the number Num (cluster (c)) of the point groups included in each cluster c.
路面舗装状態が悪いと判定する面積Sの閾値ＴＨsdeepについては、本発明の実施形態においてはＴＨsdeep=1.0[m2]とした。また、ＴＨdeep=0.04[m]とした。 The threshold TH sdeep of the area S that is determined to be poor in the road pavement state is TH sdeep = 1.0 [m 2 ] in the embodiment of the present invention. Also, TH deep = 0.04 [m].
以上説明したように、本実施形態の路面凹凸量推定装置１００によれば、路面領域点群のうちの代表点について局所的に求めた平面候補と、近傍の代表点について局所的に求めた平面候補とを連結する滑らかさと、平面候補の尤度とを評価する評価関数を最適化するように、代表点の各々における平面を推定し、推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、推定された平面との法線方向の距離の最大値を、窪み量として推定することにより、ひび割れや路面の部分的な剥離等の路面損傷がある場合においても、頑健に路面形状を推定し、局所的に生じたポットホールのような陥没深さや車の走行による窪み量を精度よく推定することができる。 As described above, according to the road surface unevenness estimation apparatus 100 of the present embodiment, the plane candidate locally obtained for the representative points in the road surface area point group and the plane locally obtained for the nearby representative points. Estimate the plane at each of the representative points so as to optimize the evaluation function that evaluates the smoothness of connecting the candidates and the likelihood of the plane candidates, and from three-dimensional points that are vertically below the estimated plane When there is road surface damage such as cracks and partial separation of the road surface by clustering the point cloud and estimating the maximum distance in the normal direction to the estimated plane for each cluster as the amount of depression However, the road surface shape can be estimated steadily, and the depression depth such as a locally generated pothole and the amount of depression due to traveling of the car can be accurately estimated.
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。 As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.
１００ 路面凹凸量推定装置
１０１ 被写体計測部
１０２ ３次元点群記憶部
１０３ 路面窪み量推定部
１０４ 異常警告表示部
１０５ 路面凹凸量記憶部
１１１ 法線・平面近似誤差算出部
１１２ 路面領域点群検出部
１１３ 微小凹凸振動抽出部
１１４ 窪み量推定部
１１５ 路面異常判定部
DESCRIPTION OF SYMBOLS 100 Road surface uneven | corrugated amount estimation apparatus 101 Subject measurement part 102 Three-dimensional point cloud memory | storage part 103 Road surface hollow amount estimation part 104 Abnormal warning display part 105 Road surface uneven | corrugated amount memory | storage part 111 Normal / plane approximate error calculation part 112 Road surface area point cloud detection part 113 Minute uneven vibration extracting unit 114 Depression amount estimating unit 115 Road surface abnormality determining unit
Claims (6)
前記路面領域点群のうちの３次元点について局所的に求めた平面候補と、前記３次元点の近傍の３次元点について局所的に求めた平面候補とを連結する滑らかさと、前記平面候補の尤度とを評価する評価関数を最適化するように、前記３次元点の各々における平面を推定し、
前記路面領域点群のうち、前記推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、前記クラスタに属する３次元点における、前記推定された平面との法線方向の距離の最大値を、窪み量として推定する窪み量推定部と、
を含む路面凹凸量推定装置。 A plane approximation error and a normal direction are calculated for each of the three-dimensional points included in the three-dimensional point group that is a set of three-dimensional points representing the position on the surface of the object, and the plane of the three-dimensional point group is calculated. A road surface area point that performs clustering using a similarity in the normal direction of the three-dimensional point to a point group consisting of three-dimensional points with a small approximation error, and detects the three-dimensional point group cluster as a road surface area point group A group detector;
Smoothness for connecting a plane candidate locally obtained for a three-dimensional point in the road surface area point group and a plane candidate obtained locally for a three-dimensional point in the vicinity of the three-dimensional point; Estimating a plane at each of the three-dimensional points so as to optimize an evaluation function for evaluating likelihood;
Among the road surface area point groups, a point group consisting of three-dimensional points vertically below the estimated plane is clustered, and for each cluster, the estimated plane at the three-dimensional point belonging to the cluster A dent amount estimation unit that estimates the maximum distance in the normal direction as a dent amount;
Road surface unevenness estimation device including
前記滑らかさを評価する際に、連結する一方の前記平面候補の重心位置と、連結する他方の前記平面候補との距離が近いことを評価する関数、又は連結する一方の前記平面候補の法線方向と、連結する他方の前記平面候補の法線方向とが類似していることを評価する関数を用いる請求項１記載の路面凹凸量推定装置。 The indentation amount estimation unit sets the weight to be higher as the plane approximation error or the road surface minute unevenness vibration degree is smaller for each of the three-dimensional points when the plane candidates are obtained locally for the three-dimensional points. The likelihood of the plane candidate is calculated by plane fitting using the point cloud of
When evaluating the smoothness, a function for evaluating that the distance between the center of gravity of one of the plane candidates to be connected and the other plane candidate to be connected is short, or the normal of one of the plane candidates to be connected The road surface uneven | corrugated amount estimation apparatus of Claim 1 using the function which evaluates that a direction and the normal line direction of the other said plane candidate to connect are similar.
前記３次元点の各々について、前記３次元点と同一スキャンライン内の３次元点からなる点群のうちの隣り合う３次元点の相対ベクトルを各々算出して隣り合う相対ベクトル間のなす偏角を各々算出し、前記なす偏角が大きいものが多いほど、又は前記なす偏角のばらつきが大きいほど、前記路面微小凹凸振動度合いが大きくなるように前記路面微小凹凸振動度合いを算出する微小凹凸振動抽出部を更に含む請求項２記載の路面凹凸量推定装置。 The three-dimensional point is measured by a measuring instrument that scans a laser,
For each of the three-dimensional points, an angle formed between the adjacent relative vectors by calculating a relative vector of adjacent three-dimensional points in a group of three-dimensional points within the same scan line as the three-dimensional point. And calculating the degree of the road surface micro uneven vibration so that the degree of the road surface micro uneven vibration becomes larger as the number of the declination formed is larger or the variation in the angle of deviation is larger. The road surface unevenness estimation device according to claim 2, further comprising an extraction unit.
窪み量推定部が、前記路面領域点群のうちの３次元点について局所的に求めた平面候補と、前記３次元点の近傍の３次元点について局所的に求めた平面候補とを連結する滑らかさと、前記平面候補の尤度とを評価する評価関数を最適化するように、前記３次元点の各々における平面を推定し、
前記路面領域点群のうち、前記推定された平面より鉛直下側にある３次元点からなる点群をクラスタリングし、クラスタ毎に、前記クラスタに属する３次元点における、前記推定された平面との法線方向の距離の最大値を、窪み量として推定する
路面凹凸量推定方法。 The road surface area point group detection unit calculates a plane approximation error and a normal direction for each of the three-dimensional points included in the three-dimensional point group that is a set of three-dimensional points representing the position on the surface of the object, and Clustering is performed on a point group composed of three-dimensional points with a small plane approximation error in the three-dimensional point group using similarity in the normal direction of the three-dimensional point, and the three-dimensional point group cluster is converted into a road surface region. Detected as a point cloud,
A smoothness for connecting a plane candidate locally obtained for a three-dimensional point in the road surface area point group and a plane candidate locally obtained for a three-dimensional point in the vicinity of the three-dimensional point by the depression amount estimation unit And estimating a plane at each of the three-dimensional points so as to optimize an evaluation function for evaluating the likelihood of the plane candidate,
Among the road surface area point groups, a point group consisting of three-dimensional points vertically below the estimated plane is clustered, and for each cluster, the estimated plane at the three-dimensional point belonging to the cluster Road surface unevenness estimation method that estimates the maximum distance in the normal direction as the amount of depression.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016207605A JP6600610B2 (en) | 2016-10-24 | 2016-10-24 | Road surface unevenness estimation apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016207605A JP6600610B2 (en) | 2016-10-24 | 2016-10-24 | Road surface unevenness estimation apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018071973A JP2018071973A (en) | 2018-05-10 |
| JP6600610B2 true JP6600610B2 (en) | 2019-10-30 |
Family
ID=62111594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016207605A Active JP6600610B2 (en) | 2016-10-24 | 2016-10-24 | Road surface unevenness estimation apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6600610B2 (en) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11157752B2 (en) * | 2017-03-29 | 2021-10-26 | Pioneer Corporation | Degraded feature identification apparatus, degraded feature identification system, degraded feature identification method, degraded feature identification program, and computer-readable recording medium recording degraded feature identification program |
| JP6465421B1 (en) * | 2018-02-06 | 2019-02-06 | 国立大学法人 東京大学 | Structural deformation detector |
| CN109325311B (en) * | 2018-10-29 | 2022-12-06 | 中交第一公路勘察设计研究院有限公司 | Deformation evaluation method for large-scale roadbed in permafrost region |
| JP7156515B2 (en) * | 2019-05-08 | 2022-10-19 | 日本電信電話株式会社 | Point cloud annotation device, method and program |
| JP7374432B2 (en) | 2019-08-30 | 2023-11-07 | 株式会社日野 | Road condition measuring device, method and program |
| JP7413111B2 (en) | 2020-03-24 | 2024-01-15 | 東日本高速道路株式会社 | Abnormality detection device, abnormality detection program, and abnormality detection method |
| JP7392867B2 (en) | 2020-09-09 | 2023-12-06 | 日本電気株式会社 | Anomaly detection system, anomaly detection method, and program |
| CN113344990B (en) * | 2021-04-27 | 2022-09-20 | 成都飞机工业（集团）有限责任公司 | Hole site representation projection system and self-adaptive fitting hole site alignment method |
| CN113674355A (en) * | 2021-07-06 | 2021-11-19 | 中国北方车辆研究所 | Target identification and positioning method based on camera and laser radar |
| WO2023218705A1 (en) * | 2022-05-13 | 2023-11-16 | パナソニックＩｐマネジメント株式会社 | Distance measuring device, distance measuring device control method, and data processing method |
| CN114821541B (en) * | 2022-06-23 | 2022-10-04 | 深圳大学 | Road surface damage detection method based on grid model and related equipment |
| WO2024004723A1 (en) * | 2022-06-28 | 2024-01-04 | 京セラ株式会社 | Electronic device, control method, and control program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0798222A (en) * | 1993-09-29 | 1995-04-11 | Pasuko Doro Gijutsu Center:Kk | Method for measuring traverse/longitudinal recess and projection of heavy traffic road surface |
| JP4096091B2 (en) * | 2002-09-19 | 2008-06-04 | 陽三 藤野 | Road diagnosis method |
| DE102012219631A1 (en) * | 2012-10-26 | 2014-04-30 | Robert Bosch Gmbh | Method and device for detecting at least one uneven road surface |
| JP6114052B2 (en) * | 2013-02-13 | 2017-04-12 | 日本電信電話株式会社 | Point cloud analysis processing device and point cloud analysis processing program |
| JP6590653B2 (en) * | 2014-11-19 | 2019-10-16 | 首都高技術株式会社 | Point cloud data utilization system |
-
2016
- 2016-10-24 JP JP2016207605A patent/JP6600610B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018071973A (en) | 2018-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6600610B2 (en) | Road surface unevenness estimation apparatus, method, and program | |
| JP6529463B2 (en) | Road structuring device, road structuring method, and road structuring program | |
| CN106997049B (en) | Method and device for detecting barrier based on laser point cloud data | |
| Kim et al. | Automated dimensional quality assessment of precast concrete panels using terrestrial laser scanning | |
| Erkal et al. | Laser-based surface damage detection and quantification using predicted surface properties | |
| Ellenberg et al. | Use of unmanned aerial vehicle for quantitative infrastructure evaluation | |
| JP6114052B2 (en) | Point cloud analysis processing device and point cloud analysis processing program | |
| JP5991489B2 (en) | Road deformation detection device, road deformation detection method and program | |
| Yan et al. | Automated extraction of structural elements in steel girder bridges from laser point clouds | |
| JP5181704B2 (en) | Data processing apparatus, posture estimation system, posture estimation method and program | |
| JP7235104B2 (en) | Point group analysis device, method, and program | |
| US20100004861A1 (en) | Obstacle detecting apparatus and method | |
| CN104574393A (en) | Three-dimensional pavement crack image generation system and method | |
| Zhuge et al. | Noncontact deflection measurement for bridge through a multi‐UAVs system | |
| Guldur | Laser-based structural sensing and surface damage detection | |
| CN109708643B (en) | Evaluation and selection method for asteroid surface optical navigation road sign | |
| JP5870011B2 (en) | Point cloud analysis device, point cloud analysis method, and point cloud analysis program | |
| CN104764413B (en) | marine structure deck plate welding deformation measuring method | |
| JP6465421B1 (en) | Structural deformation detector | |
| Liu | Novel method for sphere target detection and center estimation from mobile terrestrial laser scanner data | |
| JP2010197414A (en) | Flight obstacle extraction device, flight obstacle extraction method and program | |
| Wang et al. | Deviation rectification for dynamic measurement of rail wear based on coordinate sets projection | |
| JP7174601B2 (en) | Crest surface level difference extraction system and crown surface level difference extraction method | |
| Asa et al. | Measuring position determination for accurate and efficient visual inspection using UAV | |
| Tang et al. | Semi-automated as-built modeling of light rail system guide beams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6600610 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |