JP5479944B2 - Extraction of cracks on pavement and evaluation method of damage level - Google Patents
Extraction of cracks on pavement and evaluation method of damage level Download PDFInfo
- Publication number
- JP5479944B2 JP5479944B2 JP2010042247A JP2010042247A JP5479944B2 JP 5479944 B2 JP5479944 B2 JP 5479944B2 JP 2010042247 A JP2010042247 A JP 2010042247A JP 2010042247 A JP2010042247 A JP 2010042247A JP 5479944 B2 JP5479944 B2 JP 5479944B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pavement
- extraction
- cracks
- crack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本発明は舗装路面のクラックの抽出と損傷レベルの評価方法に関する。 The present invention relates to a method for extracting cracks on a paved road surface and evaluating a damage level.
従来、コンクリート構造のクラック抽出のために木構造状フィルタを用いるようにした画像処理システムが提案されている（例えば非特許文献１）。
舗装道路のひび割れ検出は、舗装道路を撮影した画像を検査所に持ち帰り、技術者による人的作業によりひび割れを検出し、損傷レベルを評価している。 For detecting cracks on paved roads, an image of the paved road is taken back to the inspection site, cracks are detected by human work by engineers, and the damage level is evaluated.
しかしながら、全長が何百キロメータ以上にも及ぶ道路のひび割れ検出には不適である。
その理由は、第一に、長距離にわたる場合、検査車で舗装路面を事前に撮影した後、検査に従事する技術者が一連の画像記録を一括して評価しているが、この評価は人的作業で行われるため、当該業務に関するコストが高く、作業能力にも限界があって、膨大な量の画像の検出には向かないこと、また第二に、評価結果は、技術者の経験による主観的判断によっているため、評価を客観的かつ定量的に行うことが不可能だからである。
However, it is not suitable for detecting cracks on roads with a total length of several hundred kilometers or more.
The reason for this is that, for long distances, the engineer engaged in the inspection evaluates a series of image records at once after photographing the paved road surface in advance with an inspection vehicle. The cost of the work is high, the work capacity is limited, and it is not suitable for detection of a huge amount of images. Second, the evaluation results are based on the experience of engineers. Because it is based on subjective judgment, it is impossible to evaluate objectively and quantitatively.
また、非特許文献１の画像処理システムは、コンクリート構造のクラック抽出に特化した画像フィルタ構築システムであり、表面の明るさ、汚れのタイプ、ひび割れの特徴などが舗装路面とは大きく異なるため、そのままでは精度の高いひび割れ抽出を行うことができない。また、舗装路面の健全度評価までを全自動で行うためには、それに特化したフィルタの開発に加え、フィルタを適用する範囲の特定、舗装種別の分類、ひび割れの評価方法の確立などの、各種機能を新たに開発し、システムに導入する必要がある。
In addition, the image processing system of Non-Patent
本発明は、これら一連の作業を自動化することにより大幅なコスト削減や作業能力向上が期待でき、加えて評価も客観的かつ定量的に行うことが可能な舗装路面のクラックの抽出と損傷レベルの評価方法を提供することを目的とする。また本発明は、この評価方法を実施する上で有効なアスファルト舗装とコンクリート舗装を判別する方法の提供も目的とする。 By automating these series of operations, the present invention can be expected to greatly reduce costs and improve work capacity, and in addition, it is possible to perform objective and quantitative evaluation of cracks on the paved road surface and damage level. The purpose is to provide an evaluation method. Another object of the present invention is to provide a method for discriminating asphalt pavement and concrete pavement effective in carrying out this evaluation method.
（請求項１）本発明に係る舗装路面のクラックの抽出と損傷レベルの評価方法は、遺伝的プログラミングによる並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入して、道路の複数の実舗装画像からクラックが存在する画像をフィルタ構築の訓練データに選定採用することで様々なタイプの画像からクラックの抽出用画像フィルタを自動的に構築する。そして、評価対象舗装領域の画像全体を格子状に分割した個々のブロックに該画像フィルタを適用して評価する。 (Claim 1) A method for extracting cracks and evaluating a damage level of a paved road surface according to the present invention introduces a size-dependent crossover into a parallel image filter automatic generation system using genetic programming, and a plurality of actual pavements on a road. An image filter for extracting cracks is automatically constructed from various types of images by selecting and adopting an image having a crack from the image as training data for constructing the filter. Then, the image filter is applied to the individual blocks obtained by dividing the entire image of the evaluation target pavement area in a grid pattern and evaluated.
一方で、通常のように、入力された画像を手作業で２値化処理し、目標画像を作成する。他方で、複数の画像フィルタを単純な画像フィルタの組み合わせと仮定し、評価式により、よりよい組み合わせを、遺伝的プログラミングを利用して探索し、入力画像をこのフィルタに通して出力画像を得る。この出力画像は目標画像と近似する。 On the other hand, as usual, the input image is manually binarized to create a target image. On the other hand, assuming a plurality of image filters as a combination of simple image filters, a better combination is searched using genetic programming by an evaluation formula, and an input image is passed through this filter to obtain an output image. This output image approximates the target image.
提案した交叉手法については、文献：「伊庭斉志：遺伝的プログラミング入門、東京大学出版会、２００１」の１８７頁〜１８８頁に記載されているサイズ依存型の交叉に、部分木の選択方法としてサイズに依存する確率を導入したものである。 The proposed crossover technique is described in the literature: “Masashi Iba: Introduction to Genetic Programming, The University of Tokyo Press, 2001” on page 187 to page 188. The probability that depends on is introduced.
（請求項２）該ブロックは方形領域となっており、該道路の幅員方向では複数個配列されていてもよい。
こうすると、照明による輝度の分布が小さいことから、精度良くクラックを抽出でき、かつ、計算時間も比較的少なくて済む。
(Claim 2) The block is a square area, and a plurality of blocks may be arranged in the width direction of the road.
In this way, since the luminance distribution due to illumination is small, cracks can be extracted with high accuracy and the calculation time can be relatively short.
（請求項３）ブロックは相互にオーバーラップ部を有し、このオーバーラップ部での抽出結果を重ね合わせるようになっていてもよい。
こうすると、ブロックの端部で分断されたクラックの復元が可能となり、ブロック端部を跨いだクラックの抽出率が悪くなるという欠点を解決できる。
(Claim 3) The blocks may have overlapping portions, and the extraction results in the overlapping portions may be overlapped.
If it carries out like this, the restoration | recovery of the crack parted by the edge part of a block will be attained, and the fault that the extraction rate of the crack straddling the block edge part worsens can be solved.
（請求項４）該評価対象舗装領域の画像全体を格子状に分割する前に、該画像全体の該道路の横断方向の階調値を一定値に補正するようにしてもよい。
こうすると、舗装路面の撮影時点での照明からの距離の違いや、路面のわだちにより路面に角度がついていることにより生じる道路横断方向の明るさのばらつきを補正することができ、誤抽出を低減することができる。
(Claim 4) Before the entire image of the evaluation target pavement area is divided into a grid pattern, the gradation value in the transverse direction of the road of the entire image may be corrected to a constant value.
In this way, it is possible to correct the variation in the brightness in the crossing direction of the road caused by the difference in distance from the illumination at the time of shooting the paved road surface and the angle of the road surface due to the road surface, reducing false extraction can do.
（請求項５）該評価対象舗装領域の画像の解像度を変化させ、それぞれに該抽出用画像フィルタを適用させた結果の重ね合わせ処理を行うようにしてもよい。
こうすると、微細なクラックがいくつかに分断されて抽出される現象を防止することができる。
(Claim 5) It is also possible to change the resolution of the image of the evaluation target pavement region, and to perform a superimposition process as a result of applying the extraction image filter to each.
In this way, it is possible to prevent a phenomenon in which fine cracks are divided and extracted.
（請求項６）該抽出用画像フィルタを適用後に該評価対象舗装領域の画像内にある、所定の画素数未満の微小な黒画素を消去するようにしてもよい。
こうすると、道路横断方向の明るさを補正してもなお発生するノイズを消去することができ、誤抽出を低減することができる。
(Claim 6) Fine black pixels less than a predetermined number of pixels in the image of the evaluation target pavement area may be erased after the extraction image filter is applied.
In this way, noise that still occurs even when the brightness in the direction across the road is corrected can be eliminated, and erroneous extraction can be reduced.
（請求項７）該道路の路面走行方向に矩形領域を均等間隔で選定し、該矩形領域の輝度の平均値とSobel フィルタ型（水平方向微分）加重マトリクスを作用させた平均値の２つを特徴量として選択し、特徴空間において、アスファルト舗装とコンクリート舗装の判別を、該両舗装による該特徴量の区分け境界をマハラノビス距離により定めて、なすようにしてもよい。
こうすると、舗装路面はアスファルト舗装とコンクリート舗装に大別できることから、それぞれの舗装路面での画像からクラックを抽出するための画像処理を構築することにより、正確なクラックの検出が可能となる。
(Claim 7) A rectangular area is selected at equal intervals in the road running direction of the road, and two values are obtained: an average value of luminance of the rectangular area and an average value obtained by applying a Sobel filter type (horizontal differential) weighting matrix. It may be selected as a feature quantity, and the distinction between asphalt pavement and concrete pavement may be made in the feature space by defining the boundary between the feature quantities by both pavements by the Mahalanobis distance.
In this way, the paved road surface can be broadly classified into asphalt pavement and concrete pavement, so that it is possible to detect cracks accurately by constructing image processing for extracting cracks from images on the respective paved road surfaces.
（請求項８）該道路の舗装種別毎に最適な該抽出用画像フィルタを適用するようにしてもよい。
こうすると、アスファルト舗装とコンクリート舗装で画像の明るさや表面性状に関する特徴が異なるため、舗装路面の種別に応じた画像フィルタを適用して画像からクラックを抽出するための画像処理を構築することにより、正確なクラックの検出が可能となる。
(Claim 8) The optimum image filter for extraction may be applied to each pavement type of the road.
By doing this, because the characteristics of the image brightness and surface properties differ between asphalt pavement and concrete pavement, by constructing image processing to extract cracks from the image by applying an image filter according to the type of pavement road surface, Accurate crack detection is possible.
（請求項９）該評価対象舗装領域の画像に対する該抽出用画像フィルタの適用に際し、離散コサイン変換を適用して周波数領域で特定の成分を除去した後、逆変換することで、グルービングのみを画像から消すようにしてもよい。
こうすると、コンクリート舗装に一定間隔で入っている人工的な切れ込み、即ちグル―ビングをクラックと誤認することがなくなり、コンクリートの舗装面の健全度評価が正確となる。
(Claim 9) When applying the image filter for extraction to the image of the evaluation target pavement area, the discrete cosine transform is applied to remove a specific component in the frequency domain, and then the inverse transformation is performed so that only the grooving image is obtained. You may make it erase from.
In this way, it is possible to prevent the artificial notches that are formed in the concrete pavement at regular intervals, that is, to misidentify the grooving as cracks, and to accurately evaluate the soundness of the concrete pavement surface.
（請求項１０）該評価対象舗装領域の画像に２値化処理をした後、車線を画定する一対のレーンマークの一方と他方で白と判定された画素を抽出し、それぞれについて最小二乗法により直線を推定し、該各直線と該各白画素との２乗平均誤差を計算して該各直線の切片を該誤差分だけ内側に移動させることにより、該評価対象範囲を限定するようにしてもよい。
実際の舗装画像には様々なパターンが存在する。この膨大な数の舗装画像を一括して処理し、健全度評価までを自動で行うためには、このフィルタを適用する領域を自動で認識する必要がある。
このように構成すると、舗装面の健全度評価を車両の走行範囲に限定して認識の自動化ができ、余計な評価を省けるので作業効率が上がる。
(Claim 10) After the binarization processing is performed on the image of the evaluation target pavement area, pixels that are determined to be white in one and the other of the pair of lane marks that define the lane are extracted, and each is subjected to the least square method. By estimating a straight line, calculating a mean square error between each straight line and each white pixel, and moving the intercept of each straight line to the inner side by the error, the evaluation target range is limited. Also good.
There are various patterns in the actual pavement image. In order to process this enormous number of pavement images at once and automatically perform soundness evaluation, it is necessary to automatically recognize the area to which this filter is applied.
If comprised in this way, the soundness evaluation of a pavement surface can be limited to the driving | running | working range of a vehicle, automation of recognition can be performed, and since unnecessary evaluation can be omitted, work efficiency improves.
（請求項１１）該抽出用画像フィルタ適用時に用いた該ブロックの全数を対象として、まず各該ブロックに規定値以上のクラック領域が存在するか否かにより、「健全」あるいは「損傷」を判定し、次いで該損傷ブロックの該全数のブロックに対する割合を「概算ひび割れ率」として算出するようにしてもよい。
こうすると、舗装面の健全度評価を、専門技術者の経験的判断に頼らず、コンピュータによる処理に適合する客観的な判断基準を提供できる。
(Claim 11) With respect to the total number of the blocks used when the image filter for extraction is applied, first, “sound” or “damage” is determined depending on whether or not there is a crack region of a specified value or more in each block Then, the ratio of the damaged blocks to the total number of blocks may be calculated as an “approximate crack rate”.
In this way, it is possible to provide an objective judgment standard suitable for processing by a computer without relying on the empirical judgment of a professional engineer to evaluate the soundness level of the pavement surface.
（請求項１２）該評価対象舗装領域の画像を入力する（連番の画像を順次、処理）と舗装種別を判別し、アスファルト舗装の場合、画像中の解析対象領域を認識し、クラック抽出のための画像処理を行って「ひび割れ率」を判定し、コンクリート舗装の場合、画像中の解析対象領域を認識し、グルービングのみを画像から消す処理をしてから、クラック抽出のための画像処理を行って「ひび割れ率」を判定し、クラックが規定値以上の損傷ブロックと以下の健全ブロックを、色分けした形で画像として出力するようになっていてもよい。
こうすると、従来、専門委員により手作業で行われていた舗装路面の健全度評価(クラックの抽出や、ひび割れ率の算定)を、一括して全自動で行え、処理能力の向上を図れる。
(Claim 12) When the image of the evaluation target pavement area is input (sequential number images are processed sequentially), the pavement type is determined, and in the case of asphalt pavement, the analysis target area in the image is recognized and crack extraction is performed. In the case of concrete pavement, the analysis target area in the image is recognized, only the grooving is erased from the image, and the image processing for crack extraction is performed. It is possible to determine the “cracking rate” and output a damaged block whose crack is equal to or greater than a specified value and the following healthy block as an image in a color-coded form.
In this way, the pavement road surface soundness evaluation (extraction of cracks and calculation of crack rate), which has conventionally been performed manually by a specialist committee member, can be performed in a fully automatic manner, thereby improving the processing capacity.
（請求項１）本発明に係る舗装路面のクラックの抽出と損傷レベルの評価方法によれば、(1)遺伝的プログラミングによる並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入しての画像の出力、(2)複数の実舗装画像からクラックが存在する画像をフィルタ構築の訓練データとして選定採用することで様々なタイプの画像からクラックを抽出できる画像フィルタの自動的な構築、(3)評価対象舗装領域の画像全体を格子状に分割した個々のブロックに該画像フィルタを適用しての評価、(4)複数の画像フィルタを単純な画像フィルタの組み合わせと仮定し、評価式により、よりよい組み合わせを、遺伝的プログラミングを利用して探索し、入力画像をこのフィルタに通して出力画像とする一連の作業を自動化でき、大幅なコスト削減や作業能力向上が期待でき、加えて評価も客観的かつ定量的に行うことが可能となる。
また、フィルタ構築が自動であることから、将来的にクラックが抽出困難な事例に遭遇した場合にも、それを訓練データに取り入れ、再度フィルタ構築を実施することで容易に対応できる。
(Claim 1) According to the method of extracting cracks and evaluating the damage level of a paved road surface according to the present invention, (1) an image obtained by introducing size-dependent crossover into a parallel image filter automatic generation system by genetic programming (2) Automatic construction of an image filter that can extract cracks from various types of images by selecting and using images with cracks from multiple actual pavement images as training data for filter construction, (3) Evaluation by applying the image filter to each block obtained by dividing the entire image of the evaluation target pavement area into a grid, (4) Assume that multiple image filters are a combination of simple image filters. Searching for good combinations using genetic programming and automating a series of operations that pass the input image through this filter to produce an output image can result in significant cost savings and production. Can be expected capacity improvement, evaluation becomes possible to perform objective and quantitative addition.
Moreover, since the filter construction is automatic, even if a case where it is difficult to extract a crack in the future is encountered, it can be easily dealt with by incorporating it into training data and implementing the filter construction again.
請求項２によれば、該ブロックは方形領域となっており、該道路の幅員方向では複数個配列されているので、照明による輝度の分布が小さく、精度良くクラックを抽出でき、かつ、計算時間も比較的少なくて済む。
According to
請求項３によれば、該ブロックは相互にオーバーラップ部を有し、このオーバーラップ部での抽出結果を重ね合わせるようになっているので、該ブロックの端部で分断されたクラックの復元が可能となり、該ブロック端部を跨いだクラックの抽出率が悪くなるという欠点を解決できる。
According to
請求項４によれば、該評価対象舗装領域の画像全体を格子状に分割する前に、該画像全体の該道路の横断方向の階調値を一定値に補正するようにしたので、舗装路面の撮影時点での照明からの距離の違いや、路面のわだちにより路面に角度がついていることにより生じる道路横断方向の明るさのばらつきを補正することができ、誤抽出を低減することができる。
According to
請求項５によれば、該評価対象舗装領域の画像の解像度を変化させ、それぞれに該抽出用画像フィルタを適用させた結果の重ね合わせ処理を行うようにしたので、微細なクラックがいくつかに分断されて抽出される現象を防止することができる。
According to
請求項６によれば、該抽出用画像フィルタを適用後に該評価対象舗装領域の画像内にある、所定の画素数未満の微小な黒画素を消去するようにしたので、道路横断方向の明るさを補正してもなお発生するノイズを消去することができ、誤抽出を低減することができる。 According to the sixth aspect, since the minute black pixels less than the predetermined number of pixels in the image of the evaluation target pavement area after the application of the extraction image filter are erased, the brightness in the direction across the road Even if correction is performed, noise that still occurs can be eliminated, and erroneous extraction can be reduced.
請求項７によれば、該道路の路面走行方向に矩形領域を均等間隔で選定し、該矩形領域の輝度の平均値とSobel フィルタ型（水平方向微分）加重マトリクスを作用させた平均値の２つを特徴量として選択し、特徴空間において、アスファルト舗装とコンクリート舗装の判別を、該両舗装による該特徴量の区分け境界をマハラノビス距離により定めて、なすようにしたので、舗装路面はアスファルト舗装とコンクリート舗装に大別できることから、それぞれの舗装路面での画像からクラックを抽出するための画像処理を構築することにより、正確なクラックの検出が可能となる。
According to
請求項８によれば、該舗装路面の種別毎に最適な画像フィルタを適用するようにしたので、舗装路面の種別に応じた画像フィルタを適用して画像からクラックを抽出するための画像処理を構築することにより、正確なクラックの検出が可能となる。
According to
請求項９によれば、該評価対象舗装領域に対する該抽出用画像フィルタの適用に際し、離散コサイン変換を適用して周波数領域で特定の成分を除去した後、逆変換することで、グルービングのみを画像から消すようにしたので、コンクリート舗装に一定間隔で入っている人工的な切れ込み、即ちグル―ビングをクラックと誤認することがなくなり、コンクリートの舗装面の健全度評価が正確となる。
According to
請求項１０によれば、該評価対象舗装領域の画像に２値化処理をした後、車線を画定する一対のレーンマークの一方と他方で白と判定された画素を抽出し、それぞれについて最小二乗法により直線を推定し、該各直線と該各白画素との２乗平均誤差を計算して該各直線の切片を該誤差分だけ内側に移動させるようにしたので、舗装面の健全度評価を車両の走行範囲に限定して認識の自動化ができ、余計な評価を省けるので作業効率が上がる。 According to the tenth aspect, after the binarization process is performed on the image of the evaluation target pavement area, pixels that are determined to be white in one and the other of the pair of lane marks that define the lane are extracted. Since the straight line is estimated by multiplication, the mean square error between each straight line and each white pixel is calculated, and the intercept of each straight line is moved inward by the amount of the error. The recognition can be automated by limiting the vehicle to the travel range of the vehicle, and unnecessary evaluation can be omitted, thus increasing work efficiency.
請求項１１によれば、該抽出用画像フィルタ適用時に用いたブロックを対象として、まず該ブロックに規定値以上のクラック領域が存在するか否かにより「健全」あるいは「損傷」を判定し、次いで損傷ブロックの全ブロックに対する割合を「概算ひび割れ率」として算出するようにしたので、舗装面の健全度評価を、専門技術者の経験的判断に頼らず、コンピュータによる処理に適合する客観的な判断基準を提供できる。
According to
請求項１２によれば、該評価対象舗装領域の画像を入力する（連番の画像を順次、処理）と該評価対象舗装領域の舗装種別を判別し、該評価対象舗装領域の画像がアスファルト舗装の場合は、画像中の解析対象領域を認識し、クラック抽出のための画像処理を行って「ひび割れ率」を判定し、該評価対象舗装領域の画像がコンクリート舗装の場合は、画像中の解析対象領域を認識し、グルービングのみを画像から消す処理をしてから、クラック抽出のための画像処理を行って「ひび割れ率」を判定し、クラックが規定値以上の損傷ブロックと以下の健全ブロックを、色分けした形で画像として出力するようになっているので、従来、専門員により手作業で行われていた舗装路面の健全度評価（クラックの抽出や、ひび割れ率の算定）を、一括して全自動で行え、処理能力の向上を図れる。 According to the twelfth aspect, when an image of the evaluation target pavement area is input (sequential images are sequentially processed), a pavement type of the evaluation target pavement area is determined, and the image of the evaluation target pavement area is determined asphalt pavement. In the case of, recognize the analysis target area in the image, perform image processing for crack extraction to determine the `` crack rate '', and if the image of the evaluation target pavement area is concrete pavement, analyze in the image After recognizing the target area and erasing only the grooving from the image, image processing for crack extraction is performed to determine the `` crack rate '', and damage blocks with cracks above the specified value and healthy blocks below Since the images are output in color-coded form, the soundness evaluation of pavement surfaces (extraction of cracks and calculation of crack rate), which has been performed manually by specialists in the past, is performed at once. Carried out by a fully automatic Te, thereby improving the processing capacity.
（請求項１）図１で、アスファルト舗装及びコンクリート舗装の複数の実舗装画像からクラック１が存在する画像を選定して入力画像２とする。そして、一方で、これらの入力画像２を目視による手作業で２値化処理等により処理し、評価用の目標画像３を生成する。また、他方ではこれらの入力画像２と同じ入力画像２を画像フィルタ４に通し、出力画像５を得る。この画像フィルタ４は、単純な画像フィルタ４１、４２、４３、…の組み合わせと仮定され、評価式を介し、よりよい組み合わせを遺伝的プログラミングの利用により自動的に探索して、構成される。この画像フィルタ４を通した出力画像５を目標画像３と対比し、両画像が近似するまで画像フィルタ４の最適探索処理を複数回行う。この並列型画像フィルタ自動生成システムにサイズ依存型交叉を導入することにより、遺伝的プログラミングによる探索性能を向上させている。
そして、道路７の評価対象舗装領域Ａ（図２参照）の画像全体を格子状に分割した個々のブロック６に画像フィルタ４を適用して評価する。
(Claim 1) In FIG. 1, an image in which a
Then, the
遺伝的プログラミングによる並列型画像フィルタ自動生成システムに、部分木のサイズに依存する交叉を導入してもよい。こうすることでイントロンの増大を抑え、最適化での計算効率を高めることができる。具体的には、２つの親木のうちサイズの小さい方からランダムに部分木を選択し、もう片方の親木から選択された部分木のサイズと近いものほど高い確率で選択される方式を提案した（通常のサイズ依存型交叉は、部分木のサイズを確立によっては選ばない。）図１２は、提案した考査方法と、通常交叉の場合における最良個体での総節点数の推移を示しており、提案した方法により木のサイズ増大が抑えられていることがわかる。 Crossover depending on the size of the subtree may be introduced into the parallel image filter automatic generation system by genetic programming. By doing so, it is possible to suppress the increase of introns and increase the calculation efficiency in optimization. Specifically, a method is proposed in which a subtree is selected at random from the smaller of the two parent trees, and the one closer to the size of the subtree selected from the other parent tree is selected with a higher probability. (Normal size-dependent crossover is not selected by establishing the size of the subtree.) Fig. 12 shows the proposed method and the transition of the total number of nodes in the best individual in the case of normal crossover. It can be seen that the proposed method suppresses the increase in tree size.
サイズ依存型交叉については、伊庭斉志著「遺伝的プログラミング入門」東京大学出版会、２００１年発行の１８７頁〜１８８頁に、要約すると次段落[００３７]に示すような記載がされている。 The size-dependent crossover is described in the following paragraph [0037] in summary in the “Introduction to Genetic Programming” written by Masashi Iba, page 187-188, published by the University of Tokyo, 2001.
サイズ依存型交叉では、交叉で変換する部分木のサイズをできるだけ等しくすることで、遺伝的プログラミングの探索過程でのフィルタ構築プログラムの長さを抑制し、計算効率を高めることができる。 In size-dependent crossover, by making the size of the subtree to be converted by crossover as equal as possible, the length of the filter construction program in the search process of genetic programming can be suppressed, and the calculation efficiency can be improved.
クラック１が存在する画像の選定は、図１３に示すように、クラックの幅が太い、複数の方向の枝分かれする、円形のクラック等、クラックの抽出が困難と思われる箇所を選定してもよい。こうすることで、画像フィルタ４の構築が効率的になる。
As shown in FIG. 13, the image where the
（請求項２）図２で、ブロック６は方形領域となっており、道路７の幅員方向の４個が路長方向に配列されている。
この場合、照明による輝度の分布が小さいことから、精度良くクラック１を抽出でき、かつ、計算時間も比較的少なくて済む。
(Claim 2) In FIG. 2, the
In this case, since the luminance distribution by illumination is small, the
（請求項３）ブロック６は相互にオーバーラップ部６ａを有し、このオーバーラップ部６ａでの抽出結果を重ね合わせるようになっている。
この場合、ブロック６の端部で分断されたクラックの復元が可能となり、ブロック端部を跨いだクラックの抽出率が悪くなるという欠点を解決できる。
(Claim 3) The
In this case, it is possible to restore the cracks divided at the end of the
（請求項４）図３で、評価対象舗装領域Ａの画像全体を格子状に分割する前に、この画像全体の道路７の横断方向の階調値を一定値に補正するようにしている。
この場合、舗装路面の撮影時点での照明からの距離の違いや、路面のわだちにより路面に角度がついていることにより生じる道路横断方向の明るさのばらつきを補正することができ、誤抽出を低減することができる。
(Claim 4) In FIG. 3, before the entire image of the evaluation target pavement region A is divided into a grid, the gradation value in the transverse direction of the
In this case, it is possible to correct the difference in the distance from the illumination at the time of shooting the paved road surface and the variation in brightness in the crossing direction of the road caused by the angle of the road surface due to the road surface, reducing false extraction. can do.
（請求項５）図４で、評価対象舗装領域Ａの画像の解像度を変化させ、それぞれに抽出用画像フィルタ４を適用させた結果の重ね合わせ処理を行っている。
この場合、微細なクラックがいくつかに分断されて抽出される現象を防止することができる。
(Claim 5) In FIG. 4, the resolution of the image of the evaluation target pavement region A is changed, and the result of applying the
In this case, it is possible to prevent a phenomenon in which fine cracks are divided into some parts and extracted.
（請求項６）図５で、抽出用画像フィルタ４を適用後に評価対象舗装領域Ａの画像内にある、所定の画素数未満の微小な黒画素を消去するようにしている。
この場合、道路横断方向の明るさを補正してもなお発生するノイズを消去することができ、誤抽出を低減することができる。
(Claim 6) In FIG. 5, fine black pixels less than a predetermined number of pixels in the image of the evaluation target pavement area A after application of the
In this case, even if the brightness in the crossing direction of the road is corrected, noise that still occurs can be eliminated, and erroneous extraction can be reduced.
（請求項７）図６及び８はアスファルト舗装８とコンクリート舗装９を判別する方法を示している。画像中のテクスチャ（模様）を利用するため、道路７の走行方向の面上に矩形領域１０を均等間隔、例えば５ｍおき、で選定する。図８に示すように、この矩形領域１０の階調値（輝度）の平均値を横軸にとり、数値拡大用にSobel フィルタ型（水平方向微分）加重マトリクスを作用させた平均値を縦軸にとって、これら２つの値を特徴量として選択する。そして、特徴空間１１においてアスファルトとコンクリートの両舗装による特徴量の区分け境界１２を、マハラノビス距離を用いて定めるようにしている。
(Claim 7) FIGS. 6 and 8 show a method of discriminating
（請求項８）本発明では、道路７の舗装種別毎に最適な抽出用画像フィルタを適用するようにしている。
クラック１を抽出するための画像フィルタ４は、アスファルト舗装８とコンクリート舗装９の画像それぞれについて開発されている。アスファルト舗装８とコンクリート舗装９が混在した膨大な数の舗装画像を一括して処理し、健全度評価までを自動で行うためには、フィルタ適用前に舗装種別を判別す機能が必要であるが、アスファルト舗装８とコンクリート舗装９それぞれに画像フィルタ４を用意することにより、この要請に十分応えられる。
(Claim 8) In the present invention, an optimum image filter for extraction is applied to each pavement type of the
An
（請求項９）図７は、コンクリート舗装を対象として、評価対象舗装領域Ａの画像に対する抽出用画像フィルタ４の適用に際し、離散コサイン変換１３を適用して周波数領域で特定の成分を除去した後、逆変換することで、グルービング１４のみを画像から消すようにしてある。
この場合、コンクリート舗装８に一定間隔で入っている人工的な切れ込み、即ちグル―ビング１４をクラック１と誤認することがなくなり、コンクリート舗装８の健全度評価が正確となる。
(Claim 9) FIG. 7 shows a concrete pavement as an object, and when applying the
In this case, the artificial cuts that enter the
（請求項１０）図９は、車両の走行範囲に限定して舗装面の健全度評価を行う場合を示している。評価対象舗装領域Ａの画像に２値化処理をした後、車両走行レーン１５や１６を画定する一対のレーンマークの一方１７と他方１８で白と判定された画素を抽出し、それぞれについて最小二乗法により直線を推定し、それらの直線と各白画素との２乗平均誤差δを計算して直線の切片をその誤差δ分だけ内側に移動させることにより、評価対象範囲を限定してある。
実際の舗装画像には様々なパターンが存在する。この膨大な数の舗装画像を一括して処理し、健全度評価までを自動で行うためには、画像フィルタを適用する領域を自動で認識する必要がある。
この場合、アスファルト舗装８やコンクリート舗装９の面の健全度評価を車両の走行範囲に限定して認識の自動化ができ、余計な評価を省けるので作業効率が上がる。
(Claim 10) FIG. 9 shows a case where the soundness evaluation of the pavement surface is performed only in the traveling range of the vehicle. After the binarization processing is performed on the image of the evaluation target pavement area A, pixels determined to be white in one of the pair of lane marks 17 that define the
There are various patterns in the actual pavement image. In order to process this enormous number of pavement images at once and automatically perform the soundness evaluation, it is necessary to automatically recognize the area to which the image filter is applied.
In this case, the soundness evaluation of the surface of the
（請求項１１）図１０は、抽出用画像フィルタ４の適用時に用いたブロック６の全数を対象として、まずこれらのブロック６に限定値以上のクラック領域が存在するか否かにより「健全：○」あるいは「損傷：×」を判定し、次いで損傷のブロックの全数のブロックに対する割合を「概算ひび割れ率」として算出する。
この場合、アスファルト舗装８やコンクリート舗装９の舗装面の健全度評価を、専門技術者の経験的判断に頼らず、コンピュータによる処理に適合する、客観的な判断基準を提供できる。
(Claim 11) FIG. 10 is directed to the total number of
In this case, it is possible to provide an objective judgment standard adapted to the processing by the computer without relying on the empirical judgment of the professional engineer for the soundness evaluation of the
（請求項１２）図１１（ａ）は、評価対象舗装路面の健全度評価（クラック１の抽出や、ひび割れ率の算定）を、一括して全自動で行うシステムを示している。評価対象舗装領域Ａの画像を入力する（連番の画像を順次、処理）（ステップ１）と、この評価対象舗装領域Ａの舗装種別がアスファルト舗装８かコンクリート舗装９かを判別する（ステップ２）。アスファルト舗装８と判定する（ステップ３）と、フィルタの適用領域の指定を行い（ステップ４）、画像フィルタの適用を行って（ステップ５）、ひび割れ率の算定をし（ステップ６）、画像を出力するとともに結果を表示する（ステップ７）。
(Claim 12) FIG. 11 (a) shows a system in which the soundness evaluation (extraction of
ステップ２でコンクリート舗装９と判定されると（ステップ８）、フィルタの適用領域の指定を行い（ステップ９）、グル―ビングの除去を行い（ステップ１０）、画像フィルタの適用を行って（ステップ１１）、以降はアスファルト舗装８の場合と同様に、ひび割れ率の算定をし（ステップ６）、画像を出力するとともに結果を表示する（ステップ７）。
When it is determined that the
図１１の（ｂ）は入力画像の例を示してある。同（ｃ）はフィルタの適用領域（評価領域）のうち、クラックと判定された損傷ブロック６１を灰色で表示し、健全ブロック６２を白色で表示したものである。
この場合、従来、専門員により手作業で行われていた舗装路面の健全度評価（クラックの抽出や、ひび割れ率の算定）を、一括して全自動で行え、処理能力の飛躍的向上を図れる。
FIG. 11B shows an example of an input image. The (c) is among the application area of the filter (evaluation region), to display the damaged block 61 it is determined that a crack in gray, in which the
In this case, the soundness evaluation of the paved road surface (extraction of cracks and calculation of the crack rate), which has been performed manually by specialists in the past, can be performed in a fully automatic manner, dramatically improving the processing capacity. .
１ クラック
２ 入力画像
３ 目標画像
４ 画像フィルタ
５ 出力画像
６ ブロック
６ａ オーバーラップ部
６１ 損傷ブロック
６２ 健全ブロック
７ 道路
８ アスファルト舗装
９ コンクリート舗装
１０ 矩形領域
１１ 特徴空間
１２ 区分け境界
１３ 離散コサイン変換
１４ グルービング
１５ 走行レーン
１６ 走行レーン
１７ 一方
１８ 他方
δ 誤差
DESCRIPTION OF
Claims (12)
評価対象舗装領域(A)の画像全体を格子状に分割した個々のブロック(6)に該抽出用画像フィルタ(4)を適用して評価するようにした
ことを特徴とする舗装路面のクラックの抽出と損傷レベルの評価方法。 Introducing size-dependent crossover into a parallel image filter automatic generation system using genetic programming, and selecting and adopting images with cracks (1) from multiple actual pavement images on the road (7) as training data for filter construction Automatically build an image filter (4) for extracting cracks from various types of images,
Pavement surface cracks characterized by applying the image filter for extraction (4) to the individual blocks (6) obtained by dividing the entire image of the evaluation target pavement area (A) in a grid pattern. Extraction and damage level assessment methods.
When the image of the evaluation target pavement area (A) is input (sequential number images are processed sequentially), the pavement type is determined. In the case of asphalt pavement (8), the analysis target area in the image is recognized and cracks ( Perform the image processing for extraction in 1) to determine the `` cracking rate ''. In the case of concrete pavement (9), recognize the analysis target area in the image and delete only the grooving (14) from the image. After that, image processing for crack extraction is performed to determine the `` crack rate '', and the damaged block (6 1 ) with the crack (1) exceeding the specified value and the following healthy block (6 2 ) are color-coded The method of extracting cracks on a pavement surface and evaluating the damage level according to any one of claims 1 to 11, wherein the image is output as an image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010042247A JP5479944B2 (en) | 2010-02-26 | 2010-02-26 | Extraction of cracks on pavement and evaluation method of damage level |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010042247A JP5479944B2 (en) | 2010-02-26 | 2010-02-26 | Extraction of cracks on pavement and evaluation method of damage level |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011179874A JP2011179874A (en) | 2011-09-15 |
| JP5479944B2 true JP5479944B2 (en) | 2014-04-23 |
Family
ID=44691546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010042247A Expired - Fee Related JP5479944B2 (en) | 2010-02-26 | 2010-02-26 | Extraction of cracks on pavement and evaluation method of damage level |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5479944B2 (en) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5803723B2 (en) * | 2012-02-14 | 2015-11-04 | 富士通株式会社 | Structure inspection support method, structure inspection support program, and structure inspection support device |
| JP5894013B2 (en) * | 2012-05-30 | 2016-03-23 | 公益財団法人鉄道総合技術研究所 | Deterioration management method for concrete surface |
| CN103440657B (en) * | 2013-08-27 | 2015-11-04 | 武汉大学 | A kind of online crack on road screening method |
| CN103955923B (en) * | 2014-04-18 | 2017-03-01 | 南京理工大学 | A kind of quickly pavement disease detection method based on image |
| JP5936239B2 (en) | 2014-08-19 | 2016-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Road surface degradation degree estimation method and algorithm (crack detection method using Gabor filter output image of multi-resolution image) |
| EP3327198B1 (en) * | 2015-07-21 | 2021-04-21 | Kabushiki Kaisha Toshiba | Crack analyzer, crack analysis method, and crack analysis program |
| WO2017120796A1 (en) * | 2016-01-13 | 2017-07-20 | 富士通株式会社 | Pavement distress detection method and apparatus, and electronic device |
| KR101847944B1 (en) * | 2016-05-09 | 2018-04-11 | 인하공업전문대학산학협력단 | Device and method for detecting road crack by using unmaned aerial vehicle |
| WO2018078735A1 (en) | 2016-10-26 | 2018-05-03 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
| JP6798607B2 (en) | 2017-03-24 | 2020-12-09 | 富士通株式会社 | Information processing equipment, information processing methods and information processing programs |
| WO2019009007A1 (en) * | 2017-07-06 | 2019-01-10 | 富士フイルム株式会社 | Machine learning data generation method, machine learning data generation program, machine learning data generation system, server device, image processing method, image processing program, and image processing system |
| CN107219168B (en) * | 2017-08-02 | 2024-03-29 | 贵州工程应用技术学院 | Pre-damage intelligent damage detector |
| JP6516384B2 (en) * | 2017-09-22 | 2019-05-22 | エヌ・ティ・ティ・コムウェア株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
| JP7148387B2 (en) * | 2017-12-28 | 2022-10-05 | 大和ハウス工業株式会社 | Method for detecting damage to exterior materials |
| JP7048357B2 (en) | 2018-03-06 | 2022-04-05 | 東芝インフラシステムズ株式会社 | Pre-confirmation system for captured images and pre-confirmation method for captured images |
| KR102102376B1 (en) * | 2018-05-09 | 2020-04-20 | (주)건설표준시험원 | Valuation method for pavement condition |
| JP6632657B2 (en) * | 2018-05-15 | 2020-01-22 | 株式会社ガイアート | Groove evaluation device, groove evaluation system and groove evaluation method |
| JP7333511B2 (en) * | 2019-03-12 | 2023-08-25 | 東芝インフラシステムズ株式会社 | Road maintenance management system, pavement type determination device, repair priority determination device, road maintenance management method, pavement type determination method, repair priority determination method |
| CN111562273A (en) * | 2020-06-05 | 2020-08-21 | 大连工业大学 | Hyperspectrum-based fish water jet descaling slight damage visualization method |
| JP7160372B2 (en) * | 2020-08-27 | 2022-10-25 | 株式会社テナーク | Infrared automatic thermal analysis and diagnosis method, information processing device, infrared automatic thermal analysis and diagnosis system, and program |
| WO2022091327A1 (en) * | 2020-10-30 | 2022-05-05 | 三菱電機株式会社 | Crack detection device, crack detection method, and crack detection program |
| KR102271608B1 (en) * | 2020-11-17 | 2021-07-01 | 주식회사 무한정보기술 | Ai based road repair method recommendation system |
| CN113030086B (en) * | 2021-02-26 | 2023-09-22 | 甘肃省公路交通建设集团有限公司 | Method for evaluating fiber dispersibility in asphalt concrete |
| CN113112468B (en) * | 2021-04-02 | 2021-10-12 | 山东高速工程检测有限公司 | Road crack image identification and processing method |
| CN113658144B (en) * | 2021-08-20 | 2023-06-27 | 中国公路工程咨询集团有限公司 | Method, device, equipment and medium for determining geometric information of pavement diseases |
| CN117078737B (en) * | 2023-10-17 | 2024-03-29 | 深圳市城市交通规划设计研究中心股份有限公司 | Linear crack length calculation method |
| CN117079144B (en) * | 2023-10-17 | 2023-12-26 | 深圳市城市交通规划设计研究中心股份有限公司 | Linear crack extraction method for asphalt pavement detection image under non-uniform illumination |
| CN117805819B (en) * | 2024-02-29 | 2024-05-14 | 四川省公路规划勘察设计研究院有限公司 | InSAR technology-based road route selection geological stability assessment method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0481603A (en) * | 1990-07-24 | 1992-03-16 | Komatsu Ltd | Method for automatic analysis of road surface condition |
| JPH04240556A (en) * | 1991-01-23 | 1992-08-27 | Tokimec Inc | Apparatus for measuring crack of road surface |
| JPH0735532A (en) * | 1993-07-20 | 1995-02-07 | Abe Sekkei:Kk | Method of measuring length of crack on road surface |
| JP3004570B2 (en) * | 1995-09-29 | 2000-01-31 | 三菱重工業株式会社 | Road surface crack detection device |
| JP2001099784A (en) * | 1999-09-29 | 2001-04-13 | Keisoku Kensa Kk | Method for detecting crack on floor board of existing bridge and method for displaying the same |
| JP4848532B2 (en) * | 2006-08-21 | 2011-12-28 | 名古屋市 | Road surface image creation method and road surface image creation device |
| JP2009064162A (en) * | 2007-09-05 | 2009-03-26 | Fuji Heavy Ind Ltd | Image recognition system |
| JP2009122939A (en) * | 2007-11-14 | 2009-06-04 | Bridgestone Corp | Feature extraction program creation device for tire inspection and tire inspection device |
-
2010
- 2010-02-26 JP JP2010042247A patent/JP5479944B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011179874A (en) | 2011-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5479944B2 (en) | Extraction of cracks on pavement and evaluation method of damage level | |
| Tran et al. | One stage detector (RetinaNet)-based crack detection for asphalt pavements considering pavement distresses and surface objects | |
| EP3396358B1 (en) | Information processing device and information processing method | |
| Radopoulou et al. | Patch detection for pavement assessment | |
| Shim et al. | Multiscale and adversarial learning-based semi-supervised semantic segmentation approach for crack detection in concrete structures | |
| US20180137612A1 (en) | A stepwise refinement detection method for pavement cracks | |
| CN103870833A (en) | Method for extracting and evaluating pavement crack based on concavity measurement | |
| CN106087677A (en) | Asphalt pavement crack type automatic identifying method | |
| CN103440657B (en) | A kind of online crack on road screening method | |
| Wang et al. | Pavement crack segmentation algorithm based on local optimal threshold of cracks density distribution | |
| CN103198479B (en) | Based on the SAR image segmentation method of semantic information classification | |
| CN109583302B (en) | Mobile robot feasible area training data set expansion method | |
| Brackenbury et al. | Automated defect detection for masonry arch bridges | |
| CN103955923A (en) | Fast pavement disease detecting method based on image | |
| CN113807301B (en) | Automatic extraction method and automatic extraction system for newly-added construction land | |
| CN110956207B (en) | Method for detecting full-element change of optical remote sensing image | |
| CN101814138B (en) | Method for identifying and classifying types of damage of sealants of cement concrete pavement based on images | |
| CN105225227A (en) | The method and system that remote sensing image change detects | |
| CN114463286A (en) | Road surface point cloud smoothing and crack information processing method based on moving window | |
| CN114066808A (en) | Pavement defect detection method and system based on deep learning | |
| Lyasheva et al. | Detection and recognition of pavement cracks based on computer vision technology | |
| Chiaia et al. | Deep convolutional neural network for multi-level non-invasive tunnel lining assessment | |
| Lang et al. | Pavement cracking detection and classification based on 3d image using multiscale clustering model | |
| JP6894361B2 (en) | Crack direction identification method, crack direction identification device, crack direction identification system and program on concrete surface | |
| CN114418950A (en) | Road disease detection method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121002 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5479944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |