JP6654849B2 - Method for detecting surface cracks in concrete - Google Patents
Method for detecting surface cracks in concrete Download PDFInfo
- Publication number
- JP6654849B2 JP6654849B2 JP2015200490A JP2015200490A JP6654849B2 JP 6654849 B2 JP6654849 B2 JP 6654849B2 JP 2015200490 A JP2015200490 A JP 2015200490A JP 2015200490 A JP2015200490 A JP 2015200490A JP 6654849 B2 JP6654849 B2 JP 6654849B2
- Authority
- JP
- Japan
- Prior art keywords
- crack
- image
- cracks
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000001514 detection method Methods 0.000 claims description 81
- 238000012937 correction Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000010354 integration Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005336 cracking Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 229910000831 Steel Inorganic materials 0.000 claims 1
- 239000010959 steel Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000007689 inspection Methods 0.000 description 9
- 230000006378 damage Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 3
- 238000011158 quantitative evaluation Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
コンクリート構造物は、構造物の利用や経年劣化により、徐々に損傷が進行し、放置するとコンクリート構造物の致命的な破壊につながりかねない。
このため、コンクリート構造物は、継続的かつ計画的に維持管理を実施する必要がある。
一般的にコンクリート構造物の損傷の端緒は、コンクリートの表面にひび割れとして現れることが多い。
Concrete structures are gradually damaged due to the use and aging of the structures, and if left untreated, it may lead to fatal destruction of the concrete structures.
Therefore, it is necessary to continuously and systematically maintain the concrete structure.
Generally, the beginning of damage to a concrete structure often appears as cracks on the concrete surface.
現在、コンクリート構造物の維持管理では、コンクリート構造物の損傷状態を把握することを目的とする点検が行われており、コンクリートの表面に形成されるひび割れは、破損状態の把握のための重要な指標の一つとなっている。
このひび割れの確認は、従来から、点検作業員の目視に依存しているが、ひび割れの評価が点検作業員の熟練度や体調によって変化し、点検結果に大きなばらつきが生じたり、高所や狭隘部などの点検作業員の近接が困難な場所では、目視点検自体ができなかったりする、という問題があった。
Currently, in the maintenance and management of concrete structures, inspections are being conducted to determine the damage state of the concrete structure, and cracks formed on the concrete surface are important for grasping the damage state. It is one of the indicators.
Checking for cracks has traditionally relied on the visual inspection of inspection workers.However, the evaluation of cracks varies depending on the level of skill and physical condition of the inspection workers, resulting in large variations in inspection results, or in high places or narrow spaces. There is a problem that visual inspection itself cannot be performed in places where it is difficult for inspection workers to approach such as a part.
このため、近年では、コンクリートの表面をカメラで撮影し、撮影によって得られた画像を解析して、画像に含まれるひび割れを自動検出する方法が研究され、提案されている。
このような画像解析を介したひび割れの検出は、ひび割れの発生を定量的に評価でき、点検作業員が近づきにくい場所の評価もでき、さらに、点検現場での作業を画像撮影だけに簡素化して点検時間を大幅に削減できるなど、数々のメリットがある。
For this reason, in recent years, a method of photographing the surface of concrete with a camera, analyzing an image obtained by photographing, and automatically detecting cracks included in the image has been studied and proposed.
The detection of cracks through such image analysis can quantitatively evaluate the occurrence of cracks, evaluate places where inspection workers are difficult to access, and simplify the work at the inspection site only by taking images. There are a number of benefits, including a significant reduction in inspection time.
ところで、点検対象となるコンクリート構造物は、屋外に設定されている場合が多く、点検時の環境、たとえば、コンクリートの表面上の影、コンクリートの表面に付着した汚れ、コンクリートの表面に形成された凹凸などの像（以下、ノイズ像という）が、ひび割れの正確な検出を妨げるという問題があった。 By the way, concrete structures to be inspected are often set outdoors. There has been a problem that an image of unevenness (hereinafter referred to as a noise image) prevents accurate detection of cracks.
さらに、コンクリートの表面には、連続したひび割れに加え、少し離れて孤立したひび割れも存在する。
このような孤立したひび割れは、他の連続したひび割れに、コンクリート内で連続している可能性が高く、熟練作業員は、連続したひび割れの一部として評価する。
Furthermore, on the surface of concrete, in addition to continuous cracks, there are cracks that are isolated at a distance.
Such an isolated crack is likely to be continuous in the concrete with other continuous cracks, and is evaluated by a skilled worker as a part of the continuous crack.
しかしながら、従来の検出方法では、上記のノイズ像に紛れた孤立したひび割れを一連の工程で選別して検出することは困難であった。
その上、仮に、孤立したひび割れを検出できたとしても、これを、他の連続したひび割れの一部と判定し、ひび割れの定量的な判定に反映させることはなかった。
However, with the conventional detection method, it is difficult to select and detect isolated cracks in the noise image in a series of steps.
Furthermore, even if an isolated crack could be detected, it was determined to be a part of another continuous crack, and was not reflected in the quantitative determination of the crack.
本発明は、上記の問題を解決するためになされたものであって、コンクリート構造物のコンクリートの表面に発生するひび割れであって、コンクリートの表面上では孤立しているひび割れであっても、コンクリートの内部では連続している可能性がある複数のひび割れを一体の連続したひび割れとして判定し、表面上の孤立したひび割れを、コンクリート内部に広がる大きなひび割れの一部であると認識できるようにし、孤立したひび割れを含む連続したひび割れを、コンクリート構造物の破損状態の定量的な判定に反映させることを可能にすることを目的とする。 The present invention has been made in order to solve the above-mentioned problems, and is directed to a crack generated on the surface of concrete of a concrete structure. In the inside of the concrete, multiple cracks that may be continuous are determined as a continuous crack, and the isolated crack on the surface can be recognized as a part of a large crack spreading inside the concrete, An object of the present invention is to make it possible to reflect continuous cracks including broken cracks in quantitative determination of the damage state of a concrete structure.
上記目的を達成するため、本発明の第１発明にかかるコンクリートの表面ひび割れの検出方法は、
コンクリートの表面を撮影し、画像を生成する撮影ステップと、
生成された画像をグレースケールに変換する変換ステップと、
変換されたグレースケール画像からノイズ像を補正する補正ステップと、
ノイズ像が補正された補正画像から、ひび割れである可能性が高い画素を検出するひび割れ検出ステップと、
ひび割れ検出ステップで検出された画素に隣接する画素で、画素の輝度があらかじめ定められた範囲にある画素を検出し、ここで検出された画素をひび割れ領域として拡張する領域拡張ステップと、
領域拡張ステップを繰り返し、あらかじめ定められた範囲にある画素の検出がなくなったとき、領域拡張ステップを終了する領域拡張終了ステップと、
領域拡張終了ステップの後、拡張されたひび割れ領域の周辺に、ひび割れが存在する可能性が高い一体化領域を設定し、その一体化領域に存在する孤立したひび割れを検出する孤立ひび割れ検出ステップと、
拡張されたひび割れの領域に応じて設定された一体化領域内に存在する、孤立したひび割れが、その拡張されたひび割れの領域と一体であると判定する一体化ステップと、
一体化ステップにおいて、一体であるとの判定がなされたとき、一体化ステップの後、再度、上記の領域拡張ステップを実行し、領域拡張終了ステップ、孤立ひび割れ検出ステップ、および、一体化ステップを順次実行する反復ステップと、
一体化ステップにおいて、予め定められた終了条件が満たされたとき、一体化ステップを終了する反復終了ステップと、
一体化されたひび割れの群を最終的なひび割れとして確定するひび割れ確定ステップと、
を含むことを特徴とする。
In order to achieve the above object, a method for detecting surface cracks in concrete according to the first invention of the present invention comprises:
A photographing step of photographing the surface of the concrete and generating an image;
A conversion step for converting the generated image to grayscale;
A correction step of correcting a noise image from the converted grayscale image;
From the corrected image in which the noise image has been corrected, a crack detection step of detecting pixels likely to be cracks,
In a pixel adjacent to the pixel detected in the crack detection step, a pixel in which the luminance of the pixel is within a predetermined range is detected, and an area expansion step of expanding the detected pixel as a crack area is provided.
Repeating the area expansion step, and when there is no detection of a pixel in a predetermined range, an area expansion end step of ending the area expansion step;
After the area expansion end step, around the expanded crack area, set an integrated area where a crack is likely to exist, an isolated crack detection step of detecting an isolated crack present in the integrated area,
An integration step for determining that an isolated crack is present in the integrated area set according to the area of the extended crack and that the isolated crack is integral with the area of the extended crack;
In the integration step, when it is determined that they are integrated, after the integration step, the above-described area expansion step is performed again, and the area expansion end step, the isolated crack detection step, and the integration step are sequentially performed. The iterative steps to perform;
In the integrating step, when a predetermined ending condition is satisfied, an iterative ending step of ending the integrating step;
A crack determination step of determining the group of integrated cracks as a final crack;
It is characterized by including.
また、本発明の第２発明にかかるコンクリートの表面ひび割れの検出方法は、第１発明において、
補正ステップにおいて、下記式（１）によって特定される補正値が、濃淡差の補正に用いられることを特徴とする。
Further, the method for detecting surface cracks in concrete according to the second invention of the present invention is the method according to the first invention, wherein
In the correction step, a correction value specified by the following equation (1) is used for correcting the grayscale difference.
なお、前記式（１）において、ｉ，ｊは着目している画素の位置、Ｉａは補正後の画像 、Ｉｂは補正前の画像、Ｉｍは補正前の画像にメディアンフィルタを適用した画像、ｂｍ は輝度値の最大値とする。
In the above equation (1), i and j are the position of the pixel of interest, Ia is the image after correction, Ib is the image before correction, Im is the image obtained by applying the median filter to the image before correction, bm Is the maximum luminance value.
また、本発明の第３発明にかかるコンクリートの表面ひび割れの検出方法は、第１発明、または、第２発明において、
ひび割れ検出ステップが、
ひび割れ画素とひび割れでない背景画素がそれぞれ正規分布に従うものとして、これらの平均誤識別率を最小とする閾値を求める閾値生成ステップを含み、
閾値生成ステップが、
平均条件付きエントロピーを最小化するエントロピー最小化ステップと、
エントロピー最小化ステップにおいて得られたエントロピーの最小値に基づき、解析対象画像の輝度値分布を２クラスに分類した後、ひび割れ部と背景部の平均値と標準偏差をそれぞれ求める画素分類ステップと、
画素分類ステップによって得られたひび割れ部の平均値および標準偏差と、背景部の平均値および標準偏差値を用い、ひび割れの可能性が非常に高い画素を検出するための閾値を特定する閾値算定ステップと、
閾値算定ステップによってえられた閾値に基づき、連結要素を特定する連結要素特定ステップと、
を含むことを特徴とする。
Further, the method for detecting surface cracks in concrete according to the third invention of the present invention is the method according to the first invention or the second invention, wherein
The crack detection step
Assuming that the cracked pixels and the non-cracked background pixels each follow a normal distribution, including a threshold generation step of finding a threshold that minimizes the average false identification rate,
The threshold generation step includes:
An entropy minimization step that minimizes the average conditional entropy;
After classifying the luminance value distribution of the image to be analyzed into two classes based on the minimum value of entropy obtained in the entropy minimizing step, a pixel classifying step of respectively obtaining an average value and a standard deviation of a crack portion and a background portion;
A threshold value calculating step of specifying a threshold value for detecting a pixel having a very high possibility of cracking using the average value and the standard deviation value of the cracked portion obtained by the pixel classification step and the average value and the standard deviation value of the background portion; When,
A connection element specifying step of specifying a connection element based on the threshold value obtained by the threshold value calculation step;
It is characterized by including.
また、本発明の第４発明にかかるコンクリートの表面ひび割れの検出方法は、第３発明において、
平均条件付きエントロピーを最小化するステップが、下記式（２）を用い、平均条件付きエントロピーを最小化することを特徴とする。
The method for detecting surface cracks in concrete according to the fourth invention of the present invention is the method according to the third invention, wherein
The step of minimizing the average conditional entropy is characterized by minimizing the average conditional entropy using the following equation (2).
なお、前記式（２）において、Ｅは平均条件付きエントロピー、Ｃｉは分類される２つのクラス、ｉ＝１はひび割れ画素が集まるクラス、ｉ＝２は背景画素が集まるクラス、ｊは離散化された輝度値、ｐ（ｊ）は解析画像内に輝度値ｊの画素が現れる確率とする。 In the above equation (2), E is entropy with an average condition, C i is two classes to be classified, i = 1 is a class where cracked pixels are collected, i = 2 is a class where background pixels are collected, and j is discretized. The obtained luminance value, p (j), is the probability that a pixel having the luminance value j appears in the analysis image.
また、本発明の第５発明にかかるコンクリートの表面ひび割れの検出方法は、第４発明において、
閾値算定ステップが、下記式（３）を用い、閾値を特定することを特徴とする。
Further, the method for detecting surface cracks in concrete according to the fifth invention of the present invention is characterized in that in the fourth invention,
The threshold value calculation step is characterized in that a threshold value is specified using the following equation (3).
なお、前記式（３）において、μcはひび割れ部の平均値、μbは背景部の平均値、σbは背景部の標準偏差、ｔ１は閾値とする。 In the above equation (3), μc is the average value of the cracked portion, μb is the average value of the background portion , σb is the standard deviation of the background portion , and t1 is the threshold value.
また、本発明の第６発明にかかるコンクリートの表面ひび割れの検出方法は、第５発明において、
連結要素特定ステップが、下記式（４）を用い、この式の条件を満たさないものを検出結果から省くことによって、画素群から連結要素を特定し、ひび割れ候補を絞ることを特徴とする。
Further, the method for detecting surface cracks in concrete according to the sixth invention of the present invention is a method according to the fifth invention, wherein:
The connected element specifying step uses the following equation (4) and excludes, from the detection result, those that do not satisfy the condition of this equation, thereby specifying connected elements from the pixel group and narrowing down crack candidates.
なお、前記式（４）において、偏心率とは、連結要素の領域と同じ２次モーメントを持つ楕円の偏心率、Ａminは撮影距離およびカメラの画素数に応じて変化する値とする。 In the above equation (4), the eccentricity is the eccentricity of an ellipse having the same second moment as the area of the connected element, and Amin is a value that changes according to the shooting distance and the number of pixels of the camera.
また、本発明の第７発明にかかるコンクリートの表面ひび割れの検出方法は、第６発明において、
領域拡張ステップが、
連結要素特定ステップにおいて検出された画素に隣接する画素のうち、輝度値が、あらかじめ定められた値より小さいものを検出し、検出された画素を、連結要素特定ステップで特定された連結要素に統合することを特徴とする。
The method for detecting surface cracks in concrete according to the seventh invention of the present invention is a method according to the sixth invention, wherein
The area expansion step
Among the pixels adjacent to the pixel detected in the connected element specifying step, a pixel having a luminance value smaller than a predetermined value is detected, and the detected pixels are integrated with the connected element specified in the connected element specifying step. It is characterized by doing.
また、本発明の第８発明にかかるコンクリートの表面ひび割れの検出方法は、第１発明から第７発明のいずれかにおいて、
孤立ひび割れ検出ステップが、
拡張されたひび割れ領域と同じ２次モーメントを有する、長軸ｌｌ、短軸ｌｓ、角度αの楕円を一体化領域として設定し、
下記式（５）の条件を満たす領域を孤立したひび割れの候補とし、
孤立したひび割れの候補のうち、下記式（６）の幾何学条件を満たすもののみを孤立したひび割れとして検出することを特徴とする。
The concrete surface crack detection method according to the eighth invention of the present invention is the method according to any one of the first invention to the seventh invention,
The isolated crack detection step
An ellipse having a major axis l l , a minor axis l s and an angle α having the same second moment as the extended crack region is set as an integrated region,
An area that satisfies the condition of the following equation (5) is set as an isolated crack candidate,
It is characterized in that among the candidates for isolated cracks, only those that satisfy the geometric condition of the following equation (6) are detected as isolated cracks.
なお、前記式（５）において、βは長軸と短軸の重みの比を表すパラメータであり、ｄは長軸短軸にかかわらず、不連続になっているひび割れ領域を検出するためのパラメータである。 In the above equation (5), β is a parameter representing the ratio of the weight of the major axis to the minor axis, and d is a parameter for detecting a discontinuous crack region regardless of the major axis and the minor axis. It is.
なお、前記式（６）において、Ｐ（ｔ１）およびＰ（ｔｒ）は、解析画像内の輝度値ｔ１およびｔｒの累積確率である。 In the above formula (6), P (t 1 ) and P (t r) is the cumulative probability of the luminance values t 1 and t r in the analysis image.
また、本発明の第９発明にかかるコンクリートの表面ひび割れの検出方法は、第８発明において、
反復ステップの終了条件が、下記式（７）であることを特徴とする。
Further, the method for detecting surface cracks in concrete according to the ninth invention of the present invention is characterized in that in the eighth invention,
The condition for terminating the repetition step is represented by the following equation (7).
なお、ｎｐは繰り返し回数ｐ回目のときにひび割れと判定した画素数であり、ｐ回目の繰り返しでこの終了条件を満たした場合、、ｐ−１回目の結果を最終結果とする。 Note that n p is the number of pixels determined to be cracked at the p-th repetition, and when this termination condition is satisfied at the p-th repetition, the p-l-th result is the final result.
上記の発明では、コンクリート構造物のコンクリートの表面に発生するひび割れであって、コンクリートの表面上では、孤立しているように見えるひび割れを、コンクリートの内部では連続しているひび割れとして判定し、コンクリートの表面上の孤立したひび割れを、コンクリート内部に広がる大きなひび割れの一部であると認識できるように、孤立したひび割れを含む連続したひび割れを、コンクリート構造物の破損状態の定量的な判定に判定させることが可能になる。 In the above invention, cracks that occur on the surface of the concrete of the concrete structure, and on the surface of the concrete, cracks that appear to be isolated are determined as continuous cracks inside the concrete, In order to recognize isolated cracks on the surface of the concrete as part of large cracks spreading inside the concrete, continuous cracks including isolated cracks are judged by the quantitative judgment of the damage state of the concrete structure It becomes possible.
以下、本発明を、図面に基づき説明する。
図１は、本発明にかかるコンクリートの表面ひび割れの検出方法の流れを示すフロー図、図２は、図１の流れにおいて生成された撮影画像の一例、図３は、図２の撮影画像のグレースケール画像、図４は、影の影響が強い画像に対するノイズ像の補正前のグレースケール画像、図５は、影の影響が強い画像に対するノイズ像の補正後の補正画像、図６は、汚れの影響が強い画像に対するノイズ像の補正前のグレースケール画像、図７は、汚れの影響が強い画像に対するノイズ像の補正後の補正画像、図８は、細いひび割れが多い画像に対するノイズ像の補正前のグレースケー画像、図９は、影の影響が強い画像に対するノイズ像の補正後の補正画像、図１０は、図８の中央付近の画像、図１１は、図１のひび割れの検出の開始から終了にいたる流れを示すフロー図、図１２は、図１０の画像を二値化した画像、図１３は、図１２の画像から連結要素を検出した結果の画像、図１４は、図８の画像に示される孤立したひび割れの拡大画像、図１５は、図１４の画像において、ひび割れが存在する可能性が高い領域を示す模式図、図１６は、図１２の画像に対する処理の反復において、ｐ＝５の状態を示す処理画像、図１７は、図１２の画像に対する処理の反復において、ｐ＝１０の状態を示す処理画像、図１８は、図１２の画像に対する処理の反復において、ｐ＝１５の状態を示す処理画像、図１９は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像、図２０は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像、図２１は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像、図２２は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像、図２３は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像、図２４は、本発明にかかる検出方法による結果と、従来の検出方による結果との比較画像である。
Hereinafter, the present invention will be described with reference to the drawings.
FIG. 1 is a flowchart showing a flow of a method for detecting surface cracks in concrete according to the present invention, FIG. 2 is an example of a photographed image generated in the flow of FIG. 1, and FIG. 3 is a gray image of the photographed image of FIG. 4 is a grayscale image before correction of a noise image for an image strongly influenced by shadow, FIG. 5 is a corrected image after correction of a noise image to an image strongly influenced by shadow, and FIG. FIG. 7 is a corrected image after correcting a noise image for an image strongly affected by dirt, and FIG. 8 is a before-correction noise image for an image having many thin cracks. 9 is a corrected image obtained by correcting a noise image with respect to an image strongly influenced by shadows, FIG. 10 is an image near the center of FIG. 8, and FIG. 11 is a view from the start of crack detection in FIG. Was at the end FIG. 12 is a flowchart showing the flow, FIG. 12 is an image obtained by binarizing the image of FIG. 10, FIG. 13 is an image of a result of detecting a connected component from the image of FIG. 12, and FIG. 14 is an image of FIG. 15 is an enlarged image of an isolated crack, FIG. 15 is a schematic diagram showing a region where a crack is likely to be present in the image of FIG. 14, and FIG. 16 is a state where p = 5 in the repetition of the process for the image of FIG. 17 is a processed image showing the state of p = 10 in the repetition of the processing of the image of FIG. 12, and FIG. 18 is a state of p = 15 in the repetition of the processing of the image of FIG. FIG. 19 is a comparison image of the result of the detection method according to the present invention and the result of the conventional detection method, and FIG. 20 is a comparison image of the result of the detection method according to the present invention and the result of the conventional detection method. The comparison image, FIG. FIG. 22 is a comparison image of the result of the detection method according to the present invention and the result of the conventional detection method, FIG. 22 is a comparison image of the result of the detection method of the present invention, and the result of the conventional detection method, and FIG. FIG. 24 is a comparison image of the result of the detection method according to the present invention and the result of the conventional detection method, and FIG. 24 is a comparison image of the result of the detection method according to the present invention and the result of the conventional detection method.
本発明は、コンクリートの表面を撮影し、撮影によって得られた画像を解析して、保守が必要なひび割れを適切に認識し、評価する。
まず、図１に基づき、本発明にかかるコンクリートの表面ひび割れの検出方法の流れについて説明する。
According to the present invention, a concrete surface is photographed, an image obtained by the photographing is analyzed, and cracks requiring maintenance are appropriately recognized and evaluated.
First, the flow of the method for detecting surface cracks in concrete according to the present invention will be described with reference to FIG.
本発明では、まず、撮影装置を用いて、検査対象となるコンクリートの表面を撮影し、コンクリート表面の画像を生成する（ステップＳ０１）。
次に、得られた撮影画像をグレースケール画像に変換する（ステップＳ０２）。
このグレースケール画像への変換は、画像に対する処理に必要な計算時間を短縮する効果がある。
In the present invention, first, the surface of the concrete to be inspected is photographed using a photographing device, and an image of the concrete surface is generated (step S01).
Next, the obtained captured image is converted into a grayscale image (step S02).
This conversion to a grayscale image has the effect of reducing the calculation time required for processing the image.
一般的なグレースケール変換としては、ＲＧＢ成分の平均値、または、ＮＴＳＣ係数による加重平均を求めるものが一般的であるが、本実施例では、ＲＧＢ成分の最大値を採用した。
般的なひび割れ部やコンクリートの表面部では、ＲＧＢ成分がほぼ等しい一方で、落書きなどではＲＧＢ成分に差が生じるため、上記の最大値の採用は、ひび割れ以外の要素を排除することに有効である。
As a general gray scale conversion, an average value of RGB components or a weighted average based on NTSC coefficients is generally obtained. In this embodiment, the maximum value of RGB components is employed.
While the RGB components are almost the same at the cracks and the surface of concrete, the difference between the RGB components occurs in graffiti and the like. Therefore, the use of the above maximum value is effective in eliminating elements other than cracks. is there.
具体的には、上記の最大値を採用したグレースケール化を実行すると、落書きが相対的に明るく表示され、落書きをひび割れと誤認することを防ぐことができるようになる。
ここで、ＲＧＢ成分の最大値を採用したグレースケール画像の具体例を示す。
図２の撮影画像の左側の縦方向にひび割れが存在し、その右側には縦方向に黒っぽい汚れ（落書き）が付着してる。
Specifically, when the above-described maximum value is used to perform the gray scale conversion, the graffiti is displayed relatively bright, and it is possible to prevent the graffiti from being mistaken for a crack.
Here, a specific example of a grayscale image using the maximum value of the RGB components is shown.
Cracks are present in the vertical direction on the left side of the photographed image in FIG. 2, and blackish dirt (graffiti) is attached in the vertical direction on the right side.
この撮影画像を上記の処理によってグレースケール化すると、図３に示したように、汚れ薄くなり、画像上、適切に除去されていることがわかる。
次に、光や影、汚れなどによる脳探査を補正するための前処理として、グレースケール画像に対し、medianフィルタを採用してノイズ像の補正を実行する（ステップＳ０３）。
このノイズ像の補正に用いられる式（１）を以下に示す。
When this photographed image is converted into gray scale by the above-described processing, as shown in FIG. 3, it becomes clear that the stain becomes thin and the image is appropriately removed.
Next, as a pre-process for correcting a brain search due to light, shadow, dirt, and the like, a noise image is corrected for the grayscale image by using a median filter (step S03).
Equation (1) used for correcting the noise image is shown below.
なお、前記式（１）において、ｉ，ｊは着目している画素の位置、Ｉａは補正後の画像 、Ｉｂは補正前の画像、Ｉｍは補正前の画像にメディアンフィルタを適用した画像、ｂｍ は輝度値の最大値とする。
In the above equation (1), i and j are the position of the pixel of interest, Ia is the image after correction, Ib is the image before correction, Im is the image obtained by applying the median filter to the image before correction, bm Is the maximum luminance value.
上記の輝度値ｂｍの最大値とは、たとえば、２５６階調の輝度値を用いる場合は、２５５である。 The maximum value of the luminance values b m, for example, when using a luminance value of 256 gradations is 255.
このフィルタのサイズは、この補正結果に影響を及ぼすが、ここでは、フィルタサイズとして、４１×４１を用いた。
しかしながら、このフィルタサイズによる影響は、最終的な結果に大きな影響を与えるものではなく、たとえば、２１×２１のフィルタを用いた場合には、ひび割れの抽出結果が４１×４１のものに比べて細くなり、逆に６１×６１のサイズのフィルタを用いた場合には、やや太くなる、という傾向が見られる程度であるので、フィルタサイズは、本実施例の４１×４１に限定されるものではない。
Although the size of this filter affects this correction result, 41 × 41 is used here as the filter size.
However, the effect of this filter size does not significantly affect the final result. For example, when a 21 × 21 filter is used, the result of crack extraction is thinner than that of 41 × 41. On the contrary, when a filter having a size of 61 × 61 is used, the filter tends to be slightly thicker, so the filter size is not limited to 41 × 41 in this embodiment. .
具体的には、フィルタサイズが小さい場合、ひび割れ付近では、式（１）の分母の輝度値が小さくなるため、左辺のＩａが大きくなり、明るめに補正することになるためである。
ここで、実際の例を挙げると、４１×４１の場合に、８ピクセルであったひび割れ幅は、２１×２１の場合には、６ピクセル程度、６１×６１の場合には、１０ピクセル程度になることが多い。
Specifically, when the filter size is small, near the crack, the luminance value of the denominator of Expression (1) is small, so that Ia on the left side is large, and the correction is made brighter.
Here, as an actual example, the crack width, which was 8 pixels in the case of 41 × 41, is reduced to about 6 pixels in the case of 21 × 21 and about 10 pixels in the case of 61 × 61. Often become.
ここで、図４から図９に基づき、フィルタサイズ４１×４１を用いた、このノイズ像の補正による具体例を説明する。
図４は、影の影響が大きいグレースケール画像であり、これに上記のノイズ補正を実行すると、図５に示したように、影の写りこみが激しい画像からノイズ像を適正に除去し、ひび割れを残した状態で画像を補正できることがわかる。
Here, a specific example based on this noise image correction using a filter size of 41 × 41 will be described with reference to FIGS.
FIG. 4 shows a grayscale image in which the influence of shadow is large. When the above-described noise correction is performed on the grayscale image, as shown in FIG. It can be seen that the image can be corrected in a state where is left.
図６は、汚れ、具体的には、水汚れが激しいグレースケール画像であり、これに上記のノイズ補正を実行すると、図７に示したように、水汚れが目立つ画像からノイズ像を適正に除去し、ひび割れを残した状態で画像を補正できることがわかる。
図８は、細いひび割れが多いグレースケール画像であり、これに上記のノイズ補正を実行すると、図９に示したように、ひび割れを失うことなく画像を補正できることがわかる。
FIG. 6 is a grayscale image in which dirt, specifically, water dirt, is intense. When the above-described noise correction is performed on the grayscale image, as shown in FIG. It can be seen that the image can be corrected in a state where it is removed and cracks are left.
FIG. 8 shows a grayscale image having many small cracks. It can be seen that when the above-described noise correction is performed on the grayscale image, the image can be corrected without losing the cracks as shown in FIG.
本発明では、特に、細いひび割れや、細かいひび割れが多数含まれる場合のひび割れの適切な確定が重要である。
このため、以下では、細いひび割れ、および、細かいひび割れが含まれる図９の補正画像に基づき、説明を続ける。
なお、図８の画像は、５１８４×３４５６画素程度の非常に大きな画像であり、以下で実行される各種処理が、画像上では判別しにくいため、以下の説明では、この図８の画像の中央付近を２５９２×１７２８画素の領域にトリミングした画像（図１０）を用いる。
In the present invention, in particular, it is important to appropriately determine cracks in the case where many fine cracks are included.
Therefore, the description will be continued below based on the fine cracks and the corrected image of FIG. 9 including the fine cracks.
Note that the image of FIG. 8 is a very large image of about 5184 × 3456 pixels, and it is difficult to discriminate various processes executed below on the image. An image (FIG. 10) obtained by trimming the vicinity into an area of 2592 × 1728 pixels is used.
次に、図１０の画像から、ひび割れである可能性が非常に高い画素、すなわち、ひび割れを検出する（ステップＳ０４）。
このひび割れを検出するステップＳ０４には、ひび割れ画素と、ひび割れでない画素（以下、背景画素という）が、それぞれ正規分布に従うものとして、これらの平均誤識別率が最小となる閾値を求める閾値生成ステップＳ０４２が含まれる。
Next, from the image of FIG. 10, a pixel having a very high possibility of being cracked, that is, a crack is detected (step S04).
In step S04 for detecting this crack, a threshold generation step S042 for determining a threshold value at which the average false identification rate is minimized, assuming that cracked pixels and non-cracked pixels (hereinafter referred to as background pixels) each follow a normal distribution. Is included.
このため、ひび割れの検出が開始される（ステップＳ０４１）と、上記の閾値生成ステップＳ０４２が開始される（Ｓ０４３）。
この閾値生成ステップＳ０４２は、エントロピー最小化ステップＳ０４３１、画素分類ステップＳ０４３２、閾値算定ステップＳ０４３３、および、連結要素特定ステップＳ０４３４を含む。
Therefore, when the detection of the crack is started (Step S041), the above-described threshold generation step S042 is started (S043).
The threshold generation step S042 includes an entropy minimization step S0431, a pixel classification step S0432, a threshold calculation step S0433, and a connected element identification step S0434.
このため、閾値生成ステップが開始される（Ｓ０４３）と、まず、エントロピー最小化ステップＳ０４３１が実行される。
このエントロピー最小化ステップＳ０４３１は、平均条件付きエントロピーを最小化するものである。
この最小化に用いられる式（２）を以下に示す。
Therefore, when the threshold generation step is started (S043), first, an entropy minimization step S0431 is executed.
This entropy minimizing step S0431 is to minimize the average conditional entropy.
Equation (2) used for this minimization is shown below.
なお、前記式（２）において、Ｅは平均条件付きエントロピー、Ｃｉは分類される２つのクラス、ｉ＝１はひび割れ画素が集まるクラス、ｉ＝２は背景画素が集まるクラス、ｊは離散化された輝度値、ｐ（ｊ）は解析画像内に輝度値ｊの画素が現れる確率とする。
上記において、２５６階調の輝度値を用いる場合は、ｊ＝０．．．２５５である。
In the above equation (2), E is entropy with an average condition, C i is two classes to be classified, i = 1 is a class where cracked pixels are collected, i = 2 is a class where background pixels are collected, and j is discretized. The obtained luminance value, p (j), is the probability that a pixel having the luminance value j appears in the analysis image.
In the above, when using a luminance value of 256 gradations, j = 0. . . 255.
次に、画素分類ステップＳ０４３３が実行され、上記の式（２）に基づき、解析対象画像の輝度値分布が２クラスに分類される。 Next, a pixel classification step S0433 is executed, and the luminance value distribution of the analysis target image is classified into two classes based on the above equation (2).
次に、閾値算定ステップＳ０４３３が実行される。
この閾値算定ステップＳ０４３３は、画素分類ステップＳ０４３２によって得られたひび割れ部の平均値および標準偏差と、背景部の平均値および標準偏差値を用い、ひび割れの可能性が非常に高い画素を検出するための閾値を特定するものである。
この閾値の特定に用いられる式（３）を以下に示す。
Next, a threshold value calculation step S0433 is executed.
This threshold value calculation step S0433 uses the average value and standard deviation of the cracked portion obtained in the pixel classification step S0432 and the average value and standard deviation value of the background portion to detect a pixel having a very high possibility of cracking. Is specified.
Equation (3) used to specify the threshold is shown below.
なお、式（３）において、μｃはひび割れ部の平均値、σｃはひび割れ部の標準偏差、μｂはひび割れ部の平均値、σｂはひび割れ部の標準偏差、ｔ１は閾値とする。 In Equation (3), μ c is the average value of the crack, σ c is the standard deviation of the crack, μ b is the average of the crack, σ b is the standard deviation of the crack, and t 1 is the threshold. .
ここで、図１０の画像に、式（１）のフィルタによる補正を実行した後に、
式（２）、および、式（３）に基づいて解析した結果を図１２に示す。
この図１２に示した画像は、得られた閾値による二値化の結果を示すものであり、ここでは、白く表示される部分がひび割れとして検出された領域を示す。
ただし、この画像では、ひび割れ以外の空隙も、ひび割れと同様に検出されている。
Here, after the correction of the image of FIG. 10 by the filter of Expression (1) is performed,
FIG. 12 shows the result of analysis based on Expression (2) and Expression (3).
The image shown in FIG. 12 shows a result of the binarization based on the obtained threshold. Here, a portion displayed in white indicates a region detected as a crack.
However, in this image, voids other than cracks are also detected in the same manner as cracks.
そこで、このひび割れ以外の検出画素を幾何学的基準によって除去するため、次に、連結要素特定ステップＳ０４３４を実行する。
この連結要素特定ステップＳ０４３４では、式（３）で検出された画素群について連結要素を特定し、それぞれの連結要素について幾何学的特徴に基づき、更にひび割れ候補を絞る。
ここでは、以下の式（４）の条件を与え、この条件を満たさないものは、式（３）の検出結果から省いた。
Then, in order to remove the detected pixels other than the cracks based on the geometric reference, a connected element specifying step S0434 is next performed.
In the connected element specifying step S0434, the connected elements are specified for the pixel group detected by the equation (3), and crack candidates are further narrowed down based on the geometric feature of each connected element.
Here, the condition of the following equation (4) is given, and those that do not satisfy this condition are omitted from the detection result of the equation (3).
なお、前記式（４）において、偏心率とは、連結要素の領域と同じ２次モーメントを持つ楕円の偏心率、Ａminは撮影距離およびカメラの画素数に応じて変化する値とする。
なお、本実施例では、Ａmin＝１００とした。
In the above equation (4), the eccentricity is the eccentricity of an ellipse having the same second moment as the area of the connected element, and Amin is a value that changes according to the shooting distance and the number of pixels of the camera.
In this embodiment, A min = 100.
上記の条件による絞り込みの結果、長細く、かつ、一定面積を持つ連結要素のみを検出することができるようになる。
ここで、図１２の画像内の画素を、式（４）に基づいて選別した結果の画像を図１３に示す。
As a result of the narrowing down under the above conditions, it is possible to detect only a thin and connected element having a constant area.
Here, FIG. 13 shows an image obtained as a result of selecting pixels in the image of FIG. 12 based on the equation (4).
この図１３の画像によると、白く表示された、選別された連結領域には、図１２で多く見られた空隙の大部分を除去できていることが確認できる。
そして、この式（４）による条件に基づく絞り込みの処理が終わると、ひび割れの検出が終了する（ステップＳ０４２）。
According to the image of FIG. 13, it can be confirmed that most of the voids often seen in FIG. 12 have been removed from the selected connected regions displayed in white.
Then, when the narrowing-down process based on the condition based on the equation (4) ends, the detection of the crack ends (step S042).
上記のひび割れの検出の終了（ステップＳ０４２）の後、次に、図１のひび割れ領域の拡張（ステップＳ０５）が実行される。
ひび割れ領域の拡張（ステップＳ０５）では、まず、連結要素特定ステップにおいて検出された画素に隣接する画素のうち、輝度値が、あらかじめ定められた値ｔｒより小さいものを検出する。
このとき、ｔｒは、ｔ１より少し明るめの輝度値として、ｔｒ＝ｔ１＋ασｃとする。
After the end of the crack detection (step S042), the expansion of the crack region in FIG. 1 (step S05) is performed.
Enhanced cracked area (step S05), first, among the pixels adjacent to the pixel detected in the coupling element specifying step, the luminance values, detects a smaller than a predetermined value t r.
At this time, t r, as a luminance value of a little lighter than t 1, and t r = t 1 + ασ c .
次に、検出された画素を、連結要素特定ステップＳ０４３４で特定された連結要素に統合する。
次に、統合された画素に隣接する画素で、輝度値がｔｒより小さいものを検出する。
ここで検出される画素は、統合できる画素であり、拡張の対象となる画素である。
そして、拡張の対象となる画素があるときには、ひび割れの領域の拡張（ステップＳ０５）に戻り、再度拡張の対象となる領域の検出を実行する。
Next, the detected pixels are integrated with the connected element specified in the connected element specifying step S0434.
Next, in pixels adjacent to integrated pixel, the luminance value to detect smaller than t r.
The pixel detected here is a pixel that can be integrated and is a pixel to be expanded.
Then, when there is a pixel to be expanded, the process returns to the expansion of the cracked area (step S05), and the detection of the area to be expanded is executed again.
次に、拡張の対象となる領域の検出がなくなったとき、ひび割れの領域の拡張が終了する（ステップＳ０６）。
なお、上記のひび割れ領域の拡張（ステップＳ０５）においては、αの値が重要となるが、本実施例では、α＝０．１とした。
ただし、この値は、α＝０．０５からα＝０．５の間であればよい。
なぜなら、後述する処理の反復により、αの値は順次増大するものであり、この範囲であれば、最終的な結果には顕著な差異は認められないためである。
Next, when the detection of the area to be expanded is no longer performed, the expansion of the cracked area ends (step S06).
In the expansion of the cracked region (step S05), the value of α is important, but in this embodiment, α is set to 0.1.
However, this value may be between α = 0.05 and α = 0.5.
This is because the value of α gradually increases due to the repetition of the processing described later, and within this range, no remarkable difference is recognized in the final result.
この拡張が終了した時点で、画像における輝度値がやや高くなり、つながっているひび割れは検出可能となる。
この段階では、図１４に示されるような孤立したひび割れは、人が肉眼で確認すれば、連続してつながっているひび割れとして認識可能であるが、このような孤立したひび割れ、特に、孤立した小さなひび割れの中には、式（４）の条件を満たさないものも存在する。
At the end of this extension, the luminance value in the image becomes slightly higher, and connected cracks can be detected.
At this stage, isolated cracks as shown in FIG. 14 can be recognized as continuous cracks by the naked eye, but such isolated cracks, especially isolated small cracks, can be recognized. Some of the cracks do not satisfy the condition of Expression (4).
このような孤立したひび割れの見逃しを回避するため、図１５の模式図に示されるようなひび割れが存在する可能性が高い領域を求め、その領域内で一定の条件を満たせば、ひび割れとして検出する必要がある。
そこで、本発明では、拡張の終了（ステップＳ０６）の後、まず、これまでに検出されたひび割れ領域と同じ２次モーメントを有する、長軸ｌｌ、短軸ｌｓ、角度αの楕円を一体化領域として設定する。
In order to avoid overlooking such an isolated crack, a region having a high possibility of the presence of a crack as shown in the schematic diagram of FIG. 15 is obtained, and if a certain condition is satisfied in that region, the crack is detected as a crack. There is a need.
Therefore, in the present invention, after the end of the expansion (step S06), first, an ellipse having a long axis l l , a short axis l s , and an angle α having the same second moment as the crack region detected so far is integrated. Set as a generalized area.
次に、楕円の長軸方向にｕ軸、短軸方向にｖ軸を設定する。
次に、細長いひび割れ領域ほど、その長軸方向に孤立したひび割れ領域があれば、その孤立したひび割れ領域もつながったひび割れ領域である可能性が高いことを考慮し、以下の式（５）の条件をすべて満たす領域を孤立したひび割れの候補とする。
Next, the u axis is set in the major axis direction of the ellipse and the v axis is set in the minor axis direction.
Next, considering that the longer the crack area is, the more likely it is that the isolated crack area is a connected crack area, if there is a crack area isolated in the longitudinal direction, the condition of the following equation (5) is considered. Are all candidates for isolated cracks.
なお、前記式（５）において、βは長軸と短軸の重みの比を表すパラメータであり、ｄは長軸短軸にかかわらず、不連続になっているひび割れ領域を検出するためのパラメータである。
本実施例では、ｄは４０ピクセルとした。
In the above equation (5), β is a parameter representing the ratio of the weight between the major axis and the minor axis, and d is a parameter for detecting a discontinuous crack region regardless of the major axis and the minor axis. It is.
In this embodiment, d is 40 pixels.
これらのパラメータは、画像内の孤立したひび割れ領域の肉眼による観察に基づき、人為的に定めたものであるが、オーダーが変わらない程度であれば、結果に大きな影響を及ぼさないことは確認した。
たとえば、β＝４、ｄ＝８として解析を行っても、後述するＦ値はほとんどの画像において、０．０１程度以下しか変化せず、最も大きく変化した画像でも高々０．０５程度に過ぎなかった。
These parameters are artificially determined based on the naked eye observation of an isolated crack region in the image, but it was confirmed that the results would not be significantly affected as long as the order was not changed.
For example, even if the analysis is performed with β = 4 and d = 8, the F value to be described later changes only about 0.01 or less in most images, and the largest F-number changes only about 0.05 at most. Was.
ただし、この式（５）の条件のみでは、長軸方向に存在するノイズ像を拾ってしまう危険性があるため、ここで新たに検出された領域から、式（５）のように輝度値がｔｒより小さいものという条件で領域拡張を実行し、その上で、以下の式（６）の幾何学的条件をすべて満たすもののみ、孤立したひび割れとして検出した（ステップＳ０７）。 However, there is a risk that a noise image existing in the long axis direction may be picked up only under the condition of this equation (5). Therefore, the luminance value is calculated from the newly detected area as in equation (5). t r running region expansion on the condition that those smaller, on it, only those that meet all of the following geometrical condition of the expression (6), was detected as an isolated cracked (step S07).
なお、前記式（６）において、Ｐ（ｔ１）およびＰ（ｔｒ）は、解析画像内の輝度値ｔ１およびｔｒの累積確率である。
これは、閾値が大きくなればノイズの面積も大きくなることを考慮し、式（４）の面積の条件を補正するために用いたものである。
その他の条件に関しては、式（４）と同様である。
In the above formula (6), P (t 1 ) and P (t r) is the cumulative probability of the luminance values t 1 and t r in the analysis image.
This is used to correct the condition of the area in Expression (4), taking into consideration that the area of the noise increases as the threshold value increases.
Other conditions are the same as in the equation (4).
次に、ひび割れの可能性が高い領域に含まれるものとして検出された、孤立したひび割れを、そのひび割れと一体のものとして判定する（ステップＳ０８）。 Next, an isolated crack detected as being included in a region having a high possibility of cracking is determined as being integrated with the crack (step S08).
ここで、一体化の判定がなされた場合、再度、上記のひび割れ領域の拡張（ステップＳ０５）の工程に戻る処理の反復（ステップＳ０９）に移行し、それに続く工程、すなわち、拡張の対象となる画素を検出し（ステップＳ０７）、孤立したひび割れの一体化（ステップＳ０８）を実行する。
この処理の反復によって、ひび割れの検出制度を向上させる。
Here, when the determination of the integration is made, the process shifts to the repetition of the process of returning to the process of expanding the cracked region (step S05) again (step S09), and the subsequent process, that is, the expansion target is performed. Pixels are detected (step S07), and integration of isolated cracks (step S08) is executed.
By repeating this process, the accuracy of crack detection is improved.
まず、繰り返し回数がｐ回目のとき、式（５）のαを０．１ｐとして領域拡張を実行する。
そして、式（６）と同様に楕円の式を用いて孤立したひび割れの検出を実行する。
反復回数を増やすことで検出されるひび割れ領域は増大するが、繰り返しの過程でひび割れ領域が急激に増大した場合、閾値ｔｒが背景がその多くをひび割れと判定してしまうほど大きくなってしまったと考えられる。
そこで、これらを考慮し、以下の式（７）に示した反復の終了条件を設定した。
First, when the number of repetitions is the p-th, the area expansion is performed by setting α in Equation (5) to 0.1p.
Then, detection of an isolated crack is performed using the elliptical equation in the same manner as equation (6).
Although crack area detected by increasing the number of iterations increases, if the crack region by repeating the process has rapidly increased, the threshold t r has become larger enough to determine the crack that much background and Conceivable.
Therefore, in consideration of these, the repetition termination condition shown in the following equation (7) was set.
なお、ｎｐは繰り返し回数ｐ回目のときにひび割れと判定した画素数であり、ｐ回目の繰り返しでこの終了条件を満たした場合、、ｐ−１回目の結果を最終結果とし、一体化を終了する（ステップＳ１０）。 Note that n p is the number of pixels determined to be cracked at the p-th repetition, and when this termination condition is satisfied at the p-th repetition, the p−1-th result is regarded as the final result, and the integration is terminated. (Step S10).
ここで、処理の反復（ステップＳ０９）によって画像中のひび割れの領域が拡大していく様子を図１６から図１８に示す。
これらの図によると、処理の反復（ステップＳ０９）の結果、ひび割れ領域が拡大する様子がわかる。
Here, FIGS. 16 to 18 show how the area of the crack in the image is enlarged by the repetition of the processing (step S09).
According to these figures, it can be seen that as a result of the repetition of the processing (step S09), the crack area is enlarged.
図１３の領域拡張前、図１６の拡張初期の結果と、図１７および図１８の拡張が進行した後の解析結果を比較すると、輝度値がやや高く明るいために最初のうちはひび割れとして検出されていなかった画素が、徐々にひび割れ領域として検出されていく様子がわかる。 When the results of the initial expansion of FIG. 16 before the region expansion of FIG. 13 and the analysis results after the expansion of FIG. 17 and FIG. It can be seen that the pixels that have not been detected are gradually detected as cracked areas.
次に、一体化されたひび割れ領域の群を最終的なひび割れとして確定する（ステップＳ１１）。
そして、本発明の結果、確定されたひび割れの情報は、コンクリート構造物に生じたひび割れの状態を適正に示すので、これをコンクリート構造物の破損状態の定量的な判定に反映させれば、コンクリート構造物の点検の精度や、効果的な保守作業の実施に非常に有用である。
Next, a group of integrated crack regions is determined as a final crack (step S11).
Then, as a result of the present invention, the determined crack information properly indicates the state of the crack generated in the concrete structure, and if this is reflected in the quantitative determination of the damage state of the concrete structure, the concrete This is very useful for the accuracy of structural inspection and effective maintenance work.
次に、図１９から図２４に基づき、本発明による検出方法と、従来の検出方法（大津の方法：道路端の件全土に関する基礎的調査に関する研究、国総研資料第381号、2007を参照）の比較結果を説明する。
ここでは、橋梁の床版、桁、建物の内壁などさまざまな状況下で撮影したデジタル画像６枚を対象として、上記の本発明にかかる検出方法と、従来の検出方法でひび割れの検出を行った。
Next, based on FIGS. 19 to 24, the detection method according to the present invention and the conventional detection method (see the method of Otsu: Basic research on the whole roadside project, JRI Material No. 381, 2007) Will be described.
Here, cracks were detected by the above-described detection method according to the present invention and the conventional detection method for six digital images photographed under various conditions such as a floor slab of a bridge, a girder, and an inner wall of a building. .
本発明にかかる検出方法の実施は、影や汚れの影響を強く受けることを想定し、そのような影や汚れを含む画像も解析対象とした。
図１９から図２４の画像のうち、それぞれ、左図は、撮影したデジタル画像、中図は、本発明にかかる検出方法による結果、右図は、従来の検出方法による結果である。
図１９および図２０の撮影画像は、それぞれ、レンズの周辺減光や影のため、輝度値が低く暗い部分を多く含む画像である。
The implementation of the detection method according to the present invention assumes that it is strongly affected by shadows and stains, and also analyzes images including such shadows and stains.
19 to 24, the left diagram is the photographed digital image, the middle diagram is the result by the detection method according to the present invention, and the right diagram is the result by the conventional detection method.
The captured images of FIGS. 19 and 20 are images including many low-luminance values and dark portions due to dimming around the lens and shadows.
本発明にかかる検出方法では、これらの影響は、主に、式（２）のフィルタで除去することができるため、良好な結果が得られる一方、従来の検出方法では、単純に輝度値で判別するために精度が悪い。 In the detection method according to the present invention, these effects can be mainly removed by the filter of the formula (2), so that a good result can be obtained. Poor accuracy to do.
図２１および図２２の撮影画像は、汚れを多く含むものである。
この汚れについても式（２）に基づくフィルタによる補正、および、幾何学的特徴により適切に除去でき、それにより、本発明にかかる検出方法は、従来の検出方法と比較して、非常に制度よくひび割れを検出できている。
The captured images in FIGS. 21 and 22 contain much dirt.
This dirt can also be appropriately removed by the correction based on the filter based on the equation (2) and the geometric feature, so that the detection method according to the present invention is much more accurate than the conventional detection method. Cracks can be detected.
図２３の撮影画像は、細かいひび割れを多く含む画像である。
これらの細かいひび割れの幅は、画像上では、１から３ピクセル程度であるが、本願発明にかかる検出方法では、そのような細かいひび割れについても適切に検出できている。
一方、従来の検出方法では、図１９および図２０と同様に、多くの影の部分をひび割れと誤検出していることに加え、画像中心に見られる少し薄い水汚れの線などをひび割れとして誤検出してしまっている。
The photographed image in FIG. 23 is an image including many fine cracks.
The width of these fine cracks is about 1 to 3 pixels on the image, but the detection method according to the present invention can appropriately detect such fine cracks.
On the other hand, in the conventional detection method, similarly to FIGS. 19 and 20, in addition to erroneously detecting many shadow portions as cracks, a slightly thin water stain line or the like seen in the center of the image is erroneously detected as cracks. It has been detected.
本発明にかかる検出方法で、この水汚れの線を誤検出しないのは、式（４）や、式（６）に関連する処理で考慮された幾何学的特徴量を用いた判定基準によるものである、その有効性が顕著に表れる。 The reason why the detection method according to the present invention does not erroneously detect the line of the water stain is based on a determination criterion using a geometric feature taken into consideration in the processing related to Equation (4) and Equation (6). That is, the effectiveness is remarkably exhibited.
図２４の撮影画像は、誤検出を含む例で、後に示すＦ値の定量的評価結果が最も悪かったものである。
この図２４からわかるように、Ｐコン跡の内部にできる影が、式（６）の条件を満たしてしまうため、Ｐコン跡の周囲もひび割れとして検出してしまってる。
The captured image in FIG. 24 is an example including erroneous detection, and the result of the quantitative evaluation of the F value described later is the worst.
As can be seen from FIG. 24, since the shadow formed inside the trace of the P-conformer satisfies the condition of Expression (6), the periphery of the trace of the P-contract is also detected as a crack.
Ｐコン跡の面積が大きいため、後述の定量的評価では、悪い結果となっているが、一方で、定性的に結果画像で判断すれば、Ｐコン跡以外の誤検出が少なく、また、ひび割れ部部に関しては、確実に検出できている様子がわかる。 Since the area of the trace of the P-con is large, the result of the quantitative evaluation described later is bad. Regarding the parts, it can be seen that the detection has been performed reliably.
次に、本発明にかかる検出方法によって得られた検出結果に基づく、定量的評価について説明する。
ここでは、上記の大津の方法が開示された文献に倣い、適合率、感度、特異度の３指標によって本発明にかかる検出方法の結果、および、比較対象として、上記の従来の検出方法による二値化結果を評価する。
本発明にかかる検出方法によって得られた４３枚の画像を解析した結果の平均値を表１に示す。
Next, quantitative evaluation based on the detection result obtained by the detection method according to the present invention will be described.
Here, following the literature in which the above-mentioned Otsu method was disclosed, the results of the detection method according to the present invention were obtained using three indices of precision, sensitivity, and specificity. Evaluate the valuation result.
Table 1 shows the average value of the results of analyzing 43 images obtained by the detection method according to the present invention.
これらの指標による精度の比較に当たっては、本来は、ベンチマークセットを作成・共有し、それらに対する正解率を調べるべきではあるが、現状ではそのようなベンチマークセットは存在しない。
ここで、ここでは、発明者らの事前の手作業によりひび割れを検出した結果を正解として精度を評価した。
When comparing the accuracy using these indices, benchmark sets should be originally created and shared, and the accuracy rate for them should be checked, but such benchmark sets do not exist at present.
Here, the accuracy was evaluated using the result of detecting cracks by the inventors' prior manual work as the correct answer.
ここで感度は、正解画像におけるひび割れ画素の中でどの程度解析結果においてもひび割れとして検出されたかという割合、特異度は、正解画像においてひび割れではない画素（背景画素）の中でどの程度解析結果においても背景画素として検出されたかという割合、適合率は解析結果でひび割れ画素として検出された中でどの程度正解画像においてもひび割れ画素であったかという割合として定義される。
また、それに加えて、感度と適合率の両方を同時に評価するためにＦ値（パターン認識（Ｒで学ぶデータサイエンス５）、共立出版、2009を参照）についても求めた。
Here, the sensitivity is the ratio of how much of the cracked pixels in the correct image are detected as cracks in the analysis result, and the specificity is the degree of the non-cracked pixels (background pixels) in the correct image. And the precision is defined as the ratio of how much the correct image was a cracked pixel in the analysis result as a cracked pixel in the analysis result.
In addition, the F value (see Pattern recognition (data science 5 learned with R), Kyoritsu Shuppan, 2009) was also determined to evaluate both sensitivity and precision at the same time.
表１からわかるように、感度で比較すると従来の方法の方が本発明の方法より高い。
これは、従来の方法による二値化では曖昧なものは全てひび割れとして判定されるためである。
このため、逆に、適合率・特異度は大幅に低くなっている。
As can be seen from Table 1, the conventional method is higher than the method of the present invention when compared in terms of sensitivity.
This is because any vagueness is determined as a crack in the binarization by the conventional method.
Therefore, conversely, the precision and specificity are significantly lower.
特に、適合率に着目すると、従来の方法により検出された結果のわずか１．２％のみが、人間が目視によって確認したひび割れということを示しており、正確な検出ができていないことがわかる。
感度、適合率を同時に評価する指標であるＦ値を見ても、本発明の方法は、感度では、従来の方法にやや劣るが、適合率で非常に優れるため、大きな差が生じている。
このように、定量的な検討においても、本発明にかかる検出方法は、精度欲ひび割れを検出できていることが明らかである。
In particular, paying attention to the precision, only 1.2% of the results detected by the conventional method indicate cracks visually confirmed by humans, indicating that accurate detection was not possible.
Looking at the F value which is an index for simultaneously evaluating the sensitivity and the precision, the method of the present invention is slightly inferior in sensitivity to the conventional method, but has a great difference in precision because it is very excellent in precision.
Thus, it is clear that even in a quantitative study, the detection method according to the present invention can detect greed cracks.
このように、本発明にかかるコンクリートの表面ひび割れの検出方法では、幾何学的および統計的パラメータに着目した画像解析による検出方法を提案し、その精度について確かめた。
特に、ひび割れ部と、背景部の輝度値を統計的に扱って閾値を定める工程や、幾何学的パラメータを用いて、実質はつながっているはずであるが、画像上では孤立しているひび割れを検出する工程は、従来には見られなかったものであり、ひび割れの適正な検出という点で、優れた効果が認められる。
As described above, in the method for detecting surface cracks in concrete according to the present invention, a detection method based on image analysis focusing on geometrical and statistical parameters was proposed, and its accuracy was confirmed.
In particular, cracks and the process of determining the threshold value by statistically treating the luminance value of the background portion, and using geometric parameters, should be substantially connected, but the cracks that are isolated on the image The step of detection has not been seen in the past, and an excellent effect is recognized in terms of proper detection of cracks.
このため、本発明にかかるコンクリートの表面ひび割れの検出方法では、撮影画像上では、ノイズ像に紛れた孤立したひび割れを一連の肯定で選別して、ひび割れとして検出し、適正に評価することが可能になる。
また、この本発明にかかる検出方法により、従来は、一般的に非常に解析が難しいとされた、影や汚れを多く含むようなひび割れ画像からもひび割れを良好に検出できるようになった。
Therefore, in the method for detecting a surface crack of concrete according to the present invention, on a captured image, isolated cracks that are lost in a noise image can be selected by a series of positives, detected as cracks, and appropriately evaluated. become.
In addition, the detection method according to the present invention makes it possible to satisfactorily detect a crack from a crack image containing a lot of shadows and dirt, which has conventionally been considered very difficult to analyze.
Claims (9)
生成された画像をグレースケールに変換する変換ステップと、
変換されたグレースケール画像からノイズ像を補正する補正ステップと、
ノイズ像が補正された補正画像から、ひび割れである可能性が高い画素を検出するひび割れ検出ステップと、
ひび割れ検出ステップで検出された画素に隣接する画素で、画素の輝度があらかじめ定められた範囲にある画素を検出し、ここで検出された画素をひび割れ領域として拡張する領域拡張ステップと、
領域拡張ステップを繰り返し、あらかじめ定められた範囲にある画素の検出がなくなったとき、領域拡張ステップを終了する領域拡張終了ステップと、
領域拡張終了ステップの後、拡張されたひび割れ領域の周辺に、ひび割れが存在する可能性が高い一体化領域を設定し、その一体化領域に存在する孤立したひび割れを検出する孤立ひび割れ検出ステップと、
拡張されたひび割れの領域に応じて設定された一体化領域内に存在する、孤立したひび割れが、その拡張されたひび割れの領域と一体であると判定する一体化ステップと、
一体化ステップにおいて、一体であるとの判定がなされたとき、一体化ステップの後、画素の輝度があらかじめ定められた範囲にある画素を検出するための輝度閾値を、更新して、再度、上記の領域拡張ステップを実行し、領域拡張終了ステップ、孤立ひび割れ検出ステップ、および、一体化ステップを順次実行する反復ステップと、
一体化ステップにおいて、予め定められた終了条件が満たされたとき、一体化ステップを終了する反復終了ステップと、
一体化されたひび割れの群を最終的なひび割れとして確定するひび割れ確定ステップと、
を含むコンクリートの表面ひび割れの検出方法。 A photographing step of photographing the surface of the concrete and generating an image;
A conversion step for converting the generated image to grayscale;
A correction step of correcting a noise image from the converted grayscale image;
From the corrected image in which the noise image has been corrected, a crack detection step of detecting pixels likely to be cracks,
In a pixel adjacent to the pixel detected in the crack detection step, a pixel in which the luminance of the pixel is within a predetermined range is detected, and an area expansion step of expanding the detected pixel as a crack area is provided.
Repeating the area expansion step, and when there is no detection of a pixel in a predetermined range, an area expansion end step of ending the area expansion step;
After the area expansion end step, around the expanded crack area, set an integrated area where a crack is likely to exist, an isolated crack detection step of detecting an isolated crack present in the integrated area,
An integration step for determining that an isolated crack is present in the integrated area set according to the area of the extended crack and that the isolated crack is integral with the area of the extended crack;
In the integration step, when it is determined that they are integrated, after the integration step, the brightness threshold for detecting pixels whose brightness is within a predetermined range is updated, and again, Performing an area expansion step, an area expansion end step, an isolated crack detection step, and an iterative step of sequentially executing an integration step;
In the integrating step, when a predetermined ending condition is satisfied, an iterative ending step of ending the integrating step;
A crack determination step of determining the group of integrated cracks as a final crack;
For detecting cracks in the surface of concrete containing steel.
ひび割れ画素とひび割れでない背景画素がそれぞれ正規分布に従うものとして、これらの平均誤識別率を最小とする閾値を求める閾値生成ステップを含み、
閾値生成ステップが、
平均条件付きエントロピーを最小化するエントロピー最小化ステップと、
エントロピー最小化ステップにおいて得られたエントロピーの最小値に基づき、解析対象画像の輝度値分布を２クラスに分類した後、ひび割れ部と背景部の平均値と標準偏差をそれぞれ求める画素分類ステップと、
画素分類ステップによって得られたひび割れ部の平均値および標準偏差と、背景部の平均値および標準偏差値を用い、ひび割れの可能性が非常に高い画素を検出するための閾値を特定する閾値算定ステップと、
閾値算定ステップによってえられた閾値に基づき、連結要素を特定する連結要素特定ステップと、
を含む請求項１または２に記載のコンクリートの表面表面ひび割れの検出方法。 The crack detection step
Assuming that the cracked pixels and the non-cracked background pixels each follow a normal distribution, including a threshold generation step of finding a threshold that minimizes the average false identification rate,
The threshold generation step includes:
An entropy minimization step that minimizes the average conditional entropy;
After classifying the luminance value distribution of the image to be analyzed into two classes based on the minimum value of entropy obtained in the entropy minimizing step, a pixel classifying step of respectively obtaining an average value and a standard deviation of a crack portion and a background portion;
A threshold value calculating step of specifying a threshold value for detecting a pixel having a very high possibility of cracking using the average value and the standard deviation value of the cracked portion obtained by the pixel classification step and the average value and the standard deviation value of the background portion; When,
A connection element specifying step of specifying a connection element based on the threshold value obtained by the threshold value calculation step;
The method for detecting cracks on a surface of concrete according to claim 1 or 2, comprising:
連結要素特定ステップにおいて検出された画素に隣接する画素のうち、輝度値が、あらかじめ定められた値より小さいものを検出し、検出された画素を、連結要素特定ステップで特定された連結要素に統合する、請求項６に記載のコンクリートの表面ひび割れの検出方法。 The area expansion step
Among the pixels adjacent to the pixel detected in the connected element specifying step, a pixel having a luminance value smaller than a predetermined value is detected, and the detected pixels are integrated with the connected element specified in the connected element specifying step. The method for detecting surface cracks in concrete according to claim 6.
拡張されたひび割れ領域と同じ２次モーメントを有する、長軸ｌｌ、短軸ｌｓ、角度αの楕円を一体化領域として設定し、
下記式（５）の条件を満たす領域を孤立したひび割れの候補とし、
孤立したひび割れの候補のうち、下記式（６）の幾何学条件を満たすもののみを孤立したひび割れとして検出するものであって、下記式（５）のおいて輝度値がｔｒより小さいものという条件で領域拡張を実行し、その上で、下記式（６）の幾何学的条件をすべて満たすもののみ、孤立したひび割れとして検出する請求項１から７のいずれかに記載のコンクリートの表面ひび割れの検出方法。
An ellipse having a major axis 11, a minor axis ls and an angle α having the same second moment as the extended crack region is set as an integrated region,
An area that satisfies the condition of the following equation (5) is set as an isolated crack candidate,
Among the isolated crack candidates, only those that satisfy the geometrical condition of the following equation (6) are detected as isolated cracks, and the condition that the luminance value is smaller than tr in the following equation (5) 8. A concrete surface crack detection according to any one of claims 1 to 7, wherein only those that satisfy all the geometric conditions of the following equation (6) are detected as isolated cracks. Method.
9. The method for detecting surface cracks in concrete according to claim 8, wherein the termination condition of the repetition step is the following equation (7).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015200490A JP6654849B2 (en) | 2015-10-08 | 2015-10-08 | Method for detecting surface cracks in concrete |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015200490A JP6654849B2 (en) | 2015-10-08 | 2015-10-08 | Method for detecting surface cracks in concrete |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017072517A JP2017072517A (en) | 2017-04-13 |
| JP6654849B2 true JP6654849B2 (en) | 2020-02-26 |
Family
ID=58537485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015200490A Active JP6654849B2 (en) | 2015-10-08 | 2015-10-08 | Method for detecting surface cracks in concrete |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6654849B2 (en) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7113657B2 (en) * | 2017-05-22 | 2022-08-05 | キヤノン株式会社 | Information processing device, information processing method, and program |
| WO2018216629A1 (en) | 2017-05-22 | 2018-11-29 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP6994890B2 (en) * | 2017-09-29 | 2022-01-14 | 清水建設株式会社 | Crack detector, crack detection method, and computer program |
| CN109685759B (en) * | 2018-11-05 | 2022-05-10 | 北京中企卓创科技发展有限公司 | Concrete cracking acceleration equipment and test method thereof |
| JP7249828B2 (en) * | 2019-03-18 | 2023-03-31 | 株式会社安藤・間 | Crack extraction system and crack extraction method |
| JP7385192B2 (en) * | 2019-09-25 | 2023-11-22 | 株式会社イクシス | Image processing device, image processing method, and computer program |
| JP7499210B2 (en) | 2021-04-26 | 2024-06-13 | 大成建設株式会社 | Crack detection method, crack detection device, and program |
| CN113744219B (en) * | 2021-08-25 | 2024-04-05 | 绍兴文理学院 | Rock joint fracture overall complexity measurement analysis method based on improved fractal science |
| CN113899746B (en) * | 2021-09-30 | 2024-05-17 | 江苏纹动测控科技有限公司 | DIC-based steel structure fatigue crack growth morphology measurement method |
| CN113916894B (en) * | 2021-10-08 | 2024-05-03 | 福州大学 | Copper stamping part surface crack detection method based on quantum pigeon group peak-valley interval segmentation |
| CN114897903B (en) * | 2022-07-14 | 2022-09-09 | 江苏菲尔浦物联网有限公司 | Thermal-collecting tube fine grain identification method based on artificial intelligence |
| CN117314905B (en) * | 2023-11-28 | 2024-01-26 | 山东华汇住宅工业科技有限公司 | Intelligent detection method and system for prefabricated staircase based on image processing |
| CN117808796B (en) * | 2024-02-23 | 2024-05-28 | 陕西长空齿轮有限责任公司 | Gear surface damage detection method based on computer vision |
| CN117934452B (en) * | 2024-03-14 | 2024-06-07 | 中国建筑第五工程局有限公司 | Rapid autoclaved concrete slab material quality detection method based on artificial intelligence |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3635795B2 (en) * | 1996-07-31 | 2005-04-06 | 石川島播磨重工業株式会社 | Method and apparatus for detecting fine line defects |
| JP3494429B2 (en) * | 1998-06-18 | 2004-02-09 | 株式会社大林組 | Crack measurement method for structure surface |
| JP3598878B2 (en) * | 1999-05-26 | 2004-12-08 | 松下電工株式会社 | Defect inspection method and defect inspection device |
| EP2006804A1 (en) * | 2007-06-22 | 2008-12-24 | Siemens Aktiengesellschaft | Method for optical inspection of a matt surface and apparatus for applying this method |
| JP5351673B2 (en) * | 2009-09-09 | 2013-11-27 | パナソニック株式会社 | Appearance inspection device, appearance inspection method |
| JP5894012B2 (en) * | 2012-05-30 | 2016-03-23 | 公益財団法人鉄道総合技術研究所 | Method for detecting linear deformation on concrete surface |
-
2015
- 2015-10-08 JP JP2015200490A patent/JP6654849B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017072517A (en) | 2017-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6654849B2 (en) | Method for detecting surface cracks in concrete | |
| US10297021B2 (en) | Defect quantification method, defect quantification device, and defect evaluation value display device | |
| CN111179243A (en) | Small-size chip crack detection method and system based on computer vision | |
| CN110161035B (en) | Structural surface crack detection method based on image feature and Bayesian data fusion | |
| JP5086970B2 (en) | Wood appearance inspection device, wood appearance inspection method | |
| US20140119638A1 (en) | System, method and computer program product to evaluate a semiconductor wafer fabrication process | |
| US9430841B2 (en) | Defect inspection method | |
| JP5852919B2 (en) | Crack detection method | |
| Diaz et al. | Rust detection using image processing via Matlab | |
| JP2013167596A (en) | Defect inspection device, defect inspection method, and program | |
| CN115294159B (en) | Method for dividing corroded area of metal fastener | |
| KR20200025480A (en) | Boundary based structure crack detection apparatus and method | |
| JP5088165B2 (en) | Defect detection method and defect detection apparatus | |
| CN106530273B (en) | High-precision FPC (Flexible printed Circuit) linear line detection and defect positioning method | |
| JP2008267943A (en) | Crack detecting method | |
| Mir et al. | Machine learning-based evaluation of the damage caused by cracks on concrete structures | |
| JP6508939B2 (en) | Image processing method for crack area extraction of tunnel lining surface image | |
| KR102133330B1 (en) | Apparatus and method for recognizing crack in sturcutre | |
| CN110634124A (en) | Method and equipment for area detection | |
| JPH0718811B2 (en) | Defect inspection method | |
| CN113643245A (en) | Screen defect measuring method and device and computer readable storage medium | |
| JP6114559B2 (en) | Automatic unevenness detector for flat panel display | |
| JP7209278B2 (en) | Steel component identification device, steel component identification method, and steel component identification program | |
| JP5346304B2 (en) | Appearance inspection apparatus, appearance inspection system, and appearance inspection method | |
| Mustapha et al. | Crack Detection on Surfaces Using Digital Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20151029 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181012 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181017 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6654849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |