JP2020098108A - Surface defect inspection method - Google Patents
Surface defect inspection method Download PDFInfo
- Publication number
- JP2020098108A JP2020098108A JP2018235228A JP2018235228A JP2020098108A JP 2020098108 A JP2020098108 A JP 2020098108A JP 2018235228 A JP2018235228 A JP 2018235228A JP 2018235228 A JP2018235228 A JP 2018235228A JP 2020098108 A JP2020098108 A JP 2020098108A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image
- inspection target
- void
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 206
- 230000007547 defect Effects 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000002950 deficient Effects 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000007717 exclusion Effects 0.000 claims description 40
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 description 134
- 239000004567 concrete Substances 0.000 description 91
- 238000010586 diagram Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 5
- 238000004040 coloring Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000011178 precast concrete Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
本発明は、表面の不具合検査方法に関する。 The present invention relates to a surface defect inspection method.
検査対象とする検査対象表面を撮像した検査対象画像と、検査対象の不具合部を機械学習させた不具合部学習情報と、を用いて、検査対象表面の不具合を検査する表面の不具合検査方法は、既によく知られている（例えば、特許文献１参照）。 An inspection target image obtained by imaging an inspection target surface to be inspected, and defect learning information in which a defective part of the inspection target is machine-learned, using a surface defect inspection method for inspecting a defect of the inspection target surface, It is already well known (for example, see Patent Document 1).
従来の表面の不具合検査においては、検査対象の不具合部の画像と、該不具合部を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、表面の不具合検査が行われていた。そのため、従来の不具合部学習情報には、技術員間の評価値のばらつきが存在していた。 In a conventional surface defect inspection, an image of a defect portion to be inspected and an evaluation value evaluated by a plurality of technicians for the defect portion are used to perform machine learning using a plurality of combinations of defect portion learning information. A defect inspection was being conducted. Therefore, in the conventional defect learning information, there is a variation in evaluation values among engineers.
本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、表面の不具合検査を高精度化することにある。 The present invention has been made in view of such problems, and an object of the present invention is to improve accuracy of surface defect inspection.
上記目的を達成するための主たる発明は、製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査することを特徴とする表面の不具合検査方法である。 A main invention for achieving the above-mentioned object is a method for inspecting a surface of a product or a construction, and a sample image of a sample surface as a sample, and a sample defect portion of the sample surface based on a predetermined condition. Defect image learning information obtained by machine learning by associating a sample sound portion of the sample surface with a defect portion identification image identified on the sample image, and an inspection target image obtained by imaging the inspection target surface to be inspected Is used to inspect a defective portion to be inspected on the surface to be inspected, which is a method for inspecting a defective surface.
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。 Other features of the present invention will become apparent from the description of this specification and the accompanying drawings.
本発明によれば、表面の不具合検査を高精度化することが可能となる。 According to the present invention, it is possible to improve the accuracy of surface defect inspection.
本明細書及び添付図面により、少なくとも、以下の事項が明らかとなる。 At least the following matters will be made clear by the present specification and the accompanying drawings.
製造物又は施工物の表面の不具合検査方法であって、サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、前記検査対象表面の検査対象不具合部を検査することを特徴とする表面の不具合検査方法。 A method for inspecting a surface defect of a manufactured product or a construction, a sample image of a sample surface as a sample, and a sample sound part of the sample surface and the sample based on a predetermined condition of a sample defect part of the sample surface. The defective part identification image identified on the image, the defective part learning information that is machine-learned in association with each other, and the inspection target image obtained by imaging the inspection target surface to be inspected, using the inspection target surface A surface defect inspection method characterized by inspecting a defective portion to be inspected.
このような表面の不具合検査方法によれば、表面の不具合検査を高精度化することが可能となる。 According to such a surface defect inspection method, it is possible to improve the accuracy of the surface defect inspection.
かかる表面の不具合検査方法であって、前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることが望ましい。 In this surface defect inspection method, it is preferable that the defect learning information is information that is machine-learned using a convolutional neural network.
このような表面の不具合検査方法によれば、不具合部学習情報を高精度化することが可能となる。 According to such a surface defect inspection method, the defect learning information can be made highly accurate.
かかる表面の不具合検査方法であって、前記不具合部学習情報、及び、サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することが望ましい。 In the surface defect inspection method, the defect learning information and a sample image of a sample surface as a sample, and a sample exclusion unit included in the sample image and excluded from an inspection target are excluded conditions. Based on the exclusion part learning information obtained by machine learning by associating the sample non-exclusion part of the sample image with the exclusion part identification image identified on the sample image, the inspection including the inspection target exclusion part It is desirable to detect the inspection target defective part and the inspection target exclusion part from the target image.
このような表面の不具合検査方法によれば、表面の不具合検査をより一層高精度化することが可能となる。 According to such a surface defect inspection method, it is possible to further improve the accuracy of the surface defect inspection.
かかる表面の不具合検査方法であって、前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。 A method for inspecting a defect of such a surface, wherein the inspection target surface is divided into a plurality of images so that overlapping portions are formed in the adjacent inspection target images, and the plurality of inspection target images are acquired. Then, it is desirable to detect the inspection target defective portion from the acquired inspection target image based on the defective portion learning information.
このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。 According to such a surface defect inspection method, it is possible to suppress the detection error of the learning device.
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することが望ましい。 In such a surface defect inspection method, the predetermined condition includes a length condition of the sample defective portion, and in the length condition, when the length of the minimum sample defective portion is set to a predetermined length, It is desirable to set the overlapping width of the overlapping portion of the inspection target image to a value larger than the predetermined length and smaller than the width of the inspection target image.
このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。 According to such a surface defect inspection method, it is possible to overlap the overlapping portions within a range effective for detecting the defective portion.
かかる表面の不具合検査方法であって、前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の分割画像を生成し、生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することが望ましい。 In the surface defect inspection method, a plurality of divided images are generated so that the inspection target image is divided into a plurality of portions so that overlapping portions are formed in adjacent divided images, and from the generated divided images, It is desirable to detect the inspection target defective portion based on the defective portion learning information.
このような表面の不具合検査方法によれば、学習装置の検出ミスを抑制することが可能となる。 According to such a surface defect inspection method, it is possible to suppress the detection error of the learning device.
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル不具合部の長さ条件を含み、当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することが望ましい。 In such a surface defect inspection method, the predetermined condition includes a length condition of the sample defective portion, and in the length condition, when the length of the minimum sample defective portion is set to a predetermined length, It is preferable that the overlapping width of the overlapping portion of the divided image is set to a value larger than the predetermined length and smaller than the width of the divided image.
このような表面の不具合検査方法によれば、不具合部の検出に有効な範囲で重複部分を重複させることが可能となる。 According to such a surface defect inspection method, it is possible to overlap the overlapping portions within a range effective for detecting the defective portion.
かかる表面の不具合検査方法であって、前記所定条件は、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件であることが望ましい。 In the surface defect inspection method, the predetermined condition is a shape, a color, a brightness, a pattern, a size, a thickness, or a length including a contour or unevenness recognized as the sample defective portion in the actual sample surface. It is desirable that any one or more conditions are satisfied.
このような表面の不具合検査方法によれば、サンプル空隙か否かの判断ミスを抑制することが可能となる。 According to such a surface defect inspection method, it is possible to prevent erroneous determination as to whether or not the sample is a void.
かかる表面の不具合検査方法であって、前記検査対象表面の検査対象不具合部の検査として、前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することが望ましい。 In such a surface defect inspection method, as the inspection of the inspection target defective part of the inspection target surface, the longest diameter or area for each inspection target defective part of the inspection target defective part, or the inspection target defect on the inspection target surface It is desirable to calculate the area ratio of the parts.
このような表面の不具合検査方法によれば、不具合部の検査項目を数値化して検査することが可能となる。 According to such a surface defect inspection method, it is possible to digitize and inspect the inspection item of the defective portion.
＝＝＝本実施の形態に係る表面の不具合検査方法について＝＝＝
本実施の形態に係る表面の不具合検査方法は、プレキャストコンクリート等の製造物又は現場打ちコンクリート等の施工物の表面の不具合を検査する方法であって、機械学習済みの学習情報を記録したコンピュータ（以下、学習装置４０ともいう。図２参照）を用いて、検査対象表面の不具合を検査する方法である。
===Regarding the surface defect inspection method according to the present embodiment===
The surface defect inspection method according to the present embodiment is a method for inspecting a surface defect of a product such as precast concrete or a construction such as cast-in-place concrete, and a computer in which learning information of machine learning is recorded ( Hereinafter, it is also referred to as a learning device 40. This is a method for inspecting a defect on the surface to be inspected by using FIG.
以下では、表面の不具合検査方法の一例として、建築物等の免震装置を設置するためのベースプレート３のコンクリート打設時における不具合の検査であって、ベースプレート３が接するコンクリート表面１０（検査対象表面に相当）の空隙２０（検査対象不具合部に相当）の検査について説明する。 In the following, as an example of a surface defect inspection method, a concrete surface 10 (a surface to be inspected) which is in contact with the base plate 3 is an inspection of a defect at the time of placing concrete on the base plate 3 for installing a seismic isolation device such as a building. The inspection of the void 20 (corresponding to the above) (corresponding to the defective portion to be inspected) will be described.
＜＜＜ベースプレート３におけるコンクリート表面１０の表面検査について＞＞＞
ベースプレート３のコンクリート打設は、図１に示すように、ベースプレート３に設けられたホッパー５の上部からホッパー５内部へ生コンクリート１を流し込んで行われる。図１は、ベースプレート３のコンクリート打設時の側面断面図である。
<<<Surface inspection of the concrete surface 10 on the base plate 3>>>
The concrete pouring of the base plate 3 is performed by pouring the fresh concrete 1 into the hopper 5 from the upper part of the hopper 5 provided in the base plate 3, as shown in FIG. FIG. 1 is a side cross-sectional view of the base plate 3 when pouring concrete.
ホッパー５内部は、ベースプレート３の下側まで貫通しており、生コンクリート１は、ホッパー５内部を経由して、ベースプレート３の下側の空間へ至る。 The inside of the hopper 5 penetrates to the lower side of the base plate 3, and the ready-mixed concrete 1 reaches the space below the base plate 3 via the inside of the hopper 5.
該空間は、周囲が型枠で区切られており、生コンクリート１は、型枠の内側においてベースプレート３の下面に至るまで流し込まれる。つまり、該コンクリート打設は、ベースプレート３の下部空間を生コンクリート１で満たすようにして行われる。 The periphery of the space is divided by a mold, and the ready-mixed concrete 1 is poured inside the mold to the lower surface of the base plate 3. That is, the concrete pouring is performed so that the space below the base plate 3 is filled with the fresh concrete 1.
ベースプレート３は、建築物等に用いられる免震装置を正確な高さで設置するために設けられる鉄板である。そのため、ベースプレート３の下部に打設される生コンクリート１は、ベースプレート３と免震装置を介して建築物等の荷重を支持することとなる。すなわち、ベースプレート３の下部に打設される生コンクリート１は、硬化後に建築物等の構造体の一部となるので、建築物等を支持するための強度が求められる。 The base plate 3 is an iron plate provided to install a seismic isolation device used in a building or the like at an accurate height. Therefore, the ready-mixed concrete 1 placed under the base plate 3 supports the load of the building or the like through the base plate 3 and the seismic isolation device. That is, since the ready-mixed concrete 1 cast on the lower part of the base plate 3 becomes a part of a structure such as a building after hardening, strength for supporting the building is required.
したがって、該コンクリート打設時には、ベースプレート３の下面にしっかりと生コンクリート１が密着するように打設されるが、生コンクリート１から発生する気体等が生コンクリート１とベースプレート３の下面との間に残存することが知られている。 Therefore, when the concrete is poured, the fresh concrete 1 is firmly placed on the lower surface of the base plate 3 so that the gas or the like generated from the fresh concrete 1 is between the fresh concrete 1 and the lower surface of the base plate 3. It is known to survive.
そして、この残存した気体は、生コンクリート１が固まった後にコンクリート表面１０の空隙２０へと変化して残存し（図９の（ｃ）参照）、強度が必要とされる構造体としてのコンクリート表面１０においては、この空隙２０がコンクリート表面１０とベースプレート３の密着度（接している面積）を低下させ、建築物等の品質に悪影響を及ぼすことが知られている。 Then, the remaining gas is changed into the voids 20 in the concrete surface 10 after the ready-mixed concrete 1 is solidified and remains (see (c) in FIG. 9), and the concrete surface as a structure requiring strength. In No. 10, it is known that the void 20 reduces the degree of adhesion (area in contact) between the concrete surface 10 and the base plate 3 and adversely affects the quality of buildings and the like.
そのため、本実施の形態においては、この密着度を検査（合否判定）するために、コンクリート表面１０に形成された個々の空隙２０の面積を検査対象画像３０から計測し、コンクリート表面１０の空隙面積率を以下の式から算出する。 Therefore, in the present embodiment, the area of each void 20 formed in the concrete surface 10 is measured from the inspection target image 30 in order to inspect this adhesion (pass/fail judgment), and the void area of the concrete surface 10 is measured. The rate is calculated from the following formula.
コンクリート表面１０の空隙面積率＝空隙２０の面積の総和／コンクリート表面１０の面積
コンクリート表面１０の空隙面積率の数値が小さければ、コンクリート表面１０の単位面積辺りの空隙２０の面積が少ないので、密着度が良好となる。
Void area ratio of the concrete surface 10 = total area of the voids 20 / area of the concrete surface 10 If the numerical value of the void area ratio of the concrete surface 10 is small, the area of the voids 20 per unit area of the concrete surface 10 is small. The degree is good.
本実施の形態においては、コンクリート表面１０の空隙面積率の数値に閾値を設定して、コンクリート表面１０の空隙面積率の数値が閾値より大きいか小さいかで密着度（空隙２０の総面積ともいえる）を検査する。 In the present embodiment, a threshold is set for the numerical value of the void area ratio of the concrete surface 10, and the degree of adhesion (also called the total area of the voids 20 can be determined by whether the numerical value of the void area ratio of the concrete surface 10 is larger or smaller than the threshold value). ) Is inspected.
なお、検査対象画像３０とは、本番（実際の施工）ではベースプレート３を本番のコンクリート表面１０から取り外せないので、本番前に本番と略同一条件で生コンクリート１を打設してベースプレート３を取り外し、当該コンクリート表面１０を本番のコンクリート表面１０とみなして撮像することにより取得する画像のことである。 In addition, since the base plate 3 cannot be removed from the concrete surface 10 of the production in the actual production (actual construction) with the inspection target image 30, the fresh concrete 1 is placed before the production under substantially the same conditions as the production and the base plate 3 is removed. , The image acquired by imaging the concrete surface 10 as the actual concrete surface 10.
また、ベースプレート３のコンクリート打設時における密着度の検査は、生コンクリート１の材料、打設環境等が毎回同じではないので、原則として、個々の建築物等に対して毎回行われる。 In addition, since the material of the ready-mixed concrete 1, the placing environment and the like are not the same every time, the inspection of the degree of adhesion of the base plate 3 at the time of placing the concrete is performed in principle for each building or the like.
＜＜＜学習装置４０について＞＞＞
図２は、本実施の形態に係る学習装置４０を示した図である。学習装置４０には、検査対象画像３０から空隙２０を検出するために機械学習された空隙学習情報４２（不具合部学習情報に相当）と、検査対象画像３０から検査対象ではない除外部を検出するために機械学習された除外部学習情報４４と、が記憶されており、検査対象画像３０を入力する入力部（例えば、ＵＳＢ接続端子）と、検査結果を出力する出力部（例えば、ディスプレイ）と、が備えられている。
<<<About learning device 40>>>
FIG. 2 is a diagram showing the learning device 40 according to the present embodiment. The learning device 40 detects the void learning information 42 (corresponding to defective portion learning information) machine-learned to detect the void 20 from the inspection target image 30 and the excluded portion which is not the inspection target from the inspection target image 30. Exclusion section learning information 44 that has been machine-learned for that purpose is stored, and an input section (for example, a USB connection terminal) for inputting the inspection target image 30 and an output section (for example, a display) for outputting the inspection result. , Are provided.
つまり、学習装置４０は、入力部から入力された検査対象画像３０を空隙学習情報４２、除外部学習情報４４等を用いて処理し、コンクリート表面１０の空隙面積率を算出して上記した密着度を検査し、出力部に該検査結果を出力する装置である。 That is, the learning device 40 processes the inspection target image 30 input from the input unit using the void learning information 42, the exclusion portion learning information 44, and the like, calculates the void area ratio of the concrete surface 10, and determines the degree of adhesion described above. Is a device that inspects the inspection result and outputs the inspection result to the output unit.
＜空隙学習情報４２について＞
本実施の形態に係る空隙学習情報４２は、深層学習（ディープラーニング）の１種である畳み込みニューラルネットワークを利用して機械学習させた情報であって、検査対象画像３０における空隙２０の画素を空隙と識別（セマンティック・セグメンテーション）することにより、コンクリート表面１０の空隙２０を検出するための情報である。
<About void learning information 42>
The void learning information 42 according to the present embodiment is information that is machine-learned by using a convolutional neural network that is a type of deep learning (deep learning), and the pixels of the void 20 in the inspection target image 30 are void. Is information for detecting the voids 20 on the concrete surface 10 by identifying (semantic segmentation).
図３は、サンプル画像３０Ｓと不具合部識別化画像３２Ｓを示しており、左図がサンプル画像３０Ｓであり、右図が不具合部識別化画像３２Ｓである。 FIG. 3 shows a sample image 30S and a defective portion identifying image 32S. The left diagram is the sample image 30S and the right diagram is the defective portion identifying image 32S.
不具合部識別化画像３２Ｓとは、サンプル表面１０Ｓのサンプル空隙２０Ｓ（サンプル不具合部に相当）を所定条件に基づいてサンプル表面１０Ｓのサンプル健全部とサンプル画像３０Ｓ上で識別化した画像である。 The defective portion discriminating image 32S is an image in which the sample void 20S (corresponding to the sample defective portion) of the sample surface 10S is discriminated on the sample healthy portion of the sample surface 10S and the sample image 30S based on a predetermined condition.
そして、当該深層学習においては、図３に示す複数（本実施の形態においては４５０組程度）のサンプル画像３０Ｓ及び不具合部識別化画像３２Ｓを見本として用いて機械学習を行う。 Then, in the deep learning, machine learning is performed by using a plurality (about 450 sets in the present embodiment) of sample images 30S and defective portion identification images 32S shown in FIG. 3 as samples.
つまり、例題として、サンプル画像３０Ｓを問題（入力）とし、当該サンプル画像３０Ｓの不具合部識別化画像３２Ｓを答え（出力）とした教師ありの深層学習であって、複数の例題を解くことにより例題の正解率を上げていく深層学習が行われる。 That is, as an example, the deep learning is a supervised learning in which the sample image 30S is used as a problem (input), and the defective portion identification image 32S of the sample image 30S is used as an answer (output). Deep learning is performed to increase the correct answer rate of.
換言すれば、サンプル表面１０Ｓを撮像したサンプル画像３０Ｓと、サンプル画像３０Ｓ上におけるサンプル空隙２０Ｓを赤く着色（図では濃いグレーで表示）した不具合部識別化画像３２Ｓ（つまり、本実施の形態における識別化行為は着色である）と、を関連付けて深層学習が行われる（より具体的には、画像ソフトが不具合部識別化画像３２Ｓの色情報を画像処理にて読み取り、該色情報に基づいた分類インデックス（例えば、サンプル健全部を０、サンプル空隙２０Ｓを１とした数値）と、サンプル画像３０Ｓと、を関連付けて深層学習が行われる）。 In other words, the sample image 30S obtained by imaging the sample surface 10S and the defective portion identification image 32S in which the sample void 20S on the sample image 30S is colored red (displayed in dark gray in the figure) (that is, the identification in the present embodiment) The deep learning is performed by associating that the categorization act is coloring (more specifically, the image software reads the color information of the defective portion identification image 32S by image processing, and classifies based on the color information. Deep learning is performed by associating an index (for example, a numerical value where the sample sound portion is 0 and the sample void 20S is 1) with the sample image 30S).
そして、かかる深層学習によって、検査対象画像３０から空隙２０を検出するための情報である機械学習済みの空隙学習情報４２（所謂分類器）が生成される。 Then, by this deep learning, machine learning completed void learning information 42 (so-called classifier) that is information for detecting the void 20 from the inspection target image 30 is generated.
なお、上記した不具合部識別化画像３２Ｓを生成するための所定条件は、サンプル表面１０Ｓにおいてサンプル空隙２０Ｓと認められるサンプル表面１０Ｓの外観情報に基づいている。 The predetermined condition for generating the defective portion identification image 32S is based on the appearance information of the sample surface 10S recognized as the sample void 20S in the sample surface 10S.
すなわち、所定条件は、サンプル表面１０Ｓの実物においてサンプル空隙２０Ｓと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件である。 That is, the predetermined condition is any one or more of the shape, the color, the brightness, the pattern, the size, the thickness, and the length including the contour or the unevenness recognized as the sample void 20S in the actual sample surface 10S.
本実施の形態に係るサンプル空隙２０Ｓの所定条件は、空隙の輪郭と該空隙の長さ条件であり、空隙の輪郭の内側において最長となる直線の長さ（最長径に相当。以下、最長長さともいう。詳しくは後述する）が、５ｍｍ以上の空隙をサンプル空隙２０Ｓとし、５ｍｍ未満の空隙は、サンプル空隙２０Ｓに該当しないサンプル健全部（サンプル表面１０Ｓのサンプル空隙２０Ｓ以外の部分）とする。 The predetermined condition of the sample void 20S according to the present embodiment is the outline of the void and the length condition of the void, and the length of the longest straight line inside the outline of the void (corresponding to the longest diameter. Although described later in detail), a void of 5 mm or more is defined as the sample void 20S, and a void of less than 5 mm is defined as a sample sound portion (a portion other than the sample void 20S of the sample surface 10S) that does not correspond to the sample void 20S. ..
＜サンプル画像３０Ｓ及び不具合部識別化画像３２Ｓの作製について＞
以下では、図３に示す、サンプル画像３０Ｓ及び不具合部識別化画像３２Ｓの作製（以下、サンプル作製ともいう）について、図１、図４、及び図５を用いて説明する。
<Regarding Preparation of Sample Image 30S and Faulty Part Identification Image 32S>
Hereinafter, production of the sample image 30S and the defective portion identification image 32S (hereinafter, also referred to as sample production) shown in FIG. 3 will be described with reference to FIGS. 1, 4, and 5.
図４は、サンプル作製のフローチャートであり、図５は、最長長さを説明するための図である。 FIG. 4 is a flow chart of sample preparation, and FIG. 5 is a diagram for explaining the maximum length.
本実施の形態においては、実際の施工に類似したサンプルを用いてサンプル作製を行う。つまり、サンプルベースプレート３Ｓ及びサンプルホッパー５Ｓを用意して、図１のように組み立て、サンプルコンクリート１Ｓを用いて、サンプル画像３０Ｓの取得のためのサンプルコンクリート１Ｓの打設を行う（図４のＳ１）。 In the present embodiment, sample preparation is performed using a sample similar to actual construction. That is, the sample base plate 3S and the sample hopper 5S are prepared, assembled as shown in FIG. 1, and the sample concrete 1S is used to place the sample concrete 1S for obtaining the sample image 30S (S1 in FIG. 4). ..
次に、サンプルコンクリート１Ｓが硬化したら、サンプルホッパー５Ｓ及びサンプルベースプレート３Ｓを取り外して、サンプル表面１０Ｓが確認できる状態とする。そして、作業員が、墨出し器でサンプル墨出し線をサンプル表面１０Ｓに格子状に引いて、サンプル表面１０Ｓをサンプル墨出し線で区画分け（分割）する。 Next, when the sample concrete 1S is hardened, the sample hopper 5S and the sample base plate 3S are removed so that the sample surface 10S can be confirmed. Then, the worker draws a sample marking line on the sample surface 10S with a marking device in a grid pattern to divide (divide) the sample surface 10S by the sample marking line.
本実施の形態においては、格子状の１区画が縦×横＝２５０ｍｍ×２５０ｍｍとなるように区画分けしており、これは、後述するコンクリート表面１０における区画分けと同じサイズである（図４のＳ３）。 In the present embodiment, one grid-shaped section is divided so that vertical×horizontal=250 mm×250 mm, which is the same size as the sectioning on the concrete surface 10 described later (see FIG. 4). S3).
そうしたら、作業員は、サンプル表面１０Ｓのサンプル空隙２０Ｓを確認する。すなわち、作業員は、サンプル表面１０Ｓの空隙から最長長さが５ｍｍ以上の空隙を確認する。（図４のＳ５）。 Then, the worker confirms the sample void 20S on the sample surface 10S. That is, the worker confirms a void having a maximum length of 5 mm or more from the void on the sample surface 10S. (S5 in FIG. 4).
ここで、最長長さとは、図５に示す符号ｂ及び符号ｃの矢印の直線の長さのことであり、左図は楕円空隙の場合、右図は実際の空隙を模した形状の場合、についてそれぞれ示している。 Here, the longest length is the length of the straight line of the arrow of reference sign b and reference sign c shown in FIG. 5, where the left figure is for an elliptical void, the right figure is for a shape simulating an actual void, About each.
楕円空隙の最長長さは、楕円空隙の長軸となる符号ｂで示した矢印の直線の長さとなる。すなわち、符号ａで示した矢印の直線の長さは、符号ｂで示した長軸よりも短いので、最長長さには該当しない。そうすると、実際の空隙を模した空隙の最長長さは、符号ｃで示した矢印となる。 The maximum length of the elliptical void is the length of the straight line indicated by the symbol b, which is the major axis of the elliptical void. That is, since the length of the straight line indicated by the symbol a is shorter than the long axis indicated by the symbol b, it does not correspond to the longest length. Then, the longest length of the void imitating the actual void becomes an arrow indicated by the symbol c.
つまり、作業員は、図５に示すように空隙のどの部分が最長長さになるか判断して、サンプル表面１０Ｓ上の全ての空隙に対して最長長さを確認し、サンプル空隙２０Ｓに該当するか否かを確認する。 That is, the worker determines which portion of the void has the longest length as shown in FIG. 5, confirms the longest length for all voids on the sample surface 10S, and corresponds to the sample void 20S. Confirm whether to do.
より具体的には、空隙の最長長さが、サンプル表面１０Ｓ上で明らかに５ｍｍに達しない空隙、及び、明らかに５ｍｍを超えている空隙の最長長さの測定は省略し、５ｍｍ付近の最長長さを有する空隙の最長長さを測定して、サンプル空隙２０Ｓに該当するか否かを確認する（確認したサンプル空隙２０Ｓには目印等をつけてもよい）。 More specifically, the measurement of the maximum length of the void whose maximum length is clearly less than 5 mm on the sample surface 10S and the maximum length of which is clearly greater than 5 mm is omitted, and the maximum length around 5 mm is omitted. The maximum length of the void having a length is measured to confirm whether or not it corresponds to the sample void 20S (a mark or the like may be attached to the confirmed sample void 20S).
サンプル表面１０Ｓの空隙の確認が完了したら、作業員は、上記区画分けした区画毎に、サンプル表面１０Ｓの上方からサンプル表面１０Ｓの写真をデジタルカメラ等で撮像し、複数のサンプル画像３０Ｓを取得する（図４のＳ７）。 When the confirmation of the voids on the sample surface 10S is completed, the worker takes a photograph of the sample surface 10S from above the sample surface 10S with a digital camera or the like for each of the divided sections to acquire a plurality of sample images 30S. (S7 of FIG. 4).
すべての区画を撮像（サンプル表面１０Ｓの全体を撮像）したら、作業員は、画像の加工ができる画像ソフトをインストールしたコンピュータに、全てのサンプル画像３０Ｓのデータをコピーする。 After imaging all the sections (imaging the entire sample surface 10S), the worker copies the data of all the sample images 30S to a computer in which image software capable of processing the images is installed.
そうしたら、作業員は、該画像ソフトを用いて全てのサンプル画像３０Ｓの各々について、正対化処理として、台形補正（サンプル墨出し線が正方形になるように補正して、サンプル画像３０Ｓをサンプル表面１０Ｓの真上から撮像したものとする画像処理）→トリミング（サンプル墨出し線より外側の画像を削除して、サンプル画像３０Ｓの外枠をサンプル墨出し線と一致させる画像処理）を行う。 Then, the worker uses the image software to perform trapezoidal correction (correction so that the sample marking line becomes a square) as a directing process for each of all the sample images 30S to sample the sample images 30S. Image processing performed from directly above the front surface 10S)→trimming (image processing that deletes the image outside the sample marking line and matches the outer frame of the sample image 30S with the sample marking line) is performed.
そして、このような正対化処理を行うことにより、各々のサンプル画像３０Ｓの外枠の１辺が、サンプル表面１０Ｓにおける２５０ｍｍに対応するので、作業員は、全てのサンプル画像３０Ｓの１辺に同一の画素数を割り当てる。 Then, by performing such a face-to-face process, one side of the outer frame of each sample image 30S corresponds to 250 mm on the sample surface 10S, so that the worker attaches to one side of all the sample images 30S. Allocate the same number of pixels.
すなわち、作業員は、サンプル画像３０Ｓの外枠の１辺が２０００画素になるように調整して、サンプル表面１０Ｓ上の２５０ｍｍがサンプル画像３０Ｓ上において２０００画素になるように設定する（図４のＳ９）。 That is, the worker adjusts one side of the outer frame of the sample image 30S to 2000 pixels, and sets 250 mm on the sample surface 10S to 2000 pixels on the sample image 30S (see FIG. 4). S9).
そうしたら、上記の画素数設定により、５ｍｍ＝４０画素となるので、作業者は、５ｍｍ以上＝サンプル画像３０Ｓ上で４０画素以上、の最長長さを有する空隙＝サンプル空隙２０Ｓを、サンプル画像３０Ｓ上で再度確認する。 Then, since the number of pixels is set to 5 mm=40 pixels by the above-mentioned pixel number setting, the operator sets the sample void 30S to the void having the longest length of 5 mm or more=40 pixels or more on the sample image 30S. Check again above.
そして、作業員は、サンプル画像３０Ｓ上においてサンプル空隙２０Ｓに該当すると確認した空隙の全てを、画像ソフトを用いて赤く着色して識別化し、不具合部識別化画像３２Ｓを生成する（図４のＳ１１）。 Then, the worker identifies all the voids, which are confirmed to correspond to the sample void 20S on the sample image 30S, by coloring them with red using image software to generate a defective portion identifying image 32S (S11 in FIG. 4). ).
本実施の形態においては、このようにしてサンプル作製を行い、複数のサンプル画像３０Ｓ及びこれに対応する不具合部識別化画像３２Ｓを用いて上記した深層学習を行い、空隙学習情報４２を生成する。 In the present embodiment, the sample production is performed in this manner, and the deep learning described above is performed using the plurality of sample images 30S and the defective portion identification image 32S corresponding thereto, and the void learning information 42 is generated.
＜除外部学習情報４４について＞
前述したように、図２に示す除外部学習情報４４は、検査対象画像３０から検査対象ではない除外部を検出するために機械学習された情報である。ここで、「除外部」とは、コンクリート表面１０（サンプル表面１０Ｓ）と、該表面の空隙２０（サンプル空隙２０Ｓ）以外の部分のことであり、例えば、図３のサンプル画像３０Ｓにおいては、サンプルボルト１２Ｓとサンプル枠７Ｓが除外部に該当する。
<Exclusion section learning information 44>
As described above, the exclusion part learning information 44 shown in FIG. 2 is the information that has been machine-learned to detect the exclusion part that is not the inspection target from the inspection target image 30. Here, the “excluded portion” is a portion other than the concrete surface 10 (sample surface 10S) and the void 20 (sample void 20S) on the surface, and for example, in the sample image 30S of FIG. The bolt 12S and the sample frame 7S correspond to the exclusion portion.
以下では、図３のサンプル画像３０Ｓを用いて機械学習された除外部学習情報４４について説明する。すなわち、除外部学習情報４４として、サンプルボルト１２Ｓについて機械学習されたボルト学習情報４４ａと、サンプル枠７Ｓについて機械学習された枠学習情報４４ｂを図６、図７を用いて説明する。 Below, the exclusion part learning information 44 machine-learned using the sample image 30S of FIG. 3 is demonstrated. That is, as the exclusion portion learning information 44, bolt learning information 44a machine-learned for the sample bolt 12S and frame learning information 44b machine-learned for the sample frame 7S will be described with reference to FIGS. 6 and 7.
図６は、図３の右図である不具合部識別化画像３２Ｓに対応する図であって、左図は、サンプルボルト１２Ｓを青く着色（図においては右下がり斜線で表示）して識別化した除外部識別化画像３４Ｓであり、右図は、サンプル枠７Ｓを緑で着色（図においては右上がり斜線で表示）して識別化した除外部識別化画像３６Ｓである。図７は後述する。 FIG. 6 is a diagram corresponding to the defective portion identifying image 32S shown in the right diagram of FIG. 3, and the left diagram is identified by coloring the sample bolt 12S in blue (indicated by a diagonal line to the lower right in the figure). The exclusion part identification image 34S, and the right figure is the exclusion part identification image 36S in which the sample frame 7S is identified by being colored in green (indicated by a diagonal line rising to the right in the figure). FIG. 7 will be described later.
ボルト学習情報４４ａ（枠学習情報４４ｂ）は、上記した空隙学習情報４２と同様に、深層学習の１種である畳み込みニューラルネットワークで機械学習させた情報として生成される。 The bolt learning information 44a (frame learning information 44b) is generated as information that is machine-learned by a convolutional neural network, which is a kind of deep learning, similarly to the void learning information 42 described above.
つまり、例題として、サンプル画像３０Ｓを問題とし、除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を答えとした教師ありの深層学習が行われ、かかる深層学習によって、検査対象画像３０からボルト１２（枠７）を検出するための機械学習済みのボルト学習情報４４ａ（枠学習情報４４ｂ）が生成される。 That is, as an example, supervised deep learning is performed using the sample image 30S as a problem and the excluded portion discriminated image 34S (excluded portion discriminated image 36S) as an answer. Machine learning completed bolt learning information 44a (frame learning information 44b) for detecting 12 (frame 7) is generated.
換言すれば、サンプル表面１０Ｓを撮像したサンプル画像３０Ｓと、該サンプル画像３０Ｓに含まれ検査対象から除外されるサンプルボルト１２Ｓ（サンプル枠７Ｓ）を、除外部所定条件に基づいてサンプル画像３０Ｓのサンプル非除外部（コンクリート表面１０と該表面の空隙２０）とサンプル画像３０Ｓ上で識別化した除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）と、を関連付けて深層学習が行われる。 In other words, the sample image 30S obtained by imaging the sample surface 10S and the sample bolt 12S (sample frame 7S) included in the sample image 30S and excluded from the inspection target are sampled in the sample image 30S based on the exclusion part predetermined condition. Deep learning is performed by associating the non-excluded portion (concrete surface 10 and the void 20 of the surface) with the excluded portion identified image 34S (excluded portion identified image 36S) identified on the sample image 30S.
なお、上記した除外部所定条件としては、サンプル画像３０Ｓ上のサンプルボルト１２Ｓ（サンプル枠７Ｓ）の輪郭が該当する。 The contour of the sample bolt 12S (sample frame 7S) on the sample image 30S corresponds to the above-mentioned exclusion part predetermined condition.
図７は、図４に対応する図であって、サンプル画像３０Ｓ、及び除外部識別化画像３４Ｓ又は除外部識別化画像３６Ｓの作製フローチャートである。 FIG. 7 is a diagram corresponding to FIG. 4, and is a production flowchart of the sample image 30S and the exclusion portion identification image 34S or the exclusion portion identification image 36S.
図７と図４の相違点、すなわち、不具合部識別化画像３２Ｓの生成手順と、除外部識別化画像３４Ｓ又は除外部識別化画像３６Ｓの生成手順との相違点は、図４ではＳ９からＳ１１へ工程が進むのに対し、図７ではＳ９からＳ１３又はＳ１５へ工程が進む点である。すなわち、上記で説明した図４のＳ１からＳ９までの処理は、図７においても同じ処理である。 The difference between FIG. 7 and FIG. 4, that is, the difference between the procedure for generating the defective part identification image 32S and the procedure for generating the exclusion part identification image 34S or the exclusion part identification image 36S is S9 to S11 in FIG. 7 is the point where the process proceeds from S9 to S13 or S15 in FIG. That is, the processing from S1 to S9 in FIG. 4 described above is the same processing in FIG.
したがって、作業員は、上記で不具合部識別化画像３２Ｓの生成のために図４のＳ１からＳ９までの処理を終えたサンプル画像３０Ｓのサンプルボルト１２Ｓ（サンプル枠７Ｓ）部分を、画像ソフトで青く（緑で）着色して識別化した除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を生成する（図７のＳ１３、Ｓ１５）。 Therefore, the worker turns the sample bolt 12S (sample frame 7S) portion of the sample image 30S, which has been subjected to the processing from S1 to S9 in FIG. 4 to generate the defective portion identification image 32S, blue with image software. An excluded part identification image 34S (excluded part identification image 36S) colored and colored (green) is generated (S13 and S15 in FIG. 7).
そして、複数のサンプル画像３０Ｓ及びこれに対応する除外部識別化画像３４Ｓ（除外部識別化画像３６Ｓ）を用いた深層学習が行われ、ボルト学習情報４４ａ（枠学習情報４４ｂ）が生成される。 Then, deep learning is performed using the plurality of sample images 30S and the exclusion portion identification image 34S (excluding portion identification image 36S) corresponding thereto, and the bolt learning information 44a (frame learning information 44b) is generated.
＜＜＜コンクリート表面１０の空隙面積率の検査について＞＞＞
次に、コンクリート表面１０の空隙面積率（空隙２０）の検査について、図８乃至図１１を用いて説明する。図８は、コンクリート表面１０の検査フローチャートである。図９乃至図１１は後述する。
<<<Inspection of void area ratio on concrete surface 10>>>
Next, the inspection of the void area ratio (void 20) on the concrete surface 10 will be described with reference to FIGS. 8 to 11. FIG. 8 is an inspection flowchart of the concrete surface 10. 9 to 11 will be described later.
本実施の形態においては、コンクリート表面１０を撮像した検査対象画像３０を用いて、コンクリート表面１０の空隙２０を検査するため、前述したように、本番と略同一条件で生コンクリート１の打設を行い、生コンクリート１が固まった後にベースプレート３を取り外して、コンクリート表面１０を撮像できる状態とする（図８のＳ１）。 In the present embodiment, in order to inspect the voids 20 on the concrete surface 10 using the inspection target image 30 obtained by imaging the concrete surface 10, as described above, the placing of the ready-mixed concrete 1 under substantially the same conditions as the production. After the ready-mixed concrete 1 is solidified, the base plate 3 is removed so that the concrete surface 10 can be imaged (S1 in FIG. 8).
コンクリート表面１０が撮像できる状態となったら、作業員は、墨出し器で墨出し線１４をコンクリート表面１０に格子状に引いて（図９参照）、コンクリート表面１０を、格子状の１区画が縦×横＝２５０ｍｍ×２５０ｍｍとなるように区画分け（分割）する（図８のＳ３）。 When the concrete surface 10 can be imaged, the worker draws the marking lines 14 on the concrete surface 10 in a grid pattern with a marking tool (see FIG. 9), and the concrete surface 10 is divided into one grid section. Partitioning (division) is performed so that length×width=250 mm×250 mm (S3 in FIG. 8).
墨出し線１４による区画分けが完了したら、作業員は、コンクリート表面１０の上方からコンクリート表面１０を上記区画毎に撮像して複数の検査対象画像３０を取得する。つまり、本実施の形態においては、取得された複数の検査対象画像３０について空隙２０の検出を行う。また、作業員は、区画毎に複数の検査対象画像３０を撮像する際に、互いに隣り合う検査対象画像３０に重複部分が形成されるように撮像して検査対象画像３０を取得する。 After the division by the marking line 14 is completed, the worker images the concrete surface 10 from above the concrete surface 10 for each of the sections and acquires a plurality of inspection target images 30. That is, in the present embodiment, the void 20 is detected in the acquired plurality of inspection target images 30. In addition, when capturing a plurality of inspection target images 30 for each section, the worker acquires the inspection target images 30 by capturing the adjacent inspection target images 30 so that overlapping portions are formed.
図９は、検査対象画像３０の重複部分を説明するための図である。図９の（ａ）は、検査対象画像３０の撮像範囲Ｔ（一例として、小さな破線の正方形の範囲を、図中に縦横５×５＝２５箇所示す）が重複している様子を示した図であり、図９の（ｂ）は、互いに隣り合う撮像範囲Ｔの重複部分を拡大した図であり、図９の（ｃ）は、一例としての検査対象画像３０である。 FIG. 9 is a diagram for explaining an overlapping portion of the inspection target image 30. FIG. 9A is a diagram showing a state in which the imaging ranges T of the inspection target image 30 (as an example, the range of a small dashed square is shown in the drawing at 5×5=25 locations in the vertical and horizontal directions) are overlapped. 9B is an enlarged view of the overlapping portions of the imaging ranges T adjacent to each other, and FIG. 9C is an inspection target image 30 as an example.
図９の（ａ）に示すように、作業員は、区画分けした墨出し線１４より外側の範囲まで撮像範囲Ｔを大きくしてコンクリート表面１０を撮像する。そのため、隣り合う検査対象画像３０には、互いに重複部分が形成される。 As shown in FIG. 9A, the worker images the concrete surface 10 by enlarging the imaging range T to an area outside the divided marking line 14. Therefore, adjacent inspection target images 30 have overlapping portions.
本実施の形態においては、学習装置４０が空隙学習情報４２を用いて最長長さ＝５ｍｍ以上の空隙を空隙２０として検出するので、この重複部分を５ｍｍより大きく重複させる。 In the present embodiment, the learning device 40 detects the void having the maximum length=5 mm or more as the void 20 by using the void learning information 42, so that this overlapping portion is overlapped by more than 5 mm.
すなわち、作業員は、図９の（ｂ）の重複幅Ｔ１が５ｍｍより大きくなるような撮像範囲Ｔであり、かつ、隣り合う検査対象画像３０が完全に重複しないような撮像範囲Ｔでコンクリート表面１０を撮像する。 That is, the worker is the imaging range T in which the overlapping width T1 in FIG. 9B is larger than 5 mm, and the concrete surface is in the imaging range T in which adjacent inspection target images 30 do not completely overlap. Image 10
換言すれば、最小となるサンプル空隙２０Ｓの最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定した際には、検査対象画像３０の重複部分の重複幅Ｔ１を、当該所定長さ（本実施の形態においては、５ｍｍ）よりも大きく検査対象画像３０の幅Ｔ２よりも小さい値に設定し、該設定に基づいて、作業員は、コンクリート表面１０を撮像して検査対象画像３０を取得する（図８のＳ５）。 In other words, when the maximum length of the minimum sample void 20S is set to a predetermined length (5 mm in the present embodiment), the overlapping width T1 of the overlapping portion of the inspection target image 30 is set to the predetermined value. The value is set to be larger than the length (5 mm in the present embodiment) and smaller than the width T2 of the inspection target image 30, and based on the setting, the worker images the concrete surface 10 to inspect the image. 30 is acquired (S5 of FIG. 8).
このようにして、全ての区画を撮像（コンクリート表面１０の全体を撮像）したら、作業員は、学習装置４０の入力部から全ての検査対象画像３０を学習装置４０に読み込ませる。この読み込ませ方としては、例えば、学習装置４０の入力部とデジタルカメラ等をケーブルで接続して読み込ませる方法でもよいし、タブレットで撮像した検査対象画像３０を、タブレットの無線通信機能によってインターネット上の学習装置４０の入力部に読み込ませる方法（所謂クラウドサービス）でもよい。 In this way, after imaging all the sections (imaging the entire concrete surface 10), the worker causes the learning device 40 to read all the inspection target images 30 from the input unit of the learning device 40. As the method of reading, for example, a method of connecting the input unit of the learning device 40 to a digital camera or the like with a cable and reading the image may be used, or the inspection target image 30 captured by the tablet may be read on the Internet by the wireless communication function of the tablet. Alternatively, a method (so-called cloud service) of reading into the input unit of the learning device 40 may be used.
そうしたら、作業員は、学習装置４０に空隙２０の検査を開始させる。すなわち、学習装置４０は、読み込んだ検査対象画像３０から空隙２０を検出して検査する処理を実行する。なお、以下では、説明を解りやすくするために、検査対象画像３０の一例として、図９の（ｃ）に示す検査対象画像３０の模式図を用いて説明していく。 Then, the worker causes the learning device 40 to start the inspection of the void 20. That is, the learning device 40 executes the process of detecting and inspecting the void 20 from the read inspection target image 30. In addition, in order to make the description easy to understand, an example of the inspection target image 30 will be described below with reference to the schematic diagram of the inspection target image 30 illustrated in FIG. 9C.
検査が開始された学習装置４０は、検査対象画像３０に正対化処理を行って画素数を設定する。つまり、上記で説明したサンプル画像３０Ｓに対して作業員が行った正対化処理及び画素数設定と同様の処理、すなわち、学習装置４０は、台形補正→トリミング（又は墨出し線１４を認識して区画の認識）を行い、検査対象画像３０の外枠（又は墨出し線１４の区画）の１辺が２０００画素になるように調整して、コンクリート表面１０上の２５０ｍｍが検査対象画像３０上における２０００画素になるように設定する（図８のＳ７）。 The learning device 40 that has started the inspection sets the number of pixels by performing the face-to-face processing on the inspection target image 30. That is, the same processing as the facing processing and the pixel number setting performed by the worker on the sample image 30S described above, that is, the learning device 40 recognizes the trapezoidal correction→trimming (or the marking line 14). Section is recognized), and one side of the outer frame (or the section of the marking line 14) of the inspection target image 30 is adjusted to 2000 pixels, and 250 mm on the concrete surface 10 is on the inspection target image 30. Is set to 2000 pixels (S7 in FIG. 8).
次に、本実施の形態においては、検査対象画像３０の画素数が２０００×２０００＝４００万画素となり、学習装置４０の最大処理画素数を超えるので、学習装置４０は、１枚の検査対象画像３０を複数の分割画像３８に分割して、学習装置４０が処理する画像の画素数を学習装置４０の最大処理画素数より小さくする。 Next, in the present embodiment, the number of pixels of the inspection target image 30 is 2000×2000=4 million pixels, which exceeds the maximum number of processed pixels of the learning device 40. Therefore, the learning device 40 uses one inspection target image. 30 is divided into a plurality of divided images 38 so that the number of pixels of the image processed by the learning device 40 is smaller than the maximum number of processed pixels of the learning device 40.
つまり、学習装置４０は、検査対象画像３０を分割して学習装置４０が処理できる画素数の分割画像３８を生成し、複数の分割画像３８を処理することにより、１枚の検査対象画像３０を処理する。 That is, the learning device 40 divides the inspection target image 30 to generate the divided image 38 having the number of pixels that can be processed by the learning device 40, and processes the plurality of divided images 38 so that one inspection target image 30 is processed. To process.
そして、このように画像を分割して処理することにより、検査対象画像３０の画素数を学習装置４０の最大処理画素数より小さくしなくても、当該検査対象画像３０を学習装置４０が処理することができる。すなわち、画素数が多い検査対象画像３０（解像度が高く詳細な情報を有した検査対象画像３０）を用いて検査することができる。 By dividing and processing the image in this manner, the learning device 40 processes the inspection target image 30 without making the number of pixels of the inspection target image 30 smaller than the maximum number of processed pixels of the learning device 40. be able to. That is, the inspection target image 30 having a large number of pixels (the inspection target image 30 having high resolution and having detailed information) can be used for the inspection.
また、学習装置４０は、上記した検査対象画像３０を複数に分割する際に、互いに隣り合う分割画像３８に重複部分が形成されるように複数の分割画像３８を生成する。 Further, when the learning device 40 divides the inspection target image 30 into a plurality of parts, the learning device 40 generates the plurality of divided images 38 so that overlapping parts are formed in the adjacent divided images 38.
つまり、学習装置４０は、図１０に示すように、隣り合う分割画像３８が重複部分を形成するような分割範囲Ｕで検査対象画像３０を分割して、複数の分割画像３８を生成する。 That is, as illustrated in FIG. 10, the learning device 40 divides the inspection target image 30 in the division range U in which the adjacent divided images 38 form an overlapping portion, and generates the plurality of divided images 38.
図１０は、分割画像３８の生成を説明するための模式図である。図１０の（ａ）は、正対化処理後の検査対象画像３０に分割画像３８の分割範囲Ｕ（一例として、小さな破線の正方形の範囲を、図中に縦横５×５＝２５箇所示す）が重複している様子を示した模式図であり、図１０の（ｂ）は、互いに隣り合う分割範囲Ｕの重複部分を拡大した図であり、図１０の（ｃ）は、分割後の検査対象画像３０の模式図である。 FIG. 10 is a schematic diagram for explaining the generation of the divided image 38. FIG. 10A shows a division range U of the divided image 38 in the inspection target image 30 after the face-to-face processing (as an example, a range of a small dashed square is shown in the drawing at 5×5=25 vertical and horizontal positions). FIG. 10B is a schematic view showing a state in which the overlapping portions overlap, FIG. 10B is an enlarged view of the overlapping portion of the division ranges U adjacent to each other, and FIG. It is a schematic diagram of the target image 30.
分割画像３８の重複部分は、上記した撮像範囲Ｔの重複部分と同様に、５ｍｍより大きく重複させて形成される。すなわち、図１０の（ｂ）の重複幅Ｕ１が５ｍｍより大きくなるように分割範囲Ｕが設定される。 The overlapping portion of the divided image 38 is formed to overlap by more than 5 mm, like the overlapping portion of the imaging range T described above. That is, the division range U is set so that the overlapping width U1 in FIG. 10B is larger than 5 mm.
換言すれば、最小となるサンプル空隙２０Ｓの最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定した際には、分割画像３８の重複部分の重複幅Ｕ１を、当該所定長さ（本実施の形態においては、５ｍｍ）よりも大きく分割画像３８の幅Ｕ２よりも小さい値に設定し、該設定に基づいて、学習装置４０は、検査対象画像３０を分割して分割画像３８を生成する（図８のＳ９）。 In other words, when the maximum length of the minimum sample void 20S is set to the predetermined length (5 mm in the present embodiment), the overlapping width U1 of the overlapping portion of the divided image 38 is set to the predetermined length. (In the present embodiment, 5 mm) and smaller than the width U2 of the divided image 38, the learning device 40 divides the inspection target image 30 based on the setting, and the divided image 38 is divided. Is generated (S9 in FIG. 8).
次に、学習装置４０は、検出結果画像を生成する。図１１は、検出結果画像の生成を説明するための模式図である。図１１の（ａ）は、学習装置４０が空隙学習情報４２を用いて分割画像３８の空隙２０を検出した結果（図では空隙２０を白色で表示）を示す模式図であり、図１１の（ｂ）は、図１１の（ａ）の分割画像３８を結合して（分割した検査対象画像３０を分割前の検査対象画像３０の状態に戻して）空隙２０を赤く着色（図では横線で表示）した模式図であり、図１１の（ｃ）は、学習装置４０がボルト学習情報４４ａを用いてボルト１２を検出して青く着色（図では右下がり斜線で表示）した模式図であり、図１１の（ｄ）は、検出結果画像の模式図である。 Next, the learning device 40 generates a detection result image. FIG. 11 is a schematic diagram for explaining the generation of the detection result image. 11A is a schematic diagram showing a result of the learning device 40 detecting the void 20 in the divided image 38 using the void learning information 42 (the void 20 is displayed in white in the figure), and FIG. In (b), the voids 20 are colored red (indicated by horizontal lines in the figure) by combining the divided images 38 of (a) of FIG. 11 (returning the divided inspection target image 30 to the state of the inspection target image 30 before the division). 11C is a schematic diagram in which the learning device 40 detects the bolt 12 using the bolt learning information 44a and colors it blue (displayed with a diagonal line to the lower right in the figure). 11D is a schematic diagram of the detection result image.
分割画像３８が生成されたら、学習装置４０は、図１１の（ａ）に示すように、空隙学習情報４２を用いて生成された複数の分割画像３８の空隙２０を検出する。そして、図１１の（ｂ）に示すように、学習装置４０は、分割画像３８を結合し、全ての空隙２０を赤く着色して空隙検出画像を生成する（図８のＳ１１）。 When the divided images 38 are generated, the learning device 40 detects the voids 20 of the plurality of divided images 38 generated using the void learning information 42, as shown in (a) of FIG. 11. Then, as illustrated in FIG. 11B, the learning device 40 combines the divided images 38 and colors all the voids 20 in red to generate a void detection image (S11 in FIG. 8).
次に、学習装置４０は、除外部学習情報４４を用いて分割画像３８の除外部を検出し、除外部検出画像を生成する。すなわち、学習装置４０は、ボルト学習情報４４ａを用いてボルト１２を検出し、枠学習情報４４ｂを用いて枠７を検出し、それぞれの検出画像を生成する。そのため、当該検査対象画像３０（図９の（ｃ））からは、図１１の（ｃ）に示す、ボルト１２を青く着色したボルト検出画像が生成される（図８のＳ１３）。 Next, the learning device 40 detects the exclusion part of the divided image 38 using the exclusion part learning information 44, and generates an exclusion part detection image. That is, the learning device 40 detects the bolt 12 by using the bolt learning information 44a, detects the frame 7 by using the frame learning information 44b, and generates each detected image. Therefore, from the inspection target image 30 ((c) of FIG. 9), a bolt detection image shown in (c) of FIG. 11 in which the bolt 12 is colored blue is generated (S13 of FIG. 8).
つまり、学習装置４０は、図９の（ｃ）から（ボルト１２を含む検査対象画像３０から）、空隙学習情報４２と除外部学習情報４４とを用いて空隙２０及びボルト１２を検出し、空隙検出画像及びボルト検出画像を生成する。 That is, the learning device 40 detects the void 20 and the bolt 12 using the void learning information 42 and the exclusion portion learning information 44 from (c) of FIG. 9 (from the inspection target image 30 including the bolt 12), and the void is detected. A detection image and a bolt detection image are generated.
そうしたら、学習装置４０は、空隙検出画像からボルト検出画像のボルト１２の部分を除外して（図１１の（ｂ）の画像から図１１の（ｃ）のボルト１２の部分の画像をコンクリート表面１０ではない部分として取り除いて）、図１１の（ｄ）に示す検出結果画像を生成する。 Then, the learning device 40 excludes the portion of the bolt 12 of the bolt detection image from the air gap detection image (the image of the portion of the bolt 12 of FIG. 11C is changed from the image of FIG. 11B to the concrete surface). 11) is removed) to generate the detection result image shown in FIG.
そして、学習装置４０は、検査対象画像３０から生成された検出結果画像のコンクリート表面１０の面積と、該表面の空隙２０の面積を算出して（具体的にはそれぞれの画素数をカウントして）、当該検査対象画像３０におけるコンクリート表面１０の空隙面積率を上記した式から算出する（図８のＳ１５）。 Then, the learning device 40 calculates the area of the concrete surface 10 of the detection result image generated from the inspection target image 30 and the area of the voids 20 on the surface (specifically, counting the number of each pixel. ), the void area ratio of the concrete surface 10 in the inspection target image 30 is calculated from the above formula (S15 in FIG. 8).
以上で、当該検査対象画像３０に対するコンクリート表面１０の空隙面積率の算出が完了する。つまり、本実施の形態においては、複数の検査対象画像３０を取得しているので、コンクリート表面１０の空隙面積率を算出するためには、全ての検査対象画像３０に対して、図８のＳ７からＳ１５までの処理が必要となる。 This completes the calculation of the void area ratio of the concrete surface 10 with respect to the inspection target image 30. That is, in the present embodiment, since a plurality of inspection target images 30 are acquired, in order to calculate the void area ratio of the concrete surface 10, S7 of FIG. The processes from S15 to S15 are required.
すなわち、学習装置４０は、全ての検査対象画像３０に対して図８のＳ７からＳ１５までの処理を行い、これらの面積を総和することにより、コンクリート表面１０の空隙面積率を算出してコンクリート表面１０の空隙２０（密着度）を検査し、該検査結果を出力部に出力する（図８のＳ１７）。 That is, the learning device 40 performs the processing from S7 to S15 of FIG. 8 on all the inspection target images 30, and sums these areas to calculate the void area ratio of the concrete surface 10 to calculate the concrete surface. The voids 20 (adhesion) of 10 are inspected, and the inspection result is output to the output unit (S17 in FIG. 8).
＜＜＜本実施の形態に係る表面の不具合検査方法の有効性について＞＞＞
本実施の形態においては、ベースプレート３の下部に打設されたコンクリート表面１０の空隙検査方法であって、サンプル画像３０Ｓと、サンプル空隙２０Ｓを所定条件に基づいて識別化した不具合部識別化画像３２Ｓと、を関連付けて機械学習させた空隙学習情報４２と、コンクリート表面１０を撮像した検査対象画像３０と、を用いて、コンクリート表面１０の空隙２０を検査することとした。そのため、コンクリート表面１０の空隙検査（表面の不具合検査）を高精度化することが可能となる。
<<<Effectiveness of Surface Defect Inspection Method According to Present Embodiment>>>
In the present embodiment, the void inspection method for the concrete surface 10 placed under the base plate 3 is performed, and the defective portion identification image 32S is obtained by identifying the sample image 30S and the sample void 20S based on a predetermined condition. The voids 20 on the concrete surface 10 are inspected by using the void learning information 42 that is machine-learned in association with the above and the inspection target image 30 obtained by imaging the concrete surface 10. Therefore, it is possible to increase the accuracy of the void inspection (surface defect inspection) of the concrete surface 10.
従来のコンクリート表面の空隙検査においては、検査対象の空隙の画像と、該空隙を複数の技術員が評価した評価値と、の組み合わせを複数用いて機械学習させた不具合部学習情報により、コンクリート表面の空隙検査が行われていた。そのため、従来の空隙学習情報には、技術員間の評価値のばらつきが存在していた。 In the conventional void inspection of the concrete surface, the image of the void to be inspected, and the evaluation value evaluated by a plurality of technicians, the defective portion learning information machine-learned using multiple combinations of A void inspection was being conducted. Therefore, in the conventional void learning information, there is a variation in the evaluation value among engineers.
すなわち、従来の空隙学習情報は、１つの空隙の画像（問題）に対して、複数の評価値（答え）があり、いずれの答えが正解かあいまいな例題を用いて機械学習された情報であった。 That is, conventional void learning information is information that is machine-learned using an example in which there are multiple evaluation values (answers) for one void image (problem) and which answer is the correct answer. It was
これに対し、本実施の形態においては、サンプル画像３０Ｓと、サンプル画像３０Ｓに対応した不具合部識別化画像３２Ｓ（サンプル画像３０Ｓと不具合部識別化画像３２Ｓは所定条件に基づいた１対１の関係）を複数用意し、サンプル画像３０Ｓと不具合部識別化画像３２Ｓとを関連付けて機械学習させた空隙学習情報４２を用いて、学習装置４０がコンクリート表面１０の空隙２０を検査することとした。 On the other hand, in the present embodiment, the sample image 30S and the defective portion identifying image 32S corresponding to the sample image 30S (the sample image 30S and the defective portion identifying image 32S have a one-to-one relationship based on a predetermined condition). ) Are prepared, and the learning device 40 inspects the voids 20 on the concrete surface 10 by using the void learning information 42 that is machine-learned by associating the sample image 30S and the defective portion identification image 32S.
つまり、答えにばらつきが無い例題で機械学習させた学習情報、すなわち、本実施の形態に係る空隙学習情報４２を用いて、学習装置４０がコンクリート表面１０の空隙２０を検査するので、コンクリート表面１０の空隙検査（表面の不具合検査）を高精度化することが可能となる。 That is, the learning device 40 inspects the voids 20 on the concrete surface 10 by using the learning information machine-learned in the example in which the answers do not vary, that is, the void learning information 42 according to the present embodiment. It is possible to improve the accuracy of the void inspection (surface defect inspection).
また、本実施の形態においては、空隙学習情報４２は、畳み込みニューラルネットワークを利用して機械学習させた情報であることとした。 Further, in the present embodiment, the void learning information 42 is the information that is machine-learned by using the convolutional neural network.
畳み込みニューラルネットワークを利用した機械学習は、画像の中にある特定の領域を検出（分割識別）する場合において、良好な結果が得られることが知られている。したがって、畳み込みニューラルネットワークを利用することにより、空隙学習情報４２（不具合部学習情報）を高精度化することが可能となる。 It is known that machine learning using a convolutional neural network gives good results when detecting (dividing and identifying) a specific area in an image. Therefore, by using the convolutional neural network, it is possible to improve the accuracy of the gap learning information 42 (defective portion learning information).
また、本実施の形態においては、空隙学習情報４２と除外部学習情報４４に基づいて、検査対象除外部を含む検査対象画像３０から空隙２０及び除外部を検出することとした。 Further, in the present embodiment, the void 20 and the excluded portion are detected from the inspection target image 30 including the inspection target excluded portion based on the void learning information 42 and the excluded portion learning information 44.
すなわち、学習装置４０は、除外部学習情報４４を用いてコンクリート表面１０には含まれない除外部を検出し、コンクリート表面１０の面積から検出した除外部の面積を除去して上記したコンクリート表面１０の空隙面積率を算出するので、コンクリート表面１０の空隙検査（表面の不具合検査）をより一層高精度化することが可能となる。 That is, the learning device 40 detects the excluded portion that is not included in the concrete surface 10 using the excluded portion learning information 44, removes the area of the excluded portion that is detected from the area of the concrete surface 10, and removes the concrete surface 10 described above. Since the void area ratio is calculated, it becomes possible to further improve the accuracy of the void inspection (surface defect inspection) of the concrete surface 10.
また、本実施の形態においては、コンクリート表面１０を、互いに隣り合う検査対象画像３０に重複部分が形成されるように複数に分割して撮像することにより、複数の検査対象画像３０を取得し、取得された検査対象画像３０の空隙２０を検出することとした。 Further, in the present embodiment, the concrete surface 10 is divided into a plurality of images so that overlapping portions are formed in the inspection target images 30 adjacent to each other, and the plurality of inspection target images 30 are acquired, The void 20 of the acquired inspection target image 30 is detected.
仮に、このような重複部分が形成されないで検査対象画像３０が取得されると、例えば、隣り合う検査対象画像３０の縁が、最長長さ５ｍｍの空隙２０を２ｍｍと３ｍｍに分断してしまい、学習装置４０が空隙学習情報４２を用いて当該空隙２０を検出できなくなる（最長長さが５ｍｍ未満の２つの空隙に分断されたため検出できなくなる）ケースが考えられる。すなわち、かかる重複部分を形成することにより、学習装置４０の検出ミスを抑制することが可能となる。 If the inspection target image 30 is acquired without forming such an overlapping portion, for example, the edges of the adjacent inspection target images 30 divide the void 20 having the maximum length of 5 mm into 2 mm and 3 mm, A case is considered in which the learning device 40 cannot detect the void 20 using the void learning information 42 (cannot be detected because it is divided into two voids having a maximum length of less than 5 mm). That is, by forming such an overlapping portion, it is possible to suppress the detection error of the learning device 40.
また、本実施の形態においては、最小となる空隙２０の最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定し、検査対象画像３０の重複部分の重複幅Ｔ１を、当該所定長さ（本実施の形態においては、５ｍｍ）より大きく検査対象画像３０の幅Ｔ２よりも小さい値に設定することとした。 Further, in the present embodiment, the longest length of the minimum void 20 is set to a predetermined length (5 mm in the present embodiment), and the overlapping width T1 of the overlapping portion of the inspection target image 30 is The value is set to a value larger than a predetermined length (5 mm in the present embodiment) and smaller than the width T2 of the inspection target image 30.
つまり、重複幅Ｔ１を５ｍｍより大きくすることにより、最小となる空隙２０が互いに隣り合う検査対象画像３０の少なくともどちらか一方の検査対象画像３０に撮像されることととなり、幅Ｔ２未満とすることにより、同一のコンクリート表面１０（検査対象画像３０）が撮像（取得）されない。 That is, by setting the overlapping width T1 to be larger than 5 mm, the minimum void 20 is captured in at least one of the inspection target images 30 adjacent to each other, and is set to be less than the width T2. Therefore, the same concrete surface 10 (inspection target image 30) is not captured (acquired).
すなわち、空隙２０（不具合部）の検出に有効な範囲で検査対象画像３０の重複部分を重複させることが可能となる。 That is, it is possible to overlap the overlapping portions of the inspection target image 30 within a range effective for detecting the void 20 (defective portion).
また、本実施の形態においては、検査対象画像３０を複数に分割して互いに隣り合う分割画像３８に重複部分が形成されるように複数の分割画像３８を生成し、生成された分割画像３８の空隙２０を検出することとした。 In addition, in the present embodiment, the inspection target image 30 is divided into a plurality of parts, and a plurality of divided images 38 are generated so that overlapping parts are formed in the divided images 38 adjacent to each other. It was decided to detect the void 20.
分割画像３８に重複部分を形成する目的は、上記した検査対象画像３０を重複させる目的と同じであり、学習装置４０の検出ミスを抑制するためである。 The purpose of forming the overlapping portion in the divided image 38 is the same as the purpose of overlapping the inspection target image 30 described above, and is for suppressing the detection error of the learning device 40.
また、本実施の形態においては、最小となる空隙２０の最長長さを所定長さ（本実施の形態においては、５ｍｍ）に設定し、分割画像３８の重複部分の重複幅Ｕ１を、当該所定長さ（本実施の形態においては、５ｍｍ）より大きく分割画像３８の幅Ｕ２よりも小さい値に設定することとした。 Further, in the present embodiment, the longest length of the minimum void 20 is set to a predetermined length (5 mm in the present embodiment), and the overlapping width U1 of the overlapping portion of the divided images 38 is set to the predetermined value. The value is set to be larger than the length (5 mm in the present embodiment) and smaller than the width U2 of the divided image 38.
すなわち、重複幅Ｕ１を５ｍｍより大きく、幅Ｕ２未満とすることにより、空隙２０（不具合部）の検出に有効な範囲で検査対象画像３０の重複部分を重複させることが可能となる。 That is, by setting the overlapping width U1 to be greater than 5 mm and less than the width U2, it is possible to overlap the overlapping portions of the inspection target image 30 within a range effective for detecting the void 20 (defective portion).
また、本実施の形態においては、所定条件は、サンプル表面１０Ｓの実物においてサンプル空隙２０Ｓと認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件とした。 Further, in the present embodiment, the predetermined condition is any one of a shape, a color, a brightness, a pattern, a size, a thickness, and a length including a contour or unevenness recognized as the sample void 20S in the actual sample surface 10S. More than one condition.
すなわち、サンプル表面１０Ｓの実物の外観情報に基づいてサンプル空隙２０Ｓを確認するので、サンプル空隙２０Ｓか否かの判断ミスを抑制することが可能となる。 That is, since the sample void 20S is confirmed based on the actual appearance information of the sample surface 10S, it is possible to suppress a mistake in determining whether or not the sample void 20S is present.
＝＝＝その他の実施形態について＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更・改良され得ると共に、本発明には、その等価物が含まれることは言うまでもない。
=== Regarding Other Embodiments ===
The above-described embodiments are for facilitating the understanding of the present invention, and are not for limiting the interpretation of the present invention. It goes without saying that the present invention can be modified and improved without departing from the spirit thereof and that the present invention includes equivalents thereof.
また、上記実施の形態においては、コンクリート表面１０の空隙面積率を算出して密着度を検査したが、これに限るものではない。例えば、各々の空隙２０の最長長さ又は面積に閾値を設け、学習装置４０が、空隙２０の最長長さ又は空隙２０の面積を検査してもよい。 Further, in the above-described embodiment, the void area ratio of the concrete surface 10 is calculated and the adhesion is inspected, but the present invention is not limited to this. For example, a threshold may be set for the maximum length or area of each void 20, and the learning device 40 may inspect the maximum length of the void 20 or the area of the void 20.
つまり、学習装置４０は、空隙２０毎の最長長さ若しくは面積、又はコンクリート表面１０における空隙２０の空隙面積率を算出して、いずれを検査してもよい。すなわち、例えば、空隙２０毎の最長長さを検査したい場合は、学習装置４０を最長長さ検査モード（空隙２０毎の最長長さを算出して検査するモード）に設定し、コンクリート表面１０の空隙面積率を検査したい場合は、学習装置４０を空隙面積率検査モード（例えば、上記実施の形態）に設定する。 That is, the learning device 40 may inspect any by calculating the longest length or area of each void 20 or the void area ratio of the void 20 on the concrete surface 10. That is, for example, when it is desired to inspect the maximum length of each void 20, the learning device 40 is set to the maximum length inspection mode (mode in which the maximum length of each void 20 is calculated and inspected), and the concrete surface 10 When it is desired to inspect the void area ratio, the learning device 40 is set to the void area ratio inspection mode (for example, the above embodiment).
つまり、目的とする空隙２０の検査項目を選択して学習装置４０に設定することにより、上記した空隙２０のいずれの検査においても、学習装置４０は、空隙２０（不具合部）の検査項目を数値化して検査することが可能となる。 That is, by selecting the inspection item of the target void 20 and setting it in the learning device 40, in any of the above-described inspections of the void 20, the learning device 40 numerically sets the inspection item of the void 20 (defective portion). It becomes possible to inspect it.
また、上記実施の形態においては、サンプル画像３０Ｓ上において最長長さが５ｍｍ以上の空隙をサンプル空隙２０Ｓとし、該サンプル空隙２０Ｓを画像ソフトで赤く着色して識別化した不具合部識別化画像３２Ｓを生成したが、これに限るものではない。 Further, in the above-described embodiment, the void having the longest length of 5 mm or more on the sample image 30S is set as the sample void 20S, and the defective portion identifying image 32S obtained by identifying the sample void 20S by coloring it red with image software is displayed. Generated, but not limited to this.
例えば、サンプル画像３０Ｓ上の全ての（サイズによらない）空隙を画像ソフトで赤く着色して識別化した識別化画像を生成し、サンプル画像３０Ｓと、当該識別化画像と、を関連付けて機械学習させた学習情報、すなわち、全ての空隙を検出する空隙学習情報を生成する。そして、学習装置が、当該空隙学習情報を用いて検査対象画像３０の全ての空隙を検出してから、検出後の全ての空隙の最長長さを算出し、最長長さが５ｍｍ以上か否か（空隙２０に該当するか否か）を選別して、コンクリート表面１０の空隙面積率を算出してもよい。 For example, all the voids (not depending on the size) on the sample image 30S are colored in red with image software to generate an identified image, and the sample image 30S and the identified image are associated with each other to perform machine learning. Generated learning information, that is, void learning information for detecting all voids. Then, the learning device detects all the voids in the inspection target image 30 using the void learning information, calculates the longest lengths of all the voids after detection, and determines whether the longest length is 5 mm or more. The void area ratio of the concrete surface 10 may be calculated by selecting (whether it corresponds to the void 20).
また、上記実施の形態のおいては、除外部をボルト１２と枠７としたが、これに限るものではない。例えば、生コンクリート１の圧入口（ホッパー５の下側開口部）を除外部としてもよい。 Further, in the above-described embodiment, the exclusion portion is the bolt 12 and the frame 7, but the exclusion portion is not limited to this. For example, the pressurizing port of the ready-mixed concrete 1 (the lower opening of the hopper 5) may be used as the excluding part.
１ 生コンクリート
１Ｓ サンプルコンクリート
３ ベースプレート
３Ｓ サンプルベースプレート
５ ホッパー
５Ｓ サンプルホッパー
７ 枠
７Ｓ サンプル枠
１０ コンクリート表面（検査対象表面）
１０Ｓ サンプル表面
１２ ボルト
１２Ｓ サンプルボルト
１４ 墨出し線
２０ 空隙（検査対象不具合部）
２０Ｓ サンプル空隙（サンプル不具合部）
３０ 検査対象画像
３０Ｓ サンプル画像
３２Ｓ 不具合部識別化画像
３４Ｓ 除外部識別化画像
３６Ｓ 除外部識別化画像
３８ 分割画像
４０ 学習装置
４２ 空隙学習情報（不具合部学習情報）
４４ 除外部学習情報
４４ａ ボルト学習情報
４４ｂ 枠学習情報
Ｔ 撮像範囲
Ｕ 分割範囲
Ｔ１ 重複幅
Ｔ２ 幅
Ｕ１ 重複幅
Ｕ２ 幅
1 Fresh concrete 1S Sample concrete 3 Base plate 3S Sample base plate 5 Hopper 5S Sample hopper 7 Frame 7S Sample frame 10 Concrete surface (surface to be inspected)
10S Sample surface 12 Bolt 12S Sample bolt 14 Marking wire 20 Void (Defective part to be inspected)
20S sample void (sample failure part)
30 inspection target image 30S sample image 32S defective part identification image 34S exclusion part identification image 36S exclusion part identification image 38 divided image 40 learning device 42 void learning information (defective part learning information)
44 Exclusion Part Learning Information 44a Bolt Learning Information 44b Frame Learning Information T Imaging Range U Dividing Range T1 Overlap Width T2 Width U1 Overlap Width U2 Width
Claims (9)
サンプルとするサンプル表面を撮像したサンプル画像と、前記サンプル表面のサンプル不具合部を所定条件に基づいて前記サンプル表面のサンプル健全部と前記サンプル画像上で識別化した不具合部識別化画像と、を関連付けて機械学習させた不具合部学習情報と、
検査対象とする検査対象表面を撮像した検査対象画像と、を用いて、
前記検査対象表面の検査対象不具合部を検査することを特徴とする表面の不具合検査方法。 A method for inspecting defects on the surface of a product or a construction,
A sample image obtained by imaging a sample surface as a sample is associated with a sample defective portion of the sample surface based on a predetermined condition and a defective portion identified image obtained by identifying the sample sound portion of the sample surface on the sample image. And learning information of the defective part
Using the inspection target image obtained by imaging the inspection target surface to be inspected,
A surface defect inspection method comprising inspecting an inspection target defective portion of the inspection target surface.
前記不具合部学習情報は、畳み込みニューラルネットワークを利用して機械学習させた情報であることを特徴とする表面の不具合検査方法。 The surface defect inspection method according to claim 1,
The surface defect inspection method, wherein the defect learning information is information machine-learned by using a convolutional neural network.
前記不具合部学習情報、及び、
サンプルとするサンプル表面を撮像したサンプル画像と、該サンプル画像に含まれ検査対象から除外されるサンプル除外部を除外部所定条件に基づいて前記サンプル画像のサンプル非除外部と前記サンプル画像上で識別化した除外部識別化画像と、を関連付けて機械学習させた除外部学習情報に基づいて、
検査対象除外部を含む前記検査対象画像から前記検査対象不具合部及び前記検査対象除外部を検出することを特徴とする表面の不具合検査方法。 The surface defect inspection method according to claim 1 or 2,
The defect learning information, and
A sample image obtained by imaging a sample surface as a sample, and a sample exclusion part included in the sample image and excluded from the inspection target are excluded from the sample non-exclusion part of the sample image based on a predetermined condition. Based on the exclusion portion learning information that is machine-learned in association with
A defect inspection method for a surface, which comprises detecting the inspection target defective part and the inspection target excluded part from the inspection target image including the inspection target exclusion part.
前記検査対象表面を、互いに隣り合う前記検査対象画像に重複部分が形成されるように複数に分割して撮像することにより、複数の前記検査対象画像を取得し、
取得された前記検査対象画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。 The surface defect inspection method according to any one of claims 1 to 3,
The plurality of inspection target images are obtained by dividing the inspection target surface into a plurality of images so that overlapping portions are formed in the inspection target images adjacent to each other, and capturing the plurality of inspection target images.
A defect inspection method for a surface, comprising detecting the defect portion to be inspected from the acquired image to be inspected based on the learning information of the defect portion.
前記所定条件は、前記サンプル不具合部の長さ条件を含み、
当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記検査対象画像の前記重複部分の重複幅を、前記所定長さより大きく前記検査対象画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。 The surface defect inspection method according to claim 4,
The predetermined condition includes a length condition of the sample defective portion,
In the length condition, when the length of the minimum sample defective portion is set to a predetermined length, the overlapping width of the overlapping portion of the inspection target image is larger than the predetermined length and smaller than the width of the inspection target image. A surface defect inspection method characterized by setting to a value.
前記検査対象画像を複数に分割して互いに隣り合う分割画像に重複部分が形成されるように複数の前記分割画像を生成し、
生成された前記分割画像から、前記不具合部学習情報に基づいて前記検査対象不具合部を検出することを特徴とする表面の不具合検査方法。 The surface defect inspection method according to any one of claims 1 to 5,
The inspection target image is divided into a plurality of portions to generate a plurality of the divided images so that overlapping portions are formed in the divided images adjacent to each other,
A defect inspection method for a surface, comprising detecting the defect portion to be inspected from the generated divided image based on the defect learning information.
前記所定条件は、前記サンプル不具合部の長さ条件を含み、
当該長さ条件において、最小サンプル不具合部の長さを所定長さと設定した際には、前記分割画像の前記重複部分の重複幅を、前記所定長さより大きく前記分割画像の幅よりも小さい値に設定することを特徴とする表面の不具合検査方法。 The surface defect inspection method according to claim 6, wherein
The predetermined condition includes a length condition of the sample defective portion,
In the length condition, when the length of the minimum sample defective portion is set to a predetermined length, the overlapping width of the overlapping portion of the divided image is set to a value larger than the predetermined length and smaller than the width of the divided image. A surface defect inspection method characterized by setting.
前記所定条件は、前記サンプル表面の実物において前記サンプル不具合部と認められる輪郭又は凹凸を含む形状、色、輝度、模様、大きさ、太さ、長さのいずれか１つ以上の条件であることを特徴とする表面の不具合検査方法。 The surface defect inspection method according to any one of claims 1 to 7,
The predetermined condition is any one or more of a shape, a color, a brightness, a pattern, a size, a thickness, and a length including a contour or unevenness recognized as the sample defective portion in the actual sample surface. A surface defect inspection method characterized by.
前記検査対象表面の検査対象不具合部の検査として、
前記検査対象不具合部の検査対象不具合部毎の最長径若しくは面積、又は前記検査対象表面における前記検査対象不具合部の面積率を算出することを特徴とする表面の不具合検査方法。 A method for inspecting a surface defect according to any one of claims 1 to 8, wherein
As an inspection of the inspection target defective portion of the inspection target surface,
A surface defect inspection method, comprising: calculating a longest diameter or area of each inspection target defective part of the inspection target defective part, or an area ratio of the inspection target defective part on the inspection target surface.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018235228A JP7346816B2 (en) | 2018-12-17 | 2018-12-17 | Surface defect inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018235228A JP7346816B2 (en) | 2018-12-17 | 2018-12-17 | Surface defect inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020098108A true JP2020098108A (en) | 2020-06-25 |
| JP7346816B2 JP7346816B2 (en) | 2023-09-20 |
Family
ID=71106505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018235228A Active JP7346816B2 (en) | 2018-12-17 | 2018-12-17 | Surface defect inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7346816B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020160748A (en) * | 2019-03-26 | 2020-10-01 | 株式会社熊谷組 | Filling rate calculation system for concrete surface and filling rate calculation method |
| WO2022211064A1 (en) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | Information reading device |
| JP7453552B2 (en) | 2020-12-07 | 2024-03-21 | ダイトロン株式会社 | Defect evaluation method and program |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0694643A (en) * | 1992-09-17 | 1994-04-08 | Kawasaki Steel Corp | Detecting method of surface defect |
| JP2008281580A (en) * | 2008-06-26 | 2008-11-20 | Olympus Corp | Defect classification system |
| JP2012202858A (en) * | 2011-03-25 | 2012-10-22 | Railway Technical Research Institute | Closure crack detection method of concrete surface |
| WO2015133287A1 (en) * | 2014-03-07 | 2015-09-11 | 新日鐵住金株式会社 | Surface texture indexing device, surface texture indexing method, and program |
| JP2016065809A (en) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | Concrete structure inspection support device, inspection support method and program |
| JP2016142601A (en) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | Construction quality evaluation program, construction quality evaluation method, and construction quality evaluation device |
| JP2017054239A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Ｓｃｒｅｅｎホールディングス | Image classification device and image classification method |
| WO2018025356A1 (en) * | 2016-08-03 | 2018-02-08 | 三菱電機株式会社 | Drain pan and refrigeration cycle device |
| WO2018037689A1 (en) * | 2016-08-22 | 2018-03-01 | 富士フイルム株式会社 | Image processing device and image processing method |
| JP2018074757A (en) * | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
| JP2018190329A (en) * | 2017-05-11 | 2018-11-29 | オムロン株式会社 | Image processing apparatus, image processing program, and image processing system |
| JP2018195001A (en) * | 2017-05-16 | 2018-12-06 | 株式会社パスコ | Linear graphic extraction device, linear graphic extraction program, and neural network learning method |
| WO2019009214A1 (en) * | 2017-07-07 | 2019-01-10 | キヤノン株式会社 | Image processing device, image processing method and program for detecting deformation from image |
-
2018
- 2018-12-17 JP JP2018235228A patent/JP7346816B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0694643A (en) * | 1992-09-17 | 1994-04-08 | Kawasaki Steel Corp | Detecting method of surface defect |
| JP2008281580A (en) * | 2008-06-26 | 2008-11-20 | Olympus Corp | Defect classification system |
| JP2012202858A (en) * | 2011-03-25 | 2012-10-22 | Railway Technical Research Institute | Closure crack detection method of concrete surface |
| WO2015133287A1 (en) * | 2014-03-07 | 2015-09-11 | 新日鐵住金株式会社 | Surface texture indexing device, surface texture indexing method, and program |
| JP2016065809A (en) * | 2014-09-25 | 2016-04-28 | 前田建設工業株式会社 | Concrete structure inspection support device, inspection support method and program |
| JP2016142601A (en) * | 2015-01-30 | 2016-08-08 | 前田建設工業株式会社 | Construction quality evaluation program, construction quality evaluation method, and construction quality evaluation device |
| JP2017054239A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Ｓｃｒｅｅｎホールディングス | Image classification device and image classification method |
| WO2018025356A1 (en) * | 2016-08-03 | 2018-02-08 | 三菱電機株式会社 | Drain pan and refrigeration cycle device |
| WO2018037689A1 (en) * | 2016-08-22 | 2018-03-01 | 富士フイルム株式会社 | Image processing device and image processing method |
| JP2018074757A (en) * | 2016-10-28 | 2018-05-10 | 株式会社東芝 | Patrol inspection system, information processing apparatus, and patrol inspection control program |
| JP2018190329A (en) * | 2017-05-11 | 2018-11-29 | オムロン株式会社 | Image processing apparatus, image processing program, and image processing system |
| JP2018195001A (en) * | 2017-05-16 | 2018-12-06 | 株式会社パスコ | Linear graphic extraction device, linear graphic extraction program, and neural network learning method |
| WO2019009214A1 (en) * | 2017-07-07 | 2019-01-10 | キヤノン株式会社 | Image processing device, image processing method and program for detecting deformation from image |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020160748A (en) * | 2019-03-26 | 2020-10-01 | 株式会社熊谷組 | Filling rate calculation system for concrete surface and filling rate calculation method |
| JP7301569B2 (en) | 2019-03-26 | 2023-07-03 | 株式会社熊谷組 | Concrete Surface Filling Rate Calculation System and Filling Rate Calculation Method |
| JP7453552B2 (en) | 2020-12-07 | 2024-03-21 | ダイトロン株式会社 | Defect evaluation method and program |
| WO2022211064A1 (en) * | 2021-03-31 | 2022-10-06 | 株式会社デンソーウェーブ | Information reading device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7346816B2 (en) | 2023-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6936957B2 (en) | Inspection device, data generation device, data generation method and data generation program | |
| CN107615050B (en) | Detection device and detection method | |
| JP7346816B2 (en) | Surface defect inspection method | |
| CN105335963A (en) | Edge defect detection method and apparatus | |
| JP4675949B2 (en) | Method and apparatus for measuring crack width of structures and products using image processing technique | |
| JP5085860B2 (en) | Wood inspection method, apparatus and program | |
| CN103988069A (en) | Inspection area setting method for image inspecting device | |
| CN108445010B (en) | Automatic optical detection method and device | |
| WO2020110560A1 (en) | Inspection assistance device, inspection assistance method, and inspection assistance program for concrete structure | |
| CN104103069B (en) | Image processing apparatus, image processing method and recording medium | |
| JP2013250059A (en) | Deformation management method for concrete surface | |
| WO2021029625A1 (en) | Transmission image-based non-destructive inspecting method, method of providing non-destructive inspection function, and device therefor | |
| JP2016035424A (en) | Concrete evaluation device and concrete evaluation method | |
| KR101492505B1 (en) | Method for Evaluating the State Information of Rebar for the Reinforced Concrete using the Photo Image of Rebar Assembly | |
| JP2010133744A (en) | Defect detection method, and visual inspection device using the same | |
| CN113658345A (en) | Sample labeling method and device | |
| JP2014126445A (en) | Alignment device, defect inspection device, alignment method and control program | |
| JP4910412B2 (en) | Appearance inspection method | |
| CN115205288B (en) | Industrial defect detection method and device | |
| CN116071335A (en) | Wall surface acceptance method, device, equipment and storage medium | |
| JP2005252451A (en) | Image quality inspection method and image quality inspection apparatus | |
| KR101713001B1 (en) | Metal panel detecting appratus by processing image for method same | |
| CN110672631B (en) | Panel defect photographing method and panel defect photographing device | |
| TWI493177B (en) | Method of detecting defect on optical film with periodic structure and device thereof | |
| JP2011232302A (en) | Image inspection method and image inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7346816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |