WO2020116279A1 - 構造物の点検支援装置及び方法 - Google Patents

構造物の点検支援装置及び方法 Download PDF

Info

Publication number
WO2020116279A1
WO2020116279A1 PCT/JP2019/046364 JP2019046364W WO2020116279A1 WO 2020116279 A1 WO2020116279 A1 WO 2020116279A1 JP 2019046364 W JP2019046364 W JP 2019046364W WO 2020116279 A1 WO2020116279 A1 WO 2020116279A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
image
detector
inspection support
support device
Prior art date
Application number
PCT/JP2019/046364
Other languages
English (en)
French (fr)
Inventor
一磨 松本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2020116279A1 publication Critical patent/WO2020116279A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04G—SCAFFOLDING; FORMS; SHUTTERING; BUILDING IMPLEMENTS OR AIDS, OR THEIR USE; HANDLING BUILDING MATERIALS ON THE SITE; REPAIRING, BREAKING-UP OR OTHER WORK ON EXISTING BUILDINGS
    • E04G23/00—Working measures on existing buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to a structure inspection support device and method, and more particularly to a technique for detecting an event caused by damage to a structure and a damage causing the event.
  • Patent Document 1 as a structure inspection support device, an image of a structure to be inspected is acquired, the image is analyzed, and a damage state (presence or absence of a crack, a crack pattern, concrete) is automatically obtained.
  • a damage state Presence or absence of a crack, a crack pattern, concrete
  • Patent Document 1 describes a technique for automatically detecting damage or an event caused by the damage, but it is possible to automatically determine which damage causes the event caused by the damage. The detection technique is not described. When planning repairs, it is necessary to repair the damage causing the event earlier than other damages.
  • the present invention has been made in view of the above circumstances, and can automatically detect an event caused by damage and damage that causes the event, and reduce the burden of inspecting the structure.
  • An object is to provide an inspection support device and method.
  • the structure inspection support device is an image acquisition unit that acquires an image of a structure to be inspected, and a machine-learned detector, An image is used as an input image, and a detector that detects damage to the structure and an event caused by the damage and an output unit that outputs a detection result by the detector are provided.
  • an image of a structure to be inspected is input as an input image to a machine-learned detector, so that damage to the structure and an event caused by the damage are automatically performed. It is possible to detect and output the detection result. As a result, the burden on the user of inspecting the structure can be reduced.
  • the learning data set used for machine learning of the detector includes a learning image group for learning in which damage of the structure is captured and a learning image group. It is preferable to include information indicating a region of damage for each image and correct answer data indicating an event caused by the damage.
  • the structure inspection support device it is preferable to include a learning unit that causes the detector to perform machine learning using the learning data set.
  • the output unit estimates the size of the damage based on the detection result and the information of the input image and quantifies the size of the damage.
  • the detector outputs a damage image in which a region of damage to the structure is filled.
  • the detector outputs a damage image in a color corresponding to an event caused by the damage.
  • the output unit outputs a damage diagram in which a damage image is combined with a CAD drawing showing the structure.
  • the output unit outputs a composite image in which the damage image is combined with the input image.
  • the output unit outputs an event caused by the damage as text information based on the detection result.
  • a correction acceptance unit that accepts a correction of a detection result of a detector by an instruction input from a user, and an instruction input from a user accepted by the correction acceptance unit. It is preferable to further include a correction unit that corrects the detection result of the detector.
  • the detector further detect a degree of damage.
  • the detector further detect the degree of damage and output a damage image in a color corresponding to the degree of damage.
  • damage to the structure includes cracks, concrete peeling, concrete joints, or damage to joints, and the event caused by the damage is free lime, It is preferable to include a water leak, a water leak including rust juice, or a rebar exposure event.
  • an image acquisition unit acquires an image of a structure to be inspected, and a machine-learned detector uses the image as an input image.
  • the distance to a subject can be accurately measured without depending on the color of the subject.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a structure inspection support device according to the present invention.
  • FIG. 2 is a diagram showing an example of a learning data set stored in the database of FIG.
  • FIG. 3 is a functional block diagram showing the function of the learning device which is a main component of the structure inspection support device according to the present invention.
  • FIG. 4A shows an image (original image) obtained by photographing the structure to be inspected
  • FIG. 4B is a diagram showing damages (cracks) and the like included in the original image.
  • FIG. 5 is a diagram showing an example of a CAD drawing of an image and a structure displayed on the screen of the display unit shown in FIG.
  • FIG. 6 is a diagram showing an example of a screen displayed on the display unit shown in FIG.
  • FIG. 7 is a functional block diagram showing the functions of another learning device which is a main component of the structure inspection support device according to the present invention.
  • FIG. 8 is a flowchart showing an embodiment of the structure
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a structure inspection support device according to the present invention.
  • the structure inspection support device 10 shown in FIG. 1 a personal computer or a workstation can be used.
  • the structure inspection support device 10 of this example mainly includes an image acquisition unit 12, a database 14, a storage unit 16, an operation unit 18, a CPU (Central Processing Unit) 20, and a RAM (Random Access Memory) 22. , ROM (Read Only Memory) 24, and a display unit 26.
  • the image acquisition unit 12 is a part that acquires an image of a structure to be inspected.
  • the structures to be inspected include concrete structures such as bridges and tunnels.
  • a bridge will be described as an example of the structure.
  • Bridges are installed in the direction orthogonal to the main girders passed between abutments and piers, and the main girders provided in the longitudinal direction of the bridge. It is composed of various members including anti-tilt structure and horizontal structure that connect the main girders to each other to resist the load, and a floor slab for driving the vehicle etc. is placed above the main girders. There is.
  • the floor slab is generally made of reinforced concrete.
  • a bridge composed of various members including a main girder, a lateral girder, and a horizontal structure will be described as an example, but the present invention is also applied to a bridge having no main girder, horizontal girder, horizontal structure, or the like. it can.
  • a floor slab usually has a rectangular space defined by a main girder and a horizontal girder as its basic unit.
  • a main girder When inspecting floor slabs for damage (cracks, free lime, concrete peeling, etc.), It is carried out on a unit of scale.
  • the image acquired by the image acquisition unit 12 is an image (so-called RGB image) having R (red; red), G (green; green), and B (blue; blue) intensity values (luminance values) in pixel units. is there.
  • the database 14 is a storage unit that stores a learning data set.
  • FIG. 2 is a diagram showing an example of a learning data set stored in the database 14 of FIG.
  • the learning data set includes a plurality of learning images (teacher image groups) in which damage to a structure is captured, information indicating a damaged area for each image in the teacher image group, and events caused by the damage.
  • the correct answer data shown is included.
  • damage to structures includes cracks, concrete peeling, concrete joints, and joint damage.
  • the events caused by the damage include events such as free lime, water leak, water leak containing rust juice, and rebar exposure.
  • the first teacher image in the learning data set shown in FIG. 2 is an image of a structure in which a slight amount of free lime is generated as an event caused by damage, and the correct answer data is a light release. It is an image in which the damage (specific cracks in this example) that is the cause of the occurrence of lime is painted white.
  • the second teacher image in the learning data set shown in FIG. 2 is an image of a structure in which severe free lime is generated, and the correct answer data is damage that is the cause of the occurrence of severe free lime.
  • a specific concrete seam is an image in which a specific color (for example, purple, which is not clearly shown in FIG. 2) is filled.
  • the area filled with a specific color is the area of the damage that caused the event caused by the damage. Therefore, even if a plurality of cracks are shown in the image, a damage (for example, a crack) that is not related to an event (for example, free lime) caused by the damage is not filled with a specific color.
  • an image of correct answer data is created by filling the damage with a color corresponding to an event caused by the damage. Furthermore, even with the same damage, the damaged area is filled with a color corresponding to the degree of damage (mild, severe, etc.).
  • the criteria for determining the degree of damage include the criteria established by the government, local governments, companies, etc., in addition to the criteria established independently. For example, when it is used for inspection of bridges, the standards set forth in the Bridge Regular Inspection Guidelines specified by the Ministry of Land, Infrastructure, Transport and Tourism are given.
  • the storage unit 16 is a storage unit including a hard disk device, a flash memory, and the like, and includes data such as an operating system and a program related to inspection support of structures, data such as parameters, an image acquired by the image acquisition unit 12, and the present apparatus.
  • the detection result (inspection result) and the like detected by are stored.
  • the operation unit 18 uses a keyboard and a mouse that are wired or wirelessly connected to a computer, and receives various operation inputs when inspecting a structure based on an image.
  • the CPU 20 reads various programs stored in the storage unit 16 or the ROM 24 and executes various processes.
  • the RAM 22 is used as a work area of the CPU 20, and is also used as a storage unit that temporarily stores the read program and various data.
  • the display unit 26 uses various monitors such as a liquid crystal monitor that can be connected to a computer, and is used as a part of the user interface together with the operation unit 18.
  • the CPU 20 reads a program stored in the storage unit 16 or the ROM 24 in response to an instruction input from the operation unit 18, and executes the program, so as to be described later.
  • detectors that detect damages and events caused by damages by machine learning, or damages of structures from the images of the structure to be inspected by detectors that have been machine-learned To detect.
  • FIG. 3 is a functional block diagram showing the functions of the learning device, which is a main component of the structure inspection support device according to the present invention, and includes hardware such as the CPU 20, the storage unit 16, the RAM 22, and the ROM 24 shown in FIG. It is composed of wear.
  • the learning device 50 of the first embodiment mainly includes a detector 52, and a loss value calculation unit 54 and a parameter control unit 56 that function as a learning unit that causes the detector 52 to perform machine learning.
  • the detector 52 of this example uses a convolutional neural network (CNN: Convolution Neural Network), which is one of the deep learning models.
  • CNN Convolution Neural Network
  • the detector 52 has a plurality of layer structures and holds a plurality of weight parameters.
  • the detector 52 can change from the unlearned model to the learned model by updating the weight parameter from the initial value to the optimum value.
  • the initial value of the weight parameter of the detector 52 may be an arbitrary value, and for example, the weight parameter of a learned model of an image system that classifies images may be applied.
  • the detector 52 comprises an input layer 52A, an intermediate layer 52B having a plurality of sets of convolutional layers and pooling layers, and an output layer 52C, each layer having a plurality of "nodes” connected by "edges". It has a structure.
  • the teacher image to be learned is input as the input image 34 to the input layer 52A.
  • the middle layer 52B has a convolutional layer, a pooling layer, etc., and is a part that extracts features from the image input from the input layer 52A.
  • the convolutional layer filters the nearby nodes in the previous layer (performs a convolution operation using the filter) to obtain a "feature map".
  • the pooling layer reduces the feature map output from the convolutional layer to a new feature map.
  • the “convolutional layer” plays a role of feature extraction such as edge extraction from an image, and the “pooling layer” plays a role of imparting robustness so that the extracted features are not affected by translation or the like.
  • the intermediate layer 52B is not limited to the case where the convolutional layers and the pooling layers are alternately arranged, but includes the case where the convolutional layers are continuous and the normalization layer.
  • the final convolutional layer conv is a feature map (image) of the same size as the input image 34, and is a part that outputs a feature map indicating damage to the structure and an event caused by the damage.
  • the output layer 52C is a part for outputting the detection result of the detector 52 (damage image in this example).
  • the loss value calculation unit 54 acquires the detection result (damaged image) output from the output layer 52C of the detector 52 and the correct answer data (correct answer image) 35 corresponding to the input image 34, which is a teacher image. Calculate the loss value of.
  • a Jacquard coefficient or a dice coefficient may be used as a method of calculating the loss value.
  • the parameter control unit 56 minimizes the distance in the feature amount space between the correct answer data and the output of the detector 52 by the error back propagation method based on the loss value calculated by the loss value calculation unit 54, or similar.
  • the detector 52 weighting parameters are adjusted to maximize power.
  • the parameter adjustment process is repeated, and the learning is repeated until the loss value calculated by the loss value calculation unit 54 converges.
  • the learned detector 52 uses the image obtained by capturing the structure of the inspection target acquired by the image acquisition unit 12 as the input image 34, and damages to the structure from the input image 34 and the event caused by the damage. Is detected and the detection result is output to the output unit 60.
  • the learned detector 52 can detect the degree of damage even if the damage is the same.
  • the learned detector 52 is a damage (crack) included in the original image, and a crack caused by an event (free lime) caused by the damage. Then, an event (free lime) caused by the damage is detected, and as shown in FIG. 4B, the crack region is output as a damaged image 36 filled with a color indicating the free lime. Further, the learned detector 52 can detect the degree of damage, and even if the damage is the same, it is possible to output a damaged image in a color corresponding to the detected degree of damage.
  • the output unit 60 can output a composite image (FIG. 4(B)) in which the original image (input image) shown in FIG. 4(A) is combined with the damaged image 36 output from the detector 52.
  • FIG. 5 is a diagram showing an example of a CAD (computer-aided design) drawing of an image and a structure displayed on the screen of the display unit 26 shown in FIG.
  • CAD computer-aided design
  • an image 100 is a composite image in which a damaged image is composited with the original image as in FIG. 4B, and particularly, an image of a bridge floor slab is shown.
  • the image 100 includes images 102 and 104 showing a part of the main girders, images 112 and 114 showing a part of the horizontal girders, and a part of the floor slab (a space defined by the main girders and the horizontal girders). ) Image (gap image) 120).
  • the rectangular frame indicating the space of the image 100 corresponds to the rectangular outline of the space image, and the plane showing the floor slab of the image 100 and the planes and the horizontal planes of the main girders of the images 102 and 104 showing the main girders.
  • the contours are defined by lines of intersection (four lines of intersection) with the plane of the horizontal girders of the images 112 and 114 showing the digits.
  • the CAD drawing 200 of the floor slab shown by the dotted line is a drawing corresponding to three main girders and five transverse girders in this example.
  • Mg01 to Mg03 are member numbers of main girders (Mg: Main girder), and Cr01 to Cr05 are member numbers of transverse girders (Cr: Cross beam). If the entire floor plan of the bridge cannot be displayed properly on one screen (when the total length of the bridge is long), a part of the CAD plan of the floor plan is displayed and the CAD plan of the floor plan is displayed. It is preferable to be able to scroll.
  • the output unit 60 can allocate the floor plan image 100 (particularly, the gap image) to the floor plan CAD drawing 200.
  • the gap image is converted (for example, projective transformation) so that the four corners of the CAD drawing 200 and the four corners of the gap image match, and A gap image can be combined with the plate CAD drawing 200.
  • the output unit 60 can combine only the damaged image 36 in the converted space image with the CAD drawing 200 of the floor slab and output it as a damaged diagram.
  • the output unit 60 can estimate the size of the damaged area (damage) by using the size information of the CAD drawing 200 by synthesizing the damage image 36 on the CAD drawing 200, and the size of the damage can be calculated. It can be quantified and output. For example, when the damage is a crack, the length, width, area, interval, number, direction, depth, etc. of the crack can be quantified. Moreover, it is preferable to add the quantified information to the damage map.
  • the user uses the operation unit 18 and the display unit 26 and the like, and the vertical and horizontal dimensions of the image 100 of the floor slab and the members shown in the image 100.
  • the size of the damaged area may be estimated using the size information input by the user.
  • FIG. 6 is a diagram showing an example of a screen 70 displayed on the display unit 26.
  • an image output from the output unit 60 which is a composite image obtained by synthesizing an original image with a damaged image output from the detector 52, and a “damage for deleting the detected damage” are displayed.
  • Various icons such as a "delete” icon 72 and an “add” icon 74 for adding damage are displayed.
  • the user interface such as the operation unit 18 such as a mouse and the display unit 26 functions as a correction receiving unit that receives the correction of the detection result of the detector 52 by inputting an instruction from the user.
  • the user While looking at the screen shown in FIG. 6, the user selects the “add” icon 74 to add damage to the damage detected by the detector 52, and moves and moves the “add” icon 74 using the mouse. By clicking, the additional damage (cracks in this example) is traced.
  • the correction unit (CPU 20 or the like) that corrects the detection result of the detector 52 can add the trace line of the crack indicated by the “add” icon 74 and paint the added trace line.
  • the correction unit can erase the erroneously detected damage. ..
  • the input image thus corrected and the correction result can be added to the database 14 as a teacher image and correct answer data.
  • FIG. 7 is a functional block diagram showing the functions of another learning device which is a main component of the structure inspection support device according to the present invention.
  • parts common to those of the learning device of the first embodiment shown in FIG. 3 are designated by the same reference numerals, and detailed description thereof will be omitted.
  • the detector 52-2 and correct answer data 38 are mainly different from the detector 52 and correct answer data 35 shown in FIG.
  • the fully coupled layer fc is provided in parallel with the final convolutional layer conv of the intermediate layer 52B.
  • the fully connected layer fc is a part that outputs a value (feature variable) converted by the activation function by weighted connection with all nodes in the previous layer, and in this example, corresponds to an event caused by damage. Output the feature variables that
  • the output layer 52C which functions as an inference unit, outputs a damaged image, converts it into probability using a softmax function based on the output (feature variable) from the fully connected layer fc, and then outputs each region (in this example, Events are classified by maximizing the probability of being correctly classified into each event (maximum likelihood estimation method).
  • the final fully-connected layer may be referred to as an output layer.
  • the correct answer data 38 is composed of a damaged image corresponding to the teacher image and an event caused by the damage included in the damaged image.
  • the loss value calculation unit 54 and the parameter control unit 56 which function as a learning unit that causes the detector 52-2 to perform machine learning, have loss values between the event classification result output from the output layer 52c and the event included in the correct answer data 38. Based on the above, the connection weight of the fully connected layer fc is set to the optimum value.
  • the output unit 60 outputs the damage image based on the detection result of the detector 52-2 and the information (for example, text information) indicating the event (the event with the highest probability) caused by the damage. You can
  • the learning device 50 and the output unit 60 of the second embodiment it is possible to output the event or the degree of damage caused by damage as text information instead of color coding of the damage image.
  • the color (RGB value) of the color-damaged damaged image output from the detector 52 of the learning device 50 of the first embodiment is read, and the text information corresponding to the read RGB value is output. Good.
  • the detectors 52 and 52-2 are not limited to CNNs, but may be machine learning models other than CNNs such as DBN (Deep Belief Network) and SVM (Support Vector Machine).
  • the detector 52 of the first embodiment and the detector 52-2 of the second embodiment include a learning unit (loss value calculation unit 54 and parameter control unit 56) that performs machine learning using the learning data set.
  • the learned detector may be configured by acquiring each parameter of the detector machine-learned by another learning device and setting the acquired parameter in the detector. In this case, the database 14 that stores the learning data set is also unnecessary.
  • FIG. 8 is a flowchart showing an embodiment of the structure inspection support method according to the present invention.
  • the image acquisition unit 12 acquires an image of the structure to be inspected (step S10).
  • the machine-learned detector 52 uses the image acquired by the image acquisition unit 12 as an input image and detects damage to the structure and an event caused by the damage (detection step S12).
  • the output unit 60 outputs the detection result of the detection step S12 to the display unit 26 and the like (step S14).
  • the user determines whether or not the detection result needs to be corrected while looking at the screen showing the detection result (FIG. 6) displayed on the display unit 26 (step S16).
  • a correction instruction input is received from the user through a user interface such as a mouse that functions as a correction receiving unit, and the detection result is corrected (step S18). If it is not necessary to correct the detection result, this processing is ended as it is.
  • the structure inspection support device 10 When the structure inspection support device 10 acquires a plurality of images obtained by dividing the whole into a plurality of regions, the structure inspection support device 10 combines the image groups to generate one image (a so-called panorama synthesis function). May be further provided.
  • a moving image can be regarded as a time-series still image group. In this case, processing is performed in frame units.
  • a single still image (still image of the structure to be inspected) is generated from a moving image of the structure to be inspected, and damage and the event caused by the damage are detected in the generated still image. You may do so.
  • the composite image is generated and output. You may do so.
  • the hardware that realizes the structure inspection support device of the present invention can be configured by various processors.
  • the various processors are processors whose circuit configurations can be changed after manufacturing a general-purpose processor (CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc.) that executes programs to function as various processing units.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit), is included.
  • One processing unit configuring the inspection support device may be configured by one of the various processors described above, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of CPU and FPGA.
  • the plurality of processing units may be configured by one processor.
  • a processor As an example of configuring a plurality of processing units by one processor, firstly, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units. Secondly, as represented by a system on chip (SoC), etc., there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units by one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the various processors as a hardware structure. Furthermore, the hardware structure of these various processors is, more specifically, an electrical circuit in which circuit elements such as semiconductor elements are combined.
  • an image of a structure to be inspected is uploaded from a client terminal to a server or a cloud side like a client/server system, and an event caused by damage or damage to the structure on the server or the cloud side. Is detected and the detection result is received by the client terminal.

Landscapes

  • Architecture (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)

Abstract

損傷が原因で起こる事象とその事象の原因となる損傷を自動で検出し、構造物の点検の負担を低減することができる構造物の点検支援装置及び方法を提供する。点検対象の構造物を撮影した画像を取得する画像取得部と、機械学習済みの検出器（５２）であって、画像取得部が取得した画像を入力画像（３４）とし、構造物の損傷及び損傷が原因で起こる事象を検出する検出器（５２）と、検出器（５２）による検出結果を出力する出力部（６０）と、を備える。

Description

構造物の点検支援装置及び方法
　本発明は構造物の点検支援装置及び方法に係り、特に構造物の損傷が原因で起こる事象とその事象の原因となる損傷を検出する技術に関する。
　橋梁などの構造物の点検では、構造物の損傷が原因で起こる事象（例えば、漏水、遊離石灰等）の有無を確認する作業が行われる。この作業は、点検者が、構造物に近接して目視で行われる。しかし、目視による点検作業は、多大な労力を要する。
　特許文献１には、構造物の点検支援装置として、点検対象の構造物が撮影された画像を取得し、その画像を解析して、自動で損傷の状態（ひび割れの有無、ひび割れのパターン、コンクリートの剥離の有無、鉄筋の露出の有無、漏水の有無、遊離石灰の有無、コンクリートの浮きの有無、コンクリートの変色の有無）を検出し、損傷の程度を評価する技術が記載されている。
特開2016-65809号公報
　ところで、損傷が発生した構造物の補修を計画する場合には、損傷の有無、及びその程度を把握するだけでは足らず、損傷が原因で起こる事象（漏水、遊離石灰等）の発生原因となっている損傷（ひび割れ、打ち継ぎ目、目地等）を特定することも必要とされる。
　特許文献１には、損傷や損傷が原因で起こる事象を自動的に検出する技術が記載されているが、損傷が原因で起こる事象が、どの損傷が原因となって起きているかを自動的に検出する技術は記載されていない。尚、補修を計画する際に、事象の発生原因となっている損傷は、他の損傷よりも早期に補修する必要がある。
　本発明はこのような事情に鑑みてなされたもので、損傷が原因で起こる事象とその事象の原因となる損傷を自動で検出し、構造物の点検の負担を低減することができる構造物の点検支援装置及び方法を提供することを目的とする。
　上記目的を達成するために本発明の一の態様に係る構造物の点検支援装置は、点検対象の構造物を撮影した画像を取得する画像取得部と、機械学習済みの検出器であって、画像を入力画像とし、構造物の損傷及び損傷が原因で起こる事象を検出する検出器と、検出器による検出結果を出力する出力部と、を備える。
　本発明の一の態様によれば、点検対象の構造物を撮影した画像を入力画像として、機械学習済みの検出器に入力することで、構造物の損傷及び損傷が原因で起こる事象を自動で検出し、その検出結果を出力することができる。これにより、ユーザによる構造物の点検の負担を低減することができる。
　本発明の他の態様に係る構造物の点検支援装置において、検出器の機械学習に使用される学習用データセットは、構造物の損傷が撮影された学習用の教師画像群と、教師画像群の画像毎の損傷の領域を示す情報及び損傷が原因で起きた事象を示す正解データとを含むことが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、学習用データセットを使用して検出器に機械学習させる学習部を備えることが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、出力部は、検出結果及び入力画像の情報に基づいて損傷の寸法を推定し、損傷の大きさを定量化することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、検出器は、構造物の損傷の領域を塗りつぶした損傷画像を出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、検出器は、損傷が原因で起きた事象に対応づけた色で損傷画像を出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、出力部は、構造物を示すＣＡＤ図面に損傷画像を合成した損傷図を出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、出力部は、入力画像に損傷画像を合成した合成画像を出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、出力部は、検出結果に基づいて損傷が原因で起きた事象をテキスト情報として出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、検出器の検出結果の修正を、ユーザからの指示入力により受け付ける修正受付部と、修正受付部により受け付けたユーザからの指示入力により検出器の検出結果を修正する修正部と、を更に備えることが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、検出器は、損傷の損傷程度を更に検出することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、検出器は、損傷の損傷程度を更に検出し、損傷程度に対応づけた色で損傷画像を出力することが好ましい。
　本発明の更に他の態様に係る構造物の点検支援装置において、構造物の損傷は、ひび割れ、コンクリート剥離、コンクリート打ち継ぎ目、又は目地の損傷を含み、損傷が原因で起こる事象は、遊離石灰、漏水、さび汁を含む漏水、又は鉄筋露出の事象を含むことが好ましい。
　本発明の更に他の態様に係る構造物の点検支援方法は、画像取得部が、点検対象の構造物を撮影した画像を取得するステップと、機械学習済みの検出器が、画像を入力画像とし、構造物の損傷及び損傷が原因で起こる事象を検出する検出ステップと、出力部が、検出ステップによる検出結果を出力するステップと、を含む。
　本発明によれば、被写体の色に依存せずに被写体の距離を精度よく測定することができる。
図１は、本発明に係る構造物の点検支援装置のハードウエア構成の一例を示すブロック図である。 図２は、図１のデータベースに格納される学習用データセットの一例を示す図である。 図３は、本発明に係る構造物の点検支援装置の主要な構成部分である学習装置の機能を示す機能ブロック図である。 図４（Ａ）は、点検対象の構造物を撮影した画像（元画像）を示し、図４（Ｂ）は、元画像に含まれる損傷（ひび割れ）等を示す図である。 図５は、図１に示した表示部の画面に表示された画像及び構造物のＣＡＤ図面の一例を示す図である。 図６は、図１に示した表示部に表示される画面の一例を示す図である。 図７は、本発明に係る構造物の点検支援装置の主要な構成部分である他の学習装置の機能を示す機能ブロック図である。 図８は、本発明に係る構造物の点検支援方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る構造物の点検支援装置及び方法の好ましい実施形態について説明する。
　［構造物の点検支援装置のハードウエア構成］
　図１は、本発明に係る構造物の点検支援装置のハードウエア構成の一例を示すブロック図である。
　図１に示す構造物の点検支援装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の構造物の点検支援装置１０は、主として画像取得部１２と、データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示部２６とから構成されている。
　画像取得部１２は、点検対象の構造物を撮影した画像を取得する部分である。
　点検対象の構造物は、例えば、橋梁、トンネル等のコンクリート構造物を含む。以下、構造物として橋梁を例に説明する。橋梁は、橋台や橋脚の間に渡された主桁と、橋梁の長手方向に設けられた主桁と直交する方向に設けられ、主桁間を連結する横桁と、風、地震等の横荷重に抵抗するために主桁を相互に連結する対傾構及び横構とを含む各種の部材から構成され、主桁等の上部には、車輌等が走行するための床版が打設されている。床版は、鉄筋コンクリート製のものが一般的である。
　この明細書では、主桁と横桁、横構を含む各種の部材から構成されている橋梁を例として説明するが、本発明は主桁、横桁、横構等を有しない橋梁にも適用できる。
　床版は、通常、主桁と横桁とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、遊離石灰、及びコンクリート剥離等）を点検する場合、格間単位で行われる。
　画像取得部１２が取得する画像は、画素単位でＲ（red；赤）、Ｇ（green；緑）及びＢ（blue；青）の各強度値（輝度値）を有する画像（いわゆるＲＧＢ画像）である。
　データベース１４は、学習用データセットを記憶する記憶部である。
　図２は、図１のデータベース１４に格納される学習用データセットの一例を示す図である。
　学習用データセットは、構造物の損傷が撮影された学習用の複数の画像（教師画像群）と、教師画像群の画像毎の損傷の領域を示す情報及び損傷が原因で起きた事象等を示す正解データとを含む。
　尚、構造物（特に鉄筋コンクリートの構造物）の損傷には、ひび割れ、コンクリート剥離、コンクリート打ち継ぎ目、又は目地の損傷等が含まれる。また、損傷が原因で起こる事象には、遊離石灰、漏水、さび汁を含む漏水、又は鉄筋露出等の事象が含まれる。
　図２に示す学習用データセットのうちの１番目の教師画像は、損傷が原因で起きた事象として軽度の遊離石灰が発生している構造物の画像であり、その正解データは、軽度の遊離石灰が発生した原因である損傷（本例では、特定のひび割れ）を白く塗り潰した画像である。
　図２に示す学習用データセットのうちの２番目の教師画像は、重度の遊離石灰が発生している構造物の画像であり、その正解データは、重度の遊離石灰が発生した原因である損傷（本例では、特定のコンクリート打ち継ぎ目）を、特定の色（図２には明示されていないが、例えば紫色）で塗り潰した画像である。
　正解データである画像において、特定の色で塗り潰された領域は、損傷が原因で起きた事象の、原因となった損傷の領域である。したがって、画像内に複数のひび割れが写っていても、損傷が原因で起きた事象（例えば、遊離石灰）と関係しない損傷（例えば、ひび割れ）は、特定の色で塗り潰されない。
　また、本例では、損傷が原因で起きた事象に対応づけた色で損傷を塗り潰すことで、正解データの画像を作成している。更に、同じ損傷であっても損傷の損傷程度（軽度、重度等）に対応づけた色で、損傷の領域を塗り潰している。損傷程度（軽度、重度）の判定基準には、独自に定めた基準の他、国、自治体及び企業等が定めた基準などがある。たとえば、橋梁の点検に利用する場合、国土交通省が規定する橋梁定期点検要項に定められた基準があげられる。
　記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成される記憶部であり、オペレーティングシステム、構造物の点検支援に関するプログラムの他、パラメータ等のデータ、画像取得部１２により取得された画像、本装置により検出された検出結果（点検結果）等を記憶する。
　操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等が用いられ、画像に基づく構造物の点検に当たって各種の操作入力を受け付ける。
　ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
　表示部２６は、コンピュータに接続可能な液晶モニタ等の各種モニタが用いられ、操作部１８とともに、ユーザインターフェースの一部として使用される。
　上記構成の構造物の点検支援装置１０は、操作部１８からの指示入力によりＣＰＵ２０が、記憶部１６又はＲＯＭ２４に記憶されているプログラムを読み出し、プログラムを実行することにより、後述するように構造物の損傷及び損傷が原因で起こる事象を検出する検出器を機械学習により作成したり、機械学習済みの検出器により点検対象の構造物を撮影した画像から構造物の損傷及び損傷が原因で起こる事象を検出する。
　［第１実施形態］
　図３は、本発明に係る構造物の点検支援装置の主要な構成部分である学習装置の機能を示す機能ブロック図であり、図１に示したＣＰＵ２０、記憶部１６、ＲＡＭ２２、ＲＯＭ２４等のハードウエアにより構成される。
　第１実施形態の学習装置５０は、主として検出器５２と、検出器５２に機械学習させる学習部として機能する損失値算出部５４及びパラメータ制御部５６とを備えている。
　本例の検出器５２は、深層学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）が使用されている。
　検出器５２は、複数のレイヤー構造を有し、複数の重みパラメータを保持している。検出器５２は、重みパラメータが初期値から最適値に更新されることで、未学習モデルから学習済みモデルに変化しうる。検出器５２の重みパラメータの初期値は、任意の値でもよいし、例えば、画像の分類等を行う画像系の学習済みモデルの重みパラメータを適用してもよい。
　この検出器５２は、入力層５２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層５２Ｂと、出力層５２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　学習フェーズでは、入力層５２Ａには、学習対象である教師画像が入力画像３４として入力される。
　中間層５２Ｂは、畳み込み層やプーリング層などを有し、入力層５２Ａから入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。尚、中間層５２Ｂには、畳み込み層とプーリング層とが交互に配置される場合に限らず、畳み込み層が連続する場合や正規化層も含まれる。また、最終段の畳み込み層convは、入力画像３４と同じサイズの特徴マップ（画像）であって、構造物の損傷及び損傷が原因で起こる事象を示す特徴マップを出力する部分である。
　出力層５２Ｃは、検出器５２の検出結果（本例では、損傷画像）を出力する部分である。
　損失値算出部５４は、検出器５２の出力層５２Ｃから出力される検出結果（損傷画像）と、教師画像である入力画像３４に対応する正解データ（正解画像）３５とを取得し、両者間の損失値を算出する。損失値の算出方法は、例えば、ジャッカード係数やダイス係数を用いることが考えられる。
　パラメータ制御部５６は、損失値算出部５４により算出された損失値を元に、誤差逆伝播法により、正解データと検出器５２の出力との特徴量空間での距離を最小化させ、又は類似度を最大化させるべく、検出器５２の重みパラメータを調整する。
　このパラメータの調整処理を繰り返し行い、損失値算出部５４により算出される損失値が収束するまで繰り返し学習を行う。
　このようにしてデータベース１４に格納された学習用データセット（図２参照）を使用し、重みパラメータが最適化された学習済みの検出器５２を作成する。
　検出フェーズでは、学習済みの検出器５２は、画像取得部１２により取得された点検対象の構造物を撮影した画像を入力画像３４とし、入力画像３４から構造物の損傷及び損傷が原因で起こる事象を検出し、検出結果を出力部６０に出力する。学習済みの検出器５２は、同じ損傷であっても、損傷程度の検出も可能である。
　学習済みの検出器５２は、例えば、図４（Ａ）に示す元画像を入力すると、元画像に含まれる損傷（ひび割れ）であって、損傷が原因で起こる事象（遊離石灰）の原因のひび割れと、損傷が原因で起こる事象（遊離石灰）を検出し、図４（Ｂ）に示すようにひび割れの領域を、遊離石灰を示す色で塗り潰した損傷画像３６として出力する。また、学習済みの検出器５２は、損傷程度も検出することが可能であり、同じ損傷であっても、検出した損傷程度に対応づけた色で損傷画像を出力することが可能である。
　出力部６０は、図４（Ａ）に示した元画像（入力画像）に、検出器５２から出力される損傷画像３６を合成した合成画像（図４（Ｂ））を出力することができる。
　図５は、図１に示した表示部２６の画面に表示された画像及び構造物のＣＡＤ（computer-aided design）図面の一例を示す図である。
　図５において、画像１００は、図４（Ｂ）と同様に元画像に損傷画像が合成された合成画像であり、特に橋梁の床版の画像に関して示している。
　画像１００には、主桁の一部を示す画像１０２、１０４と、横桁の一部を示す画像１１２、１１４と、床版の一部（主桁と横桁とにより画成された格間）の画像（格間画像）１２０とが含まれている。
　ここで、画像１００の格間を示す矩形枠は、格間画像の矩形の輪郭に対応し、画像１００の床版を示す平面と、主桁を示す画像１０２、１０４の主桁の平面及び横桁を示す画像１１２、１１４の横桁の平面との交線（４つの交線）により画成された輪郭をいう。
　図５において、点線で示した床版のＣＡＤ図面２００は、本例では３つの主桁と５つの横桁とに対応する図面である。Ｍｇ０１～Ｍｇ０３は、それぞれ主桁（Ｍｇ：Main girder）の部材番号であり、Ｃｒ０１～Ｃｒ０５は、それぞれ横桁（Ｃｒ：Cross beam）の部材番号である。尚、１画面に橋梁の床版全体の図面を適切に表示することができない場合（橋梁の全長が長い場合）には、床版の一部のＣＡＤ図面を表示し、床版のＣＡＤ図面をスクロールできるようにすることが好ましい。
　出力部６０は、床版のＣＡＤ図面２００に、床版の画像１００（特に格間画像）を割り当てることができる。床版のＣＡＤ図面２００に格間画像を割り当てる場合、ＣＡＤ図面２００の格間の４隅と格間画像の４隅とが一致するように格間画像を変換（例えば、射影変換）し、床版のＣＡＤ図面２００に格間画像を合成することができる。また、出力部６０は、変換後の格間画像中の損傷画像３６のみを、床版のＣＡＤ図面２００に合成し、これを損傷図として出力することができる。
　また、出力部６０は、ＣＡＤ図面２００に損傷画像３６を合成することで、ＣＡＤ図面２００の寸法情報を使用して、損傷領域（損傷）の寸法を推定することができ、損傷の大きさを定量化して出力することができる。例えば、損傷がひび割れの場合、ひび割れの長さ、幅、面積、間隔、数量、方向及び深さなどを定量化することができる。また、定量化した情報は、損傷図に追記することが好ましい。
　また、ＣＡＤ図面２００の寸法情報を利用する場合の他に、ユーザが操作部１８及び表示部２６等を使用し、床版の画像１００の縦と横の寸法や、画像１００に写っている部材の寸法を入力し、出力部６０は、ユーザにより入力された寸法情報を使用して損傷領域の寸法等を推定するようにしてもよい。
　図６は、表示部２６に表示される画面７０の一例を示す図である。
　図６に示す画面には、出力部６０から出力された画像であって、元画像に検出器５２から出力された損傷画像を合成した合成画像と、検出された損傷を削除するための「損傷削除」アイコン７２、損傷を追加するための「追加」アイコン７４等の各種のアイコンが表示されている。
　マウス等の操作部１８及び表示部２６等のユーザインターフェースは、検出器５２の検出結果の修正を、ユーザからの指示入力により受け付ける修正受付部として機能する。
　ユーザは、図６に示す画面を見ながら、検出器５２が検出した損傷に対して損傷を追加する場合、「追加」アイコン７４を選択し、マウスを使用して「追加」アイコン７４の移動及びクリックを行うことで、追加する損傷（本例では、ひび割れ）をトレースする。検出器５２の検出結果を修正する修正部（ＣＰＵ２０等）は、「追加」アイコン７４により指示されたひび割れのトレース線を追加し、追加したトレース線を塗る潰すことができる。
　また、「損傷削除」アイコン７２を選択し、マウスを使用して「損傷削除」アイコン７２により誤検出された損傷をトレースすることで、修正部は、誤検出された損傷を消去することができる。
　このようにして修正された入力画像及び修正結果は、教師画像及び正解データとして、データベース１４に追加することができる。
　［第２実施形態］
　図７は、本発明に係る構造物の点検支援装置の主要な構成部分である他の学習装置の機能を示す機能ブロック図である。尚、図７において、図３に示した第１実施形態の学習装置と共通する部分には同一の符号を付し、その詳細な説明は省略する。
　第２実施形態の学習装置５０は、主として検出器５２－２及び正解データ３８が、図３に示した検出器５２及び正解データ３５と相違する。
　図７に示す検出器５２－２は、中間層５２Ｂの最終段の畳み込み層convと並列に全結合層fcが設けられている。
　全結合層fcは、前の層の全てのノードと重み付き結合し、活性化関数によって変換された値（特徴変数）を出力する部分であり、本例では、損傷が原因で起こる事象に対応する特徴変数を出力する。
　推論部として機能する出力層５２Ｃは、損傷画像を出力するとともに、全結合層fcからの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれの領域（本例ではそれぞれの事象）に正しく分類される確率を最大化する（最尤推定法）ことによって事象の分類を行う。尚、最終段の全結合層を出力層と呼ぶこともある。
　一方、正解データ３８は、教師画像に対応する損傷画像と、その損傷画像に含まれる損傷が原因で起こる事象とから構成される。
　検出器５２－２に機械学習させる学習部として機能する損失値算出部５４及びパラメータ制御部５６は、出力層５２ｃから出力される事象の分類結果と、正解データ３８に含まれる事象との損失値に基づいて全結合層fcの結合重みを最適値にする。
　この場合、出力部６０は、検出器５２－２による検出結果に基づいて損傷画像と、損傷が原因で起こる事象（最も確率の高い事象）を示す情報（例えば、テキスト情報）とを出力することができる。
　また、同様にして、正解データ３８として損傷の程度を示す情報を追加することで、検出器５２－２により損傷の程度を示す情報もテキスト情報として出力することが可能である。
　即ち、第２実施形態の学習装置５０及び出力部６０によれば、損傷が原因で起こる事象や損傷程度を、損傷画像の色分けではなく、テキスト情報として出力することができる。
　尚、第１実施形態の学習装置５０の検出器５２から出力される、色分けされた損傷画像の色（ＲＧＢ値）を読み取り、その読み取ったＲＧＢ値に応じたテキスト情報を出力するようにしてもよい。
　尚、検出器５２、５２－２は、ＣＮＮに限らず、例えばＤＢＮ（Deep Belief Network）、ＳＶＭ（Support Vector Machine）などのＣＮＮ以外の機械学習モデルでもよい。
　また、第１実施形態の検出器５２及び第２実施形態の検出器５２－２は、学習用データセットを使用して機械学習する学習部（損失値算出部５４及びパラメータ制御部５６）を備えているが、他の学習装置により機械学習させた検出器の各パラータを取得し、その取得したパラメータを検出器に設定して、学習済み検出器を構成してもよい。この場合、学習用データセットを記憶するデータベース１４も不要である。
　［構造物の点検支援方法］
　図８は、本発明に係る構造物の点検支援方法の実施形態を示すフローチャートである。
　図８において、画像取得部１２（図１）が、点検対象の構造物を撮影した画像を取得する（ステップＳ１０）。
　機械学習済みの検出器５２（図３）は、画像取得部１２が取得した画像を入力画像とし、構造物の損傷及び損傷が原因で起こる事象を検出する（検出ステップＳ１２）。
　出力部６０は、検出ステップＳ１２による検出結果を表示部２６等に出力する（ステップＳ１４）。
　ユーザは、表示部２６に表示された検出結果を示す画面（図６）を見ながら、検出結果の修正が必要か否かを判別する（ステップＳ１６）。
　検出結果の修正が必要な場合には、修正受付部として機能するマウス等のユーザインターフェースを通じてユーザから修正の指示入力を受け付け、検出結果を修正する（ステップＳ１８）。検出結果の修正が不要な場合には、そのまま本処理を終了させる。
　［その他］
　構造物の点検支援装置１０は、全体を複数の領域に分割して撮影した複数の画像を取得した場合に、その画像群を結合して１枚の画像を生成する機能（いわゆるパノラマ合成機能）を更に備えてもよい。
　また、処理対象の画像として、動画を取得することもできる。動画は、時系列の静止画像群と捉えることができる。この場合、フレーム単位で処理が行われる。あるいは、点検対象の構造物を撮影した動画から１枚の静止画（点検対象の構造物の静止画）を生成し、生成後の静止画に対して、損傷及び損傷が原因で起こる事象を検出するようにしてもよい。
　全体を複数の領域に分割して撮影した画像群を取得して、１枚ずつ損傷領域の抽出処理等を行った場合において、結果を出力する際、１枚の合成画像を生成して、出力するようにしてもよい。
　［ハードウエア構成の変形例］
　本発明の構造物の点検支援装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は、クライアント・サーバシステムのようにクライアント端末から点検対象の構造物を撮影した画像をサーバやクラウド側にアップロードし、サーバやクラウド側で構造物の損傷及び損傷が原因で起こる事象を検出し、検出結果をクライアント端末が受け取る形態を含む。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　点検支援装置
１２　画像取得部
１４　データベース
１６　記憶部
１８　操作部
２０　ＣＰＵ
２２　ＲＡＭ
２４　ＲＯＭ
２６　表示部
３４　入力画像
３５　正解データ
３６　損傷画像
３８　正解データ
５０　学習装置
５２、５２－２　検出器
５２Ａ　入力層
５２Ｂ　中間層
５２Ｃ　出力層
５４　損失値算出部
５６　パラメータ制御部
６０　出力部
７０　画面
７２　「損傷削除」アイコン
７４　「追加」アイコン
１００、１０２、１０４、１１２、１１４　画像
２００　ＣＡＤ図面
Ｓ１０　ステップ
Ｓ１２　検出ステップ
Ｓ１４　ステップ
Ｓ１６　ステップ
Ｓ１８　ステップ
conv　畳み込み層
fc　全結合層

Claims (14)

  1. 　点検対象の構造物を撮影した画像を取得する画像取得部と、
    　機械学習済みの検出器であって、前記画像を入力画像とし、前記構造物の損傷及び前記損傷が原因で起こる事象を検出する検出器と、
    　前記検出器による検出結果を出力する出力部と、
    　を備えた構造物の点検支援装置。
  2. 　前記検出器の機械学習に使用される学習用データセットは、構造物の損傷が撮影された学習用の教師画像群と、前記教師画像群の画像毎の損傷の領域を示す情報及び前記損傷が原因で起きた事象を示す正解データとを含む請求項１に記載の構造物の点検支援装置。
  3. 　前記学習用データセットを使用して前記検出器に機械学習させる学習部を備えた請求項２に記載の構造物の点検支援装置。
  4. 　前記出力部は、前記検出結果及び前記入力画像の情報に基づいて前記損傷の寸法を推定し、前記損傷の大きさを定量化する請求項１から３のいずれか１項に記載の構造物の点検支援装置。
  5. 　前記検出器は、前記構造物の損傷の領域を塗りつぶした損傷画像を出力する請求項１から４のいずれか１項に記載の構造物の点検支援装置。
  6. 　前記検出器は、前記損傷が原因で起きた事象に対応づけた色で前記損傷画像を出力する請求項５に記載の構造物の点検支援装置。
  7. 　前記出力部は、前記構造物を示すＣＡＤ図面に前記損傷画像を合成した損傷図を出力する請求項５又は６に記載の構造物の点検支援装置。
  8. 　前記出力部は、前記入力画像に前記損傷画像を合成した合成画像を出力する請求項５又は６に記載の構造物の点検支援装置。
  9. 　前記出力部は、前記検出結果に基づいて前記損傷が原因で起きた事象をテキスト情報として出力する請求項１から７のいずれか１項に記載の構造物の点検支援装置。
  10. 　前記検出器の検出結果の修正を、ユーザからの指示入力により受け付ける修正受付部と、
    　前記修正受付部により受け付けた前記ユーザからの指示入力により前記検出器の検出結果を修正する修正部と、
    　を更に備えた請求項１から９のいずれか１項に記載の構造物の点検支援装置。
  11. 　前記検出器は、前記損傷の損傷程度を更に検出する請求項１から１０のいずれか１項に記載の構造物の点検支援装置。
  12. 　前記検出器は、前記損傷の損傷程度を更に検出し、前記損傷程度に対応づけた色で前記損傷画像を出力する請求項５から８のいずれか１項に記載の構造物の点検支援装置。
  13. 　前記構造物の損傷は、ひび割れ、コンクリート剥離、コンクリート打ち継ぎ目、又は目地の損傷を含み、
    　前記損傷が原因で起こる事象は、遊離石灰、漏水、さび汁を含む漏水、又は鉄筋露出の事象を含む請求項１から１２のいずれか１項に記載の構造物の点検支援装置。
  14. 　画像取得部が、点検対象の構造物を撮影した画像を取得するステップと、
    　機械学習済みの検出器が、前記画像を入力画像とし、前記構造物の損傷及び前記損傷が原因で起こる事象を検出する検出ステップと、
    　出力部が、前記検出ステップによる検出結果を出力するステップと、
    　を含む構造物の点検支援方法。
PCT/JP2019/046364 2018-12-05 2019-11-27 構造物の点検支援装置及び方法 WO2020116279A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018228268 2018-12-05
JP2018-228268 2018-12-05

Publications (1)

Publication Number Publication Date
WO2020116279A1 true WO2020116279A1 (ja) 2020-06-11

Family

ID=70974255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046364 WO2020116279A1 (ja) 2018-12-05 2019-11-27 構造物の点検支援装置及び方法

Country Status (1)

Country Link
WO (1) WO2020116279A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09119900A (ja) * 1995-10-26 1997-05-06 Ishikawajima Harima Heavy Ind Co Ltd コンクリート欠陥の自動評価方法
JP2006338654A (ja) * 2005-09-20 2006-12-14 Usric Co Ltd 調査支援装置、調査支援システム、調査支援方法、及びプログラム
JP2009234872A (ja) * 2008-03-27 2009-10-15 Taiheiyo Cement Corp 膨張抑制剤及び膨張抑制方法
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム
JP2016142601A (ja) * 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09119900A (ja) * 1995-10-26 1997-05-06 Ishikawajima Harima Heavy Ind Co Ltd コンクリート欠陥の自動評価方法
JP2006338654A (ja) * 2005-09-20 2006-12-14 Usric Co Ltd 調査支援装置、調査支援システム、調査支援方法、及びプログラム
JP2009234872A (ja) * 2008-03-27 2009-10-15 Taiheiyo Cement Corp 膨張抑制剤及び膨張抑制方法
JP2016065809A (ja) * 2014-09-25 2016-04-28 前田建設工業株式会社 コンクリート構造物の点検支援装置、点検支援方法、及びプログラム
JP2016142601A (ja) * 2015-01-30 2016-08-08 前田建設工業株式会社 施工品質評価プログラム、施工品質評価方法及び施工品質評価装置
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法

Similar Documents

Publication Publication Date Title
JP7372536B2 (ja) 演算プログラム、演算装置及び演算方法
Potenza et al. A robotics and computer-aided procedure for defect evaluation in bridge inspection
US11263739B2 (en) Repair length determination method and repair length determination apparatus
US11948291B2 (en) Damage diagram creation method, damage diagram creation device, damage diagram creation system, and recording medium
JP7170023B2 (ja) 損傷データ編集装置、損傷データ編集方法、プログラム、およびシステム
CN113167742B (zh) 混凝土构造物的点检辅助装置、点检辅助方法及记录介质
JP7146013B2 (ja) サーバ装置、画像処理方法、及びプログラム
Kong et al. Preserving our heritage: A photogrammetry-based digital twin framework for monitoring deteriorations of historic structures
US20230003663A1 (en) Inspection support device, inspection support method, and inspection support program
US11423511B2 (en) Image composition method, image composition device, and recording medium
JP2023164699A (ja) 損傷図作成支援装置
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
Calderón et al. Crack detection in concrete elements from RGB pictures using modified line detection kernels
WO2020116279A1 (ja) 構造物の点検支援装置及び方法
WO2022070734A1 (ja) 構造物の点検支援装置、構造物の点検支援方法、及びプログラム
WO2022071085A1 (ja) 損傷情報処理装置、損傷情報処理方法、及びプログラム
EP4148663A1 (en) Damage evaluating device, method, and program
JP7339185B2 (ja) 屋外構造物部位特定装置、屋外構造物部位特定方法および屋外構造物部位特定プログラム
Buatik et al. Image-based multiview change detection in concrete structures
JP4296801B2 (ja) 空間フィルタ、空間フィルタ作成方法、空間フィルタ作成方法のプログラム並びにその空間フィルタを用いた画像処理装置及び検査装置
Turkyilmaz Characterization of cracks in bridge beams with welded wire fabric reinforcement using image processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893295

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19893295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP